Robots.txt म्हणजे काय आणि ते कसे वापरले जाते?
Robots.txt म्हणजे काय? ( What is robots.txt in Marathi ) आपण याबद्दल कधीही ऐकले आहे, नाही तर आज ही तुमच्यासाठी एक चांगली बातमी आहे कारण आज मी तुम्हाला रोबॉट्स.टी.एस.टी.टी. बद्दल काही माहिती देणार आहे. आपल्याकडे एखादा ब्लॉग किंवा Website असल्यास आपल्यास असे वाटले असेल की काहीवेळा आम्हाला नको असलेली सर्व माहिती इंटरनेटमध्ये सार्वजनिक होते, हे का घडते हे आपल्याला माहिती आहे.
बर्‍याच दिवसांनंतरही आमच्या बर्‍याच चांगल्या सामग्रीची अनुक्रमित का केली जात नाही. जर तुम्हाला या सर्व गोष्टींमागील रहस्य जाणून घ्यायचे असेल तर तुम्हाला हा लेख रोबोट.टक्स्ट काळजीपूर्वक वाचावा लागेल, जेणेकरून तुम्हाला लेखाच्या शेवटी या सर्व गोष्टींबद्दल माहिती मिळेल.
what is robots.txt in seo
 |
| What is robots.txt in Marathi |
Website मध्ये सर्व फायली आणि फोल्डर्स कोणत्या लोकांना दर्शवाव्यात आणि काय नाही हे search engines ांना सांगण्यासाठी, यासाठी रोबोट्स मेटाटॅग वापरला जातो. परंतु सर्व search engines ांना मेटाटागा कसे वाचायचे हे माहित नाही, म्हणूनच मेटाबॅग वाचल्याशिवाय बर्‍याच रोबोटांचे लक्ष वेधून घेतले जात नाही. असे करण्याचा उत्तम मार्ग म्हणजे रोबॉट्स.टी.टी.एस.टी Files वापरणे जेणेकरून आपल्या Website किंवा ब्लॉगच्या फायली आणि फोल्डर्सबद्दल search engines ला सहजपणे माहिती मिळू शकेल.
म्हणून आज मला वाटलं की आपणा सर्वांना रोबोट्स.टी.टी.एस.टी म्हणजे काय याची संपूर्ण माहिती का दिली पाहिजे जेणेकरुन आपणासही पुढे हे समजून घेण्यात काही अडचण होणार नाही. चला, मग विलंब सुरू करूया आणि हे जाणून घ्या की हे रोबॉट्स.टीएक्सटी म्हणजे काय आणि त्याचे काय फायदे आहेत.
 |
| What is robots.txt in Marathi |
अनुक्रम
⏩ Robots.txt म्हणजे काय
⏩ Robots.txt files आपल्यासाठी खूप फायदेशीर ठरतील जर:
⏩ एक robots.txt फाईल कशी तयार करावी
⏩ Robots.txt चा Syntax म्हणजे काय
⏩ Robots.txt वापरण्याचे फायदे
Robots.txt म्हणजे काय
रोबॉट्स.टी.एक्स.टी. एक text file आहे जी आपण आपल्या साइटवर ठेवली आहे जेणेकरुन आपण Search Robots ना त्यांच्या साइटवर कोणत्या pages visit द्यावी लागेल किंवा कोणत्या साइटवर रेंगावे लागेल आणि ते नाही हे सांगू शकता. तसे, search engines साठी रोबोट्स.टी.टी.चे अनुसरण करणे अनिवार्य नाही परंतु ते त्याकडे लक्ष देतात आणि त्यामध्ये नमूद केलेली पृष्ठे आणि फोल्डर्स भेट देत नाहीत. त्यानुसार, रोबॉट्स.टी.एक्स.टी.टी खूप महत्वाचे आहे. म्हणूनच, main directory ठेवणे फार महत्वाचे आहे, जे search engine ला ते शोधणे सुलभ करते.
येथे लक्षात घेण्यासारखी गोष्ट म्हणजे आम्ही या फाईलची योग्य ठिकाणी अंमलबजावणी केली नाही तर सर्च इंजिनला असे वाटेल की आपण कदाचित रोबोट.टीएसटी Files समाविष्ट केली नाही जेणेकरून आपल्या साइटची पृष्ठे देखील अनुक्रमित केली जाऊ नयेत. म्हणूनच, या छोट्या फाईलला बरेच महत्त्व आहे, जर ती योग्यरित्या वापरली गेली नाही तर ती आपल्या Websiteचे रँकिंग कमी करू शकते. म्हणून, त्याबद्दल चांगली माहिती असणे फार महत्वाचे आहे.
हे कसे कार्य करते?
जर कोणतीही search engines किंवा वे Web Spiders प्रथमच आपल्या Websiteवर किंवा ब्लॉगवर आले असतील तर ते प्रथम आपल्या रोबोट.एसटीटीएफ Filesला crawl कारण त्यामध्ये आपल्या Websiteबद्दल कोणती माहिती crawl नाही आणि काय करावे याची सर्व माहिती आहे. आणि ती आपल्या निर्देशित पृष्ठांची अनुक्रमणिका तयार करते, जेणेकरून आपले indexed pages search engine results मध्ये दिसून येतील.
Robots.txt फायली आपल्यासाठी खूप फायदेशीर ठरतील जर:
⏩ आपल्याला आपल्या Websiteमधील duplicate pages कडे ignore करण्यासाठी search engines ची इच्छा आहे
⏩ आपण आपली अंतर्गत शोध परिणाम पृष्ठे index केली जाऊ इच्छित नसल्यास
⏩ आपण search engines आपली निर्देशित केलेली काही पृष्ठे index करू इच्छित नसल्यास
⏩ आपण आपल्या काही फायली जसे काही images, PDFs Index करू इच्छित नसल्यास
⏩ आपल्याला आपला साइटमॅप कोठे आहे हे search engines सांगायचे असल्यास
एक robots.txt फाईल कशी तयार करावी
⏩ जर आपण अद्याप आपल्या Websiteवर किंवा ब्लॉगमध्ये एक Robots.txt Files तयार केली नसेल तर आपण ती लवकरच तयार केली पाहिजे कारण ती नंतर आपल्यासाठी फायदेशीर ठरली आहे. ते तयार करण्यासाठी, आपल्याला काही सूचनांचे अनुसरण करणे आवश्यक आहे:
⏩ प्रथम एक text file तयार करा आणि ती रोबोट.टेक्स्ट म्हणून जतन करा. यासाठी आपण Windows वापरल्यास NotePad किंवा मजकूर-संपादन आपण मॅक वापरल्यास वापरू शकता आणि नंतर text-delimited file केलेल्या Filesनुसार जतन करू शकता.
⏩ आता ते आपल्या Websiteच्या root directory त upload करा. जे root level folder आहे आणि त्याला "htdocs" देखील म्हटले जाते आणि ते आपल्या domain name तर दिसते.
⏩ आपण subdomains वापरल्यास सर्व subdomains साठी आपल्याला स्वतंत्र रोबोट.टीक्सटी Files तयार करणे आवश्यक आहे.
रोबोट्स.टी.टी.एस.टी चा Syntax म्हणजे काय
Robots.txt. मध्ये आम्ही काही Syntax वापरतो ज्याबद्दल आपल्याला जास्त माहिती असणे आवश्यक आहे.
• User-Agent: या सर्व नियमांचे पालन करणारे robot आणि ज्यात ते लागू आहेत (e.g. “Googlebot,” etc.)
• Disallow: याचा अर्थ म्हणजे आपल्यास अन्य कोणतीही व्यक्ती प्रवेश करू इच्छित नसलेल्या पृष्ठांवर bots असलेली पृष्ठे अवरोधित करणे होय. (येथे प्रति files पूर्वी disallow लिहिणे आवश्यक आहे)
• Noindex: हे वापरून, search engines आपल्या पृष्ठांना indexed करू इच्छित नाही अशी पृष्ठे indexed करणार नाही.
All User-Agent/Disallow group वेगळे करण्यासाठी एक रिकामी ओळ वापरली पाहिजे, परंतु येथे लक्षात घ्या की दोन गटांमधील कोणतीही रिक्त रेखा नाही (User-agent line आणि the last Disallow कोणतेही अं तर आवश्यक नाही.)
• Hash symbol (#) चा वापर Robots.txt Filesमध्ये टिप्पण्या देण्यासाठी केला जाऊ शकतो, जेथे # चिन्हाच्या अगोदर असलेल्या प्रत्येक गोष्टीकडे ignore केले जाईल. ते मुख्यतः संपूर्ण रेषा किंवा ओळींच्या समाप्तीसाठी वापरले जातात.
• Directories आणि filenames case-sensitive असतातः "private", "Private" आणि "PRIVATE" search engines साठी हे पूर्णपणे भिन्न आहेत.
- What is robots.txt in Marathi
- what is robots.txt in seo
- what is robots.txt in react
- what is robots.txt in hindi
उदाहरणाच्या मदतीने हे समजून घेऊया. येथे मी त्याच्याबद्दल लिहिले आहे.
Google "Googlebot" रोबोटमध्ये कोणतीही disallowed गेलेली statement येथे नाही, जेणेकरून ते कुठेही जाऊ शकणार नाही.
• येथे "msnbot" वापरली गेलेली सर्व site बंद केली आहे.
सर्व रोबोट्सना robots (other than Go oglebot)/ tmp/ directory or directories or files called /logs Files्स पाहण्याची permission नाही, ज्या खाली comments द्वारे स्पष्ट केल्या आहेत उदा. e.g., tmp.htm,
what is robots.txt code
/logs or logs.php.
User-agent: Googlebot
Disallow:
User-agent: msnbot
Disallow: /
# Block all robots from tmp and logs directories
User-agent: *
Disallow: /tmp/
Disallow: /logs # for directories and files called logs
 |
| What is robots.txt in Marathi |
Advantages of using Robots.txt
तसे, जर आपण बर्‍याच रोबोट्स.टी.टी.टी.एस. वापरत असाल तर तुम्ही बरेच फा यू डी दिले, परंतु मी येथे काही फार महत्त्वाच्या फा ये डी बद्दल सांगितले, ज्याबद्दल सर्वांना माहित असले पाहिजे.
Robots.txt वापरुन आपली sensitive information खाजगी ठेवली जाऊ शकते.
रोबोट.टेक्स्टच्या मदतीने “canonicalization” problems दूर ठेवल्या जाऊ शकतात किंवा multiple “canonical” URLs देखील ठेवल्या जाऊ शकतात. ही समस्या “duplicate content” problem म्हणून देखील ओळखली जाते.
यासह आपण अनुक्रमणिका पृष्ठांवर Google Bots ला मदत देखील करू शकता.
आम्ही जर robots.txt फाईल वापरत नाही तर काय करावे?
आम्ही कोणतीही Robots.txt Files वापरत नसल्यास, कोठे crawl करावे आणि कोठे आपल्या Websiteवर त्यांना सापडेल त्या प्रत्येक गोष्टीची index करू शकत नाही यावर सीच इंजिनवर कोणतेही बंधन नाही. बर्‍याच Website्ससाठी हे देखील आहे, परंतु जर आपण काही चांगल्या सराव बद्दल बोललो तर आपण Robots.txt. फाईल वापरली पाहिजे कारण search engines ला आपली पृष्ठे अनुक्रमित करणे सुलभ करते आणि त्या सर्व पृष्ठे पुन्हा पुन्हा बनविण्याची आवश्यकता नाही. जाण्यासाठी.
what is a robots.txt file used for
मी मनापासून आशा करतो की रोबॉट्स.टी.टी.एस.टी म्हणजे काय याबद्दल मी तुम्हाला संपूर्ण माहिती दिली आहे आणि मला आशा आहे की आपण लोक रोबॉट्स.टी.टी.टी.एस. बद्दल समजले असतील. मी आपणा सर्वांच्या वाचकांना विनंती करतो की आपणही ही माहिती आपल्या आसपासच्या, नातेवाईक, मित्र व मित्रांमधे सामायिक करावीत, जेणेकरून आपल्यात आपल्यात जागरूकता निर्माण होईल आणि सर्वांना याचा मोठा फायदा होईल. मला तुमच्या समर्थनाची आवश्यकता आहे जेणेकरून मी तुम्हाला अधिक नवीन माहिती पोचवू शकेन.
माझा नेहमीच प्रयत्न आहे की मी नेहमीच माझ्या वाचकांना किंवा सर्व बाजूंच्या वाचकांना मदत करतो, जर तुम्हाला लोकांमध्ये कोणत्याही प्रकारची शंका असेल तर तुम्ही मला बेजबाबदारपणे विचारू शकता. मी त्या शंका दूर करण्याचा नक्कीच प्रयत्न करेन. आपल्याला हा लेख रोबॉट्स.टी.टी.ला कसा आवडला, टिप्पणी लिहून सांगा आम्हाला जेणेकरून आपल्यासही आपल्या कल्पनांकडून काही शिकण्याची संधी मिळेल आणि काहीतरी सुधारित करावे.