नमस्कार दोस्तों , मेरा नाम अनूप है और आपका इंडो ब्लॉग्गिंग के ऊपर स्वागत है। आज में आपको Blogger Blog में Custom Robots.Txt File कैसे Add करे के बारे में जानकारी दूंगा।
दोस्तों, आपने गूगल के ब्लॉगर के माध्यम से अपना एक ब्लॉग Create कर लिया है। परन्तु ब्लॉग बनाने के बाद आपको कुछ महत्वपूर्ण Settings भी करनी होती है।
यह Advance Settings आपके ब्लॉग के Seo के लिए बहुत महत्वपूर्ण होती है।
आपके ब्लॉग की रैंकिंग और Indexing इन settings के ऊपर depend करती है।
दोस्तों , जब आप एक ब्लॉग Create करते है तब सबसे पहला काम ब्लॉग की indexing करवाना होता है।
हमारे ब्लॉग के अंदर labels , Category और अन्य Pages Automatic बन जाते है जिसको गूगल बोट crawl कर लेता है और इंडेक्स कर देता है।
इससे हमे दो नुकसान होते है पहला Unwanted Pages index हो जाते है और दूसरा हमारा crawl budget बिगड़ जाता है।
जिसके परिणाम के रूप में हमारे new pages index नहीं हो पाते है।
इसलिए अपने Crawl budget को ऑप्टिमाइज़ करने के लिए हमे labels, Category और अन्य pages की इंडेक्सिंग नहीं होने देनी होती है।
यह आप कर सकते है Custom Robots.txt फाइल के माध्यम से।
आज में आपको Robots.txt file कैसे बनानी है और कैसे submit करनी सब डिटेल में बताऊंगा।
Custom Robots.Txt File क्या है –
दोस्तों, अब आपके दिमाग में आ रहा होगा कस्टम Robots.txt होता क्या है।
दोस्तों , यह एक फाइल और कोड होता है जिसको हम ब्लॉगर की settings में paste करते है।
यह कोड google bot को instruction देता है की उसको कोनसे pages को क्रॉल करना है और कौन से को नहीं करना है।
इससे बेनिफिट यह होता है आपका क्रॉल बजट ऑप्टिमाइज़ होता है और गूगल आपके important pages को इंडेक्स कर देता है।
जब भी गूगल बोट आपकी वेबसाइट के ऊपर विजिट करता है तब वह सबसे पहले आपकी यही फाइल read करता है।
इस फाइल की माध्यम से आप अपने labels , category और अनावसायक Pages की क्रॉलिंग को रोक सकते है।
Robots.txt कैसे काम करता है –
दोस्तों, Robot.txt के अंदर हम Allow और disallow का use करते है।
हमे जिस पेज या पोस्ट को क्रॉल करवाना है उसको हम Allow करते है।
व जिसकी क्रॉलिंग नहीं करवानी होती है उसको हम Disallow कर देते है।
इन दोनों command के ऊपर ही पूरी Robot.txt Base होता है।
Also Read –
- Blog Post Promote Kaise Kare
- India ka sabse bada Gaming Channel konsa hai
- Koo App Se Paise Kaise Kamaye
ब्लॉग के लिए आप Robots.txt File कैसे बनाए –
दोस्तों , अब आपके दिमाग में यह question आ रहा होगा की यह फाइल हम Create कैसे करे।
आपको बिलकुल भी चिंता करने की जरूरत नहीं है।
इंटरनेट के ऊपर बहुत सारी वेबसाइट उपलब्ध है जिससे आप यह File Create कर सकते है।
आप इस फाइल को Create करने के लिए आप Google के ऊपर Robots.txt Generator टाइप करना है।
आपके सामने बहुत सारी websites आ जायँगी आप वेबसाइट के ऊपर basic Information Fill करके अपनी File create कर सकते है।
नहीं तो आप नीचे दिए गए Format का use भी कर सकते है।
User-agent: Mediapartners -Google
Disallow: /search
Disallow:/Category
Disallow:/Tag
Allow: /
Sitemap: https://www.xyz . com /sitemap.xml
दोस्तों , यहाँ पर Category और Tag को Disallow करना है ताकि आपकी Labels और category google पर इंडेक्स नहीं हो।
Robot.txt में मौजूद Codes का क्या अर्थ है –
1) User-Agent – *
इस Code का अर्थ है Search Engine ( Google , Yahoo ,Bing ) के bots आपके Blog को Crawl कर सकते है।
यहाँ पर * का अर्थ है सभी Robots जैसे – गूगल , बिंग इत्यादि आपके ब्लॉग में Crawling के लिए Allow है।
2 ) Disallow:/ Search/Category /tag –
इस कोड का अर्थ है आपके Domain Name के बाद जब भी Search word आएगा उसको Bots Crawl नहीं करेंगे।
जैसे – https://www.indoblogging.com/search
इस code से आपके Category और Labels को गूगल क्रॉल नहीं करता है और यह Search Engine में appear नहीं होते है।
3 ) Allow:/ –
यह Code आपके Homepage को क्रॉल करवाने में मदद करता है जिससे आपका होमपेज गूगल पर Fast इंडेक्स होता है।
4 ) Sitemap –
यह कोड Robots को Instruction देता है की Sitemap में मौजूद सभी url को Bots क्रॉल करे।
आपके जितने भी पोस्ट में Changes होता है उसको Bots Sitemap के माध्यम से ही इंडेक्स करता है।
ब्लॉग में Robots.txt File Add कैसे करे –
दोस्तों , ब्लॉगर में Robots.txt File Add करने के लिए सबसे पहले आपको अपने ब्लॉगर को ओपन करना है।
आप ब्लॉगर के डैशबोर्ड के ऊपर आ जायँगे। यहाँ पर आपको Left hand side में Settings का ऑप्शन दिखाई दे रहा होगा।
आपको इसको ओपन करना है और नीचे स्क्रॉल करना है। अब आपको यहाँ पर Crawlers और indexing का ऑप्शन दिखाई देगा।
सबसे पहले आपको यहाँ पर Enable Custom Robots. txt का ऑप्शन दिखाई देगा। आपको यह on कर देना है।
अब आपको next Option के अंदर Custom Robots .txt का ऑप्शन दिखाई दे रहा होगा।
आपको इसको के ऊपर क्लिक करना है आपके सामने एक new Page आ जायगा।
आपको ऊपर दिए गए code को यहाँ paste कर देना है और save के ऊपर क्लिक कर देना है।
Important Settings –
अब आपको Enable custom robots header tags का ऑप्शन दिखाई देगा आपको यह on कर देना है।
इसके बाद आपको Home page tags का ऑप्शन दिखाई देगा , आपको इसके ऊपर क्लिक करना है।
यहाँ आपको All और noodp को select करना है और Save पर क्लिक कर देना है।
अब आपको Archive and search page tags के ऑप्शन पर क्लिक करना है और no index और Noodp को enable करके Save पर क्लिक कर देना है।
Finally आपको Post and Pages Tags को open करना है और All व नूड़प choose करके save पर क्लिक कर देना है।
आपकी File की settings कम्पलीट हो जायगी।
सर्च इंजन में unwanted pages और post को index होने से कैसे रोके –
दोस्तों , रोबोट्स txt के अंदर आप अपने हिसाब से कोड को change कर सकते है।
आपको जिस भी पेज को क्रॉल करवाना है आपको simply उसके आगे Allow लिखना है और जिस भी पेज को आप क्रॉल नहीं करवाना चाहते है उसके आगे Disallow लिख दे।
यह Terms use करने से Google Bot समझ जायगा उसको आपके किस Page पर Crawl करना है और किसको नहीं करना है।
Final words on Blogger Blog में Custom Robots.Txt File कैसे Add करे –
दोस्तों , मुझे उम्मीद है आपको आज की पोस्ट Blogger Blog में Custom Robots.Txt File कैसे Add करे बहुत ज्यादा पसंद आयी होगी।
आज मैंने आपको ब्लॉगर ब्लॉग की सबसे ज्यादा Important Settings के बारे में बताया है।
दोस्तों , अगर आप ब्लॉगर use करते है तो आपको यह settings जरूर करनी चाहिए क्योकि यह आपके seo के लिए बहुत ज्यादा important है।
आशा है आपको आज की पोस्ट से बहुत कुछ सीखने को मिला होगा और मैंने आपकी सभी query को solve करने की पूरी कोशिश की है।
Custom Robot Txt File से जुड़े सवाल और जवाब –
Q1) How do I add custom robots txt to Blogger?
Ans- दोस्तों , आप ब्लॉगर की सेटिंग्स में जाकर क्रॉलर्स और इंडेक्सिंग के अंदर robots.txt की settings कर सकते है।
Q2) Should I enable custom robots.txt in Blogger?
Ans – दोस्तों , अगर आप अपनी वेबसाइट के क्रॉल बजट को ऑप्टिमाइज़ करना चाहते है तो यह फाइल जरूर Add करे।
Q3) How do I create a custom robot’s txt file?
Ans – दोस्तों , गूगल के ऊपर बहुत सारी Websites उपलब्ध है जिससे आप Free में यह File Create कर सकते है।
Q4) WordPress के लिए Custom Robot Txt File कैसे बनाए?
WordPress में आपको यह फाइल बनाने की जरूरत नहीं पड़ती है आपको यह Setting Seo Plugin में मिल जाती है। आपको केवल इसको On करना होता है।
Q5) ब्लॉगर में आपको Custom Robot Txt File का ऑप्शन कहाँ पर मिलता है ?
Ans – आपको इसक ऑप्शन ब्लॉगर की सेटिंग्स में मिलता है आप वहां पर जाकर इस फाइल को एडिट कर सकते हो।
Q6) Custom robot फाइल क्या करता है ?
Ans – कस्टम रोबोट आपके उन पेज को इंडेक्स होने से रोकता है जिनको आप इंडेक्स नहीं करवाना चाहते है।
Also, Read –