Robots.txt जेनरेटर

Fastols में Robots.txt फ़ाइल जनरेटर टूल क्या है?

यह टूल Robots.txt फ़ाइल बनाता है, जो यह कंट्रोल करती है कि सर्च इंजन साइट के पेजों को किस तरह क्रॉल करें, इसके लिए अनुमति या रोक का डिफ़ॉल्ट नियम, साथ ही कस्टम पाथ और ब्लॉक किए जा सकने वाले खास बॉट भी तय किए जा सकते हैं।

यह टूल साइट मालिकों के लिए तब उपयोगी है जब साइट के किसी खास हिस्से, जैसे एडमिन पेज या इंटरनल फ़ाइलों के प्रति सर्च इंजन के व्यवहार को कंट्रोल करना हो।

बिना किसी सर्वर कॉल के बनाया गया

आपके robots.txt नियम आपकी चुनी गई सेटिंग्स से सीधे ब्राउज़र में तैयार होते हैं।

फ़ाइल का लाइव पूर्वावलोकन

हर नियम बदलने पर robots.txt परिणाम तुरंत अपडेट होते देखें।

कॉपी के लिए तैयार, हमेशा मुफ़्त

बिना साइन-अप किए अंतिम फ़ाइल डाउनलोड या कॉपी करें।

आसान स्टेप्स में Robots.txt फ़ाइल कैसे बनाएं

1डिफ़ॉल्ट नियम चुनें: सभी बॉट्स को अनुमति दें, उन्हें पूरी तरह रोकें, या कस्टम पाथ निर्धारित करें।
2कस्टम अनुमति (allow) और अवरोध (disallow) पाथ के साथ-साथ, यदि निर्धारित करना चाहें तो क्रॉल विलंब अवधि भी दर्ज करें।
3उपलब्ध बॉट सूची में से कोई भी खास बॉट चुनें जिसे आप ब्लॉक करना चाहते हैं।
4यदि उपलब्ध हो तो Sitemap फ़ाइल का लिंक जोड़ें, फिर फ़ाइल की सामग्री कॉपी करें या उसे सीधे robots.txt नाम से डाउनलोड करें।

Robots.txt फ़ाइल जनरेटर से जुड़े सामान्य प्रश्न

Robots.txt फ़ाइल में डिफ़ॉल्ट नियम के लिए कौन-से विकल्प उपलब्ध हैं?

सभी बॉट को क्रॉल करने की अनुमति देना, उन्हें पूरी तरह रोकना, या अनुमति और रोक के लिए कस्टम पाथ तय करना — इनमें से चुना जा सकता है।

कस्टम अनुमति और अवरोध पाथ कैसे जोड़े जाते हैं?

पाथ को अनुमति (allow) और अवरोध (disallow) फ़ील्ड में लिखा जाता है, हर पाथ अलग लाइन में, और यह टूल जिस पाथ की शुरुआत में स्लैश (/) नहीं होता उसमें अपने आप जोड़ देता है।

क्या नाम से किसी खास क्रॉलिंग बॉट को ब्लॉक किया जा सकता है?

हां, यह टूल साइट के सामान्य नियम से अलग, ब्लॉक करने के लिए एक तैयार सूची में से खास बॉट चुनने की सुविधा देता है।

क्या नतीजे में मिली फ़ाइल में साइटमैप (Sitemap) का लिंक जोड़ा जा सकता है?

हां, Sitemap फ़ाइल का लिंक दर्ज करने के लिए एक निर्धारित फ़ील्ड मौजूद है, जो अपने आप Robots.txt फ़ाइल के अंत में एक अलग लाइन के रूप में जुड़ जाता है।

साइट पर अपलोड करने के लिए तैयार Robots.txt फ़ाइल कैसे मिल सकती है?

फ़ाइल की सामग्री नतीजे वाले बॉक्स से सीधे कॉपी की जा सकती है, या साइट के रूट पर अपलोड करने के लिए तैयार robots.txt फ़ाइल पाने के लिए डाउनलोड बटन दबाया जा सकता है।

खास AI बॉट ब्लॉक करें (वैकल्पिक)