ऐसी llms.txt फ़ाइल बनाएँ जो AI असिस्टेंट को बताए कि आपकी साइट के कौन से पेज असल में मायने रखते हैं।
llms.txt एक मार्कडाउन फ़ाइल है जो साइट के रूट पर — /llms.txt — प्रकाशित होती है और बड़े भाषा मॉडल को अनुमान लगाने के बजाय आपके कंटेंट का चुना हुआ नक्शा सौंप देती है। यह प्रस्ताव सितंबर 2024 में Jeremy Howard ने llmstxt.org पर प्रकाशित किया था, और इसमें जान-बूझकर एक कड़ा ढाँचा तय किया गया है ताकि उसे बिना किसी दुविधा के पार्स किया जा सके: साइट या प्रोजेक्ट के नाम वाला एक H1, एक वैकल्पिक ब्लॉककोट जिसमें एक पैराग्राफ़ का सारांश हो, फिर H2 सेक्शन जिनके भीतर मार्कडाउन लिंक की बुलेट सूची हो, और हर लिंक के बाद वैकल्पिक रूप से एक कोलन और छोटा विवरण। "Optional" नाम वाले सेक्शन का खास मतलब होता है: कॉन्टेक्स्ट विंडो तंग हो तो उन लिंक को छोड़ा जा सकता है।
यह जेनरेटर ठीक वही ढाँचा बनाता है। आप नाम, सारांश और जितने चाहें उतने सेक्शन भरते हैं, हर लिंक के लिए एक पंक्ति जोड़ते हैं; आउटपुट वैध मार्कडाउन के रूप में बनता है, जिसमें ब्लॉककोट पंक्ति दर पंक्ति लगाया जाता है, शीर्षकों के वर्गाकार कोष्ठक एस्केप कर दिए जाते हैं ताकि वे लिंक सिंटैक्स न तोड़ें, खाली जगह समेट दी जाती है ताकि हर प्रविष्टि एक ही पंक्ति में रहे, और सादे डोमेन को https:// तक बढ़ा दिया जाता है, जबकि / से शुरू होने वाले सापेक्ष पाथ जैसे के तैसे रहते हैं। खाली सेक्शन और बिना URL वाले लिंक टूटे मार्कडाउन के रूप में लिखे जाने के बजाय छोड़ दिए जाते हैं, और तैयार फ़ाइल llms.txt के रूप में अपलोड के लिए डाउनलोड हो जाती है।
क्या इसे प्रकाशित करना सार्थक है? ईमानदार जवाब: llms.txt एक सामुदायिक प्रस्ताव है, कोई ऐसा मानक नहीं जिसे पढ़ने का वादा किसी AI कंपनी ने सार्वजनिक रूप से किया हो, और यह अपने आप आपको किसी AI जवाब में उद्धृत नहीं कराएगा। यह जो करता है वह सस्ता और कम जोखिम वाला है — एक छोटी फ़ाइल, जिसे दस्तावेज़ी साइटों की बढ़ती सूची पहले ही अपना चुकी है — और यह एक उपयोगी कसरत करा देता है: यह तय करना कि आपके उत्पाद को असल में कौन से बीस पेज समझाते हैं। इसे robots.txt (जो क्रॉलिंग तय करती है) और sitemap.xml (जो सर्च इंजन के लिए हर URL सूचीबद्ध करती है) का साथी मानें, इनमें से किसी का विकल्प नहीं। फ़ाइल आपके ब्राउज़र में बनती है और कहीं नहीं भेजी जाती।
# साइट का नाम → > एक पैराग्राफ़ का सारांश → ## सेक्शन → - [लिंक शीर्षक](https://url): छोटा विवरण। "Optional" नाम वाले सेक्शन को सीमित कॉन्टेक्स्ट विंडो वाले टूल छोड़ सकते हैं।
यह AI असिस्टेंट को उन पेजों की छोटी, चुनी हुई सूची देती है जो आपकी साइट को सबसे अच्छे से समझाते हैं, और वह भी ऐसे मार्कडाउन में जिसे वे सीधे पढ़ सकें — बजाय इसके कि वे नेविगेशन से भरे HTML को क्रॉल करके अंदाज़ा लगाते रहें।
डोमेन के रूट पर, सादे टेक्स्ट के रूप में https://yoursite.com/llms.txt पर परोसी जाती है — वहीं जहाँ robots.txt रहती है।
किसी AI प्रदाता ने सार्वजनिक रूप से इसकी पुष्टि नहीं की है। llms.txt एक खुला प्रस्ताव है जिसे दस्तावेज़ी साइटों में असली अपनाव मिला है, और इसे प्रकाशित करना सस्ता है, लेकिन गारंटीशुदा AI ट्रैफ़िक के किसी भी दावे को शक की नज़र से देखें।
sitemap.xml सर्च इंजन के लिए हर URL सूचीबद्ध करती है, robots.txt बताती है कि क्या क्रॉल किया जा सकता है, और llms.txt उन गिने-चुने पेजों को चुनती है जिन्हें पहले पढ़ा जाना चाहिए, ऐसे विवरणों के साथ जो क्रॉलर के लिए नहीं बल्कि मॉडल के लिए लिखे गए हैं।
यह एक साथी परिपाटी है, जो सूचीबद्ध पेजों की पूरी मार्कडाउन सामग्री को लिंक करने के बजाय एक बड़ी फ़ाइल में शामिल कर देती है। यह टूल इंडेक्स फ़ाइल यानी llms.txt बनाता है।
नहीं। मार्कडाउन आपके डिवाइस पर JavaScript से बनता है, और डाउनलोड भी स्थानीय रूप से तैयार होता है।
Vai.la किसी भी URL को क्लिक आंकड़ों, QR Code और आपके अपने बायोलिंक के साथ एक शॉर्ट लिंक में बदल देता है।
टूल्स का इस्तेमाल कैसे होता है या उनके परिणामों के आधार पर लिए गए निर्णयों के लिए Vai.la ज़िम्मेदार नहीं है।