robots.txt र क्रलर नीति
pasal.biz ले नेपाली उत्पादन पृष्ठहरू अनुक्रमणिका गर्न क्रलर (PasalBot) चलाउँछ। यो पृष्ठले हामी कुन संकेतहरू मान्छौं र प्रत्येकले तपाईंको लिस्टिङमा के असर गर्छ ठ्याक्कै दस्तावेज गर्छ।
अद्यावधिक: २०२६-०५-२२ · English
हामीले पढ्ने दुई संकेत
हामी बाँकी वेबले पहिलेदेखि प्रयोग गर्ने दुई मानक robots-नियन्त्रण मेकानिजम मान्छौं, ताकि तपाईंले pasal-विशिष्ट केही सिक्नुपर्दैन।
robots.txt—yourshop.com.np/robots.txtमा, सबै क्रलरमा लागू हुने (वाUser-agent: PasalBotभनेर हाम्रोमा मात्र) साइट-स्तरीय नियम।<meta name="robots">— व्यक्तिगत पृष्ठको<head>मा, त्यो URL को लागि साइट-स्तरीय नियमलाई ओभरराइड गर्ने प्रति-पृष्ठ निर्देशन।
प्रत्येक संकेतले pasal.biz मा के गर्छ
| निर्देशन | कहाँ | pasal.biz मा प्रभाव |
|---|---|---|
Disallow: / (PasalBot को लागि) |
robots.txt | अर्को पासमा हामी क्रल गर्न छाड्छौं। पुनः समन्वयले रिफ्रेस गर्न खोज्दा ब्लक हुने भएकाले अवस्थित लिस्टिङ बिस्तारै मेटिन्छन्। |
Disallow: /some-path/ |
robots.txt | त्यो पाथ मुनिको URL कहिल्यै ल्याउँदैनौं। उत्पादन पृष्ठ अनुमति दिँदै /admin/ वा /cart/ लुकाउन उपयोगी। |
Crawl-delay: N |
robots.txt | तपाईंको सर्भरमा अनुरोधहरूबीच कम्तीमा N सेकेन्ड पर्खन्छौं। बैरी robots.txt ले रन सधैंका लागि नथेग्नियोस् भनेर हाम्रोतर्फबाट ३० सेकेन्डमा क्याप। |
noindex |
meta robots | त्यो विशेष उत्पादन पृष्ठ छोडिन्छ — हाम्रो अनुक्रमणिकामा थपिँदैन। meta ट्याग पढ्न ल्याएका हौं तर लिस्टिङ सिर्जना हुँदैन। |
none |
meta robots | noindex, nofollow को छोटो रूप। हाम्रोलागि noindex कै प्रभाव। |
noarchive / nocache |
meta robots | लिस्टिङ (शीर्षक, फोटो, मूल्य, लिङ्क) त सिर्जना हुन्छ तर उत्पादनको विवरण भाग भण्डारण गर्दैनौं। ग्राहकले कार्ड देख्छन् र तपाईंको साइटमा फर्किन्छन्; pasal.biz मा कुनै विवरण स्निपेट देखिँदैन। |
nosnippet |
meta robots | pasal.biz मा noarchive कै प्रभाव — विवरण भाग दबाइन्छ। |
googlebot meta नाम पनि पढिन्छ, त्यसैले गुगललाई <meta name="googlebot"> ले नियन्त्रण गर्दै हुनुहुन्छ भने PasalBot लाई पनि उही निर्देशन लाग्छ। दुवै हुँदा <meta name="robots"> लाई प्राथमिकता दिइन्छ।
रेसिपी
PasalBot लाई पूर्ण रूपमा ब्लक गर्नुहोस्
User-agent: PasalBot
Disallow: /
अनुक्रमणिकामा रहनुहोस् तर क्यास गरिएको स्निपेट दबाउनुहोस्
प्रत्येक उत्पादन पृष्ठको <head> मा थप्नुहोस्:
<meta name="robots" content="noarchive">
लिस्टिङ कार्ड pasal.biz मा देखिन्छ; विवरण भाग भण्डारण हुँदैन।
एक विशेष उत्पादन pasal.biz बाट लुकाउनुहोस्
<meta name="robots" content="noindex">
ब्लक नगरी हामीलाई सुस्त बनाउनुहोस्
User-agent: PasalBot
Crawl-delay: 10
हामीले अहिले नपढ्ने कुराहरू
पारदर्शिताका लागि — मानकमा छन् तर हाम्रो v1 रिडरमा छैनन्:
X-Robots-TagHTTP प्रतिक्रिया हेडर। भविष्यका रिलिजमा सम्मान गर्ने योजना; तत्काल त्यही निर्देशन<meta name="robots">ट्यागमा राख्नुहोस्।- robots.txt मा वाइल्डकार्ड (
*) र end-anchor ($) ढाँचा। वाइल्डकार्ड नियम भेटियो भने पार्सर अपग्रेड नभएसम्म हामी बढी ल्याउँछौं — कम कहिल्यै ल्याउँदैनौं। max-snippet,max-image-previewजस्ता मात्रात्मक निर्देशन। no-op का रूपमा लिइन्छ; लागू गरेजस्तो दाबी गर्दैनौं।
माथिका निर्देशनहरूले नसमेटेको केहीका लागि [email protected] मा इमेल गर्नुहोस्।
हटाउने अनुरोध
तत्कालै लिस्टिङ हटाउनुपर्ने आवश्यकता छ र robots.txt वा meta ट्याग सम्पादन गर्ने विकल्प छैन भने टेकडाउन अनुरोध पृष्ठ हेर्नुहोस्। अर्को क्रल पास नकुरी हामी टेकडाउन इमेलमा सिधै कार्य गर्छौं।