Kitengeneza Robots.txt
dhibiti kile crawler zinachopakua
Tengeneza faili la robots.txt bila kukariri sintaksia: anza na mpangilio tayari, ongeza folda ambazo crawler hazipaswi kuingia, orodhesha sitemap yako na uamue la kufanya kuhusu crawler za AI.
- Bure
- Bila kujisajili
- Mipangilio tayari ya kuanzia
- Mistari ya sitemap
- Kuzuia crawler za AI kwa hiari
Anza na
Hufanya kazi kikamilifu kwenye kivinjari chako — hakuna unachoweka kinachotumwa kwetu.
Jinsi inavyofanya kazi
Jinsi ya kutumia Kitengeneza Robots.txt
-
Chagua mahali pa kuanzia
Ruhusu kila kitu, zuia kila kitu, au anza na usanidi wa kawaida wa tovuti.
-
Ongeza sheria zako
Orodhesha njia za kuweka Disallow, vighairi vya kuruhusu kwa Allow, na URL ya sitemap yako.
-
Pakia faili
Pakua robots.txt na uiweke kwenye mzizi wa kikoa chako, k.m. example.com/robots.txt.
robots.txt huwekwa wapi?
Kwenye mzizi wa host inayohusika: https://example.com/robots.txt. Kila kikoa kidogo kinahitaji faili lake, na crawler hupuuza faili za robots.txt zilizo kwenye folda ndogo.
Je, Disallow huzuia ukurasa usionekane kwenye Google?
Hapana. Disallow huzuia upitiaji, si uorodheshaji: URL iliyozuiwa bado inaweza kuonekana kwenye matokeo ikiwa tovuti nyingine zinaiunganisha. Ili ukurasa usionekane kwenye utafutaji, ruhusu upitiaji na uongeze lebo ya robots meta ya noindex.
Je, robots.txt inaweza kuzuia crawler za AI?
Kampuni nyingi za AI husema crawler zao hutii robots.txt, hivyo unaweza kuweka Disallow kwa user agent kama GPTBot, ClaudeBot, CCBot, Google-Extended na PerplexityBot. Ni ombi, si utekelezaji wa lazima: crawler zinazopuuza faili hili hazizuiwi nalo.
Zana zaidi za bure
Zana nyingine unazoweza kuhitaji
Kishiriki kwa kiungo kifupi
Weka kiungo kifupi cha Letlink kwenye ukurasa uliokagua hivi punde na uone nani anakibofya, wanatoka wapi na wanatumia kifaa gani.
Ilisasishwa mwisho na timu ya Letlink.