Kitengeneza Robots.txt
dhibiti kile crawler zinachopakua

Tengeneza faili la robots.txt bila kukariri sintaksia: anza na mpangilio tayari, ongeza folda ambazo crawler hazipaswi kuingia, orodhesha sitemap yako na uamue la kufanya kuhusu crawler za AI.

  • Bure
  • Bila kujisajili
  • Mipangilio tayari ya kuanzia
  • Mistari ya sitemap
  • Kuzuia crawler za AI kwa hiari

Anza na

Hufanya kazi kikamilifu kwenye kivinjari chako — hakuna unachoweka kinachotumwa kwetu.

Jinsi inavyofanya kazi

Jinsi ya kutumia Kitengeneza Robots.txt

  1. Chagua mahali pa kuanzia

    Ruhusu kila kitu, zuia kila kitu, au anza na usanidi wa kawaida wa tovuti.

  2. Ongeza sheria zako

    Orodhesha njia za kuweka Disallow, vighairi vya kuruhusu kwa Allow, na URL ya sitemap yako.

  3. Pakia faili

    Pakua robots.txt na uiweke kwenye mzizi wa kikoa chako, k.m. example.com/robots.txt.

FAQ

Kitengeneza Robots.txt: maswali na majibu

Kitu kingine? Tuulize.

robots.txt huwekwa wapi?

Kwenye mzizi wa host inayohusika: https://example.com/robots.txt. Kila kikoa kidogo kinahitaji faili lake, na crawler hupuuza faili za robots.txt zilizo kwenye folda ndogo.

Je, Disallow huzuia ukurasa usionekane kwenye Google?

Hapana. Disallow huzuia upitiaji, si uorodheshaji: URL iliyozuiwa bado inaweza kuonekana kwenye matokeo ikiwa tovuti nyingine zinaiunganisha. Ili ukurasa usionekane kwenye utafutaji, ruhusu upitiaji na uongeze lebo ya robots meta ya noindex.

Je, robots.txt inaweza kuzuia crawler za AI?

Kampuni nyingi za AI husema crawler zao hutii robots.txt, hivyo unaweza kuweka Disallow kwa user agent kama GPTBot, ClaudeBot, CCBot, Google-Extended na PerplexityBot. Ni ombi, si utekelezaji wa lazima: crawler zinazopuuza faili hili hazizuiwi nalo.

Kishiriki kwa kiungo kifupi

Weka kiungo kifupi cha Letlink kwenye ukurasa uliokagua hivi punde na uone nani anakibofya, wanatoka wapi na wanatumia kifaa gani.

Ilisasishwa mwisho na timu ya Letlink.