Mis on robots.txt?

robots.txt on kokkulepe, mitte lukk

robots.txt on tekstifail veebisaidi juurest, tavaliselt aadressil /robots.txt, mis ütleb automatiseeritud kraaleritele, milliseid aadresse nad lugeda tohivad ja kuhu nad ei tohi minna. Reeglistik on kirjas dokumentides RFC 9309. Fail on avalik: igaüks saab selle avada ja lugeda.

Just avalikkus määrab, mida robots.txt saab ja ei saa teha. Protokoll ise ütleb, et need reeglid ei ole ligipääsu autoriseerimine ja et robots.txt ei asenda turvameetmeid: sinna kirjutatud aadressid on avalikult leitavad, seega ligipääsu tuleb piirata autentimisega.

Kuidas fail välja näeb

User-agent: *
Disallow: /admin/
Disallow: /otsing?

Sitemap: https://arletop.com/sitemap.xml

Fail koosneb plokkidest: agent, kellele reeglid kehtivad, ja reeglid ise. Disallow keelab, Allow lubab erandi keelatud teel. Viimane rida osutab sitemapile. RFC 9309 lubab kraaleril seda kirjet tõlgendada (näitena „Sitemaps“), ja sitemaps.org soovitab seda. Sama sait avaldab faili aadressil /robots.txt ja sitemapi aadressil /sitemap.xml.

Mida robots.txt ei tee

Kõige levinum viga on panna Disallow: / arenduskeskkonda ja unustada see tootmisse. Teine levinud viga on keelata kraaleril juurdepääs lehele, millel on noindex: siis ei näe kraaler reeglit ja võib aadressi ikkagi indekseerida.

AI-kraalerid ja robots.txt

Mitmed AI-kraalerid järgivad sama faili, näiteks OpenAI GPTBot ja OAI-SearchBot (OpenAI bottide dokumentatsioon); iga agendi reeglid tuleb kontrollida tema dokumentatsioonist. Neid saab juhtida nimepidi: iga agent, kes end robots.txt-is tutvustab, saab oma ploki. Kui soovite, et AI-vastused teid ei tsiteeriks, on see üks võimalus; kui soovite vastupidist, ei tohi fail blokeerida seda, kes teid lugeda tahab.

See on äriotsus, mitte tehniline vaikeväärtus. Kui AI-otsingu vastus ei saa sisu lugeda, ei ole tal midagi tsiteerida. Teemat laiendab artikkel AI otsingu nähtavus.

Näide: kaks reeglit, mis päriselt midagi muudavad

E-pood, kus otsingutulemused on lõputud aadressid nagu /otsing?q=, laseb robotil need läbi lugeda. Tulemuseks on tuhandeid sisuliselt tühje lehti, mis kulutavad kraaleri eelarvet. Faili rida Disallow: /otsing? lõpetab selle.

Teine näide: avalikult kättesaadav testimiskeskkond, mis dubleerib tootmise sisu. Kui sellel puudub noindex, võib dubleeritud sisu indekseeruda. Parooliga kaitstud keskkonnas kraaler sisu ega reegleid ei näe. Mõlemal juhul on küsimus selles, mida kraaler päriselt näeb, mitte selles, mida failis kirjas on.

Töö ja kulu

Faili kirjutamine võtab hinnanguliselt veerand tundi, kui tead, millised teed on tühjad või privaatsed. Kulu on hilisemas kontrollis: kui sait muutub, peab fail muutuma ka. Seetõttu tasub robots.txt hoida versioonihalduses koos saidi koodiga, mitte administraatori paneelis käsitsi kirjutatud tekstina, mida keegi ei näe.

Sitemapi ja robots.txt koosmõju kontrollimiseks on kõige kiirem tee avada mõlemad aadressid brauseris ja vaadata, kas reeglid vastavad sellele, mida sa arvad olevat. Teine kiire kontroll on otsida saidi aadressi Google'is ja vaadata, kas tulemuses on kirjeldus või ainult pealkiri: kirjelduse puudumisel on mitu võimalikku põhjust, sh kraaleri ligipääs; kontrolli seda Search Console'i URL-kontrolliga. Kui reeglid vastavad sinu ootustele, on järgmine samm tehniline kontrollnimekiri artiklis SEO kontrollnimekiri. Kogu saidi tehniline pool on kokku võetud lehel kodulehe tegemine.