robots.txt: ghid practic pentru SEO

Fișierul robots.txt este un document text simplu, plasat în rădăcina site-ului, prin care le spui motoarelor de căutare ce zone pot parcurge și ce zone ar trebui să evite. Este printre primele fișiere pe care un crawler le verifică atunci când ajunge pe domeniul tău, așa că un robots.txt configurat greșit poate afecta serios vizibilitatea în căutări.

Vestea bună este că sintaxa de bază se învață repede. În acest ghid vezi la ce folosește fișierul, cum se scriu regulile Allow și Disallow, ce greșeli blochează accidental indexarea și cum se raportează robots.txt la eticheta noindex.

Ce este și la ce folosește robots.txt

Robots.txt face parte din „protocolul de excludere a roboților”, un standard prin care site-urile comunică preferințele de parcurgere. Fișierul nu obligă motoarele să respecte regulile, dar crawlerele importante, precum cel al Google, le urmează. Rolul lui este să orienteze bugetul de parcurgere spre paginile care contează, nu să ascundă informații sensibile — pentru asta există alte mecanisme, precum autentificarea.

Pentru site-urile mari, fișierul ajută la gestionarea bugetului de parcurgere: dacă motorul nu pierde timp pe secțiuni fără valoare pentru căutare (filtre nesfârșite, pagini de coș, rezultate interne de căutare), poate ajunge mai repede la conținutul important. Pe site-urile mici, efectul este mai puțin vizibil, dar regulile corecte rămân utile.

Fișierul se accesează de obicei la adresa domeniu.ro/robots.txt și trebuie să fie public. Configurarea lui corectă este una dintre verificările de bază în orice proiect de SEO tehnic.

Sintaxa de bază: Allow și Disallow

Regulile se grupează pe „user-agent”, adică pe robotul căruia i se adresează. Cele mai folosite directive sunt:

User-agent — indică robotul vizat; asteriscul (*) înseamnă „toate crawlerele”.
Disallow — interzice parcurgerea unei căi; de exemplu, Disallow: /admin/ blochează dosarul de administrare.
Allow — permite explicit o cale, chiar și în interiorul unei zone blocate.
Sitemap — indică adresa sitemap-ului XML, ca motoarele să îl găsească ușor.

Un exemplu simplu ar bloca zona de administrare pentru toate crawlerele, dar ar permite restul site-ului. Regulile se citesc de sus în jos, iar o cale mai specifică are prioritate față de una generală.

Poți folosi și caractere speciale: asteriscul (*) ține locul oricărei secvențe, iar semnul dolar ($) marchează sfârșitul unei adrese. De exemplu, o regulă care se termină cu .pdf$ vizează doar fișierele PDF. Folosește aceste tipare cu grijă, pentru că o singură linie greșită poate bloca mult mai mult decât intenționai.

Greșeli care blochează indexarea

Cea mai gravă eroare este o linie de tip Disallow: / care, lăsată din greșeală după o mutare de pe mediul de test, blochează întregul site. Alte capcane frecvente:

Blocarea folderelor cu resurse (CSS, JavaScript) de care Google are nevoie ca să afișeze corect pagina.
Confuzia între a bloca parcurgerea și a împiedica indexarea — sunt lucruri diferite.
Reguli contradictorii sau căi scrise greșit, care nu au efectul dorit.
Ștergerea completă a fișierului, presupunând că „nu strică nimic” — uneori chiar contează, dacă alte instrumente se bazează pe el.

După orice modificare, verifică efectul real asupra paginilor importante, nu doar textul regulii. O linie poate părea corectă și, totuși, să prindă adrese pe care nu voiai să le atingi.

Relația dintre robots.txt și noindex

Aici apare o neînțelegere des întâlnită. Dacă blochezi o pagină prin Disallow, crawlerul nu o mai parcurge — deci nu poate „citi” o eventuală etichetă noindex de pe ea. Paradoxal, o pagină blocată în robots.txt poate ajunge totuși în rezultate, fără descriere, dacă are linkuri externe care trimit spre ea.

Concluzia practică: dacă vrei ca o pagină să nu apară în căutări, folosește eticheta noindex și lasă crawlerul să o acceseze. Robots.txt este pentru controlul parcurgerii, nu pentru scoaterea paginilor din index.

Bune practici pentru robots.txt

Păstrează fișierul simplu și comentează regulile importante.
Testează-l înainte de publicare, ideal cu instrumentele din Google Search Console.
Nu bloca resursele necesare afișării corecte a paginilor.
Include adresa sitemap-ului pentru o descoperire mai rapidă.
Verifică fișierul după fiecare migrare sau relansare a site-ului.

Un robots.txt corect îți protejează vizibilitatea și ajută motoarele să se concentreze pe paginile valoroase. Dacă nu ești sigur că al tău este configurat bine, un audit SEO îți arată exact ce reguli ai și ce riști să blochezi. Pentru o verificare aplicată pe site-ul tău, scrie-ne și analizăm împreună situația.