Файлът robots.txt, съхраняван в корена на уебсайта Ви, ще съобщи на уеб роботите като паяци на търсещите машини кои директории и файлове им е позволено да обхождат. Лесно е да използвате файл robots.txt, но има някои неща, които трябва да запомните:
- Червените уеб роботи за шапки ще игнорират файла ви robots.txt. Най-често срещаните видове са ботове за зловреден софтуер и роботи, които търсят имейл адреси за прибиране на реколтата.
- Някои нови програмисти ще напишат роботи, които игнорират файла robots.txt. Това обикновено се прави по погрешка.
- Всеки може да види файла ви robots.txt. Те винаги се наричат robots.txt и винаги се съхраняват в основата на уебсайта.
- Накрая, ако някой се свърже с файл или директория, която е изключена от файла ви robots.txt от страница, която не е изключена от техния файл robots.txt, търсачките може да го намерят така или иначе.
Не използвайте файловете на robots.txt, за да скриете нещо важно. Вместо това трябва да поставите важна информация зад сигурни пароли или да я оставите изцяло в мрежата.
Как да използвате тези примерни файлове
Копирайте текста от примера, който е най-близо до това, което искате да направите, и го поставете във файла robots.txt. Променете имената на роботите, директорията и файловете, за да съответства на предпочитаната от вас конфигурация.
Два основни файла Robots.txt
Потребителски агент: *
Забрана: /
Този файл казва, че всеки робот (потребител-агент: *), който има достъп до него, трябва да игнорира всяка страница в сайта (Disallow: /).
Потребителски агент: *
Забрани:
Този файл казва, че всеки робот (потребител-агент: *), който има достъп до него, има право да преглежда всяка страница в сайта (Disallow:).
Можете също така да направите това, като оставите файла robots.txt празен или нямате такъв на сайта си изобщо.
Защитете конкретни директории от роботи
Потребителски агент: *
Забранете: / cgi-bin /
Забрана: / temp /
Този файл казва, че всеки робот (потребител-агент: *), който има достъп до него, трябва да игнорира директории / cgi-bin / и / temp / (Disallow: / cgi-bin / Disallow: / temp).
Защитете специфични страници от роботи
Потребителски агент: *
Забранете: /jenns-stuff.htm
Забрана: /private.php
Този файл казва, че всеки робот (User-agent: *), който го има, трябва да пренебрегва файловете /jenns-stuff.htm и /private.php (Disallow: /jenns-stuff.htm Disallow: /private.php).
Предотвратете достъпа на конкретен робот до вашия сайт
Потребителски агент: Lycos / xx
Забрана: /
Този файл казва, че ботът Lycos (Потребител-агент: Lycos / xx) няма достъп до никъде в сайта (Disallow: /).
Позволете само един конкретен достъп за роботи
Потребителски агент: *
Забрана: /
Потребителски агент: Googlebot
Забрани:
Този файл първо забранява всички роботи, както направихме по-горе, след което изрично позволява на Googlebot (Потребителски агент: Googlebot) да има достъп до всичко (Disallow:).
Комбинирайте няколко линии, за да получите точно изключенията, които искате
Въпреки че е по-добре да използвате много включителна линия на потребителски агент, като User-agent: *, можете да сте толкова конкретни, колкото искате. Не забравяйте, че роботите четат файла в ред. Така че ако първите редове казват, че всички роботи са блокирани от всичко и след това във файла се казва, че всички роботи имат достъп до всичко, роботите ще имат достъп до всичко.
Ако не сте сигурни дали сте написали правилно файла robots.txt, можете да използвате инструментите за уеб администратори на Google, за да проверите файла robots.txt или да напишете нов.