Парсер файла robots.txt, проверка url на запрет.
Парсер файла robots.txt, проверка url на запрет.
Правильное использование noindex, nofollow и robots.txt
Настраиваем robots.txt для магазина на базе ПО OpenCart
Ищем в файле file.txt слово привет
Jquery - эластичное txt поле
Проверка вхождения в robots.txt на php
Как правильно использовать файл robots.txt для запрета индексации фаилов и папок?
Парсер файла robots.txt, проверка url на запрет