Robots.txt 1.1

Robots.txt - полезная программа, благодаря которой вы сможете производить редактирование стандартных файлов, которые отвечают за управление пауками поисковиков. Скачать программу для работы с Robots.txt файлами бесплатно можно по ссылке ниже для Windows.

Программа поможет вам контролировать просмотр сайта поисковыми роботами, а также добавляет в базы данных поисковых систем. Вы сможете не только просматривать но и контролировать визиты пауков поисковых систем и пауков индексирующих ваш сайт. Сам интерфейс программы достаточно простой и не требует особых знаний.