Правильная настройка robots.txt
- Отдельные user-agent для основых поисковых систем
- Отдельные user-agent для роботов обрабатывающих картинки
- Отдельные user-agent для рекламных роботов
- Закрываем служебные страницы, дубли, поиск, теги, пагинацию
- Закрываем ненужные страницы "о сайте", "рекламодателям"
Пример правильного robots.txt
User-agent: Yandex
Disallow: /admin
Allow: /images/
Sitemap: sitemap.xml
Host: ifriends.ru
User-agent: Googlebot
Disallow: /admin
Allow: /images/
Sitemap: sitemap.xml