robots.txt правильная настройка

  1. Отдельные user-agent для основых поисковых систем
  2. Отдельные user-agent для роботов обрабатывающих картинки
  3. Отдельные user-agent для рекламных роботов
  4. Закрываем служебные страницы, дубли, поиск, теги, пагинацию
  5. Закрываем ненужные страницы "о сайте", "рекламодателям"

Пример правильного robots.txt

User-agent: Yandex
Disallow: /admin
Allow: /images/
Sitemap: sitemap.xml
Host: ifriends.ru

User-agent: Googlebot
Disallow: /admin
Allow: /images/
Sitemap: sitemap.xml

User-agent: *
Disallow: /admin
Allow: /images/
Sitemap: sitemap.xml

User-agent: Googlebot-Image
Allow: /images/

User-agent: YandexImages
Allow: /images/

User-agent: Mediapartners-Google
Disallow:

User-Agent: YaDirectBot
Disallow: