- Отдельные user-agent для основых поисковых систем
- Отдельные user-agent для роботов обрабатывающих картинки
- Отдельные user-agent для рекламных роботов
- Закрываем служебные страницы, дубли, поиск, теги, пагинацию
- Закрываем ненужные страницы "о сайте", "рекламодателям"
Пример правильного robots.txt
User-agent: Yandex
Disallow: /admin
Allow: /images/
Sitemap: sitemap.xml
Host: ifriends.ru
User-agent: Googlebot
Disallow: /admin
Allow: /images/
Sitemap: sitemap.xml
User-agent: *
Disallow: /admin
Allow: /images/
Sitemap: sitemap.xml
User-agent: Googlebot-Image
Allow: /images/
User-agent: YandexImages
Allow: /images/
User-agent: Mediapartners-Google
Disallow:
User-Agent: YaDirectBot
Disallow: