Всем привет!
Мы решили запустить телеграмм канал.
Будем рассказывать интересные вещи про SEO, Яндекс Директ, создание сайтов и другие интересные вещи, связанные с трафиком в интернете.

Какие админки лучше всего рабатают, почему сайты могут стоить от 15 000 рублей и 100 миллионов!?)
Как продвигать сайт бесплатно?!
Что нужно делать для привлечения трафика и многое многое другое!

Для чего нужен robots.txt?

По сути robots.txt - это текстовый файл, который управляет доступом к содержимому сайтов.

Создается такой файл с помощь блокнота и редактируется как текстовый документ. Файл располагается в корневой папке сайта.

Robots.txt нужен для того, чтобы все роботы, которые приходят на сайт, понимали куда можно заходить, а куда нет.

Данный файл используется для закрытия дублей от индексации, служебных страниц, разделов, неуникальных страниц сайта.

Также в robots.txt можно полностью закрыть сайт от индекса следующим образом:
User-agent: *
Disallow: /

User-agent - Директива для указания имени роботов, для которых предназначена секция.

В России чаще всего используется три User-agent
User-Agent: Yandex - для робота Яндекса
User-Agent: Googlebot - для робота Google
User-Agent: * - для всех роботов

Disallow и Allow Закрытие и открытие
Пример:
Disallow: /
Allow: /catalog/

Карта сайта и указание ее в robots.txt
Раньше было обязательным критерием указывать sitemap.xml (карта сайта) в robots.txt
На данный момент данный фактор стал необязательным, так как задать файл sitemap стало возможным напрямую через вебмастер.
Пример:
Sitemap: http://site.ru/sitemap.xml