Использование файла robots.txt очень полезно для предотвращения индексации различных областей вашего сайта, в целях закрыть их веб-кравлеров. Приведенный ниже пример запрещает доступ веб-кравлеров к нескольким каталогам в корневой части папки public_html.…