https://masterproseo.ru/optimizaciya/zapret-indeksacii-robots
Robots.txt и запрет индексации всего сайта