💬 Что такое robots.txt и sitemap — и зачем они нужны вашему сайту

Если вы хоть раз работали с SEO-специалистами, наверняка слышали загадочные термины: «нужно проверить robots.txt» или «надо обновить sitemap». Для клиента это звучит как что-то из тёмной магии. На деле всё гораздо проще: это всего лишь два служебных файла, которые помогают поисковым системам понимать ваш сайт.

📌 Robots.txt

Это как инструкция для поисковых роботов. В файле robots.txt мы указываем:

какие страницы можно индексировать,

какие — лучше не показывать в поиске (например, админка, корзина или дубликаты).

Представьте себе охранника на входе: он говорит, куда можно пройти, а куда вход закрыт. Если робот получит чёткие указания, он не будет тратить время на «мусорные» разделы и сосредоточится на важных страницах.

📌 Sitemap.xml

А вот sitemap — это, наоборот, карта сокровищ для поисковиков. В ней перечислены все страницы сайта, которые стоит индексировать. По сути, это путеводитель: «Вот мой сайт, вот все его разделы, вот приоритетные страницы».

Карта помогает поисковым системам быстрее находить новые материалы и понимать структуру ресурса. Особенно это критично для крупных сайтов с сотнями страниц: без карты часть контента может просто потеряться.

⚡️ Почему это важно

Robots.txt и sitemap работают в паре: первый ограничивает ненужное, второй помогает быстрее находить нужное. При правильной настройке:

сайт индексируется быстрее,

меньше риск, что робот застрянет в дублях или ненужных страницах,

позиции растут стабильнее.

📌 Итог: даже если вы не технический специалист, важно понимать простую логику — robots.txt управляет доступом, sitemap подсказывает направление.

👉 А мы всегда начинаем работу с клиента именно с проверки этих файлов. Хотите, могу разобрать их для вашего сайта и показать, где теряется индексация.

Сегодня первые день после отпуска, и хотя настроение боевое и рабочее, поделиться хочу сторонней темой.
Мы с женой и сыном (4г) летели в Турцию, в Анталью Аэрофлотом. И в нашем ряду летела тоже семья из трёх человек - мама, папа, сын, только сыну было лет 9. Мама с папой там планировали все 5 часов полёта выпивать и даже для этого какие-то колбочки специальные принесли, чтобы никто не догадался, но когда более полбутылки было уже позади, они стали гораздо меньше прятаться и вообще более вызывающе себя вести. Стюард у них бутылку отобрал с обещанием вернуть, долго объяснял, что они нарушили правила полёта. Пьянчуги побухтели-побухтели и успокоились.

Затем пришло время разноса напитков, и там в ротации было вино, всем желающим наливали, вот только пока до наших соседей дошли, вино уже всё выхлестали трезвые пассажиры, и наши герои очень сильно стали бузить и на полном серьёзе требовать вернуть им их бутылку, чтобы продолжить трапезу. В результате, ближе к концу полёта к ним подошли целой командой бортпроводников, выдали им претензию/предупреждение и засняли на камеру их поведение. Мамаша очень сильно расстроилась после этого и пересела к окну, чтобы, как я понял, плакать и злиться. Перед заходом на посадку недопитый вискарь им вернули, и когда самолёт уже садился, папаша прямо из горла стал его пить. Потом он сломал какую-то палочку для перемешивания напитков у сына (её тоже при раздаче еды выдали), он этой палочкой постоянно стучал зачем-то по сидению впереди сидящего человека, забава у него такая была. Мальчик неожиданно стал плакать и ругать отца. Мама предложила им с отцом поменяться местами, то есть, пересесть, аккурат в тот момент, когда до земли оставалось примерно метров 50, то есть, все уже собирались начинать хлопать. Тут уже бортпроводники стали на них просто орать.

При выходе из самолёта я сказал жене, что больше экономом летать не буду. За сутки до обратного вылета мы сделали повышение класса и долетели обратно в полном спокойствии и комфорте. Всем рекомендую.

Как турки со мной КЭВ проводили...
Поскольку много брендов от нас ушли, а в Турции остались, за время отпуска нужно было обязательно съездить в Анталья Молл на шопинг. Гид в отеле сказал, что нам полагается один бесплатный трансфер в молл, нужно только время согласовать. Когда мы были готовы и согласовали время, выяснилось, что трансфер действительно бесплатный в оба конца, но предоставляет его магазин верхней одежды, который находится поблизости. То есть, как мне сказали, мы вас привозим в магазин, полчаса там гуляете, потом вас отвозим в Анталья молл и обратно в отель.

В этом магазине, в котором нужно было просто погулять, мы застряли почти на 3 часа, таких обученных и целеустремлённых продавцов я не видел. Там уже и с сыном моим играли, гуляли и прикалывались, и даже жену, относившуюся ко всему этому с усмешкой и торопящуюся в Анталья молл, нашли чем заинтересовать.

Там прямо структура целая, весь диалог и каждый шаг продуман и отработан до мелочей. В конце этой структуры вас усаживают на диван, приносят чай/кофе/десерты/выпивку и начинают рассказывать, сколько это всё стоит, а тебе нужно торговаться. Жена доторговалась до того, что продавец сказал, что ему будет выгоднее, если мы у него вообще ничего не купим, чем если купим по тем ценам, по которым хотим.

В итоге, в Анталья молл мы минут 40 от силы пробыли, ну у нас же планы были ещё какие-то (на вечер, ну и вообще на жизнь), успели зайти только в LC Waikiki и потратить там 100 $, а верхней одежды у Селима купили на 3000$. Купил жене шубу...

Это означает, что если вы чётко понимаете, что такое ваш КЭВ и постоянно работаете с его конверсией, то результат - неизбежен.

Уже месяц прошёл с момента выхода на моём канале самого лучшего, на мой взгляд, ролика. Мне удалось прямо большую и качественную работу проделать и выдать на популярную в Youtube тему контент, аналогу которому на просторах интернета нет. Однако алгоритмы так и не дали там много просмотров. На этой неделе я продолжаю выпуск роликов на тему инфобизнеса. А ролик с Семёном Бойко - если не смотрели, обязательно смотрите, там интересно и по делу.

На всякий случай, расскажу, как всё происходит.

✅Нам оставляют на сайте заявку или звонят;
✅Мы созваниваемся, уточняем детали;
✅После этого сайт смотрит технический отдел и выдаёт вердикт, можем ли мы работать с сайтом или нужен новый;
✅Если можем работать, то согласовываем список ключевых запросов для SEO, составляем его вместе с клиентом, потому что мы не можем в каждой сфере разбираться так же грамотно, как обратившийся к нам клиент, как правило составляем список мы, потом через обратную связь с клиентом утверждаем окончательный список. Стоимость не меняется в зависимости от количества ключей, это важно;
✅По согласованному списку ключей я пишу прогноз, какой % слов будет в топе по месяцам, начиная с третьего месяца сотрудничества, то есть, рост будет начиная с третьего месяца. В случае, если мы не попадаем в прогноз, на нас накладываются финансовые санкции - либо скидка, либо возврат средств.

Оставляйте заявку на нашем сайте или пишите мне в личку @ddementiev

Если ваша задача выполнима, мы с ней справимся 👍

Место SEO в современном маркетинге

Каналы дорожают, выдача обрастает агрегаторами и сервисами, внимание пользователя дороже, чем когда-либо. На этом фоне SEO остаётся тем редким инструментом, который работает на дистанции и не сгорает вместе с бюджетом.

Почему мы держим SEO как «локомотив»:

Экономика. Органика даёт стабильный поток без постоянных аукционов. После настройки структура и контент продолжают работать, даже когда вы ставите паузу в рекламе.

Качество трафика. Поисковый спрос — «намерение купить». Это не охват «вокруг», а люди, которые уже ищут товар/услугу.

Эффект накопления. Каждый месяц усиливает предыдущий: растёт семантика, авторитет домена, поведенческие сигналы.

Устойчивость. Изменились правила площадок/закрылись источники — сайт остаётся вашей собственностью и точкой сборки лидов.

Как мы смотрим на SEO сегодня в России:

Строим стратегию от спроса: карта запросов → структура → приоритеты по выручке, а не «позициям ради позиций».

Делаем сайт удобным и быстрым: Core Web Vitals, мобильная версия, чистая архитектура.

Закрываем воронку контентом: коммерческие страницы + блог под информационный спрос (сравнения, «как выбрать», чек-листы).

Меряем заявки и продажи, а не только трафик: сквозная аналитика, цели, атрибуция.

SEO — самый выгодный по соотношению цена/результат канал в долгую. Он не отменяет рекламу, а снижает её зависимость и делает маркетинг предсказуемым.

Всем привет! Решил затестить новый формат постов - буду рассказывать конкретные ситуации, с которыми мы сталкиваемся на работе. Ситуации каждый день возникают, ну и я такого формата не видел не у кого, обычно агентства просто призывают у них что-то купить и щеголяют экспертностью. В моих историях же будет реальная работа, реальная жизнь, которая наступает после оплаты...

Ситуация #1
С клиентом работаем давно и очень часто выясняем отношения по поводу правок на сайте, какие должны быть платными, потому что исходят от клиента, какие - бесплатные, потому что являются исправлением наших косяков, а какие - бесплатные из-за того, что являются частью SEO продвижения.

И вот до чего дошло. Клиент скидывает, что на сайте, вообще на другом, с которым мы давно не работаем, но пару лет назад мы его создавали, что-то не работает. Мы пишем предположение о том, в чём проблема и сколько денег будет стоить, чтобы устранить. Нам говорят, что нужно доказать, что проблема произошла не по нашей вине. Мы с сайтом не работаем, напоминаю. Я на ломанном русском объясняю программисту, что нужно не проблему решать, а только провести расследование, по какой причине проблема возникла. И тогда, возможно, нам за неё заплатят. Прогер через некоторое время отвечает, что с 99% вероятностью понимает, в чём проблема, но узнать это подлинно можно только решив её. Я говорю, нет, решать не надо. Он отвечает, что не может утверждать точно, что проблема в том, в чём он думает.

Что вот делать?

Прогер говорит, ну давай я исправлю всё, мы поймём, что проблему действительно идентифицировали, откатим сайт и клиенту озвучим, в чём проблема.

Прокатило. Так мы заработали 5 тысяч рублей.

Просматриваю статистику YouTube канала, очень интересные данные - ключевые запросы, по которым находили мое последнее видео.

Ситуация #2
Пришёл клиент на SEO, оплатил 3 месяца. Показали результат, сайт вырос, клиент стал платить помесячно. И тут выясняется, что сайт у него заражен вирусом. Может быть он и раньше был заражен, вообще вирусы бывают очень разные и работают по-разному, но в данном случае клиента просто бесило то, что ему хостинг постоянно шлёт предупреждения об опасности. Мы зашли на сервер, увидели, что там помимо того сайта, который мы продвигаем, есть ещё один, то есть, лечить тут что-либо бессмысленно и предложили перенести сайт на другой сервер. Это обычная практика, всегда так делается, потому что вирус как правило все сайты на серваке поражает.

Но в данном случае это не сработало. На новом хосте тоже стала возникать ошибка. И вот опять мы там копаемся и разбираемся, при том, что сеошники свою работу сделали, сайт вырос, гарантии выполнены, результат достигается в тех темпах, которые мы заявляли. Но это не интересует. Клиент злится, пишет претензии, негативит. В итоге, когда мы мягко попытались намекнуть на то, что мы вообще договор заключили о другом, что мы идём сейчас на встречу и фактически бесплатно программисты сейчас решают этот вопрос, это оказалось последней каплей, и у нас просто потребовали возврат средств по последней оплате. Ещё и с наездом, что это вообще мы сайт вирусом заразили.

Проблему мы, кстати, нашли, но клиента это уже не интересовало. Как и достигнутые позиции. В этой истории мы выдвинули сайт в топ, перенесли его на другой хостинг, выявили причину заражения вирусом за минус 79 тысяч рублей.

Вы лучшие!

Ситуация #3
Заключили с клиентом договор на SEO продвижение, получили предоплату за 3 месяца - 210 тыс. Сайт был довольно плох и к SEO был в существовавшем виде не готов, но у нас сама структура работы под это подстроена, потому мы и берём предоплату за 3 месяца, первые 2 месяца закладываем на доработки сайта, а уже с третьего месяца даём гарантии, то есть, в том документе, который человек подписывает и оплачивает изначально, у него уже прописан результат, который на конец третьего месяца будет достигнут.

После очень объёмной и тяжёлой работы сайт довольно быстро начал расти в топ, то есть, мы почти сразу перевыполнили показатели, заявленные на конец третьего месяца. Между тем, несмотря на то, что в нашем понимании мы - молодцы, клиент был крайне недоволен тем, что он не окупил вложения. Напоминаю, там видимость была нулевая, трафика не было, и сайт только начал расти. Да и никто ему не мог обещать сразу продажи, у меня менеджерам просто на законодательном уровне запрещено это делать.

Клиент начал ежедневно писать огромные письма/сообщения, в которых в красках описывал своё недовольство. Мне одно такое сообщение переслали, я не просто устал его читать, я вообще не знал, что в одно сообщение в вотсапе можно столько символов уместить. Кстати, наш менеджер, который с этим клиентом работал, сказал мне, что такие сообщения от него приходят регулярно, и он вынужден их в Chat GPT закидывать, чтобы получить некое краткое изложение сути, просто нет времени столько читать. Но к тому времени, когда до меня такое сообщение дошло, я уже сделал возврат средств за третий месяц, хотя, повторяю, гарантии были выполнены, но клиент подписал только 2 акта из 3, поэтому чтобы не нагнетать, я решил сделать возврат.

Но этого оказалось мало. Видимо, почувствовав, что к нему идут навстречу, клиент стал писать с утроенной энергией и "нет" он вообще не слышал. Он просто посчитал, что надо ему ещё 100 тысяч отправить и это будет справедливо. Потом слал досудебные претензии, гораздо менее объёмные и читаемые. Потом перестал и их писать.

Сосчитать, сколько рабочих часов ушло на общение с ним не представляется возможным

Ситуация #4
Около года с небольшим назад ко мне обратился товарищ, который продал своему клиенту сайт, но не смог его сдать и попросил довести до завершения, за деньги, конечно. Там прототип только был согласован. Это крайне редкий случай, когда мы берёмся за проект в качестве "доделывателей", но на тот момент мне это показалось нормальной идеей. В работу включились, клиент оказался непростым, но это нормально, человек просто очень трепетно относится к своему бизнесу и к сайту как к важной части этого бизнеса.

Претензии к нам в процессе были в основном связаны с контентом, клиенту не нравилось, что мы не разбираемся в том, как устроен его бизнес, как там продукция правильно между разделами распределяется, такие тонкости. Поскольку сам он (клиент) является собственником, он на связь выходил тяжело и подолгу приходилось часто ждать указаний, как там чего правильно распределить. Подчёркиваю, это всё - норма, так и происходит.

Этим летом мы сайт сдали, перенесли клиенту на хостинг, проект закрыли. Поскольку с нами у него договорных отношений никаких не было, с документами мы не возились. И вот пару недель назад, моему товарищу, который этот сайт изначально продавал, прилетает судебный иск на сумму даже большую, чем он за сайт забрал, с какими-то издержками ещё.

То есть человек, получивший сайт такой как ему нужно, принял работу, разместил её на боевом домене и требует все деньги назад + ещё штрафы. А поскольку он уже на хостинге клиента, мы уже особо не можем что-либо сделать.

Акцио "Бесплатный сайт".

Доброе воскресное ☀️

Напоминаю, как всё происходит.

✅Нам оставляют на сайте заявку или звонят;
✅Мы созваниваемся, уточняем детали;
✅После этого сайт смотрит технический отдел и выдаёт вердикт, можем ли мы работать с сайтом или нужен новый;
✅Если можем работать, то согласовываем список ключевых запросов для SEO, составляем его вместе с клиентом, потому что мы не можем в каждой сфере разбираться так же грамотно, как обратившийся к нам клиент, как правило составляем список мы, потом через обратную связь с клиентом утверждаем окончательный список. Стоимость не меняется в зависимости от количества ключей, это важно;
✅По согласованному списку ключей я пишу прогноз, какой % слов будет в топе по месяцам, начиная с третьего месяца сотрудничества, то есть, рост будет начиная с третьего месяца. В случае, если мы не попадаем в прогноз, на нас накладываются финансовые санкции - либо скидка, либо возврат средств.

Оставляйте заявку на нашем сайте или пишите мне в личку @ddementiev

Если ваша задача выполнима, мы с ней справимся 👍

Первая победа!
Друзья, у меня прекрасная новость! Нам удалось получить первые результаты по новой услуге - оптимизации сайта под нейросети. Наш клиент, компания Водопроект, стала выходить в результаты поиска в нейросетях по поверке счётчиков воды. На скриншотах показана выдача в Chat GPT и Яндекс.Алисе. На это ушло менее месяца. Если интересна такая услуга, и вы верите в то, что за нейросетями поисковое будущее, можете писать мне в личку 👍

Ситуация #5
Я уже пару раз здесь отчасти ныл, отчасти прикалывался по поводу того, что всё вокруг дороже становится, в том числе и в нашей сфере за особенно пару лет последних произошла масса изменений, в результате чего мы точно не можем сохранять старые цены и точно вынуждены их повышать просто чтобы выжить. Ну и шутки мои были связаны с тем, что нашим клиентам понятно, почему сливочное масло в 2023 году стоило 80 рублей, а сегодня стоит 219 (прикиньте?), а вот у нас что изменилось, им непонятно.

Я, кстати, индексирую каждому линейному сотруднику зарплату 2 раза в год, хотя бы это влияет на стоимость услуг. Иными словами, за те же самые деньги, что в 2021-22 годах получить в SEO те же самые результаты невозможно. Либо результаты будут хуже, либо платить нужно больше.

Так вот в чём ситуация. В августе мы устроили рейд по стародавним клиентам, которые до сих пор сидят на старых ценах. А вот знаете, у операторов мобильной связи бывает, что архивируются тарифы, и они просто вешают вам другой тариф, так же и с интернетом, ну и много ещё с чем, просто с сегодняшнего дня цена на 20% выше, оплачивайте. Но мы то не так сделали, мы по каждому клиенту сделали развёрнутую презентацию со всеми результатами и обстоятельствами, по несколько человек, включая руководящий состав, подключались к этим зумам.

Результат - 0. Никто не согласился работать по новой цене, причём там все клиенты были лояльные и точно получающие результат. Даже компания, сидевшая в топ-3 по запросам типа "межкомнатные двери в Москве" и платившая за это 3 копейки, просто ушла из принципа, отказавшись от одного из лучших источников трафика. Ну и мы по старым ценам не хотели никого оставлять. Остались только парочка, согласившихся оплатить вперёд 6-12 месяцев, мне пришлось принять такое решение, чтобы в тот конкретный момент не просела выручка.

Вот такое отношение. Знаете, почему? Потому что они уверены, что очень быстро найдут сеошников, которые дешевле нас и работают лучше. Лучший сеошник всегда тот, следующий, с которым договор ещё не заключён.

Ситуация #6 - как за 1 день мы потеряли 1 миллион рублей.
Мой план по продажам состоит из двух частей - план по новым + план по продлениям. Каждый месяц к продлению подходит некая сумма денег от N клиентов, кто-то платит помесячно, такие в план продлений закладываются ежемесячно, какие-то раз в полгода, раз в 3 месяца, некоторые платят раз в год. Ну и есть возможность эти тарифы менять, конечно, от них просто сумма скидки зависит. Это преамбула.

Естественно, нам важны все клиенты, но когда к продлению подходят большие суммы, на них в моменте уделяется больше внимания. Коротко, клиенту за несколько недель напоминаем, что скоро у него будет продление, выясняется его настроение и на что нужно обратить внимание, чтобы договор продлился и деньги пришли. Что касается внимания, я имею ввиду, что когда у тебя всего 6 клиентов, 5 из которых платят по 100 тысяч и дают 500 тысяч выручки, и ещё один платит 600 тысяч, то ты больше переживаешь за него.

Что у нас произошло. Подошли в один месяц к продлению 2 таких предоплатных клиента. Важный момент, прогноз по обоим клиентам выполнялся с запасом, то есть, мы все возложенные на нас обязательства выполняли и шли с опережением графика. Однако, как всегда, оба сайта медицинские, было очень много возни с сайтом, там ещё и оба этих сайта тоже мы делали, и клиенты злились по поводу нюансов, связанных с сайтами.

В первом случае мы вообще на начальных этапах так сильно ругались, что чтобы сохранить клиента согласились 2 месяца бесплатно отработать. То есть, клиент сам назначил нам штраф в виде двух месяцев бесплатной работы за наши грехи. И мы просто согласились, чтобы проявить лояльность. Ну и в той ситуации просто так проще было сохранить клиента. Чем, если бы пришлось ему возврат делать, например, и мы такое решение приняли потому, что был огромный объём работы проделан, в надежде, что выровняемся по прибыльности за счёт продления. На встрече продлении клиент сказал, что опросил 50 пациентов и только парочка из них сказала, что пришли с сайта. Поэтому он решил от SEO просто отказаться.

Второй товарищ вообще был против всей нашей системы с гарантиями за позиции и Топвизор не смотрел. У него было своё понимание того, что такое - услуга SEO продвижение, и он дал понять, что будет оценивать результат нашей работы по наполненности страниц, а там медицина, там десятки страниц и сотни услуг. Отделы копирайтеров и контентщиков в мыле лица наполняли его абсолютно пустой сайт, в результате чего, конечно, план по позициям был в несколько раз превышен, фактически мы проделали работу, которая на несколько месяцев подразумевается. Клиент назначил встречу по продлению на 17:00 в последний день оплаченного периода, на встречу не пришёл, потом неделю её переносил, и, наконец, в прошлую пятницу сказал, что оплатил... а в понедельник сказал, что не оплатил и отложил вопрос SEO продвижения.

Вот SEO-агентства, которые просто кидают своих клиентов и потом ещё через суды с них взыскивают всякие штрафы, кто вообще ничего по SEO не делает для клиентов и кормит обещаниями, часто годами, обращаюсь к вам!!! Вы - мои кумиры. Только такой токсичный и мерзкий подход к ведению бизнеса в нашей сфере может привести к появлению прибыли.