Трансформеры на русском, наконец-то! Ну и немного новостей.

Давненько ничего не писал, поэтому у меня есть ряд новостей для вас:
1) На следующей неделе буду у моего друга Михаила Шакина на ютуб канале, с чем-то интересным!
2) Мне снова стало скучно и я вписался в очередной челлендж - Мастермайнд Антона Петроченкова, решил наконец-то разложить по полкам и упорядочить все бизнес процессы. Начал с того, что наконец-то блин поставил себе финучёт. Воот! Так скоро и к финансовой дисциплине можно прийти))
3) Вышел из Аномалии Гребенюка, идея хорошая, но всё на уровне кружочек треугольник, квадратик. Всё таки в диджитале уровень скиллов на порядок выше чем средний предпринимательский. Но, денег сильно меньше и океан кроваво красный, поэтому владелец сети шаурмичных не семи пядей во лбу кроет нас по доходу только так…

Ну и про трансформеры! Нарвался на отличный канал, где доступным русским языком объясняют как работает архитектура LLM.

Скидываю ссылку на видео https://youtu.be/eMlx5fFNoYc?feature=shared где объясняется на пальцах механизм Attention. Сложновато, но на русском, а то я задолбался слушать индусский и бангладешский английский. Приятного просмотра!

Трансляция на YouTube:
https://www.youtube.com/watch?v=GmLqJ--qq9s

Обновление @vector_keywords_bot от 16.12.2024

1. Добавлена возможность проверки вхождений n-грамм не только по URL адресу но и по произвольному тексту.
2. Оптимизирована скорость бота, обработка запроса теперь занимает в среднем от 60 до 120 секунд.
3. Добавлен алгоритм проверки орфографии, теперь мусорные слова и фразы почти не попадают в результаты.
4. Скорректирована функция сбора тегов title, даже для тех сайтов которые блокируют доступ.
5. Проведена работа по улучшению стабильности бота, так как в последнее время в связи с тем что некоторые используют его в промышленных масштабах он периодически падал.

Утро. Солнце вышло из за гор и осветило склон сверкающий кристалликами льда. Ровные ложбинки от ратратка уходящие вниз – мой сад камней, моя утренняя медитация. Тишина. Есть какой-то особый кайф приехать самым первым на трассу и вот так замереть на несколько секунд на вершине горы. 
Идеальная жесткая, поблёскивающая ледком трасса – мой гоночный трек на сегодня! Мой мозг ещё находится в медитативном состоянии, но моё тело всё настойчивее посылает сигналы моей нейронной сети, изнывая сладкой истомой в предвкушении коктейля из эндорфинов и адреналина.
Кик! Меня мгновенно, как  от ведра ледяного ушата переключает в изменённое состояние, сердце бешено колотится, филинг сумасшедший, каждую клеточку тела, каждый миллиметр лыжи, я ощущаю как болид Формулы-1. Мои ноги туго затянуты в рыжие гоночные ботинки. Мои лыжи, две титановые пластины с карбоновым кэпом – прецизионный инструмент нейрохирурга. Боже, как я люблю свои лыжи! 
Раз, два три, я энергично отталкиваюсь от склона, группируюсь в низкую стойку, мгновенно разгоняюсь и начинаю резать поворот за поворотом. Стальные канты, как две катаны Хатори Ханзо, вонзаются в обледеневший склон. Йуху!  Ниже, ниже, ещё ниже, я мчусь на бешенной скорости почти лёжа, боковое ускорение такое, что линза уезжает в угол глаза и только моргнув пару раз удаётся её поймать. Крутой склон,  длинный выезд. Я группируюсь в максимально низкую аэродинамичную стойку, вытягиваю руки вперёд и... Полетели!

Внимание Вакансия!

В крупный Инхаус проект, который я курирую как консультант требуется Head of SEO

Оклад 320 000 руб. на руки + система мотивации и премии за результат отдела. UPD там ещё куча бонусов 🍕!

https://spb.hh.ru/vacancy/114298335?hhtmFrom=employer_vacancies

Кому интересно пишите в личку, скину более подробную инфу и должностную инструкцию (круг обязанностей и состав работы)

Задача – прогноз + роадмап по сайту автозапчастей на 3 000 000 SKU

Как я писал ранее, меня пригласили консультантом в большой SEO проект и я хочу с вами поделиться тем, чем я там занимаюсь.

Дано – сайт с 3 000 000 товаров плюс несколько десятков тысяч категорий. Товары уютно хранятся в 1С, названы, как бог на душу положил), хорошо, что категории как-то прописаны, короче всё как всегда ).

С чего начать? С семантики, дружно скажет большинство сеошников, и уйдет собирать её на пару тройку месяцев, и все бы хорошо, но встаньте на сторону заказчика, он вам платит внушительную сумму, вы пропадаете, потом появляетесь с ядром на несколько сотен тысяч фраз счастливые и довольные: «Я Сделяль». Резонный вопрос – так, а дальше что?

Большой пирог нужно кусать по частям, и первое, что нужно – приоритезация.

Самый простой и быстрый способ по шагам:
1) Выгружаем структуру сайт в виде: url / h1 / хлебные крошки. Будет это выглядеть как-то так: Chevrolet / Cruze / 1.8 / Кузовные детали / Крыло заднее левое
2) Url нам нужны, чтобы не сойти с ума выгрузить количество товаров на листинге, посчитать вхождения по зонам документов.
3) Далее идем в кейсо, берем самого жирного конкурента, дергаем его семантику, сажаем Джуна, чтобы он выписал все гео и коммерческие добавки (Москва, СПБ, цена, купить, с доставкой, стоимость, оригинал и так далее)
4) Вооружаетесь чатом GPT или тем же Джуном и даете ему список всех брендов и моделей и переводим все на русский язык, теперь у нас появляется Тойота Королла и Toyota Corolla!
5) Перемножаем категории на модели, на синонимы, плюсуем коммерческие прибавки и получаем некий список запросов, привязанных к конкретному урлу.
6) Далее расчехляем Python, берем чат GPT в помощники и пишем скрипт, который будет:
a. По API wordkeeper пробивать частотность каждого запроса, суммировать по кластеру умножить на CTR тыкать пальцем в небо.
b. Заходить на url вашего сайта, считать количество товаров в данной категории, попутно проверяя, есть ли цены, информация о наличии и картинка.
c. Проверять есть ли хоть какие-то вхождения запросов в зоны документов и в названия товаров!
d. Сведёт это все в некий ранк, который поможет сделать приоритезацию.
7) Сходит в ТОП Яндекса и посмотрит конкурентов, если там в основном Озон, Яндекс Маркет, Все Инструменты и ВБ сделает отметку, если там такие же конкуренты как и вы – другую отметку.

И вот тут уже можно пойти к заказчику с гордо поднятой головой и сказать «Я Сделяль!»

Продолжение

А дальше будет предметный разговор:
1) Уважаемый заказчик, есть жирная категория и есть товары, но названия товаров прописаны странно (нет вхождений) – вот ТЗ твоим продуктологам, на месяц вперед, чтобы они сидели и переписывали названия товаров в кошерном виде.
2) А вот у вас тут полтора товара у бренда Changan а спрос бешенный – может отправите контейнер в Китай?
3) Мы определились с этими 10-ю категориями, там есть и товар и спрос – ставим это нашим семантистам в задачу на ближайшие две недели. Пусть подробно с чувством толком и расстановкой выгребут нам весь семант!
4) Вот список самых жирных категорий – Линкбилдер, ау, ты где? Вот тебе список урлов – работай!
5) А ещё взяли летние и зимние шины, перемножили всё на всё и поняли, что нам нужно создавать плюсом 200 категорий но у фильтров дебильный url. Вот ТЗ программисту!

Вопрос, как это сделать доколумбовыми методами и сколько это займет. По времени и по деньгам? ))

Посчитаю сколько это заняло у меня:
1) Напряг 1С ников с выгрузкой – 5 минут
2) Озадачил Джуна - 10 минут
3) Писал скрипт на Python – 2 часа
4) Отлаживал и тестировал скрипт – 1 час.
5) Поставил скрипт на парсинг на ночь – утром проснулся, открыл эксельку подготовил аналитический отчет заказчику – 2 часа
6) Пил кофе, поглядывал в Макбук, любовался отчетом – 15 минут )

Итого – 6 часов моего личного времени + охренительное настроение от того, какой я крутой и умный! )))

Задам вопрос повторно, как это сделать доколумбовыми методами? Не представляю. Как это сделать с помощью Python – изи! ))

Как массово освежить evergreen контент для блога – пошаговая инструкция?

К нам пришёл на продвижение сайт крупного маркетингового агентства.

Первое что я сделал - полез в Яндекс метрику посмотреть какие странички на данный момент генерируют трафик. Само-собой, это блог, но странички которые паровозят траф, зачастую датируются периодом 2014-2020г. Актуальность материалов тоже не всегда отвечает веяниям времени.

План
1. Запускаем лягушку по сайту, выгружаем урлы блога, с помощью Xpath выражений вытаскиваем дату публикации статьи. Выгружаем в эксель все статьи со старой датой
2. Идем в метрику, выгружаем визиты из поиска по урлу и с помощью ВПР цепляем к нашей табличке ещё один столбец с посещаемостью. Отсеиваем дохлые страницы.
3. Пишем скрипт на python, который будет делать следующее:
4. Импортирует Эксель файл с помощью библиотеки Pandas далее заходит на каждый URL и с помощью Python requests выгружает структуру документа. Метатеги title, description, заголовки h1, h2. Можно вытащить текст самого документа или его часть при необходимости. Если дергаем текст – делаем цепочку каскадных промптов, чтобы уложиться в окно контекста.
5. Далее скрипт стучится в Google Geminy по API и отправляет ему следующий промпт: «Посмотри содержимое статьи она датирована {2018 г.} проверь на актуальность и дай рекомендации как мне обновить контент исходя из реалий 2025 г. Также оцени по пятибальной шкале уровень актуальности контента, который я тебе отправил. 5 - актуально, 1 - неактуально. Лучше заюзать Geminy так у него самая актуальная база и хорошо с фактчекингом. Будет кривовато по тексту, по этому рекомендации лучше сгрузить в Chat GPT или Claude, чтобы он привел текст в нормальный вид. Если файл большой – обрабатывать по абзацам.
6. Добавляем все рекомендации в отдельный столбик в Pandas Dataframe. Оценку свежести контента добавляем в соседний столбец.
7. Выгружаем наш датафрейм в Excel файл и передаем его в отдел контента.

Сколько бы на эту задачу затратил кожаный, исходя из того что таких страниц на сайте порядка 400?

Сколько затратил я?
Учитывая наработки - 2 часа. Сколько времени на это потратит June python разработчик имея под боком ChatGPT - 4 часа.

Воскресное или Кайдзен кодинг

Вы наверняка видели как японцы точат ножи? Или как выращивают бонсай, да блин, как они со своей мраморной говядиной заморачиваются!

Да, я белая волосатая обезьяна, которая ничего не знает о японцах и живет в мире предрассудков и клише, но мне, как длинноносому варвару кажется, что любая японская вещь создается в следующем непрерывном цикле.

- Идея
- Реализация
- Любование

Такой цикл повторяемый многократно , как раз и приводит к тому самому совершенству, которым мы с вами восхищаемся. Он же называется словом Кайдзен.

Что самое важное в этом постоянно повторяемом цикле? Да всё блин! Без идеи не будет ничего, без работы само собой, но ключевым моментом здесь является любование! Этот процесс, я считаю, должен занимать не менее 30% времени.

Причем процесс любования я бы разделил на два этапа:

1. Получение эстетического наслаждения от результата.

2. Поиск того, как можно еще улучшить, украсить, усовершенствовать продукт. Этот этап как раз и порождает идеи запуская бесконечное колесо Сансары усовершенствования продукта.

Не так давно я осознал, что невольно придерживаюсь именно такой схемы, когда пишу код для очередной SEOшной автоматизации.

Сначала идея, рождаемая, как правило, ленью, или банальной нехваткой исполнителей, или тщеславием «Я же умный, что я не смогу придумать как мне за 5 минут сделать то, над чем будет сидеть 3 человека полдня?»

Далее идет реализация. Ну тут все банально, душим Питона 🐍

А далее - главный процесс! Здесь важно правильно к нему подойти - налить себе кофе, взять что нибудь вкусненькое, откинуться в кресло и любоваться кодом и результатом ). А, да, еще немаловажный аспект, если перед этим почистить экран и сам макбук, процесс получения эстетического удовольствия многократно усиливается) можно еще поставить музыку какую нибудь фоном. И не забудьте перевести ваш телефон в авиарежим 😎

Повторяйте это не менее 3-х раз в день и ваши волосы будут густые и шелковистые)

Мата-не またね 🇯🇵

Органолептический подход к SEO или как заставить себя работать в понедельник утром!

У меня, довольно простой рецепт, нужно провести импринтинг, ну или якорение, как это называется в НЛП. Для этого нужно начать рабочий день максимально приятным образом.

Итак, садимся за рабочее место и воздействуем сразу на все 5 органов чувств.

1) Наливаем себе вкусный кофе, тем самым пампим обонятельный и вкусовые рецепторы
2) Музыка - одна из важнейших составляющих, самая продуктивная работа у меня идет под какой нибудь монотонный индастриал, но здесь дело вкуса.
3) Зрение - не мне вам рассказывать, что чистая машина лучше едет? )) Вот так же и здесь. У меня была сотрудница Ольга (сейчас в декрете), у которой утро начиналось с протирания до блеска ноута.
4) Ни что не бесит так, как невкусная клавиатура, или тормозной тачпад (боже храни изобретателя тачпада для Макбука)

Ну и самое главное, не начинайте сразу, дайте себе 5 минут на лайкайнье котиков, просмотр сообщений чата Рукожопое SEO🙈 и тому подобное, и поверьте мне, вы горы свернёте и поставить в ТОП все ваши проекты!)

Маркдаун разметка - секретный соус для LLM или почему нейросети любят структуру

Привет! Обратили внимание, как ChatGPT и подобные ему LLMки генерируют ответы? Они очень часто обрамляют предложения определенного рода символами, которые потом, как дурак), сидишь и удаляешь. Так вот все эти хэштеги, звездочки и прочие символы - ничто иное как Markdown разметка. И вот про её важность для качественного промптинга как раз сегодня и поговорим.

Что такое маркдаун и почему он важен?
Маркдаун (Markdown) - это язык разметки, который позволяет форматировать текст, используя определенные символы. Он был создан для того, чтобы текст оставался читаемым даже в своем исходном виде, но при этом мог быть преобразован в HTML или другие форматы.

Для нейросетей маркдаун играет особую роль. Когда вы используете структурированный текст, модель лучше понимает иерархию информации и важность различных элементов.

Основные элементы маркдаун-разметки

Заголовки создаются с помощью символа #. Количество символов определяет уровень заголовка:

# Заголовок первого уровня
## Заголовок второго уровня
### Заголовок третьего уровня

Для выделения текста используются следующие обозначения:

Жирный текст - (телега не дает сделать правильно, выделяйте с обоих сторон двумя звездочками **)
Курсив - *текст*
Зачеркнутый текст - выделяйте с обоих сторон значком ~~

Маркированные списки
- Первый пункт
- Второй пункт
- Вложенный пункт
- Третий пункт

Нумерованные списки
1. Первый пункт
2. Второй пункт
3. Третий пункт

Таблицы создаются с помощью вертикальных линий и дефисов:

| Название | Описание | Цена |
|------------------|-------------------|----------|
| Товар 1 | Описание товара 1 | 100 |
| Товар 2 | Описание товара 2 | 200 |

Как маркдаун улучшает работу с нейросетями
1. Повышает понимание структуры
Когда вы используете заголовки разных уровней, нейросеть лучше понимает иерархию информации. Это особенно важно при работе с большими текстами, которые приближаются к лимиту контекстного окна модели.
2. Выделяет ключевую информацию.
Выделение текста жирным или курсивом помогает модели определить, какие части текста являются наиболее важными. Это как если бы вы разговаривали с человеком и интонацией подчеркивали ключевые моменты.
3. Улучшает генерацию кода
Блоки кода в маркдауне (обрамленные тройными обратными кавычками) позволяют нейросети точнее генерировать и форматировать код:

#python
def hello_world():
print("Привет, мир!")

Практические советы

Вот несколько рекомендаций, которые помогут вам эффективнее использовать маркдаун:

1. Начинайте запросы с четкого заголовка, который описывает вашу задачу
2. Разбивайте сложные запросы на разделы с помощью заголовков второго и третьего уровня
3. Выделяйте ключевые термины жирным шрифтом
4. Используйте списки для перечисления шагов или вариантов
5. Применяйте блоки кода с указанием языка для технических запросов
6. Используйте маркдаун якоря для памяти. Когда нейросети нужно запоминать что-то важное, помечайте эту информацию особым образом:

# ВАЖНО: запомни эту информацию
base_url = "https://example.com"
api_key = "openai_key_123"

Как вам такая инструкция господа SEOшники, ничего не напоминает? 😉
Я спросил у Клода, чтобы он мне написал, как он видит разницу в ответах и вот, что он мне ответил.

| Тип запроса | Точность ответа | Полнота информации | Структурированность |
|-------------|-----------------|--------------------|---------------------|
| Обычный текст | 65% | 70% | 40% |
| С базовым маркдауном | 78% | 85% | 75% |
| С продвинутым маркдауном | 92% | 95% | 95% |

Маркдаун - это не просто способ сделать текст красивым и доставить вам эстетическое наслаждение. Это ваш инструмент коммуникации с GPT chat и прочим зоопарком LLM моделей, в которых я уже начинаю путаться и не успеваю за трендами.

Важные изменения по @vector_keywords_bot

1. Бот переехал на новый более мощный сервер.

2. У бота появились два зеркала, на случай если какой-то из ботов завис.
@vector_words_mirror_bot
@vector_words_reserve_bot

3. Появился бот поддержки, обо всех падениях бота, сообщайте сюда!
@sa_supp_bot


Теперь анонсы!

1. В данный момент идет глобальная переделка всей логики работы бота, вводится система очередей, система привилегированных пользователей и добавляется функционал.

2. На стадии 90% готовности бот под логику Google

3. Готовим, что-то интересное! ммм))

ВАЖНО!!!

Все хотелки, пожелания по функционалу пишите сюда @sa_supp_bot