Александр Львов
7.54K subscribers
400 photos
26 videos
3 files
216 links
Авторский канал про бизнес, маркетинг, управление и личный рост от основателя рекламного агентства https://libreagency.ru/

Обсудить сотрудничество или рекламу в канале: @moonytver
Download Telegram
Иногда нейросети разговаривают на птичьем языке

Вот что мне сейчас заявил агент:

Волна 4 целиком в один прогон не помещается. По контракту в неё входят: внешний мьютекс + пре-ран гейт Z3 + фаза деривации + публикационная транзакция (O1/O3/O4/O6) + CAS/матрица статусов + гейт identity-миграции с квитанцией + закрытый отчёт прогона (11 членов) + регистрация расписания + ручной one-shot с грамматикой бюджета + три identity-писателя + одноразовый бэкфил

😐 😐 😐
Please open Telegram to view this post
VIEW IN TELEGRAM
😁13⚡1👍1
Находка про ботов в Яндекс Директе

Клод отлично справляется с поиском паттернов поведения ботов, которые скликивают рекламу в Яндекс Директе и ломают обучение стратегий. Данные для анализа тащит напрямую из API Яндекс Метрики

А дальше с ним же можно спроектировать защиту и правильные цели для обучения кампаний
1👍17🔥6
Нейронки с тотальной уверенностью раздувают важность неважных вещей

Вчера поймал агента на том, что он два часа правил ненужный кусок документации

В шаблоне скилла, который помогает построить спецификацию к задаче, агент поставил требование «фиксировать количество проверок, чтобы всегда можно было точно сказать, сколько было проверок перед заморозкой». Скилл довольно большой, поэтому я этот пункт не заметил. Эту цифру в работе постоянно забывали обновить, а агенты-аудиторы приходили и ставили ошибку, после которой цикл шёл на новый круг правок

Чтобы исправить проблему, агент написал скрипт, который сам автоматически считает отчёты аудиторов и заполняет значение автоматически. Но оказалось, что отчёты лежат в разных местах, потому что в проекте работает и Клод, и Кодекс, поэтому скрипт тоже начал давать ошибки. И он начал чинить уже скрипт

Этот процесс сжёг пару миллионов токенов, пока я не вмешался. Когда увидел, что за фигню он нагородил, попросил всё откатить и удалить требование из документации, потому что оно не несёт в себе никакой ценности ни для кого. Так эта зараза еще и сопротивлялась, контраргументы приводила

Пока что, и надеюсь надолго, человека от нейронки отличает возможность остановиться и подвергнуть сомнению необходимость того, что он делает
💯15👍2
Микроконверсии по активности пользователя на сайте в Директе могут навредить обучению алгоритмов, потому что боты великолепно имитируют поведение пользователей на странице

Сейчас борюсь за обучение рекламной кампании для юридических B2B услуг

1 этап: ботоферма, визиты с нормальных сайтов

Эти боты имитировали пользователей. Часть ботов отсеяли по IP, но лимит 25 адресов и сюда попали только совсем ленивые ботофермы без прокси

Далее, за полторы недели через постоянную докрутку целей и критериев определения ботов на стороне сервера удалось настроить всё так, что основные цели под обучение кампании (от заявки до почты), перестали срабатывать на ботов. Через пару дней после этого Директ перестал приводить этих ботов на сайт

2 этап: теперь пошли живые люди, но с мусорных площадок

Это классика для РСЯ — сотни дешевых кликов с мобильных приложений. По логам пока не удалось найти явных критериев, что это боты. Больше похоже на реальных людей, которые случайно кликнули на рекламу, потому что им её подсовывают

Толку от них тоже нет, так что сейчас пробуем избавиться и от этого среза посетителей. Базовая гигиена — баним площадки. Но теоретически, можем упереться в то, что слотов под бан не останется, а склик не прекратится. Поэтому сейчас донастраиваю телеметрию на сервере, чтобы замерить еще ряд факторов, которые возможно помогут отделить случайных живых посетителей от неслучайных по активности и дать наконец Директу микроконверсию, которая позволит приводить нормальный трафик

Продолжение следует..
👍7❤‍🔥3❤2👀2
Главное ограничение в работе с нейросетями — способность человека принимать решения

Нейронки производят вопросы, развилки и ошибки быстрее, чем человеческий мозг способен их переработать

Кто-то отдаёт все решения на откуп агентам. В этом случае работа выглядит как магия, нейросеть придаёт дикое ускорение, но с непредсказуемым и, частенько, хреновым результатом на выходе

Кто-то пытается уследить за всем, разбирается в каждой детали и принимает сотни решений ежедневно. В этом случае работа превращается в жуткую и тяжёлую рутину, а нейросеть больше замедляет, чем ускоряет. Но при таком подходе выше шанс получить предсказуемые и качественные результаты

Как по мне, самый важный навык в работе с нейросетями заключается в том, чтобы научиться выделять ключевое и принимать решения только по этим вопросам, а всё остальное отдавать на откуп агентам. Это даёт и ускорение, и нормальный предсказуемый результат. Такого уровня относительно легко добиться в областях, в которых ты эксперт. И пиздец как сложно в том, в чем ты разбираешься слабо, потому что нейросеть раздувает значимость каждой мелочи, а тебе самому не хватает экспертизы, чтобы отделить важное от какой-то фигни

И как с этим быстро разобраться я пока не знаю 😒
Please open Telegram to view this post
VIEW IN TELEGRAM
💯7❤2
Как я переложил решение вопросов на нейронку

О проблеме писал в предыдущем посте. Если коротко, то скорость работы упирается в мою способность принимать решения. При этом нейронка генерирует такое количество вопросов, что человеческий мозг не вывозит. И ключевая загвоздка была в том, как снизить количество вопросов, которые доходят до меня, и оставить при этом самые важные

Пока пришёл к такой схеме: агент-оркестратор пишет черновик с вариантами решений → на каждую развилку запускает отдельного субагента → субагент разбирает вопрос по алгоритму. Работает схема за счет того, что у субагентов чистый контекст, в рамках которого они глубоко разбирают всего один вопрос. Когда то же самое пытался делать агент в основном контексте, получалась фигня, поскольку его контекст переполнен другими вопросами и ненужной информацией, из-за чего он забывал что-то проверить, не находил нужные факты в документации или попросту галлюцинировал

В общих чертах алгоритм для субагентов состоит из 4 шагов. Внутри шагов — правила и проверки, собранные из принципов разных авторов: «растворить проблему вместо того, чтобы решать» Рассела Акоффа, теория ограничений Элияху Голдратта, забор Честертона («не сноси, пока не узнал, зачем поставили»), односторонние и двусторонние двери Джеффа Безоса, вычитание как первый ход из книги «Subtract» Лейди Клотца, делегирование по риску из Next Move Theory Вани Замесина

Шаг 1: растворить
Агент проверяет, есть ли проблема на самом деле или она надумана. Если проблемы нет — вопрос снимается. Если есть — ищет, не записан ли ответ уже в правилах проекта или в том, как проект устроен

Шаг 2: решить без меня
Если на первом шаге готового ответа не нашлось, то его зачастую можно выбрать из нескольких вариантов. Варианты решения проблемы уже лежат в черновике, но агент не берет этот список как есть, а сначала делает разбор: что оставить, убрать или добавить. После этого проверяет каждый вариант на соответствие реальности: читает документацию, запускает код, смотрит, как сделано в других частях проекта. Выбирает вариант, который решает проблему минимальными усилиями и при ошибке откатывается без серьезных последствий. Мне в этом случае приходит краткая сводка: что выбрал, почему и как проверил своё решение

Шаг 3: отложить до замера
Бывает, что варианты держатся на предположениях, которые сейчас проверить нечем. Тогда агент не гадает, а записывает три вещи: какой замер нужен, когда он станет возможен и при каком результате вопрос откроется снова. Если решать всё равно надо сейчас, агент ищет вариант, который легко пересмотреть в будущем за счет правки кода. Если пересмотр в будущем заденет пользователей продукта или потребует перезаписи накопленных данных, то вопрос уходит мне на четвертый шаг

Шаг 4: спросить меня
Сюда доходит то, что агент не вправе решать сам

Цели продукта: скорость, объёмы, качество, цена, допустимые расходы. Агент не может решить за меня, какую скорость ответа я хочу видеть в сервисе, по какой цене буду его продавать или сколько ресурсов готов выделить на задачу

Необратимое: решение, которое заденет пользователей или накопленные данные, уходит мне, даже если оно чисто техническое. Я не готов пока доверять такие решения агентам и хочу лично в каждом из них разобраться, рассмотреть альтернативы, оценить риски

Противоречия: ситуации, когда решение проблемы требует отменить решение, которое я ранее принял по какому-либо вопросу в проекте. Агент не имеет права отменять и перезаписывать решения, которые я когда-либо ранее принимал, поэтому единственный вариант — спросить меня

Первые результаты этого подхода: из 27 открытых вопросов, которые раньше я разбирал бы сам шаг за шагом, 10 сняты с повестки, 16 агент решил сам и написал мне краткую сводку, и только 1 вопрос дошёл до меня 😧 это безумный буст производительности
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5❤3
Антропик продолжают удивлять

Снова выпустили какого-то демона, который переезжает все существующие на рынке модели по качеству и цене

В Опус 5 больше всего бесило то, как заумно он пишет. Про Опус 5.5 в карточке говорят, что он помимо класссных результатов в бенчмарках еще и изъясняться нормально начал. Имба
❤1⚡1
Вчера Клод за меня прошел полный цикл маркировки рекламы под посевы

1. Завел в новый кабинет ОРД меня в роли агента и клиента в роли рекламодателя

2. Завел посреднический договор

3. Загрузил креативы с картинками и выдал под каждый ERID и готовые ссылки с UTM+ERID разметкой. Проверил, что метки не сломали ссылки и они открываются корректно

4. Пол дня проверял в фоне прошли ли окончательную регистрацию креативы в ЕРИР. От выдачи токена до подтверждения прошло по 6 часов в среднем, если бы подтверждение не получили, то он сам бы подал повторные запросы

Попутно подсветил опечатки в рекламных текстах, юридические риски формулировок адаптации исходного поста от блогеров (одну переписали после его наводки) и проверил регистрацию каналов, у которых 10к+ подписчиков, в РКН

Работа шла через ОРД Яндекса по API. До Яндекса добрались после того, как он оценил текущие тарифы моего старого ОРД и сказал, что дороговато будет для небольшого посева, лучше другой ОРД выбрать и пошел ресерчить тарифы. Ключ API после регистрации я получил в два клика. После Клод изучил документацию API, написал коннекторы, поднял отдельный контейнер на моём сервере для хостинга картинок, т.к. ОРД принимает их по API только в виде ссылки и сделал всё то, что я описал выше

В конце, когда всё настроили, маркировка выглядела так: «Клод, братишка, вот на рабочем столе лежат договоры, заведи в систему. А вот канал, текст для размещения в нём, ссылка с меткой и на рабочем столе лежит картинка, промаркируй» 😍

А ведь еще несколько месяцев назад перспективными казались SaaS проекты, которые упрощают процесс маркировки рекламы
Please open Telegram to view this post
VIEW IN TELEGRAM
👍17🔥7😁4💯2
Знаете, я немного устал от юридической части маркетинга.
 
Придумываешь рекламу, собираешь сайт, запускаешь новый продукт — а потом внезапно выясняется: это нельзя, то нельзя, а здесь вообще вышел новый закон и теперь нужно переделывать половину проекта.
 
Особенно бесит, что разобраться самостоятельно почти невозможно. Открываешь разъяснения — и через пять минут хочется от скуки и мути закрыть не только документ, но и бизнес.

Сегодня хочу рассказать о Telegram-канале «Вправе». Его ведёт адвокат Марк Кулезин — консультирует бизнес, маркетологов, агентства и IT-компании по рекламе, интеллектуальной собственности, договорам и другим способам случайно найти себе проблем.

Марк пишет простым языком, разбирает реальные дела. Он не просто рассказывает, что запрещено, но и объясняет, как всё-таки можно.
Подобрал несколько постов, которые могут быть полезны читателям моего канала:
— как суды фактически отменяют в России интеллектуальную собственность, а Марк из-за дела почти бросил юриспруденцию;
можно ли забрать чужой домен, если он совпадает с вашим брендом;
— как РКН нас обманывает с персональными данными;
— можно ли уволить сотрудника, который выполняет всю работу через нейросети;
— как работать с самозанятыми, чтобы экономия на налогах не закончилась доначислениями.

В канале есть не только право. Марк честно рассказывает, что его бесит в профессии, показывает жизнь адвокатского кабинета и разбирает собственные победы и поражения. Причём не в формате «суд не разобрался», а объясняет, где именно ошибся сам и какие выводы из этого сделал.

В общем, если давно хотели читать адвоката, который не прячется за канцелярщиной и говорит по-человечески о сложных вещах, — вам сюда:
«Вправе» — канал адвоката Марка Кулезина

Реклама.
❤1
Доделываю большой апдейт сервиса Лэнс

Напомню о проекте: сейчас это библиотека креативов Авито Рекламы в которой в пару кликов можно изучить всю активность конкурентов в любом из сотни городов Росссии. Сейчас он доступен бесплатно в маркетплейсе Еламы для пользователей, у которых есть действующие рекламные кабинеты, а прямые продажи я пока не включил

Апдейт сервиса планировал сделать в конце июля, но решил добавить в продукт сразу несколько штук и их параллельная разработка застряла. Тем не менее осталось немного, поэтому хочу рассказать что будет в ближайшем релизе

1. Бесплатный тариф

Делаю его вместо краткосрочного пробного периода. 10% базы будет открыто всегда для любого зарегистрированного пользователя. Минимум 1 креатив на каждого рекламодателя, т.е. в любой нише в любом регионе будет видно кто размещается. А если нужны подробности, то всю базу можно будет открыть по подписке за 1490 рублей в месяц

2. База посевов в Телеграме

Аналогично Авито Рекламе в пару кликов можно будет анализировать где размещаются конкуренты, какие заходы используют, как часто выходят и так далее. Сейчас я не знаю вообще ни одного удобного инструмента на рынке для таких целей. И хотя посевы, возможно, будут запрещены с января, продукт решил выпустить и отработать на нём ряд технологических процессов

База собирается круглосуточно, мои боты мониторят более 300 тысяч русскоязычных телеграм каналов. Сейчас в ней собрано порядка 2,5 миллионов креативов

3. Подбор каналов в Телеграме на базе AI

С подбором каналов есть две проблемы:

а. На поиск в каталогах надо тратить кучу времени и ручного труда. И даже так ты упираешься в отсутствие некоторых каналов в каталогах

б. Подбор через функцию «Похожие» в самом Телеграме тоже хромает, потому что выдаёт каналы по пересечению аудитории. По сути, сделав такую подборку, получаешь одну и ту же аудиторию под разным таргетингом

Решение обоих проблем: полная база каналов, по которой с помощью нейросетей можно искать похожие каналы по смыслу. Смысл вычленяем из того, что люди пишут, как пишут, что у них написано о себе

Такой продукт уже есть у сервиса Телескоп и доступен он только для клиентов, которые размещают рекламу через них. Мне не нравится монополизация подобного рода, я хочу чтобы удобные инструменты были доступны любому пользователю на рынке независимо от реселлера

Он тоже почти готов и как по мне несёт в себе существенный апгрейд относительно версии Телескопа. В моей версии сервиса искать можно будет не только похожие каналы, но и вбивать любые запросы, как в Яндекс, по типу «недвижимость Сочи» или «руководители рекламных агентств». В ответ на такой запрос сервис выдаст подборку целевых каналов с ранжированием по релевантности. Внутри агентства уже пробуем на живых проектах, результаты впечатляющие
❤4🔥4👍3
За сентябрь я сжёг ~2 055 360 рублей на нейросети

В заголовке, конечно же, кликбейт. Реально я потратил 38 тысяч рублей на подписки по 200 долларов: СhatGPT x20 и Claude x20. Но за кликбейтом стоит реальная цена тех токенов, что я потратил за месяц

Если бы я платил по ценам API, получилось бы вот так:

Claude Code
28,5 млрд токенов за $17 251

ChatGPT Codex
20,9 млрд токенов за $7 120

В расчетах учтено, что 95-97% расхода токенов это чтение кэша и оно стоит в разы дешевле. Но главное здесь не количество токенов, а стоимость в долларах

Написать об этом решил, когда увидел очередной восторженный пост с посылом «Мне больше не надо платить копирайтерам, монтажерам, редакторам, дизайнерам, разработчикам. Нейросети делают их работу почти бесплатно»

Почти бесплатно получается потому, что сейчас за подписку стоимостью 200 долларов на ChatGPT или Claude дают токенов на 4000-8000 долларов в месяц. А еще периоидчески дарят сбросы недельного лимита в моменте или кладут отложенный сброс на баланс. Этим балуется в основном ChatGPT, хотя и Claude в сентябре порадовал сбросив разочек лимит и подарив еще один отложенный на баланс аккаунта. Все мои расходы и вышли с учетом того, что я потратил больше лимитов, чем включено в базовые 4 недели, используя сбросы по максимуму

Деньги инвесторов, на которые это всё спонсируется, рано или поздно закончатся. Например, на днях в подписке ChatGPT за 200 долларов лимиты снизили в 2 раза для всех новых пользователей и в конце октября это произойдет для тех, у кого подписка уже была. Это всё еще будет аттракцион невиданной щедрости, но уже меньше размера

В какой-то момент лимиты по подпискам снизят настолько, что для решения задач придётся докупать токены по API. И тогда окажется, что где-то дешевле нанять живой интеллект с руками, чем платить за API, а что-то вообще лучше не делать

Например, если пересчитать по API ценам монтаж рилсов, то он вполне может обойтись в 5-10 долларов за штуку. А какая-нибудь приблуда в виде персональной мини-CRM, которую навайбкодил генеральный директор для ООО Ромашка, обойдётся в 3000 долларов (стоимость поддержки и починки багов добавит еще несколько тысяч сверху в течение года)

Поэтому давайте трезво смотреть на стоимость работы нейросетей. Халява не будет длиться вечно. И большинство из того, что мы сейчас делаем на подписках, никогда в жизни не окупится если платить за это реальную стоимость
🔥17💯11❤1
Китайские модели дешевле и дают почти то же качество? И вообще можно купить Mac Studio и на нем модель запустить 😐

На картинке реальная стоимость вычислений под нормальные китайские модели, которые приближаются к тому, с чем мы работаем по подпискам Claude и ChatGPT

Чтобы иметь 25-30 параллельных сессий (окон чата) в которых Кими К3 будет отвечать с вменяемой скоростью, надо купить серверную стойку примерно за 60 миллион рублей и тратить на ее обслуживание до 1 миллиона рублей в месяц. Это без зарплат, налогов и амортизации на случай поломок

При текущей архитектуре нейросетей, мощности и стоимости железа, нейросети не могут стоить дёшево. Весь праздник происходит за счёт денег инвесторов или государства
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1😱1