FAIL BLOG в AI SaaS (ex. Неуспешный неуспех)
3.12K subscribers
350 photos
51 videos
9 files
302 links
Обычно люди делятся только успехами.
Неуспех показывать не любят, будто его нет.
Это жутко портит восприятие мира, кажется что в тебе что-то не так.
Поэтому здесь я рассказываю о всем говне на своем пути.(и не только)
Автор: @AlexPobeditel
Download Telegram
Прикольные paper works статьи про AI агентов, что мы берем в практику.

Мы в hinocode.ai уже полтора года пилим AI солюшены и если честно особо не погружались в paper ворки(научные работы). Нам хватало базовой документации Open AI и базовых принципов по промптингу с 1, максимум 2 агентами. Прекрасно решали задачки.
Единственный раз, когда нам понадобилась мультиагентность - генерация AI прототипа.

Мы взяли проект по обработки support реквестов, где 120+ тикетов в день. Чувствуем более сильную ответственность за уровень галлюцинаций и соображалки LLM. Кажется, что надо будет хорошенько заморочиться по мультиагентной сетке, допустим:
1) Сначала валидировать general реквест клиента и понять к какой смысловой ветке он относится.
Разделением на ветки мы добиваемся более точного плана в каждой ветке. И + тратим меньше денег на промпт.
3) Внутри каждой ветки у нас тоже есть агент валидатор, который будет определять шаг решения проблемы при каждом новом сообщении и отслеживать движение по этим шагам. Допустим, я уже пошерил свою проблему и ввел необходимые данные. Могу перемещаться на следующий шаг.
4) Далее пишем ответ

*Это не окончательный флоу, мы будем тестировать стоимость агентов. Можно еще добавить агента по эстимации написанного ответа/выбранного шага. Но думаем пока не заползать в дебри.

Статья Antropic про агентов.
Она самая базовая, но важная для понимания основ агентов и воркфлоу агентов. Самое интересное что вынес:

Допустим воркфлоу Parallelization мы юзали в генераторе юзер-флоу, где было важно быстро отдать результат и сократить ожидание ответа с 15 минут до хотя бы 5.
Супер простейшая идея - запускать агентов параллельно, а потом агрегировать их результаты.
Еще прикольный кейс с voting: можно дать одну и ту же таску разным LLM моделям и далее выбрать самое норм решение. Если вам нужен более качественный и взвешенный результат.
Мы подобное делали с дебаггингом - несколько раз перепроверяли ошибки.

А вот в Orchestrator-workers агент Orchestrator сам определяется, сколько агентов запустить. Допустим когда вам нужно поискать X раз для решения задачи, но непонятно сколько раз и непонятно что искать.

Еще прям оч нравится Workflow: Evaluator-optimizer, но никогда не задумывался что так можно. Допустим у вас есть понятная система оценки удачного результата. Вы можете несколько раз перепроверять его и приносить execute агенту фидбек, а он снова будет перезапускаться. И так до момента, пока не получится.
Подойдет в кейсах, где нужен идеальный резалт, типо проверки каких-либо работ, допустим.

Круто описан кейс customer support агента, где в основе должен быть последовательный флоу проблем. Но на каждом шаге в агенте есть function calls, которые вызывает нужные на шаге tools. Допустим order history или issuing refunds API на шаге запроса рефанда. Видел такое уже на практике, когда отписывался от сервиса.

И вот еще статья более сложная, с фокусом на агенты-планеры.

Кстати, если вы думаете автоматизировать что-то в своем бизнесе с AI, записывайтесь на консультацию за донат вот тут.
Разберем по полочкам ваши бизнес процессы и подумаем:
- нужно ли вообще внедрение LLM модельки
- если нужен, подумаем как быстрее и дешевле внедрить
- нарисуем цепочку агентов
После звонка отправите столько, сколько посчитаете нужным.

Ставьте 🔥, если была полезна теоретическая сводочка по агентам.

@failblog let's go
🔥83👍21
Стрим с Сержем Фаге про AI агентов, ТГ блоггерство и не только -
завтра в вс, 8 фев 13:00 по МСК


Писал тут недавно про созвончик с Сержем(ex founder Островок, вики). С этого момента уже многое поменялось:
Он уже запустил несколько фокус групп для обкатки идеек вокруг блоггерства в ТГ каналах, экспертных консультациях и развития молодых талантов.

Я позвал на стримчик, стало интересно про это все поболтать! Что будет:

1) Недавний бэкграунд Сержа. Где он сейчас после сложного периода и как вылез из него. Неуспешный неуспех let's go.
2) Почему пошел в сегмент ТГ каналов и консалты, да и еще на русскоязычном рынке?
3) ТГ каналы.
- Почему надо начинать вести и как быстро раскрутить.
- Проблема от 0 до 1.
- Как научиться писать и облегчить себе жизнь.
- Приоткроем занавес сетки ТК каналов на блокчеин основе
4) Неприязнь денег в славянском менталитете и как победить эту багу.
5) Новая реальность в разработке ИИ ботов и миниапов: как можно быстро сейчас пилить гипотезы без разрабов.

Пишите под этим постом свои вопросы и я задам что успею! И ставьте 🔥, если ждете!

👉 Ссылка на стрим 8 февраля, в 13:00 по МСК

👉 Блог Сержа Фаге

👉 Блог Неуспешный неуспех
🔥75👏4
Fine tuning WORKS! В валидации лидов на Upwork - 9/10 success rate

#aihacks - рубрика, где я рассказываю о хаках, которые вы уже сегодня можете пойти и сделать для себя или бизнеса
Многие дрочат на AI без остановки - про AI возможности, дип сик, AGI,
твит Альтмана и тд. А по факту никак на практике не юзают AI дары.
Хочу это поправить и ебашить бизнес кейсы один за другим - чтобы мотивировать вас пойти тоже внедрять AI, а не только кончать на него.

Я РАД КАК СЛОН, потому что мы победили проблему, которую не могли решить с обычным промптингом GPT год. С помощью FINE TUNING OpenAI модельки.
И которая нас стопала от full автоматической системы отклика на джобы(объявления на Upwork). = отобрать релевантные нам джобы и откликнуться автоматом.

Проблема - только 5/10 джоб валидировались правильно, В категорию "подходит" попадало 50% мусора.
Почему это было для нас проблемой - отклик на джобу на Upwork стоит 1.5-3$. Соответственно, если бы мы запустили авто отклики, мы бы теряли 100+ баксов с каждых 100 отвеченных джоб.

Fine tuning
Я всегда думал, что fine tuning - это что-то сложное и доступное с большим количеством данных - более 2000 строк.

Ученик превзошел учителя
Началось все с того, что друг Костя Хомченко рассказал, что он обучает модельки от 50 строк для своего продукта по переговорам. И очень смотивировал меня, потому что еще осенью мы учили в студии Костю лоукоду!
Уже через пару месяцев он построил на Bubble + N8N + Supabase свой продукт и сейчас сделал то, с чем я прокрастинировал год = обучил модельку на рабочем кейсе.

Собираем дата сет
Я сразу отправился собирать данные для обучения. Большая часть у нас уже была - мы год помечаем джобы - fit или нет. И пишем причину.
Сделали это в удобном ТГ ботике, в котором достаточно тыкнуть кнопку и написать причину.

Например:
В джобе написано - ищем ТОЛЬКО разработчиков
Эта джоба не подходит нам, потому что агенства такие бобры отвергают в 99% кейсах. Мы помечаем как dismatch и пишем причину - он ищет только разработчика.

Only bad cases - плохо
У нас уже было 300 строк фидбека, но только по джобам, которые не подходят.
Я это закинул в fine tune обучение, но получил не очень результат.
Джобы отмечало хорошо, но минусовало много релевантных.
Ах, да, и модельку я ставил 4o, за которую я отдал 30$/обучение - не дешево.
Training loss был 0.3, что не оч хорошо.

+ good cases = success
Далее я дал таску проджекту Ане разметить 200 джоб на которые мы ответили - написать, почему мы на них ответили. Дабы добавить позитивных кейсов
Уже получилось 500 строк в сумме, которые мы снова запустили в обучалку, но уже с GPT 4 mini. И тут СВЕРШИЛОСЬ ЧУДО!!!

9/10 джоб начали обрабатываться корректно, это 10%. До этого было 5/10 примерно.
Next step - полностью запущенный процесс автоооткликов, о котором скоро расскажу как запустим!

Пробуйте fine tuning в своем бизнесе!

Меня это смотивировало записать для вас гайд - как вы в вашем бизнесе можете взять минимальное кол-во данных и обучить LLM. Я хочу, чтобы вы тоже стали радостными слонами🐘, как и я!
Ставьте 🔥, если ждете!

Фоточки: 1 - реакция на 1ый резалт, 2 - пример нашего датасета, 3 - реакция на вторую модельку, 4 - сравнение обычной модельки и обученной в play ground
🔥41🎉95👍2🍾1
Live stream scheduled for
Стрим с Антоном Гладковым 18 февраля, в 20:00 по МСК.
Когда AI заменит биздевов и че делать в жопе?

Антон Гладков - фаундер лучшего биздев агентства в русскоязычном пространстве SLSBMB.
- Ex коммерческий директор в Aviasales в далеком 2016.
- И также создатель легендарных стримов про продажи и жизнь! Вот тут можно посмотреть

О чем весело попиздим 3 часа:
1) Когда AI полностью заменит биздевов и sales менеджеров разных видов.
2) Что сейчас уже AI делает лучше? Разберем кейсы ребят: как они юзают LLM в своих процессах.
3) Неуспешные неуспехи Антона из прошлого и как он из них выбирался
4) Далее нырнем в то, как справляться и переживать жопу
5) В конце по традиции ответим на вопросы, которые напишите под этим постом

Вторник, 18 февраля, 20:00. Создал для вас ссылку на ивент в Google Calendar. Просто кликните и попадете в календарик с заполненной ссылкой, тайтлом и временем.

И также будем рестримить в YouTube, тут можно поставить уведомление

🎁Тизер: запостил несколько историй с вырезками из нашего созвончика. Сделал в прекрасной нейронке Klap

🔥Ставьте огонечки, если ждете и интересно послушать
@failblog let's go!
53🔥204👍4
Антон Гладков про БАЗУ в скрипте холодного письма и про его кастомизацию.
А стрим уже в этот вторник, 20:00 МСК

Для тех кто не знает Антона,
Хочу подогреть вас немножко к будущему легендарному стриму. А для тех кто знает - просто порадовать 💖

Я обожаю стримы Антона за его простой слог, с миксом шуток и афоризм. Он супер искусно жанглирует этими 3 деталями, импровизирует и объясняет сложные вещи не скучно, смешно, по фактам.

Я взял наш созвончик и нарезал с Klap рилсики. Лучшие моменты с коллов, где и полезно и смешно.
Это вообще имба, я думаю что теперь точно начну делать полноценную фабрику контента, потому что времени уходит на монтаж почти 0 и выполнимо ассистентом - джуном.
А ниже текст, для тех, кому максимально лень ждать загрузки видосов.

Видос 1 - про правильную структуру холодного письма.
Как довести читателя письма до стадии: "меня тут слишком хорошо ебут, я тут точно кончу".
И суперский пример про продукт по оптимизации костов на Амазон. Где ребята думали, что экономить 700$ на оптимизации нод Амазона. А оказалось, что время решалы стоит в 10 раз больше на это внедрение, чем экономия.
Про важность ресерча и касдева и добавление цифр из них в питч.

Видос 2 - Про кастомизацию писем.
Топовые решалы уже не смотрят на литературу. Если присутствует какая-то литературная хуйня, моментально срабатывает триггер - не читать дальше. "Какой-то спамер че-то мне пытается втюхать."
Идеально продающее письмо - абсолютно одинаковое для любого уровня решалы.
Потому что ты в абсолюте продаешь только несколько цифер или 1/набор механик.

Видос 3 - Почему вы уже будете базово лучше, выполнив пункты из прошлых видео: никто не хочет общаться с сейлзом
Классический сейлз - чел, который "читает по булитикам".
С ними бесполезно разговаривать, потому что в среднем глубина погружения сейлза очень слабая.
Поэтому если мейл хоть немного напоминает мейл от сейлза, конверсия будет низкая.

Стрим с Антоном будет во вторник, 18 февраля, 20:00. Создал для вас ссылку на ивент в Google Calendar. Просто кликните и попадете в календарик с заполненной ссылкой, тайтлом и временем.

И также будем рестримить в YouTube, тут можно поставить уведомление

Ставьте 🔥, если заценили видосы и смыслы

P.S. Этот пост написан в лучшем канале про применение AI на практике - Неуспешный Неуспех(ссылочка)
1🔥11
МЫ ЗАПУСТИЛИ FULL Upwork автоматизацию: 32 отправленных джоб, 1 бук кола, 4 чата и 0 потраченных минут.

#UNeverSleeptraction, #1

Йоу, хочу закрепить эту ачивку. Мечтали об этом больше года и в итогу made this shit!
Теперь у нас есть full automative Upwork sales процесс в этом канале продаж. Остается только докручивать качество ответов и валидации работ, на которые мы отвечаем.

В прошлом посте рассказывал, как победили валидацию fine tune. Теперь мы пишем ответы с LLM и отправляем автоматически.

Цифры с людьми:
Обычно KPI менеджера по Апворку был 40 ответов в неделю. На это он тратил по 3 часа в день или по 15-20 часов в неделю. И это в лучшем случае.
Если менеджер прокрастинировал, то смело можно было умножать на 2.

У процесса с человеком было несколько проблем:
1) Сложно было учить отбирать джобы
2) Сам процесс валидации + отклика занимал около 10 минут на джобу, даже с учетом, что мы с LLM генерили ответ. В сумме 3 часа в день
3) Стоимость менеджера на этот тип работ = 500+$/месяц.

НО даже когда все это окаем, оставался одна проблема, которую невозможно было решить: время ответа на джобу с момента ее прихода и вытекающая стоимость.

Для контекста правил джунглей Апворка:
В Upwork сейчас есть логика Яндекс Директа: ты можешь заплатить за первые 4 места золотых и будешь отображаться в топе.
При этом доказанный опытами факт - вероятность прочтения отклика выше в несколько раз, если юзер получает ответ в первые 15 минут. Он еще на сайте и + у него не так много ответов.

А когда проходит час, есть смысл покупать место за филки, примерно 3$ доплаты за джобу. В итоге у тебя выходит чек в 5$ за отклик.

С другой стороны, когда ты откликаешься автоматически супер быстро(до 10 минут), откликов не так много собирается и бустить = тратить на это деньги не надо.
И стоимость 2$+- вместо 5$

Но что важнее - стоимость звонка у тебя понижается из-за большего опен рейта. А кол-во этих звонков увеличивается.

И что еще важнее - нет больше bottle neck в кол-ве откликов, нет ограниченного дня человека. Можно откликнуться в теории хоть на все новые джобы апворка.

Первые резалты:
- 32 отвеченных джоб
- 11 open rate
- из них 4 переписки
- и 1 забуканный кол!

Мы начинаем упаковывать продукт в SAAS подписку, уже купил домен и придумал название: U NEVER SLEEP COM. Прикол получился: You U(upwork) never sleep.
Расскажу через недельку трекшен по этому продукту.

На фото все сопречастные из Hi no code gang - проджект Аня и разраб Влад

Го если соберем 52 🔥, я соберу тупо лучший гайд по fine tune даже если вы абсолютный 0 в коде и даже лоукоде😈

Напоминаю про стримчик с Антоном будет во вторник, 18 февраля, 20:00. Создал для вас ссылку на ивент в Google Calendar.
Он будет прямо тут, а также будем рестримить в YouTube, тут можно поставить уведомление

P.S. Этот пост написан в лучшем канале про применение AI на практике - Неуспешный Неуспех(ссылочка)
5🔥65
Media is too big
VIEW IN TELEGRAM
Стрим с Антоном Гладковым уже через 1 час⚠️

Дабы подогреть вас еще больше к стримчику, прикрепляю выдержку из кола про будущее LLM в биздеве:
Антон верит, что LLM сейчас уже может проводить сейлз колы и он бы уже сейчас это смогу внедрить.

Так как LLM уже сейчас может кушать большие пласты информации с помощью векторного поиска. Но из-за отсуствия времени и фокуса пока не делает.

Поговорим про это после неуспешных неуспехов и как переживать говнецо!

18 февраля, 20:00. Создал для вас ссылку на ивент в Google Calendar.

Он будет прямо тут, а также будем рестримить в YouTube, тут можно поставить уведомление

Ставьте 🔥, если ждете!
И пишите вопросы в комментах!

P.S. Этот пост написан в лучшем канале про применение AI на практике - Неуспешный Неуспех(ссылочка)
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥7
Продолжаем: про неуспешный неуспех

Upd: стрим уже закончили, оставляю этот пост для истории. Посмотреть супер стрим можно тут на ютубчике!
3🔥6
Застримили с Антоном Гладковым на почти 5 часов! Запись тут

На Youtube 240 лайв просмотров, думаю тут было человек 50! Всем спасибо кто пришел, мои хорошие💖

Обсудили дохуя чего, чуть позже вернусь с вырезками текстовыми и видео. Если супер кратко, о том что вспомнил в первую очередь:
- самый трогательный момент - рассказ Антона про расставание с бизнес-партнером год назад - можно брать как ценный урок и проверить ваши текущие связи в команде
- очень много говорили про AI в биздеве, в каждом sales процессе: что уже точно на 100% заменено и где нужно еще пару месяцев(
- про тупость людей в их антагонизме к AI и почему это глупо
- про то, как критически мыслить, когда видишь всякие разные истории успеха на примере известного ed-tech проекта

Если наберем 52 🔥, проведем следующий стрим уже через недельку!

Пошерьте этот стрим своим друзьям, кому может быть полезно 🙏

P.S. Этот пост написан в лучшем канале про применение AI на практике - Неуспешный Неуспех(ссылочка)
🔥52
Авто-лидген с AI в Upwork, 10d results:
- 11 коллов
- 35 чатов
- 108 просмотрено джоб
- 332 отправленных джоб

#UNeverSleeptraction #2 - трекшен нашего тула по авто-ответам на Upwork с AI
Писал буквально неделю назад первый пост трекшена и уже у нас есть новая ачивка!!!

Йоу, прошло 10 дней работы нашей full automated автоматизации на Апворке, время подводить первые результаты.

Напомню, что мы сделали full automated процесс ответов на proposals:
- сначала мы валидируем джобы и отбираем подходящие нам
- затем создаем AI ответ
- и затем автоматически откликаемся

Первые резалты пиздец какие классные! Начнем с количества откликов.
Ранее человек мог откликнуться на 300 джобов максимум в месяц из-за монотонности процесса и временных ограничений.

--> теперь мы закрываем то же самое кол-во автоматически за 10 дней

То есть можем делать уже базово в 3 раза больше чем человек, с нашими прошлыми откликами.
Даже при более низкую конверсию закроет число.

Но конверсии при этом почти ровно такие же, как в хорошие времена и в 2 раза лучше, чем в последние месяцы.

Fails:
Но конечно такого меда не бывает без fail нюансов)

1) Спустя 7 коллов у нас нет еще проектов закрытых.
Как и всегда, попадается все равно не релевант:
- Индия
- Мало денег
- Ебнутые стартаперы

2) Потраченные деньги: слили уже баксов 500 на Upwork коннекты.
При хотя бы одном закрытом проекте это в экономике. Но пока расход. Ждем ждем :)))

3) Валидация все еще работает не идеально, из 500 релевантных джоб 57 все еще не релевант. То есть мы ответили на 57 и потратили на них 120 лишних $$$.
Будем ебашить еще больше fine tune!

Ставьте 🔥, если тоже в тоже в шоке от первых резалтов🎢

P.S. Этот пост написан в лучшем канале про применение AI на практике - Неуспешный Неуспех(ссылочка)
🔥31