Взял вчера 3е место на хакатоне по агентам в AGI House. Сам Andrew Ng был в судьях и обьявлял победителей

За 7 часов написал агента, который анализирует видео поток и определяет уровень вовлеченности слушателей лекции/зум встречи. В конце демо развернул ноутбук на всех присутствующих и показал, как оно определяет в плохом освещении и много фейсов. Для меня это был первый проект с видео, поэтому очень доволен

Код тут: https://github.com/BayramAnnakov/facerecog

На следующей неделе поговорим про аналитику

Фаундер и аналитик – кто прав?

Основатели обожают плавать в галлюцинациях. Особенно в том, что касается аналитики продукта и маркетинга. Могут в последний момент директивно поменять приоритеты задач или вмешаться в тяжелый проект со срочной adhoc-задачей, которая "ой-как горит".

Так получилось, что один из самых уважаемых мной фаундеров нашелся, чем мне ответить. Байрам Аннаков (Founder & CEO @ Empatika Labs, ex-CEO @ App In The Air) возразил, что аналитики галлюцинируют как минимум не реже самих основателей. Аналитики могут ошибаться в базовых расчетах, "пропускать" скачки в метриках. А еще они регулярно пытаются построить свою "звезду смерти".

В общем, я вызвал Байрама на своеобразный баттл "Аналитик против фаундера". Мы договорились в онлайн-режиме честно высказать друг другу, кто и в чем чаще всего заблуждается – аналитик и основатель компании. Разговор пройдет в формате Zoom-трансляции 3 сентября (перевернем LOL) в 20:00МСК.

Для участия регистрируйтесь по ссылке.

@marketing_analysis

Во вступительной лекции к хакатону Andrew Ng упомянул про концепт data gravity, о котором, к своему стыду, я ничего не знал. Поэтому делюсь, вдруг еще кто-то не в курсе

Итак, идея data gravity: этот концепт ввел Dave McCrory в 2010м. Представьте, что данные - это планета. По мере роста обьема данных вокруг нее возникают приложения и сервисы, использующие эти данные. Данные как бы "притягивают" эти обьекты к себе и становится все сложнее эти данные переносить в другое место.

Итого:
1) больше данных —> больше приложений и сервисов, старающихся быть как можно "ближе" к этим данным, чтобы снизить временные задержки на передачу и использование оных
2) больше приложений —> еще больше данных. Классическая петля взаимного усиления из системного мышления

это приводит к росту зависимости от вендора/клауда, что собственно мы и наблюдаем в виде кредитов для стартапов от всех топовых клауд платформ 😉

По мнению Эндрю эта сила притяжения начинает снижаться, потому что для GenAI приложений стоимость обработки данных сильно выше стоимости передачи, что снижает силу притяжения. Допустим, передача 1Гб данных стоит $0.1, но его обработка LLM - от $100 до $1000 в зависимости от модели (1Гб текста = 250M входных токенов). Я нашел статью с мыслями по этой теме от Andrew.

Интересно, что я слышал прямо противоположную точку зрения, кажется от Цукерберга: что latency становится все важнее, поэтому клауд провайдеры, которые заключают сделки с разработчиками моделей и размещают их на своих серверах, будут более выгодны разработчикам приложений. А в такой комбинации именно открытые модели будут естественным образом преобладать, потому что их можно разместить на любом клауде, на котором нужно, а не только тех, у которых есть эксклюзивные отношения с поставщиками закрытых моделей

Посмотрим-с, но метафора, согласитесь, интересная :)

Паблик бета - AI сейлзы

В марте мы стали экспериментировать с цифровыми двойниками сейлзов, сегодня открываем доступ к бета версии продукта. Продукт прежде всего направлен на тех, кто регулярно и лично продает: фаундер продажи, сейлзы в b2b сфере, ответственные за биздев.

Что можно уже сейчас попросить двойника:
1) помочь подготовиться к sales звонку: просто вводим ссылку на linkedin человека, с которыми звонок, и получаем детальный отчет по нему, его компании, и рекомендации как построить разговор.
2) проанализировать запись звонка, рассказать что было так и не эдак по мотивам лучших sales методологий, и дать советы по улучшению

Что можно будет сделать в будущем:
0) интеграция с календарем, CRM и вашими кейс стадиз —> для enterprise клиентов мы уже это делаем, кстати
1) попросить его проанализировать своих клиентов, сформулировать портрет вашего идеального клиента, найти похожие компании и релевантных людей в них, и, разумеется, написать им в LinkedIn и почту гиперперсонализированные письма и сообщения
2) поболтать с цифровым двойником клиента, чтобы потренироваться до реального звонка
3) попросить его помочь подготовить документацию для участия в тендерном (RFP) процессе

и многое другое, о чем мы узнаем только благодаря нашим пользователям. Отдельное спасибо нашим ранним пользователям за фидбек и советы: Миша, Андрей, Анжелика!

Попробовать текущую версию можно (и нужно) тут: будем очень благодарны за обратную связь! Можно писать мне в личку или на feedback@onsa.ai

https://app.onsa.ai/

P.S. Если есть идеи сотрудничества или желание попробовать будущие фичи - тоже пишите, будем рады

Секрет успеха

Сегодня не пятница, но «маленькая пятница». Поэтому поделюсь этим секретом успеха от Хемингуэя:

Секрет успеха прост: никогда не падайте духом.

Никогда не падайте духом.

Никогда не падайте духом на людях

В посте про июльский хак я писал, что было много проектов про voice assistants.

Поэтому мне стало интересно поглубже поресерчить тему и наткнулся на эту статью a16z.

Основные тезисы:
1) С появлением мультимодальных LLM голосовые ассистенты получают большой буст: лучше понимают, более гибкие

далее пункты про b2b, про b2c есть в самой статье:
2) скорее всего будут появляться вертикальные (индустриальные) решения: многие бизнесы живут благодаря звонкам, испытывают недостаток рабочей силы, и сложности в соблюдении единого уровня обслуживания
3) звонки - это API для взаимодействия с миром
4) compliance - еще одно важное измерение для аргументов в сторону вертикальных решений: например, здравоохранение. Ну и очевидно надо интегрироваться с разными системами, в которых звонки являются «точками входа» —> заказ в ресторане, допустим.
5) скорее всего понадобится fine tuning под заданную доменную область, так как базовых будет недостаточно из за особенностей, терминологии и тп

В общем, большой простор возможностей в b2b. С b2c - посложнее, читайте в самой статье

Интересный отчет про юнит экономику LLM API:
1) Маржинальность OpenAI упала с 75% до 55% - спасибо конкуренции и open source-у
2) Мы (разработчики) не повысили свои обьемы потребления настолько, чтобы перекрыть снижение цен, поэтому общая выручка API бизнес падает —> в районе $500M
3) Часть экономии достигнута более эффективной работой с памятью - те самые software optimizations, о которых говорили мы на 2й встрече по GenAI
4) Авторы отчета видят 2 сценария:
- OpenAI придется еще дропнуть цены из за конкуренции
- Появится новый класс моделей (glt4, claude opus 3.5), за который можно будет чарджить больше.

По мне так эти оба сценария состоятся до конца года. Так что разрабатываем свои продукты, углубляем проникновение в бизнес и интеграции, и пожинаем плоды падающих затрат на api, улучшающегося качества, и, пока на нашей поляне недостаточно конкурентов, повышенной маржинальности!

Как выигрывать хакатоны

В комментариях к посту про хакатон просили рассказать про то, как мне удается выигрывать на хакатонах. Я не скажу, что у меня какой-то уникальный подход, но что-то действительно есть: в каждом из 7 хакатонов, в которых я участвовал с июня прошлого года, я получал приз.

Глобально 3 вещи:
1) Я всегда заранее продумываю идею и сценарий конечной демонстрации в голове. Хакатон это, в том числе, про умение запомниться. И то, как будет построена презентация, имеет огромное значение. К примеру, в прошлом хакатоне я понимал, что если в конце демо разверну комп на аудиторию и покажу как моя поделка распознает лица зрителей, то это будет хороший вау эффект. Идеи я обычно заранее обсуждаю с командой и друзьями - мои коллеги и ребята из founder school не дадут соврать.

2) ключевой закон систем: сложные системы, которые работают, вырастают из простых систем, которые работают. На хакатоне легко увлечься или застрять на какой то штуке, которая не получается. Я стараюсь, чтобы как можно скорее у меня работал хак end to end, даже если там хардкод. Когда заработает, то можно уже в оставшееся время убирать этот хардкод, заменять компоненты, делать красиво. Лучше некрасиво, но работает end to end, чем не работает, но каждый компонент «красив» сам по себе.

3) планирование - если я хакатоню один (5 из 7 хакатонов), то все сильно проще: начинаю хак с самой сложной вещи, я должен ее сделать за 30-50% всего времени. Далее уже простые элементы. В хакатон я не беру более 1й вещи, с которой я ранее не работал. Слишком рискованно.

Если с командой - то основной риск - что куски продукта не сойдутся вместе. Поэтому здесь ключевая цель как можно скорее получить end to end, 50% времени хакатона. Потом уже индивидуально можно улучшать, но постоянно делать чекпоинты и убеждаться, что не сломался end to end. Важно выбрать одного ответственного за интеграцию всех кусков и этот человек должен быть full stack, он должен понимать, как компоненты собираются в одно целое.

Ну и одно суперважное условие: идея и челлендж должны меня самого вставлять. Я должен испытать удовольствие, когда хак заработает, даже если я ничего не выиграю. Потому что хакатон для меня это «выбрасывание» себя из зоны комфорта, прыжок над собой.

Участвуйте и выигрывайте в хакатонах, Друзья!

P.S. И один лайфхак - как бекап имейте видео запись работающей версии хакатона, чтобы ее показать, если в демо что то пойдет не так. На позапрошлом хакатоне меня это спасло

LLM-ки в отпуске

В Твиттере спекулируют, что Claude в августе уходит в отпуск, и поэтому плохо отвечает. В декабре то же будет и с chatgpt

Так что не судите строго

P.S. В системном промпте реально есть дата текущая

Запись вчерашнего подкаста про Аналитика vs Фаундера

https://youtu.be/c_edAvF1JxQ

Кто круче галлюцинирует?

Полезный ресерч для тех, кто строит RAG (retrieval augmented generation) системы: сравнили уровень галлюцинаций на малых, средних и длинных документах у 22 моделей:
1) sonnet 3.5 всех уделал по точности, меньше всего придумывал
2) gemini flash норм отработала на всех доках, и на порядок дешевле
3) из open source неожиданно круто себя показала qwen. Надо будет попробовать

P.S. Если вы строите RAG систему и хотите проконсультироваться - welcome

Будущее, которое мы заслужили

Журналист Эван Ратлифф и автор подкаста Shell Game клонировал свой голос, потихоньку стал заменять себя клоном на своем подкасте, звонках своим коллегам, в банк, AI и настоящему терапевту, на рабочие звонки и тп. Прикольный эксперимент, про который он рассказал на недавнем Radio Lab. И последствия этого будущего на наши жизни.

“I am getting paid for talking to people” особенно посмешил меня :-)

А вот ситуация, когда он натренировал цифрового двойника на своей биографии, и слушал как его клон “проходит терапию” по телефону у настоящего терапевта, и с одной стороны вроде это не он, но вроде и он. Вроде как он слушает чужую терапию, и вроде как бы свою. И как клон «додумывал» некоторые части, и иногда попадал в точку. И как бы помогал ему задуматься, как бы взглянуть на себя извне. Прямо мурашки по коже.

И фидбек терапевта: как она в какой то момент начала понимать, но только где то к середине разговора, и потом ее догадки почему это может быть и тп.

В общем, послушайте на досуге, заставляет задуматься о соцдем последствиях клонов

Про пороховые бочки

Самое опасное для меня - это сидеть на «пороховой бочке». Односторонне зависеть от других: инвесторов, руководителей. Бояться, что тебя выгонят, уберут из борда, размоют. Я уже не говорю, если тебе угрожают этим.

Некоторые люди сражаются, хотят победить в таких ситуациях. Конфликты и соперничество их мобилизует, поэтому им важно создавать такую атмосферу вокруг. Но она не увеличивает обьем добра в мире. А просто удовлетворяет эго победителя и разрушает - проигравшего.

Не воюйте. Уходите. Не создавайте ситуацию, которая питает людей и разрушает вас.

Но, пожалуйста, каждый день, пока такая ситуация не настала, создавайте себе подушку и возможность уйти. Встать и уйти.

И это не только про деньги. Это про компетенции. Опыт. Насмотренность. Умение учиться и расти над собой.

Вы должны радоваться не тому, что продержались на заданном месте 5 лет. Вы должны радоваться тому, как с каждым долларом на сберегательном счете, с каждым новым скиллом, с каждой новой компетенцией вам становится легче дышать. И вы сползаете с бочки, фитиль к которой в руках у других.

Я очень рад, что мне это удается, и я очень буду рад за каждого из вас, кто или уже слез, или каждый день осознанно слезает с нее.

Обнимаю!

Запилили с друзьями вчера забавный проект на Stanford хакатоне: mailguard. Это реинкарнация hashcash на современный лад: платишь за спам, если хочешь чтобы его прочитали. Если не оплатил, то пожалуемся в FTC. Что, мы хуже LLMок чтоли: им за токены платим, надо и людям :-)

Ничего не выиграли, но, как обычно, делюсь кодом и презой:
1) Код
2) Преза

И видео выступления в аттаче

Klarna отказалась от Salesforce в пользу AI - не смог пока найти много инфы, что именно они делали в SFDC (так как salesforce это давно не просто CRM), но это интересный сигнал. Особенно в свете этого поста выше

https://seekingalpha.com/news/4144652-klarna-shuts-down-salesforce-as-service-provider-workday-to-meet-same-fate-amid-ai-initiatives

Про обьемы данных

1) Fb посты - в 12 раз больше тренировочных данных llama 3
2) Fb картинки - еще в 20
3) Instagram и YouTube - еще в 2
4) Tesla - еще в 20

Андрей Карпатый на подкасте недавно говорил, что он bullish очень про теслу, и что у нее software problem, а у waymo - hardware. И что software проблему решить легко, и последний больщой апдейт FSD наглядно показывает это. Кстати, waymo на днях опубликовали очень обнадеживающие данные по безопасности своих беспилотных машин.

Еще интересно было про то, как они тренируют модель на тачках со всеми навороченными датчиками, а потом дистиллируют ее по тому же принципу, что делают маленькие LLM, чтобы работало на простых Teslaх.

Я выше писал про NotebookLM - сегодня они выкатили фичу Audio Overviews, очень напоминающую мой недавний хак, но только они, конечно, классно сделали, что это разговор, а не рассказ, как у меня в хаке. Ну и такую же фичу Google выкатил для научных статей

В любом случае, это еще раз про то, что все идеи витают в воздухе.

Вы - продакт директор LinkedIn. У вас есть 3 флоу регистрации в продукт и разная конверсия на каждом - см. картинку: 40% конверсия при инвайте и они получают 50К регистраций с него, но только 4% конверсия с трафика из поисковиков и приносит аж 25K регистраций

Вопрос: какой флоу вы бы выбрали для оптимизации и почему? Ответ в след посте