🗿 Как я первым в мире нашел новый AI-продукт от Илона Маска

Полный заголовок не влез, он заканчивается так — «..., запостил твит об этом, но получил популярность только среди крипто-скамеров». Звучит безумно, да? Сейчас расскажу.

В воскресенье увидел анонс LLM-чата от компании xAI и пошел изучать. Я быстро уперся в заградительный вейтлист, оставалось только смотреть чужие видео. При это буквально месяц назад я прочитал свежую книгу про Маска. Там очень хорошо была описана его любовь к дедлайнам и кранчам. Релиз в воскресенье за 2 дня до конференции OpenAI это как раз такой же кранч. Особенность кранчей в том, что легко забыть что-то спрятать, поэтому я решил пойти порисерчить, что там есть на сайте xAI.

Я быстро нашел новые сабдомены, один из них был ide.x.ai. Сейчас там уже работающая заглушка, а тогда выскакивала фронтендовая ошибка. Я полез в исходники страницы и спустя время нашел скриншот нового продукта — PromptIDE, положу его в комменты. На скриншоте я увидел продукт для программирования промптов на стыке с Python. Это что-то новое, круто!

Я пошел перепроверить анонсил ли кто-то уже это в Твиттере. Смог найти в поиске только твиты крипто-ботов, которые разгоняли какой-то токен — получается я был самый первый, и пошел запостил твит об этом. Твит медленно заводился, я пораскидывал его по инфлеюнсерам и пошел спать. На утро я нашел 40 новых ретвитов, но неожиданно большая часть из них была снова от крипто-ботов. Так, а что это все-таки за токен, на который я натыкался в поиске?

Оказалось, что еще раньше меня новый продукт нашли сканнеры крипто-скамеров. Они моментально вытащили название PromptIDE, как только оно появилось на сайте. Автоматически создали токен, группы в телеграме, набили их людьми и пошли его разгонять сеткой ботов по твиттеру. И мой твит как раз попал в сетку для ракрутки токена. Видимо, такие боты настроены на все, что связано с Маском и на сайты всех его проектов. Получается, я был первым только среди людей, боты были раньше. Скриншоты тоже будут в комментах.

Твит в итоге все равно вышел на AI-аудиторию, но меньше, чем мне хотелось бы, а спустя сутки вышел уже официальный анонс PromptIDE.

🤖 AI-сотрудники — когда они уже нас заменят? 

Возможно, вы уже слышали новый AI-нарратив — «вашим следующим работником станет AI». Мне нравится концепция: нанимаешь на джуниорскую роль AI-агента, встраиваешь его в процесс и он выполняет свою четкую роль. Но насколько это работает уже сейчас? Я пообщался с 10 компаниями, которые строят AI-сотрудников и узнал на какой сейчас стадии развития они находятся. Ниже поделюсь своими наблюдениями.

Конструктор vs. коробочный агент: есть два подхода к созданию AI-сотрудников. 1) Создать конструктор, в котором уже будут собирать сотрудники под задачу. 2) Создавать уже готовых AI-агентов и давать их компаниям на внедрение. У обоих подходов есть свои плюсы и минусы, пока рано делать выводы.

Решают узкие задачи: компании сейчас сфокусированы на решении узких задач внутри профессий, которые дадут максимум пользы компаниям. Обычно это рутины: переписки, рисерчи, подготовка документов, продажи. Идет нормальный продуктовый процесс, когда сценарии последовательно закрываются и затем проверяются в реальном мире.

AI-агенты уже работают: здесь нужно смотреть на это взвешено: на данный момент ничего пугающего, их уровень пока сложно называть джуниорским. С другой стороны, я бы также не делал никаких выводов о «бесполезности». Следующие итерации будут появляться быстро, и через полгода мы увидим уже продвинутые версии.

😎 Вот здесь можно почитать мои апрельские предсказания про AI-агентов, там я целиком предсказал их текущее развитие. За это время мы в Agentcy научились собирать state-of-the-art ИИ-сотрудников для компаний и начали их внедрять. В связи с этим, могу написать новый список предсказаний — поставьте реакций, если интересно.

👀 AI теперь видит и сделает за вас рутинные задачи

Раньше для автоматизации действий в браузере этого требовалось цепляться к html-элементам, четко задавать последовательность шагов, из-за этого существовал порог входа. Теперь у GPT появилась способность видеть и открылось новое пространство решать эту задачу. Разберемся, какие новые подходы уже доступны на рынке автоматизаций.

Adept: еще до ChatGPT хайпа показали свою модель для превращения запроса пользователя в действия. Недавно открыла бету в свой первый продукт Experiments и закрыли раунд на $350mln. Важно, они пока не заявляли про поддержку «видения» в своих продуктах, но это явно вписывается в их стратегию построить AGI.

Induced AI: у этих ребят только $2.3 mln. инвестиций, но зато инвестировал Сэм Альтман. Они также предлагают продукт для автоматизации рутинных задач. Для этого планируют использовать смешанный подход: облачное решение, интеграции с сервисами по API, но в тоже время хотят использовать виртуальый браузер, в котором понадобится возможность «видеть». Для этого сейчас нанимают эксперта в Chromium.

VimGPT: опен-сорсная демка и единственный продукт из подборки, который можно по настоящему попробовать. Проект позволяет управлять виртуальным браузером через команды «найди в гугле все ai+sales продукты и прочитай их контент». GPT получает скриншот страницы, анализирует его и составляет очередность действий. Демка очень сырая, но дает понимание текущих возможностей.

😎 Официально GPT Vision используется только в последнем проекте, но я все равно вынес это в заголовок. «Видение» в перспективе станет ключевой технологий на рынке автоматизаций. На наших глазах появиласть возможность автоматизировать любые действия на сайтах без привязок к API или html-элементам. AI-работникам из предыдущего поста понадобится такой же визуальный инпут, чтобы эффективно решать задачи реального мира. Уже придумали какие задачи будете автоматизировать в первую очередь?

@prod1337

🤔 Я больше не доверяю GPT. Куда переезжать?

За последние дни многие люди вокруг задумались, что необходима альтернатива для GPT. Десятки тысяч бизнесов смотрели, как сотрудники уходят из OpenAI и были готовы ко всему. Я провел начало недели за рисерчем доступных решений и решил упаковать результат в пост. Существует два вида решений: 1) сервисы с API над языковыми моделями; 2) поднятие моделей у себя. Сегодня расскажу про первую категорию.

Claude: самая близкая к GPT-4 модель по бенчмаркам, недавно увеличили контекстное окно до 200 тысяч токенов (не совсем эффективных), и добавили function calling как в GPT. В первую очередь я бы начал эксперименты с нее. Из минусов: немного отличается API, промптинг, и также модель напрямую доступна не во всех регионах (зато доступна через Amazon).

Perplexity: в мае я рассказывал про их продукт, как замену Гугла. С тех пор они также запустили API для доступа к их собственной языковой модели, а также Llama2 и Mistral . В анонсе высочайшую скорость инференса среди конкурентов. API работает в формате OpenAI — это значит что переключаться легко. Мне нравится темп их команды и обязательно буду за ними следить. В комментариях поделюсь способом получить бесплатный доступ к Perplexity PRO на 2 месяца — он как раз дает доступ к API и оно пока бесплатное.

Decart: вариант для тех, кто любит потестить сырые стартапы. Они также предлагают API для доступа к моделям — от $0.1 за миллион токенов Llama2 7B. Это самая дешевая цена за инференс, которую я нашел во время рисерча и скорость ответа также порадовала, так что решил про них тоже рассказать. От стартапа есть ощущение, что он в любой момент отвалится, но зато быстро отвечают в твиттере.

Также потестил: Replicate — медленно и по ощущениям, и по бенчамаркам; Anyscale — сложный онбординг, непрозрачная ценовая модель; LiteLLM — библиотека, чтобы приводить разные форматы API к формату OpenAI, чтобы делать бесшовное переключение, показалось удобной.

😲️️️️️️ Когда я начинал рисерч, то не ожидал, что уже есть столько удобных решений на рынке, чтобы эксперементировать с ними. Конечно, они все уступают GPT по качеству, но это не значит, что с ними не нужно учиться работать уже сейчас. Последняя неделя очень ярко показала, как опасен платформенный риски. Нам нужна диверсификация.

📺 Как устроены изнутри языковые модели

Я постоянно пишу про сложные технические темы. Я осознанно не вдаваюсь в детали, но зато посты получаются более насыщенными моими инсайтами. В то же время, я с большим уважением отношусь к людям, которые могут простыми словами объяснять, как устроены сложные вещи.

Именно такой контент регулярно выпускает Andrey Karpathy — один из главных людей в OpenAI и в прошлом директор AI-направления в Tesla. Несколько дней назад у него вышло видео «Intro to Large Language Models». Там он за час рассказывает из каких основных компонентов состоят системы, как ChatGPT. Если слышали термины «инференс», «файн-тюнинг», «галлюцинации модели», но не понимаете их до конца, то рекомендую к просмотру. Видео набрало за эти дни уже пол миллиона просмотров.

Если пока нет времени, чтобы посмотреть видео целиком, то Леша из канала «Ночной Писаревский» сделал хорошую выжимку на 5 минут на VC. Этого хватит, чтобы получить первичную картину и начать лучше ориентироваться в теме.

👨‍💻 Лучшие AI-инструменты для разработчика в 2024

На прошлой неделе я провел первый тренинг «AI для разработчиков». При подготовке я поговорил с десятками разработчиков, проанализировал отчеты от Gitlab и Jetbrains. В результате я узнал какие AI-инструменты и промпты разработчики используют для повышения продуктивности. В этом посте я решил поделиться инсайтами про самые интересные инструменты для разработчиков и разбил их на категории.

1. Github Copilot — универсальный инструмент: больше 50% кода на Github уже написано с его применением. Большинство разработчиков при этом до сих пор им не пользуются. Команда Copilot сначала закрыла сценарии отдельных разработчиков (авто-дополнение, тесты, документация), а теперь развивает продукт на уровне команд и все компании (анализ PR, разворачивание в контуре). JetBrains недавно показали свой аналог Copilot для тех, кто сидит на их стеке. Стоимость — от $10 в месяц.

2. Cursor.sh — потенциальный дизрапшен: в отличии от Copilot они выбрали другой путь — AI-first. Команда Cursor форкнула VSCode и перестроили его интерфейс, чтобы промпты стали главным способом взаимодействия с кодом. В Cursor вы пишете промпт прямо там же, где раньше писали в редакторе код. Также отмечу фичу, которая позволяет прокинуть ссылки на актуальную документацию библиотек, и тогда они будут использованы при генерации. Также как и Copilot — используют модели от OpenAI. Есть небольшое количество запросов в месяц, чтобы протестить бесплатно.

3. Phind — альтернатива для GPT: они начали еще до ChatGPT-хайпа, как поисковик для разработчиков и попали с ним в YC. Долгое время они использовали GPT внутри, но в процессе собрали даныне и обучили свою модель. Теперь Phind отвечает на вопросы разработчиком и генерирует код. Phind доступен в вебе и ставится, как расширение для редакторов кода (в том числе Cursor). Phind доступен бесплатно.

4. CodeMuse — самый интересный стартап: свежий проект из следующего батча YC. Эта команда сфокусировалась на том, чтобы применить к локальному репозиторию open source LLM и эмбединги, и строить вокруг этого фичи. Уже сейчас доступен поиск человеческим языком над проектом — «find function that checks permissions» и автоматическая документация для всего проекта. В начале следующего года они планируют добавить ассистента и генерацию кода. CodeMuse также доступен бесплатно в виде расширения.

🫡 Уже сейчас такие инструменты создают разрыв между разработчиками в разы, а в следующем году разрыв станет критическим. Сейчас лучшее время, чтобы начать их применять — начните с этого списка.

👨‍💻 Как научить команду разработки применять AI

С таким вопросом ко мне часто приходят компании. Для одних это просто желание конкретного менеджера ускорить доставку фичей, а у кого-то это KPI на уровне всей компании по количеству AI-сгенерированного кода.

Раньше я мог помогать компаниям только через консультации, а теперь могу поделиться ссылкой на мое мартовское выступление. Я пробежался там по основным слоям внедрения AI в процесс разработки: от базового промптинга до мульти-агентских систем.

На видео неожиданно уже набролось 7.5к просмотров за несколько дней, но чувствую, что тема зайдет для намного большего количества людей. Даже если вам не актуально, то рекомендую закинуть в ваш чат с разработчиками, это лучший способ «начать внедрять AI в процессы» и начать доставлять фичи быстрее.

https://www.youtube.com/watch?v=JAWhQ4FpL8c

Снова большой перерыв без постов, буду исправляться. Насыпьте реакций ❤️, если интересно, над каким AI-продуктом я работал последние месяцы.

🤖 Я создал AI-агента, который помогает готовиться к звонкам

Каждую неделю я провожу не меньше 10 зум-звонков с незнакомыми людьми. Обычно это запросы на консультации или люди с аутрича. Я по своему опыту знаю насколько сильно портит впечателение неподготовленность собеседника. Даже 5 минут подготовки дают преимущество, но даже они не всегда есть.

В один из моментов, я спешно гуглил собеседника перед встречей и осознал, что делаю всегда примерно одни и те же шаги. Так я решил разработать своего AI-агента, который собирает репорты для меня. Ниже расскажу, что он умеет.

Агент подключен к почте: за час до каждого звонка мне в телеграм приходит продвинутый отчет о собеседнике. Агент проходится по 8 источникам данных, ходит по сайту компании, гуглит (запросы для поиска агент составляет самостоятельно) и ищет нужную информацию на сайте компании.

Агент подстраивается: в настройках я указываю мои текущие цели, а агент адаптирует отчет под них. Он также подстраиватеся и под собеседника: легко разделяет инвесторов и фаундеров. Например, для инвесторов больше фокуса будет на последние сделки, а для фаундеров на общий бэкграунд: первый ли это опыт запуска компании, какие позиции занимал в найме. Агент также анализирует, что человек писал в соцсетях в последнее время.

С агентом можно общаться: если в изначальном репорте информации недостаточно, то ее всегда можно уточнить. В этот момент агент может продолжить сбор информации. Обычно я прошу сгенерировать список айсбрейкеров, чтобы начать с них диалог или больше деталей про компанию.

🚀 Дальше больше: планирую интегрировать агента с моим хранилищем расшифровок звонков, чтобы при подготовке к звонку учитывать контекст прошлой встречи. Рынок автоматического рисерча кажется интересным: можно дальше уходить в поиск интервью или подкастов с этим человеком, конкретных цитат, которые можно использовать, уходить на много уровней вглубину.

Хотели бы себе такого агента? Ставьте 🦄, если да

🤑 Как я сэкономил 50 часов за месяц во время JBTD-исследования (показываю AI-пайплайн)

За последние полтора я плотно занялся улучшением своих продуктов. В рамках этого я провел 40+ JBTD-интервью про AI в работе. Сами звонки занимают ~50 минут, при этом еще больше часа уходило на расшифровку записи — работа при этом не самая приятная. В этот раз я решил подойти из AI-first подхода и построил пайплайн, который сэкономил мне все эти часы.

Что умеет текущая система:
- Автоматически приходит на звонки из календаря и собирает транскрипт;
- Транскрипт складывается на страницу звонка в базе знаний;
- Генерируется общее AI-саммари на странице звонка, выделяется список задач;
- В шаблон интервью подставляются ответы респондента;
- Генерируются JBTD-сценарии из заполненного шаблона интервью и инструкций;

Как я это реализовал:
- Для AI-транскрипта и саммари я использую AI-агента от Tana, но подойдет любой аналогичный сервис — обычно я рекомендую mymeet;
- Для базы знаний, база транскриптов звонков я тоже использую Tana — она легко интегрируется с календарем и списком контактов — для меня работает идеально. Могу зайти в сущность человека и найти все наши звонки, быстро наверстать контекст;
- Для заполнения шаблона и финальной обработки я использую Sonnet 3.5. По моему опыту он лучше справляется с длинными текстами, а еще мне нравится их XML-like промптинг.

Какие слабые места:
- AI все еще плохо справляется с выделением смыслов во время генерации JBTD-сценариев. Это сложная и креативная задача — мало, кто из людей умеет это делать правильно, так что не удивительно;
- Всю логику работы с Claude я пока что делаю вручную, хотя у Tana есть API и я могу легко к нему подключиться;

Какие следующие шаги:
- Склеить Tana и Claude, автоматизировать весь процесс;
- Упаковать внедрение AI-first-meetings в услугу и начать внедрять в процессы компаний. Если интересно уже сейчас, то пишите;

На выходе AI мне позволил автоматизировать всю рутину, оставила для меня только самые и креативные задачи. К такому мы сейчас стремимся во всех рабочих сферах.

@prod1337

💫 Как я стал AI-консультантом

C начала года я провел в 10 раз больше консультаций, чем за всю жизнь до этого. Повлияли на это два фактора: рост подписчиков и взлет AI-хайпа.

👋 На скриншоте Артем, он директор по продукту. Мы созваниваемся уже полгода каждую неделю. На звонках мы генерируем и валидируем вместе AI-гипотезы, ищем дешевые способы внедрения в продукт, обсуждаем и подбираем лучшие на рынке AI-инструменты.

С каждого такого звонка я выхожу счастливым и полным энергии. При этом, я все время относился к консалтингу как к чему-то стыдному: на канале ни одного упоминания, все запросы на консультацию пришли самостоятельно. На это повлиял базовый нарратив окружения — «нужно делать и развивать продукты, а не продавать свое время по часам» и что-нибудь рядом обязательно про leverage и Навала Равиканта.

Вчера я снова круто провел консультацию — на этот раз для одной из крупнейших консалтинговых фирм. На этом моменте даже мой внутренний критик решил отойти в сторону — из этого родился пост с простым достаточно смыслом. Если вам нужна консультация по AI, то напишите мне:

👇 Ниже список запросов, с которыми ко мне обращаются чаще всего:
- Архитектура AI/LLM-продуктов;
- Мы хотим внендрить куда-нибудь, не знаем куда;
- Я пропустил весь AI-хайп, помоги наверстать;
- Продуктовая стратегия для AI-продукта;
- (и также масса других запросов);

📆 Начать можно со звонка-знакомства, его можно забукать по ссылке. Если пока не уверены или есть вопросы, то просто напишите.

🫡 Не стоит переживать из-за недостатков ИИ, действуйте

У меня есть стандартный слайд, который использую во всех выступлениях — «что мешает людям начать использовать ИИ?». Первыми всегда идут «галлюцинации» и «я попробовал, получилось не очень, для моей задачи не работает». На этом отваливаются и разработчики, и предприниматели и продакты. Казалось бы, ИИ и правда галюцинирует, правда ошибается — что тут не так? Но мне больше нравится другой подход.

Когда я подступаюсь к задаче, то смотрю на нее так «нет галлюцинаций и проблем, а есть недостаточная проработка промпта и пайплайна». За 30+ проектов агентства и за кучу консультаций я пока не встретил ни одного кейса, где ИИ не давал бы достаточное качество при правильном подходе. Их чаще всего два: декомпозиция задачи до набора простых задач, чтобы ИИ точно справился + промпт-инжиниринг.

Так смотреть даже просто выгоднее: я заранее себя не ограничиваю никакими установками. Это особенно важно, когда технология новая, постоянно меняется, любая установка быстро становится неактуальной. Я могу поверить на слово автору телеграм-канала, а могу пойти попробовать сам на своей задаче, получить реальный опыт.

Другая сторона, что применение подходов может занять действительно много времени. То есть ИИ решит задачу с достаточным уровнем качества, но какой ценой. Вполне нормальное решение — не идти в разработку пайплайна, а посадить студента, который будет делать эту работу руками. Но научиться принимать такое решение эффективно мы можем тоже только через прокачку насмотренности, что снова нас возвращает к моей призме восприятия — делать, а не переживать.

❓ А какую задачу вы хотите решить следующей при помощи AI?

@prod1337

⏰ У вас есть только одна попытка в эпоху AI

Сегодня необычный пост с отсылкой к мультфильму «Суперсемейка» и злодею оттуда. В какой-то момент он произносит фразу «если все супергерои, то никто не супергерой». Немного переделаю ее с учетом нашей специфики — «если у всех есть доступ к универсальным AI-агентам, то ни у кого нет конкурентного преимущества за счет этого».

Каждый день сложные вещи становятся доступнее: код, иллюстрации, дизайн, знания, операции классификации и саммаризации. В моменте может быть сложно оценить влияние этого на экономику, но легко нарисовать график на котором одна линия будет идти вниз — «стоимость разработки продукта», а другая расти — «количество продуктов на рынке». В какой-то момент продуктов станет так много, что привлечь людей туда станет практически невозможно.

С одной стороны это значит, что важно фокусироваться не на том, что агенты сейчас не могут, а быть первым, кто сможет вытаскивать из них ценность с учетом ограничений. Не забывать при этом и про дистрибуцию — где я возьму первые 10-100-1000 пользователей?

С другой стороны — это значит, что нужны будут новые навыки — менеджерские. Если агент может делать всё, то знания и навыки уже не так важны. Важно будет то, как вы распределяете ресурсы и находите точки, которые дают 10-100х результата. Такой навык можно заработать только практикой.

🫡️️️️️️ Полчуается, что если вы планируете успеть заработать деньги на AI, то начинать нужно сегодня: собирать вокруг себя аудиторию, разбираться в технологиях, экспериментировать с агентами. Еще никогда не было так дешево воплотить свою идею в жизнь. Если вам нужен был сигнал, то пускай это будет он.

@prod1337