🦄 Мы стоим на пороге новой гигантской индустрии в разработке продуктов

Я уже писал, что промпты — это новый язык программирования. Но это только часть новой большой индустрии. При этом у нее до сих пор даже нет четкого названия. Она формируется прямо сейчас на стыке трех направлений:

1. Product Engineering: классическое проектирование продуктов - интерфейсы, логика, система.
2. Prompt Engineering: хороший промпт может дать 10х результат, больше чем другие оптимизации. Мы до сих пор далеки от понимания, как нужно писать эффективные промпты.
3. NLP (Natural Language Processing): «как прокинуть в языковую модель свои данные релевантные текущему запросу». Работа с данными, эмбединги, токенизация, чанки, оверлапы, long term memory. Интересно, что в этом направлении почти ничего не изменилось 2020-го года.

🆕 Что изменилось?
↓
1. Новые модели GPT под API: Появилась новая умная модель GPT-4, доступная через простое API, и её дешёвый вариант GPT-3.5. Можно в 40 строк кода сделать то, над чем раньше отдельная команда трудилась целый год. Это сильно сократило время на прототипы и эксперименты, мы увидели тысячи новых продуктов.
2. Запуск и хайп вокруг ChatGPT: это привлекает больше разработчиков → мы получили больше инновационных продуктов → это генерирует еще больше хайпа → цикл продолжается.
3. Новый тулинг: появился Langchain; векторные БД стали облачными → появилась возможность не погружаться в NLP часть глубоко и про этом строить продукты.

😲 Почему эта индустрия важна?
↓
1. Языковые интерфейсы: людям удобнее взаимодействовать с системами на естественном языке. Будущие интерфейсы будут ещё более ориентированы на человеческий язык и голос.
2. Ценность для бизнеса: человеческая работа во многом сводится к обработке языка и информации и генерации новой. Мы можем автоматизировать и заменять эти функции, экономя деньги бизнесу. Здесь существует огромное пространство для появления AI-агентов.
3. Мир переполнен информацией: человеческий мозг не в состоянии обработать даже текущие объемы. Потребность в персонализации информации, ее обобщении и отборе будет только расти.
4. Техологии и туллинг продолжат развиваться: если сейчас кажется, что языковая модель решает какую-то задачу плохо, то это не значит, что через полгода она не будет решана.

🚀 Эти факторы приведут к тому, что у бизнеса не останется выбора кроме как интегрировать языковые модели. Причем недостаточно будет просто подключить GPT через API и написать базовый промпт. Это приведет к запросу на экспертов в этой области.

Поэтому я решил запустить чатик-сообщество по «языковой разработке». Сейчас в приоритете набираем людей с реальными опытом запуска AI продуктов или экспериментов — напишите мне, если есть такой опыт и хотите вступить (если опыта нет, но очень хотите вступить, тоже напишите)

@prod1337

🚀 Как быстро вкатиться в «языковую» разработку

В предыдущем посте я описал то, какой я вижу разработку будущего. У нее даже нет названия и там я предложил ее называть пока «языковой». Эта область разработки продуктов строится вокруг человеческого языка и голоса.

Последние месяцы я только и делал, что искал информацию по кускам в интернете, чтобы разобраться, как это работает. В результате из этого получилось сообщество и вот теперь гайд.

Это все еще сырая версия, я планирую ее дорабатывать в течение нескольких недель. Но уже даже сейчас это самый структурированный и понятный гайд про то, как начать разрабатывать продукты над языковыми моделями. Также я до сих пор не уверен в названии области и продолжаю перебирать варианты — делитесь идеями, если будет.

Гайд полностью бесплатный, таким и останется — взамен только прошу шарить гайд другим и давать фидбэк.

🔗 → Большой гайд по языковой разработке

✏️ Зачем я пишу посты (и почему стоит начать вам)

За последнюю неделю несколько разговоров заходили к вопросу «а для чего ты лично ведешь канал?». В результате получились 3 пункта, которыми хочу поделиться.

1. Упаковка мыслей: я могу несколько дней вынашивать классную мысль. Часто все начинается с небольшой идеи на стыке областей. Я ее начинаю продумывать, обсуждать по чатам, искать по ней информацию. В какой-то момент в голове набирается достаточно информации и остается ее упаковать в пост и отправить. После этого — она как будто освобождает моментально место для новых мыслей. Теперь к этой мысли всегда можно обратиться и прислать в виде ссылки на пост.

2. Асинхронный обмен идеями: весь мой круг общения постоянно перемешается. Круто если удается увидеться и пообщаться вживую хотя бы раз в полгода. Если человек все это время читал мой канал, то можно не пересказывать упакованные мысли, а сразу переходить к их расширению через опыт этого человека → найти какие-то новые идеи. Еще круче, когда вы оба ведете каналы и можете в разговоре обсуждать концепции на стыке мыслей из них.

3. Рычаг/leverage: я уже описывал эту концепцию в канале. Мне нравится, когда мои мысли доходят до широкой аудитории. Я бы с удовольствием рассказал те же мысли под пиво в баре, а так имею возможность их доносить до тысяч людей. Также мы живем в мире, где рекламные каналы перегружены, цены растут. Личное медиа — это продукт, который позволяет масштабируемо дистрибуцировать свои идеи и свои продукты. В отличии от рекламы здесь заложены внутри сетевые эффекты и нелинейный рост — невероятно круто, когда это нащупываешь и удается оседлать.

И вот снова пообщался, дополнил и «упаковал мысль» — могу к ней ссылаться. Люди прочитают и мы сможем ее обсудить при встрече. Тамим образом получится расширить эту мысль за счет опыта другого человека — возможно получится другой пост. За счет сетевых эффектов и рычага мысль долетит сразу до многих людей.

@prod1337

🤖 Будущее персональных ИИ-ассистентов

На прошлой неделе потестил новые продукты, которые отражают, куда будут двигаться персональные ИИ-ассистенты.

1. Quivr: «второй мозг, который дает ответы». Продукт работает, как облако, куда вы заливаете свои документы, заметки, аудио и видео. После этого можно задавать вопросы и получать ответы из контента ваших документов. Продукт работает над эмбедингами от OpenAI (если до сих пор не знаете, что такое эмбединги — у меня есть гайд, где это одна из тем). Продукт полнолстью опен-сорсный, при желании можно развернуть у себя и не думать про безопасность.

2. LocalAI: «строим продукты над локальными языковыми моделями». Уже несколько месяцев можно запускать языковые модели на М1/М2 чипах мака — в этом помогают проекты llama.cpp и ggml.ai. LocalAI пошли дальше и предложили обернуть эти локальные модели в Chat API от OpenAI. Получается, что весь код, который раньше работал с новыми GPT-моделями теперь легко переключается на локально поднятую модель. Но пока не стоит слишком радоваться — модели ужимаются до ресурсов М-чипов за счет значительной потери качества. Я пока не придумал сценариев, где этим можно пользоваться и при этом не страдать. Но скорость развития радует, так что наблюдаем дальше.

Получается есть два направления: «опора на данные пользователя» и «локальные языковые модели». На их стыке лежит продукт «персональный ИИ-ассистент, который работает с документами на локальном компьюетере». На пути к такому продукту большую роль будут играть именно опен-сорсные продукты. В тоже время они пока далеки от качества, которые могут дать закрытые продукты от больших компаний.

🥷 Вокруг этого и будет строиться большая битва в следующие годы. Открытость, локальность против закрытости и удобства за счет ресурсов большой компании. Про это я сделаю отдельный пост — кидайте реакции, если интересно.

@prod1337

😒 Почему AI-агенты оказались бесполезны

Я еще несколько месяцев назад я написал, что хайп вокруг автономных AI-агентов преувеличен. А на днях зашел в сабреддит /r/AutoGPT и один из самых залайканных тредов за последний месяц с такой же мыслью — «AutoGPT is sort of useless?». Давайте разберемся как так получилось, что самый быстрорастущий Гитхаб-репозиторий в истории оказался бесполезным.

В посте не буду вдаваться в подробности работы агентов — это все есть в моем гайде.

Главная проблема: AutoGPT просто не справляется с решением сложных задач. Сюда же входит неправильная декомпозиция задач, нехватка памяти, неоптимальное использование запросов в модель и большие расходы. Вместо обещанной автоматизации сложных процессов, пользователям приходится постоянно вмешиваться и уточнять задание — без этого он просто уходит «не туда» и может достаточно долго сжигать на это деньги на запросы.

Откуда тогда такой хайп: не стоит удивляться, что основной хайп пришел от СМИ и Ютуберов в погоне за кликами. Я тоже писал свой обзор, но делал его сдержанным. В это время многие не стеснялись заявлять про наступление AGI. Есть подозрения, что большинство из них делились восторженными отзывами без реального опыта использования.

Светлое будущее: в обратную крайность тоже не стоит впадать. Разработчики знают о текущих проблемах и будут их постепенно решать. Для технологии нормально быть сырой на старте и постепенно улучшаться. Также это не мешает уже сейчас внедрять ИИ для автоматизации конкретных бизнес-процессов. В будущем эти автоматизации сэкономят триллионы долларов для мировой экономики.

😎 Мы с командой уже несколько месяцев активно делаем свой вклад в эти триллионы. Мы успешно автоматизировали бизнес-процессы в продажах и поддержке. Сейчас мы ищем новые сферы для применения ИИ и готовы провести бесплатные консультации. Больше всего интересно пообщаться с бизнесами из двух категорий:
— хотите или уже внедряете ИИ на стороне операционных процессов (продажи, поддержка, etc);
— хотите или уже внедряете ИИ на стороне пользовательского интерфейса;

Напишите мне, если ваши компании относятся к этим категориями 👋

👨‍💻 Разработчики — это двигатель текущей ИИ-революции

С момента релиза ChatGPT прошло полгода, и за это время был представлен API и поразительно мощная модель GPT-4. Тем не менее, в общем, мы находимся в той же ситуации, что и полгода назад. Несмотря на то, что каждый день выходят новые продукты и языковые модели — мы до сих пор не увидели значительных прорывов почти во всех отраслях. Это все еще эксперименты.

В чем тогда боттлнек: я уверен, что для революции нам не нужно ждать GPT-5 или новый фреймворк над моделями. Текущее узкое место индустрии — это количество разработчков, которые разрабатывают продукты над языковыми моделями И готовы поверить в свою идею настолько, чтобы заниматься ей хотя бы месяц подряд.

Чем мешает FOMO: мы находимся на диком зададе — идей и возможностей вокруг столько, что сложно выбрать что-то одно и начать этим заниматься. Я без труда нагенерирую сотню идей продуктов, которыми мог бы заняться и они имели бы влияние на пользоватей и бизнес. В такой ситуации невероятно сложно выбрать что-то одно и заниматься только этим. В тоже время, еще и легко оказаться в ситуации, когда кажется, что люди вокруг уже реализовали все возможные идеи — не стоит даже браться. Но это не так.

Приведу пример: на днях Фреймер релизнул свой AI-продукт с генерацией страниц сайта по промпту. Почти сразу вытащили информацию, что там внутри GPT-4 и промпт, который генерирует блоки на псевдо-коде, которые затем уже Фреймер на своей стороне превращает в страницу сайта. Со дня релиза GPT-4 не было никаких технических ограничений, чтобы сделать такой продукт — все реализуется за счет промпта в стандартную модель, которая доступна с середины марта. Ограничение было только в интересе и фокусе разработчиков. Команда фреймера поверила в идею и реализовала ее.

😎 Я считаю, что мы далеки от раскрытия потенциала GPT-4 и нам предстоит заниматься этим весь 2023-ий год. Я считаю, что есть миллионы продуктов, которые можно построить даже над текущими языковыми моделями. Я считаю, что это самое интересное, чем можно заниматься прямо сейчас. Поэтому я топлю за бесплатное обучение и строю гайд и поэтому я создал сообщество «языковых» разработчиков (нас уже ~150). Обучайтесь и подключайтесь к сообществу — давайте менять мир вместе.

🚀 Новая статья от a16z про «языковую разработку» и архитектуру таких продуктов

Приятно, когда один крупнейших фондов мира описывает тот же самый нарратив, про который я сделал пост три недели назад. Статья получилась хорошая, давайте разберем на какие вещи они обращают внимание при описании архитектуры.

Таких пунктов набролось шесть:

1. In-context learning: все что называется долговременной памятью и умной передачей информации в промпты. В гайде про это можно почитать на странице «векторные эмбединги».

2. Data Preprocessing/Embedding: чтобы передавать информацию в контекст — ее нужно сперва пред-обработать. Этот этап как раз отвечает за разбивку информации на чанки.

3. Промпт-инжиниринг (+промпт-тулинг): сюда они включают составление промпта и склеивание их в цепочку через фреймворки вроде Langchain/LlamaIndex.

4. Инфраструктура: классный рынок, где еще практически нет продуктов. Сейчас все в основном крутится вокруг базовых решений для кэширования и логирования, но дальше мы получим более узконаправленные продукты.

5. Будущее за агентами: тут тоже сходимся во мнении. Технология сильно сырая на текущей стадии, но с огромным потенциалом в будущем. Про агентов тоже есть хорошая страница в гайде — рекомендую.

6. Важность pre-trained моделей: итоговы пункт, где говорят о важности появления моделей, как GPT на рынке и то что это только начало.

🚀️️ Лично от себя отмечу, что я это самая большая легитимизация нашего рынка so far. Я окончательно убедился, что мы находимся в начале пути перед чем-то гиганстким. Также напоминаю, что у нас есть крупнейшее (и крутейшее 😎) сообщество по стэку из статьи — напишите, если тоже хотите попасть.

@prod1337

🤔 Как бизнесу внедерить языковые модели (и извлечь выгоду)

За последние недели я пообщался с десятками компаний по теме внедрения LLM. Для каждой я пошэрил свой опыт внедрения и мы нашли места, где они принесут в моменте ценность.

После этого у меня появилась четкая картина в какие места бизнеса сейчас можно уверенно внедрять LLM.

👷 Операционка: повторяемые процессы c учатием людей, коммуникация, особенно когда это складывается в цепочки. В таких местах бизнеса всегда с какой-то вероятностью генерируется брак. Чем больше частей системы между собой взаимодействуют → тем больше вероятность такого брака. Особенные флэшбэки у меня вызывает опыт с операционкой в фудтехе и эдтехе.

За счет LLM удается уменьшить количество подчастей в системе, оптимизировать процесс → снизить издержки и шанс брака. Это дает моментальное влияние на экономику, легко просчитать окупаемость. Тут важно понимать, что код тоже может производить баги. Это особенно валидно на раннем этапе развития языковых моделей — нужно оценивать риск и стоимость ошибки на этапе.

📱 Интерфейсы: это могут быть интерфейсы нового поколения (в том числе голосовые), а может быть просто оптимизация этапов благодаря вызову LLM. СЕО Instacart недавно в подкасте заявила, что видит будущее e-commerce в запросах на человеческом языке вроде «хочу здоровый ужин на троих». На это также накладывается слой голоса, я делал про это отдельный пост. Но и это лишь самый очевидный способ применения в интерфейсе — их намного больше.

Здесь выгоду для бизнеса просчитать сложнее: пользователей нужно будет обучать на новые способы взаимодействия, включится стандартный adoption curve. Но люди постепенно перестроятся за счет снижения когнитивной нагрузки во время выбора.

😎 И это не все: впереди нас ждет еще развитие и адопшен AI-агентов, качественные и удобные опен-сорсные языковые модели, GPT-5. Но уже сейчас можно делать революционные вещи для бизнеса и сейчас самый лучший момент, чтобы начать.

@prod1337

🫡 Почему сейчас плохое время, чтобы строить AI-продукт

Вы уже привыкли к потоку bullish-постов по поводу AI и языковых моделей. Но сегодня давайте попробуем посмотреть на этот рынок с другой точки зрения. Мы разберем, почему сейчас плохое время, чтобы запускать AI-продукт.

1. Дистрибуция: еще никогда не было так сложно добиться внимания конечного пользователя с продуктом на стадии MVP. Платные каналы давно уже перегружены и по ним почти невозможно свести экономику. Теперь еще переполнились и нестадартные каналы, которые всегда были отдушиной. Каждый день в Твиттере и на PH я вижу лончи сотен новых AI-продуктов — при всем моем энтузиазме, даже мне это уже надоело и я просто пропускаю их мимо.

Сюда же можно добавить, что большинство таких продуктов построено вокруг подписочной модели. У пользователей постепенно переполняется не только внимание, но и бюджет, который они готовы тратить на «продуктивность» и «прикольные тулы».

2. Технологические риски: релиз GPT языковых моделей открыл огромное пространство для появления новых продуктов. В один момент ML-технологии стали доступны в 10 строк кода всем разработчикам мира. Но демократизация привела и к тому, что AI-фичи больше не считаются конкурентным преиуществом. Другой разработчик точно также быстро напишет промпт и добавит вызов к API OpenAI. Такие решения быстро превращаются в комодити.

Хайп породил за собой и другую волну — техногиганты бросили огромные ресурсы на развитие AI внутри своих продуктов. Каждый разработчик должен считаться с риском, что такой же продукт может стать в ближайшее время частью экосистемы Гугла, Microsoft/OpenAI или Amazon.

🗿 Для меня сейчас это основные блокеры, чтобы взять за какой-то продукт и начать делать его. Но и есть хорошая новость — кажется я нашел решение. Поставьте реакций, если интересно почитать про это решение.

@prod1337

🤯 Почему сейчас отличное время, чтобы строить AI-продукт

Вчерашний пост собрал рекорд по реакциям. Прочитайте сначала его, если еще не успели. Вот что называется высказал непопулярное мнение. Но мы с вами знаем, что мир сложный и многогранный. Там, где есть «плохое время» одновременно есть и «отличное».

Поэтому сегодня разберем тезисы о том, почему все-таки стоит строить AI-продукт:

1. Набить шишки: даже если все риски из предыдущего поста сыграют, то вы получите незаменимый опыт. Можно сколько угодно читать теорию, собирать прототипы и выбрасывать их — это все еще будет далеко от реального мира. Реальный мир начнется, когда вы запустите продукт публично, возьмете за него ответственность и начнете его продавать.

2. Время возможностей: если ретроспективно посмотреть на технологические сдвиги прошлого, как «бум доткомов» или «бум мобилок», то может показаться, что просто нужно было в моменте оказаться с нужными навыками и начать делать. На деле эти ситуации мало отличались от текущей: рынки шатало, FOMO захлестывало людей и мешало действовать. В результате мы можем увидеть, что большинство текущих гигантов вышло на рынок как раз в моменты турбулентности.

3. B2B > B2C: по моему опыту обстановка в B2B сейчас обстоит лучше. Компании очень хотят затащить к себе AI, но большинство не знает как. Да и у AI сейчас такая широкая применимость, что это невозможно закрыть только командами внутри. Это заметно и по воронкам продаж — все в один голос говорят, что никогда не видели таких конверсий и по B2B аутричу и по сейлз-звонкам.

4. Решать проблемы: многие AI продукты можно описать как «решение в поисках проблемы». Разработчики не понимают, кто их пользователи, а это сказывается на сложности интерфейса. Если вы строите продукт от проблем пользователя, а AI используете для срезания углов, то это большое преимущество на таком рынке. Круто, если у продукта есть AI-стратегия, не круто когда есть только AI.

😎 Вот так! Не все так однозначно, придется взвесить и подумать над ответом на «стоит ли строить». Я уже взвесил, своим ответом я поделюсь в следующем посте. А вы пока расскажите в комментах, какие из тезисов для вас больше сейчас перевешивают.

@prod1337

🧑‍💻 Три новых AI-тула для разработчиков, которые изменят рынок

Помните я пару месяцев назад писал, что AI заменит разработчиков и это наступит достаточно скоро? За последние недели мы еще сильнее приблизились к этой точке. Сегодня я расскажу про три новые проекта, которые помогают автоматизировать процесс разработки и умеют делать это хорошо.

1. MetaGPT — самый интересный из трех проектов для меня. Это фреймворк, который последовательно эмулирует роли всех членов продуктовой команды в виде агентов. Босс-агент создает бизнес-требования; продакт-агент создает PRD; затем идут такие же агенсткие этапы работы над архитектурой, проектным менеджментом и наконец самой разработкой и QA.

За $0.2 за запросы к модели создается схема с архитектурой системы (закину пример в комменты), а за $2 уже целый запрограмированный проект. Работает классно и именно за такими мультиролевыми связками агентов лежит будущее автономных-агентов.

2. gpt-migrate — этот проект позволяет автоматически мигрировать код проекта с одного фреймворка или языка на другой. Самый базовый пример будет мигрировать чужую библиотеку с Python на JS. В этом проекте уже на всю начинает ощущаться сила gpt-4 с 32k контекстом, в работе рекомендуют использовать как раз его. Миграция среднего проекта обойдется в ~$10+ долларов коста на запросы.

3. aider — проект позвоялет разрабатывать прямо из терминала, используя запросы на человеческом языке. Создаем проект и последовательно пишем какую часть системы мы хотим добавить или отредактировать — change the fibonacci function from recursion to iteration. В этом месте самое время процитировать Andrey Karpathy — “The hottest new programming language is English”. Здесь тоже рекомендуется к использованию gpt-4 и кост будет на уровне предыдудущих двух проектов.

😎 Мои дальнейшие предсказания: 1) ближайшее будущее AI-агентов за узкими юзкейсами, на которые они заточены. Концепция general-агентов для всего (autogpt) отойдет в сторону, пока мы не получим еще более сильные языковые модели; 2) главным драйвером адопшена ai-агентов и автоматической ai-разработки станет момент, когда прайсинг gpt-4 упадет до уровня gpt3.5 → тогда мы получим огромное количество дешевых экспериментов и найдем новые эффективные способы применения за копеечные косты.

@prod1337

🧨 ChatGPT — ваш новый аналитик данных

Пару дней назад OpenAI начали раскатывать функцию интерпретатора кода на всех платных пользователей. На выходных я провел за тестами несколько часов, вижу огромный потенциал и кучу сценариев. Но сегодня сфокусируюсь только на одном — анализе данных и его на примере разберем новые возможности ChatGPT.

1. Загрузка файлов: появилась возможность загрузить документ для последующей обработки — в этом кейсе это будет датасет. Доступа к интернету у этой модели пока нет, так что это единственный способ передать данные на анализ.

2. Разные виды анализа: запрос может быть как конкретным, так и открытым. Сначала можно сам чат попросить предложить направления для анализа. А затем уже очистить данные, посчитать когорты по выгрузке из платежки, а в другой момент влить те же данные и попросить найти там паттерны или аномалии.

3. Аутпут: еще одна новая мощная функция. Если раньше результат мог быть только текстовый и его нужно было копировать, то теперь он может быть любым и его можно выкачать по прямой ссылке. Для данных это будет к примеру обработанный датасет, с которым можно будет продолжить работу в следующей сессии.

4. Рассуждения & рефлексия: обычный ChatGPT старается ответить как можно быстрее, даже если информации в вопросе недостаточно. Интерпретатор следует другой логике: он старается осмыслять задачу и в начале, и в процессе. Если данных недостаточно, то он задает уточняющие вопросы. При этом если код выдает ошибку, то он находу ее анализирует и тут же автоматически вносит изменения.

Вот мой пример анализа датасета e-commerce продукта. За счет уточняющих вопросов и «реалтайм» обработки ошибок, путь до когортного анализа занял 2 минуты и несколько строчек текста. В конце я попросил сгенерировать выводы и они получились тоже валидными (скриншот будет в комментах). Это невероятная скорость и снижение порога входа.

😎️️️️️️Анализ данных — это только один из сценариев, который сильно повысит продуктивность продактов и предпринимателей. Мне в голову пришла еще целая категория таких юзкейсов, про которые могу отдельно рассказать. Давайте так, если соберем 100 реакций, то сделаю про это отдельный пост.

@prod1337

🎉 Вот это да, 1000 подписчиков на канале

На днях нас с вами стала тысяча, чему я очень рад. Я рассказывал недавно про то, что моя мотивация вести канал — это обмен идеями и следование «принципу рычага». Но также правда, что подписки и ваши благодарности также бустят мою мотивацию. На фото подарочек от жены — спасибо, что приближали его получение!

Большинство присоединилось к каналу за 2 месяца и сегодня хороший повод поближе познакомиться. Я обновил закреп канала, добавил туда больше деталей о себе и агенстве, которое мы строим. Также там я веду каталог постов по категориям. Обязательно почитайте!

В каталоге постов уже набралось 30 штук и я понимаю, что не все готовы будут их изучать. Поэтому я взял сегодня инициативу и отобрал для вас три поста из прошлых месяцев, которые репостили чаще всего:

1. «Про голосовой ввод и интерфейсы будущего» — вдохновился качеством распознания голоса в мобильном приложении ChatGPT, рассказал про свои юзкейсы и сделал предсказание по поводу будущих интерфейсов.

2. «Как массовая эмиграция приведет к росту количества стартап фаундеров» — прорефлексировал свой опыт и смиксивовал его с идей Balaji из выступления в стартап-школе YC.

3. «Промпты — это новый язык программирования» — рассказал про одну из базовых концепций, на которой строится индустрия LLM-разработки, про которую я здесь постоянно пишу

❤️ Спасибо за реакции, репосты и комментарии. Впереди еще много открытий и инсайтов из мира AI, которыми я с вами буду делиться. Остаемся на связи!

👋 Давно не виделись — расскажу, что нового

Для меня всегда было самое сложное в контенте — прервать молчание. Как будто с каждым днем растет ответственность. Не будешь же после перерыва просто постить проходную новость? Но затягивать дальше смысла тоже нет, я достаточно отдохнул и сегодня расскажу, что нового у меня произошло за это время.

🦄 Посетил эвент от фонда SDG про стартапы: обсуждали, как лучше запускаться на текущем рынке - бутстрапить или привлекать инвестиции, также немного касались AI. Как всегда самая интересная часть была после мероприятия: удалось вживую пообщаться со многими интернет-знакомыми и с венчурными машинами — Николаем Давыдовым и Дмитрием Волковым. Главный инсайт — питч вживую дает 10х обратной связи по сравнению с онлайновым, хочется такого больше.

🤖 Затаскивал AI-агенство: рынок интересный, растущий, но сложный. С одной стороны компании начинают понимать зачем им нужен AI → с другой стороны этого недостаточно, чтобы стабильно закрывать на продажи, и приходится вкладываться в обучение. С одной стороны легко просчитать ROI от интеграции AI → с другой во время рецессии компании не хотят раставаться с деньгами, хотят еще более быстрый ROI. В результате много рефлексировал о том, что дает предпринимателю кризисный рынок, но главный вывод один — продолжаем строить.

👨‍🔬 Эксперементировал с локальными моделями: «как GPT только локально» — самый частый запрос, который я слышал от компаний этим летом. И если в июне я еще отвечал «да, но к концу года», то теперь это ответ «давайте тестить». Главный драйвер рынка сейчас это модель Llama2 и ее файнтюны. За последний месяц я видел успешные сборки на ней ботов по секстингу, генерации аутрич-сообщений и саммаризации высокого качества. На мой взгляд это самое интересное и перспективное направление прямо сейчас.

😎 Какие дальнейшие планы? Не пропадать и радовать вас контентом; тащить агенство (напишите мне, если ваш бизнес созрел до интеграции AI); есть коммиты на выступления в нескольких сообществах по теме AI, закину ссылки, когда подтвердятся и будет дата.

🤖 Какой лучший интерфейс для доступа к AI

Сайт ChatGPT — это хороший пример пользовательского интерфейса. Он стабильно обновляется и получает новые фичи. Но интерфейс не может всем подходить одинаково. В результате разные сегменты пользователей получают другие интерфейсы под свои задачи. Лично я перешел на приложение Raycast для доступа к AI и сегодня расскажу про него.

Что за Raycast: это замена поиска Spotlight на маке. Несколько главных фишек — хоткеи, расширения и AI. Хоткеи помогают выполнять частотные команды в несколько кнопок. С помощью расширения можно подключиться и управлять почти всеми популярными програмами (поиск по музыке в Spotify; менеджеры паролей и поиск; запуск терминала из текущей директории).

Какие есть AI-фичи: в Рэйкасте есть два вида AI-сценариев использования. Можно классически пообщаться в чате с AI, а можно запустить команду, которую ты заранее создал и это как раз самое интересное. Кастомные команды состоят из двух частей — заранее прописанный промпт и то как в него попадает входная информация (выделенный текст, текст из буфера или поле ввода).

Как я использую: я обращаю внимание на регулярные запросы к GPT и упаковываю их в команды. Два примера: fix spelling — исправляет ошибки в выделенном английском тексте; answer linkedin message — генерирует ответ на выделенное сообщение, при этом использует информацию обо мне и стилистике из промпта; Все это доступно в несколько кнопок в любом окне, где я нахожусь. Если команда очень частая, то Рэйкаст позволяет просто задать ей хоткей и вызывать ее таким образом.

💸 Обычные возможности Raycast можно попробовать бесплатно. За неограниченные AI-фичи с gpt3.5 нужно будет заплатить $10/mo, а за версию с gpt4 уже $20. Я пока что сижу на версии с 3.5 — ее хватает, чтобы запускать все базовые команды-промпты, но переодически думаю отменить подписку на ChatGPT и перейти на версию с 4-кой.

@prod1337

🤔 Почему мы до сих пор не увидели прорывных AI-продуктов

Еще в начале лета я был полностью уверен, что LLM станет технологией с самым быстрым принятием в истории и что уже через несколько месяцев все продукты будут вынуждены внедрить себе LLM в интерфейс. Время прошло, а мы пользуемся все такими же приложениями. Если отойти от рабочих задач, то легко забыть что мы живем во время LLM-революции. В чем же дело, давайте разберемся:

Ситуация на рынке: она такая, что устовшиеся компании неохотно идут на эксперименты. Все сокращают косты, на рынке значительно меньше венчурного капитала и компании неохотно вкладываются в инновации. Бизнес выбирает проверенные решения с быстрой окупаемостью, сокращения, а не гипотезы и эксперименты.

Диффузия инноваций: хоть я и верил в быстрый массовый адопшен, но закон диффузии инноваций работает и инновации раскатываются плавно по группам пользователей. Даже сейчас принятие ChatGPT не превышает 15% и на пользовательском уровне, и на уровне организаций. Мы увидим примеры новых интерфейсов в массовых продуктах не раньше, чем адопшен подступится к позднему большинству.

Пользовательские привычки: их невероятно сложно переписывать. Считается, что решение должно быть в 10 раз удобнее, чтобы пользователь гарантированного сможет преодолеть боль перехода на новое решение. ChatGPT стал таким 10х продуктом для большого количества рабочих задач, но других прорывных примеров на рынке до сих не видно.

Изменения на самом деле происходят: но они не так заметны из-за шума. Каждый день запускаются сотни продуктов и многие из них являются теми самыми 10х продуктами для небольших сегментов пользователей. При развитии эти стартапы будут захватывать все больше сегментов, а это также заставит в итоге большие компании внедрить LLM в привычные решения.

🫡 Вот такой сейчас рынок: все растет не так быстро, как мне хотелось, а компании выбирают скучные решения. Но мне помогает то, что я смотрю через призму трендов и законов. Они мне говорят, что основные продукты и пользователи еще впереди, и просто стоит продолжать строить.

@prod1337

🤑 AI для продаж — самое горячее направление прямо сейчас

Я могу уверенно назвать AI для продаж самым конкурентным рынком внутри AI на этот момент. Доходит до смешного: YC-стартапы после нескольких пивотов в AI-инфтраструктуре в итоге идут делать SaaS для продаж. Сфера стала такой конкурентной, потому что находится ближе всего к деньгам и возврату инвестиций. Сегодня разберу какие решения сейчас есть на рынке для разных этапов продажи и приложу примеры стартапов, с которыми я знаком:

Звонки: компании сфокусировались на автоматизации инбаунд звонков. Люди, которые звонят самостоятельно более мотивированы и шанс, что они отвалятся от синтезированного голоса меньше. Главная сложность звонков — невозможно предсказать, как он будет идти и построить список правил. Требуется постоянно анализировать контекст и перестраивать стратегию. Игроки: Elevenlabs как главная технология для синтеза голоса; Airs.ai;

Холодные продажи: в основном аутрич по линкедину и емейлу. В этой сфере научились хорошо автоматически генерировать холодные сообщения по базе prospects. Так удается рассылать в 2-3 раза больше сообщений, чем это делает SDR. В этой сфере все упирается в умение собирать базу и итеративно писать промпты, которые будут генерировать холодное сообщение. Игроки: Intently; Monolith.

Автоматизация первой линии: это самый массовый этап, где еще непонятно насколько заинтересован человек. Задача AI на этом этапе ответить человеку на вопросы, подобрать опции и в итоге заметить дальнейший интерес. Следом человека можно передавать уже настоящему продажнику, который его будет закрывать продажу. Сложности здесь такие же, как и звонках: разговор всегда будет идти непредсказуемо и нужно возвращать его в заданное русло. Игроки: Maia; внутренние разработки компаний.

Стоит ли заходить на этот рынок: может показаться, что места уже нет, но это не так. 1) стартапы используют открытые технологии, которые доступны всем на рынке и их решения легко скопировать; 2) на текущих технологиях крайне сложно создать решение, которое будет подходить универсально всем, приходится много настраиваться под клиента и самые большие стартапы умеют не больше нескольких десятков клиентов. Это работает в обе стороны, так что стоит взвешивать риски и свои конкурнетные преимущества.

😎 В посте я дал ссылки только шесть AI-стартапов в продажах, но я собираю сейчас таблицу, где их будет 50 и будет больше категорий. Ставьте реакции, если интересно будет ее посмотреть. Чем больше интереса увижу, тем быстрее релизну.

@prod1337