Расцвет AI-инженера

Hacker News и tech-твиттер последние недели активно обсуждают эссе «The Rise of the AI Engineer». Автор пишет про зарождение новой профессии «ИИ-инженера», которая может стать самой востребованной в этом десятилетии. «Отец ML» Andrej Karpathy тоже подтвердил тренд и дал свой комментарий.

Причина — острый недостаток людей, которые могут связывать мощные AI-модели с продуктом и конечными пользователями. LLM, агенты и прочие ИИ-решения в потенциале могут перевернуть мир, но продуктово до сих пор находятся на стадии «поделок для гиков».

Если провести историческую аналогию — сейчас AI это компьютер IBM с командной строкой. А ИИ-инженер, совсем как Стив Джобс, будет создавать и внедрять «AI for the rest of us». Спрос на таких людей подтверждается как модными стартапами вроде Notion, так и оффлайн-старичками — вакансии ИИ-инженеров появились у Lego и Procter&Gamble.

Уже зарождаются карьерные треки для начинающих инженеров. Вот основные концепты, которыми нужно обладать:

- Работа с LLM по API и в опенсорсе. Уметь ими жонглировать в зависимости от задачи.
- Лучшие практики промт-инжиниринга и AI UX.
- Тулзы и фреймворки — Langchain, LlamaIndex, векторные базы данных и т.п.
- Мультимодальные возможности через работу с Whisper/Stable Diffusion/ElevenLabs.
- Умение быстро шипить продукты + оставаться в потоке, так как сфера развивается стремительно.

Релиз LLaMa-v2

Meta вчера выпустили вторую версию опенсорсной языковой модели LLaMa. Теперь она открыта официально, в том числе и для коммерческого использования. Вот основные характеристики:

- Сейчас доступны 3 модели — на 7, 13 и 70 В параметров. Есть версии, заточенные на чат.

- Контекстное окно 4k токенов (в 2 раза больше предшественницы), сама обучена на 2Т токенах (+40%)

- Активно ставят на on-device ML: запартнерились в этой теме с Microsoft (для просчета на винде + в облаке Azure). А также с Qualcomm — обещают в следующем году поддерживать работу на смартфонах с их чипами.

В Твиттерах пишут, что качество (на английском) сопоставимо с GPT-3.5, несмотря на куда меньшее число параметров. Затестить разные версии Лламы уже можно на Replicate (13В), Perplexity (7В) и Hugging Face (70В). А для своих проектов — см. код на GitHub и скачивайте веса с HF.

Unity вчера запустили обещанный инструментарий разработки для visionOS, под названием PolySpatial. Пока что в бете, для доступа нужно подать заявку в waitlist.

Продвигают 3 основных юзкейса применительно к гарнитуре Apple:

- Порты существующих VR-игр и приложений с Quest/PSVR на Apple Vision Pro.

- Кросс-платформенная разработка с нуля. При этом обещают полную поддержку фич visionOS — для этого уже выпустили плагины распознавания жестов, пространственного звука и другие. Проекты из Unity также можно выгрузить в Эппловский Xcode Simulator.

- Перенос на Vision Pro 2D-приложений, сделанных в редакторе Unity.

Это ещё одна неплохая возможность для стартеров начать в XR-разработке. Пилить аппки для visionOS можно уже больше месяца. Но новичкам может быть проще зайти через Unity — благодаря их обширной библиотеке инструментов, плагинов и туториалов, особенно для создания игр.

Интерактивные имейлы

Я читаю довольно много email-рассылок и в последнее время начал часто натыкаться на «интерактивные письма» — когда предлагают прямо в письме оформить заказ, подтвердить подписку или добавить товар в корзину. См. видос — это рекламная кампания Feastables, бренда шоколадок от популярного ютубера MrBeast.

В Твиттере пишут, что конверсия таких писем кратно превосходит стандартные. Появляется возможность «имейл-геймификации» + часть юзерфлоу можно перенести прямо в Gmail.

Строится такое на Гугловской технологии AMP — по сути, это мини-сайты прямо в письмах. AMP выкатили ещё в 2019, но особого успеха технология не имела — нужно было тратить драгоценный ресурс разработки. Теперь же появляются no-code виджеты, которые интегрируются с популярными e-com платформами.

Сейчас формат AMP поддерживают клиенты Gmail, Yahoo, Mail.ru. Это 60% рынка в US, 80% в РФ.

Вполне возможно, что такой формат скоро станет мастхевом для брендов — экономия кликов и вау-эффект должны дать свои плоды.

DevLabs и DevKits для Apple Vision Pro

Apple вчера открыла заявки на свои программы для visionOS-разработчиков:

- Developer Labs — оффлайн-площадки для тестирования приложений на самой гарнитуре. Они есть в Купертино, Лондоне, Мюнхене, Шанхае, Сингапуре и Токио. В ближайшем к нам Мюнхене лабы пройдут в августе: 8.08-10.08 и 22.08-24.08. Для подачи заявки нужно работающее приложение в симуляторе visionOS.

- Аренда DevKits. Apple отправит экземпляр Vision Pro + выделит экспертов для траблшутинга проблем с дизайном и кодом. В приоритете — разработчики, которые используют максимум уникальных функций visionOS. Также влияет опыт в разработке на iOS.

- Проверка совместимости существующих приложений. Эксперты Apple затестят ваше iOS/iPadOS/visionOS приложение на Vision Pro, и отправят подробный отчёт со скриншотами и журналом сбоев.

P.S. Друзья, для тех, кто готов сканировать более плотный поток стартап-возможностей, мы запустили закрытый канал Трендоскоп Lab. Подать заявку можно в этой Гугл-форме. Велкам 🙂

Искать друзей онлайн становится мейнстримом

Один из гигантов дейтинга Bumble на днях запустил отдельное приложение для поиска друзей. Раньше это была просто фича в основном приложении — но она отвечала уже за 15% месячной активности пользователей. В standalone-аппке будут новые функции для поиска друзей, такие как групповые чаты с несколькими мэтчами.

Романтические пары сейчас чаще всего образуются после знакомства онлайн. Вполне возможно, что скоро это станет нормой и для друзей. Уже 57% подростков говорят, что встретили друга в интернете — чаще всего в играх, соцсетях и приложениях по типу Bumble.

Основной драйвер этого тренда — одиночество. 61% молодых американцев сообщают, что чувствуют себя одинокими. Во многом виновата пандемия и удалёнка — во время локдаунов зумеры пропустили много личного общения и возможностей завести друзей.

Инновации в борьбе с лишним весом

В Америке идёт настоящая эпидемия ожирения — доля мужчин с ожирением выросла в 4 раза за 50 лет, женщин — в 10 раз. И это стабильно health concern №1, опережающий даже ментальное здоровье. Похожая картина наблюдается и в других странах.

И недавно появилось то, о чем все мечтали — «волшебная таблетка» для похудения: одобренные FDA препараты Ozempic и Wegovy. Задумывались они для лечения диабета, но показали эффективность в борьбе с лишним весом и снижении аппетита. Побочек тоже довольно много, но это не остановило людей.

Начался мощный хайп на программы похудения с приёмом подобных препаратов. В Тиктоке вирусятся видосы, хэштег #ozempic набрал более миллиарда просмотров. Ажиотаж привёл к дефициту препаратов, который продолжается и по сей день.

Стартапы тоже вовсю ловят тренд:

- Основатель Instacart недавно поднял $30М на свой новый проект Sunrise — это онлайн-платформа врачей + ежемесячная подписка на таблетки для похудения.

- Появляются платформы «Ozempic-коучей», которые составляют индивидуальные программы похудения и проверяют выполнение каждый день.

- Некоторые заходят с более технологичной стороны — к примеру, Signos создали сервис похудения по датчику глюкозы.

Камбек тревел-индустрии

Skift выпустили крутой отчёт о состоянии индустрии путешествий (в комментах). Основные тезисы:

- В этом году общемировой тревел впервые превзошёл допандемийные показатели. В основном благодаря мощному росту внутреннего туризма.

- Кто пережил турбулентность прошедших лет, сейчас снимает сливки. В Европе сезонная аренда выросла на 22% по сравнению с 2019 годом, отели — на 7%. Причем в топе роста — люксовые объекты.

- Пандемия поменяла некоторые привычки туристов. Теперь люди покупают билеты ближе к дате вылета, чаще платят за страхование и возможность отмены.

- Основные направления международных перелётов — Испания, US, Турция, Италия.

Также в отчёте подсвечивают несколько растущих тем для стартапов:

1. Софт для гибридной модели работы (несколько дней в офисе, несколько дней где-то ещё). Многие отели сейчас трансформируются в коворкинги, чтобы привлекать растущую категорию гибридных сотрудников.

2. Сервисы для «продажи впечатлений». Молодым туристам уже не интересны конвейерные туры — даже самый популярный листинг Airbnb это хижина в лесу в форме гриба. Неплохо растут глэмпинги, авторские и кулинарные туры.

3. AI x Travel. ИИ-планировщики маршрутов (RoamAround), чат-боты для отелей (HiJiffy), динамическое ценообразование (PriceGenie).

Гиганты рвутся в стейблкоины

PayPal вчера запустил свой стейблкоин PYUSD на базе Эфира. Выпускает его компания Paxos — они же стоят за бинансовским стейблом BUSD.

Конечно, из-за американского регулирования PYUSD будет ближе к CBDC, чем к «настоящим стейблкоинам». Но это должно помочь в mass adoption — PayPal обещают интегрировать стейбл в свою платформу и их популярное приложение для переводов Venmo.

Другие платёжные гиганты сейчас также активно экспериментируют со стейблкоинами. Visa пилотирует программу глобальных расчётов с помощью USDC. Mastercard тоже смотрит в эту сторону. Stripe собрал целую команду, которая занимается платёжной инфраструктурой вокруг стейблов.

Причина такого интереса — нащупанный product-market fit, что нечасто встретишь в крипте. Более миллиона ежедневно активных кошельков, $120В+ стейблов в обороте (рост х20 с начала 2020). Понятная и привлекательная экономика для эмитентов — продаём токены, получаем доллары и вкладываем их под 5% в US трежерис. Tether по такой схеме отрапортовал о $850М прибыли за прошлый квартал.

Поэтому здесь появляется хорошая возможность для стартеров — создавать сервисы вокруг стейблкоинов. Например, необанки (Eco, DolarApp), трансграничные B2B-платежи (Cedar), инфраструктурные решения (Bridge).

GPT-боты — новый формат спама

Сейчас у нас к каждому посту в Трендоскопе пишут gpt-спам — боты делают выжимку поста и пытаются пропиарить что-то в био. Традиционные методы защиты тут не работают (кроме капчи). Но пока боты палятся слишком быстрыми ответами и их можно блокировать вручную.

Автор тг-канала Kyrillic писал, что был бы рад сервису, который мониторит и удаляет gpt-комменты глазом человека (аля модератор as a service). Платил бы за него $20-30/мес, или по usage billing — количеству постов или сообщений.

Ну а в обозримом будущем gpt-спамеры должны стать намного умнее — с задержками ответов, возможно с разными личностями, которые поддерживают диалог друг с другом. Тут уже быстро не определишь, где человек, а где бот.

И эта проблема до сих пор остаётся без решения — даже OpenAI прикрыли свой детектор сгенерированных текстов, из-за слишком низкой точности. Помимо админов, над этой задачей сейчас ломают голову преподаватели и рекрутёры — что открывает простор для проектов в этой теме.

Text-to-voice в реальном времени

На этой неделе 2 лидера в области generative speech обновили свои апишки:

- Eleven Labs представили «input streaming» — фича позволяет передавать ответы LLM и генерировать речь с задержкой менее 1 секунды.

- PlayHT обновили свою модель до версии 2.0. Также стала доступна realtime-генерация, плюс модель научили новым языкам, акцентам и эмоциям.

Похоже, мы вступаем в эру настоящих войс-ассистентов, совсем как в фильме «Her». Ну и множество других применений рилтайм-генерации речи — от живых NPC в играх до умных телефонных прозвонщиков.

AI-native игры

A16z выложили на Гитхабе очередной учебный проект — на этот раз виртуальный город с ИИ-персонажами, которые живут своей жизнью и общаются друг с другом. Демка совсем простая, но на этом фундаменте можно строить и дальше — вплоть до масштабных многопользовательских игр.

В целом, VC сейчас активно копают тему AI x Gaming. Именитый фонд Lightspeed недавно опубликовал подробный разбор — они утверждают, что мы находимся на пороге платформенного сдвига, который откроет совершенно новый игровой опыт. Совсем как мобайл привёл к росту гигантов по типу Zynga, а использование новых мультитач-механик дало импульс Rovio.

То же самое ждут от ИИ. Уже сейчас его встраивают во все процессы разработки, и даже делают полностью сгенерированные игры. Но кроме этого, ИИ может предложить новый опыт — как пример, живые незаскриптованные персонажи, с которыми можно поболтать.

Кто не сможет реализовать эти возможности в своих играх, проиграют рынок AI-native проектам — потому что игроки предпочтут более иммерсивный опыт. Think Minecraft, но каждый раз создаётся новое приключение со своими персонажами, уникальными вещами и монстрами.

P.S. Друзья, для тех, кто готов сканировать более плотный поток стартап-возможностей, мы запустили закрытый канал Трендоскоп Lab. Подать заявку можно в этой Гугл-форме. Велкам 🙂

Sci-Fi — лучший источник идей

После новости о сверхпроводнике при комнатной температуре, интернет перевозбудился — люди снова начали мечтать о доступных квантовых компьютерах, левитирующих поездах и прочих крутых штуках. И даже несмотря на то, что этот сверхпроводник оказался фейком, запал никуда не делся.

Паки, автор рассылки Not Boring, подметил такую вещь: идеи новых прорывных технологий почти всегда сначала появляются в Sci-Fi, прежде чем воплощаются в реальной жизни. Про ветряные станции и электроавтомобили писали в Sci-Fi 19 века; интернет, екоммерс и удалёнку описывали за 100 лет до их создания.

В итоге Паки вооружился ChatGPT и сайтом Technovelgy с описанием идей и девайсов из научной фантастики — и создал Гугл-табличку с банком 3000+ Sci-Fi идей. 25% «технологий будущего» из книг сегодня воплотились в жизнь.

Другими словами, Sci-Fi — золотая жила для поиска идей стартапов. Космические фабрики, медитация по ЭЭГ, AI-компаньоны — всё это было фантазиями авторов, прежде чем стать многомиллионными компаниями.

3D Gaussian Splatting — следующий шаг эволюции NeRF

На сцену ворвался новый алгоритм рендеринга 3D-сцен из фоток — Gaussian Splatting. По качеству он уделывает все предыдущие NeRF-системы (в Твиттере много примеров работы). Можно детально разглядывать отдельные травинки, NeRF выдавал бы там зеленые облачка.

Помимо статичных сцен, Gaussian Splatting умеет воссоздавать и динамические — даже сложные движения по типу жонглирования. Для этого требуется синхронизированное видео с нескольких камер.

И всё это очень быстро — алгоритм обучается за 2 часа на одну сцену и делает рендеринг с частотой 850 кадров в секунду. Доступно даже на consumer-grade GPU. Код проекта и модели выложили на Гитхабе.

(спасибо за наводку участнику Трендоскоп Lab @arthurostapenko)

AI-переводчик от Меты

Meta вчера опенсорснули самый мощный нейро-переводчик на сегодняшний день, под названием SeamlessM4T. Он понимает 100 языков и умеет:

- распознавать речь;
- переводить из речи в текст и наоборот, через синтез голоса;
- переводить speech-to-speech;
- понимать сразу несколько языков в одном предложении.

Модели выложили на Гитхаб, есть и небольшие версии для on-device перевода. Протестировать можно в онлайн-демке.