Недавно я запустил новый проект telegpt.tech. Это платформа для автоматического создания контента для владельцев телеграм каналов на базе ChatGPT. Вы просто создаете медиа план (о чем надо написать), и нейросеть пишет пост в вашем канале в указанный день на указанную тему.

Сервис абсолютно бесплатный. Сейчас я приглашаю первых пользователей его опробовать. Окажитесь в числе этих людей и расскажите мне как вам этот сервис.

Hugging Face: Искусственный интеллект для всех

Hugging Face – это платформа и сообщество для глубокого обучения, занимающаяся исследованием и разработкой в области искусственного интеллекта. Она была основана в 2016 году и с тех пор приобрела огромную популярность среди исследователей, инженеров и энтузиастов ИИ.

1. Модели и датасеты: Hugging Face предоставляет библиотеки, которые содержат модели на базе трансформеров, такие как BERT, GPT-2, T5 и многие другие. С помощью этих библиотек пользователи могут легко и быстро интегрировать современные ИИ-модели в свои приложения.

2. Обучение и настройка: Помимо доступа к предобученным моделям, пользователи могут дообучать их на своих датасетах или использовать доступные в репозитории датасеты для настройки моделей под свои задачи.

3. Сообщество: Одним из ключевых преимуществ Hugging Face является активное и растущее сообщество. Многие исследователи и разработчики делятся своими моделями и достижениями, что способствует коллективному прогрессу в области NLP.

4. Доступность: Hugging Face активно работает над тем, чтобы сделать ИИ доступным для всех. Благодаря интуитивно понятным инструментам и ресурсам, даже новички могут начать работу с передовыми технологиями.

5. Платформа предоставляет встроенные GPU мощности, чтобы пользователи могли быстро импортировать модели и пользоваться ими. Кроме того, есть возможность копировать готовый код в свой Google Collab - это очень удобно.

Hugging Face играет ключевую роль в демократизации искусственного интеллекта. Их платформа и инструменты облегчают процесс интеграции передовых NLP-технологий в разнообразные приложения и услуги. С постоянно растущим сообществом и богатым набором ресурсов, Hugging Face продолжает вдохновлять исследователей и разработчиков по всему миру.

OpenAI провел конференцию в стиле Apple времен Стива Джобса. На конференции представили новые продукты. Подсвечу самые основные моменты:

1. GPT-4 Turbo обладает контекстом в 128к токенов, до этого она могла написать только 8к, увеличение в 16 раз за полгода-год. При этом снизили цену в 3 раза за входящие ($0.01/1к) в модель токены и в 2 раза за полученные ($0.01/1к).
2. Модели знают все события до апреля 2023 года, раньше пользователи жаловались, что ChatGPT "не поспевает за миром" и ему были доступны данные до 2021 года. Не сомневаюсь, что скоро чатбот будет обновляться каждый день и будет знать все актуальные новости.
3. GPT-3.5 Turbo стал стоить копейки: $0.001/1K за входящие в него данные и $0.002/1K за исходящие.
4. ИИ-ассистент: API бета-версия искусственного интеллекта, который будет делать разные вещи исходя из ваших просьба. В тексте сообщения от OpenAI приведены примеры планирования отпуска, контроля музыки, дизайна коротких презентаций.
5. В API GPT-4 теперь можно отправлять фотографии, что позволяет по-новому играться с контекстом разговора.
6. Теперь можно проводить быстрый файнтюн всех моделей, делать их кастомизированными без написания кода на данных, доступных внутри песочницы OpenAI. Это значит, что теперь каждый человек может создать свою версию ИИ и быстро ее запустить в интернет.

В целом, размах и скорость движения стартапа под покровительством Microsoft действительно впечатляет. Еще год назад модели с контекстом 128к казались чем-то безумным, но вот они уже с нами.

Вишенкой на торте идет выручка OpenAI, которая составит $1.2 млрд по оценкам ее топ-менеджмента. Ранее из-за падения активности аудитории, аналитики прогнозировали выручку за 2023 на уровне в $200 млн, то есть в 6 раз меньше. Напомню, что за весь прошлый год OpenAI заработала всего $28 млн.

Кажется, Билл Гейтс выигрывает одну из самых больших игр в современной истории предпринимательства.

ИИ маркетплейсы - будущее?

Сейчас рынок ИИ-маркетплейсов выглядит самодельно и колхозно. Самая большая платформа сейчас, отдаленно напоминающая МП для ИИ - народная hugging face, которая просто продает чужую инфру с небольшой комиссией, а люди свободно выкладывают свои модели без модерации на Google Colab. Модели комиссии тут нету, получается эдакий народный рейтинг моделей.

OpenAI еще в начале года озвучивал планы о создании маркетплейса для моделей искусственного интеллекта. Эта идея всем очень нравится. Вы предоставляете вычислительные мощности для создателей ИИ и инфраструктуру, а умельцы из небольших команд тренируют модели на своих уникальных данных и потом получают деньги за их использование через единую платформу. То есть OpenAI больше не надо будет гоняться за данными - надо будет гоняться за командами с идеями и данными и предоставлять им рынок сбыта.

Именно поэтому Сэм Альтман хотел открыть собственное производство чипов для ИИ и даже продал сам себе чипов на 51 млн баксов, чем и разозлил совет директоров.

В России такого пока что нету, да и мало кто может себе позволить сделать свой маркетплейс - для этого нужно много железа и инженеров.

Довольно занятная табличка из исследования McKinsey о развитии ИИ. Вроде ничего особенного, но наводит на правильные мысли.

GPT Store.

Около месяца назад OpenAI представил свой маркеплейс искусственного интеллекта. Я потестил его и могу немного рассказать что там происходит.

1. Каждый юзер может создать свою версию ИИ от OpenAI и опубликовать ее на маркетплейсе. Для этого вы пишете инструкцию своими словами что должен делать ИИ. Получается реально круто. Какие кейсы я уже попробовал сделать и получилось:

- Загрузил резюме 20 кандидатов и попросил ИИ найти самого лучшего из них на позицию Х в компании У
- Загрузил туда книги кулинарных рецептов и на их основе просил дать мне рецепты по готовке
- Загрузил большие таблицы Excel (200к строк) с данными о телеграмм каналах и просил найти самый релевантный канал для рекламы

2. Другие пользователи могут использовать вашу версию ИИ. Пока что за использование не платят, но обещают, что в 1 квартале 2024 такой функционал появится.
3. Есть рейтинг ИИ по использованию. Если твой ИИ часто используют, то он показывается в топе на маркетплейсе.

В целом, это разъёб. Кейсов применения такого - миллион. Уже сейчас все айти продукты должны начинать думать в разрезе того, как и на чем обучить ИИ и как его встроить в себя.

Это просто. Это быстро. Это потрясающе.

Выше делился тем, как выглядит создание своего GPT. Вот как выглядит сам магазин.

Давно удивляюсь блоку Careers на сайте OpenAI. Там практически нету классических менеджерских вакансий - только очень много подвидов инженеров и разработчиков. Вот короткий список команд внутри крупнейшего разработчика ИИ в мире:

Algorithms, Alignment, Applied AI, Applied AI Engineering, Applied AI Product, Engineering, Human Data, Language, Platform, Post Training, Preparedness, Reinforcement Learning, Research Acceleration, Research, Engineering, Product

Совсем не выглядит как структура типичной IT компании. Также забавно, что за некоторыми более понятными названиями вроде "Applied AI product" или "Security" все равно стоят вакансии инженеров и дата саентистов.

Это очередной раз подтверждает мою идею, что в будущее пустят только людей, способных работать с большими данными и делать что-то руками. Зачастую отдать принятие решения аналитику или инженеру, разбирающему в сути вещей, гораздо лучше, чем менеджеру или продакту, чей максимум - это сводная таблица в экселе. #мысливслух

Какое-то время назад писал про разные tts сервисы (text-to-speech). Тогда (в июле 2023 года) я остановил свое внимание на сервисе PlayHT (не реклама): качество было на порядок лучше всех остальных, а цена хоть и кусалась, но была более-менее приемлемой.

Недавно я решил масштабировать свой проект генерации подкастов - метрики подписчиков и прослушиваний показывали хорошие результаты. Посмотрел PlayHT - а там цены при масштабировании кусаются. По факту озвучка одной серии подкаста на 3-5 минут стоит около 2$. Я решил посмотрел произошли ли какие-то изменения за эти полгода среди других сервисов.

К моему удивлению, OpenAI выкатили новую версию своего tts, которая стоит в десятки раз дешевле PlayHT со сравнимым качеством!

Как же получается, что OpenAI настолько дешевле? Секрет кроется в инфраструктуре. Оказывается, PlayHT хоть и создает инновационные продукты, но делает это на дорогущей инфраструктуре AWS, а OpenAI всё делают на своей инфре. Более того, в эффективность инфраструкры вычислений для ИИ компания хочет потратить баснословные 7 триллионов долларов (2 капитализации Apple).

Кажется, что в алгоритмы все наигрались и всем всё доказали. Львиная часть расходов в будущем ИИ лежит в железе и данных, а не магических питоновских билиотеках.

Новая нейросетка Stable Carcade. Быстро набирающий популятность репозиторий на гитхабе новой нейросетки от Stability AI (одна из трех самых заметных компаний-разработчиков text-to-image сервисов) дает понять, что не одним Midjourney единым.

Пока разработчики Midjourney так и не удосужились сделать API и только пытаются переехать из Discord на собственный сайт, ребята из Stability AI выкатили нейросетку, которая, кажется, превосходит их коллег по цеху.

Новая нейронка Stable Cascade выглядит многообещающе:

1. Stable Cascade использует архитектуру Würstchen, которая работает в значительно меньшем латентном пространстве по сравнению с предыдущими моделями, такими как Stable Diffusion. Это означает в первую очередь сниженные затраты на обучение. Благодаря компрессии изображений до размера 24x24 (с фактором сжатия 42), модель достигает 16-кратного снижения стоимости обучения по сравнению с Stable Diffusion 1.5.

2. Нейронка поддерживает все известные расширения, такие как LoRA (предназначена для тонкой настройки предобученных моделей нейронных сетей без необходимости обучать все параметры модели заново), ControlNet (позволяет ИИ понимать характеристики картинки, такие как стиль, композиция или даже идентичность лица).

3. Модульная структура: Модель состоит из трех этапов (A, B и C), что позволяет добиться высокой степени компрессии и эффективности генерации изображений.

4. Доступные варианты: Предоставляются две версии для этапа C (с 1 миллиардом и 3.6 миллиардами параметров) и две версии для этапа B (с 700 миллионами и 1.5 миллиардами параметров), а также одна версия для этапа A с 20 миллионами параметров.

Я вас слышу и слушаю. Дальше будем больше про метрики и то, как они применяются. Перед этим предлагаю закрепить предыдущий материал (а вновь прибывшим его изучить с начала) и пробежаться по эксельке с моими объяснениям по самым базовым метрикам.

Классификация:
Precision, Recall.
F-score
ROC-AUC.
Мультиклассовые recall, precision, F1

Регрессия:
MSE, RMSE, MAR, R-квадрат
MAPE, SMAPE

NLP:
Расстояние Левенштейна

Продуктовые метрики:
Sharpe ratio - метрика инвест портфелей

Моя лекция в Podlodka на тему «почему важно глубоко разбираться в природе целевых переменных».

https://youtu.be/DLWixqwQSoY?si=NjrQ25j0zxvwlAvN

Векторизация в NLP. Последние пару месяцев один из проектов, который я курирую, очень плотно связан с NLP. К своему стыду, раньше я очень поверхностно погружался в тему того, что там происходит на самом деле и чем один метод векторизации отличается от другого.

На выходе все задачи NLP всё равно сводятся к классическим задачам обучения с учителем, без учителя или с подкреплением. И я вроде как разбираюсь в метриках этих задач. Ну и хрен с этой векторизацией - не погружался глубоко.

Но в новом проекте ребята из моей команды много спорят и обсуждают разные способы векторизации текстов. Собственно с лозунгом "hold my beer" я провел выходные за изучением разных способов векторизации: что это такое, какие они бывают, чем отличаются и как работают.

Всю эту кладезнь знаний я излил на VC с примерами, табличками и смешными картинками. Если хотите вникнуть в какую-то часть работы того же ChatGPT и как к этому пришли - эта статья будет очень полезна.

Что нужно, чтобы разработать крутой ИИ.

Чтобы сделать свой искусственный интеллект, нужны 4 вещи:

1. Источники данных
2. Обработка данных в фичи
3. Алгоритм, что-то предсказывающий или генерящий (сама модель)
4. Таргеты или разметка (если обучение с учителем)

Давайте пройдемся по ним и подумаем на что мы правда можем повлиять:

1. Источники данных. Очень важно. Если у вас есть уникальный источник данных, вы можете получить конкурентное преимущество перед остальными. Как получить источник данных, если вы не ВК и не Яндекс? Варианты довольно понятные:
1.1. Договориться с кем-то, у кого уже есть данные.
1.2. Научиться парсить данные из открытых источников и делать на этом бизнес (яркие примеры таких компаний: tgstat.ru, mpstats.ru).

2. Обработка данных в фичи. Лично мне этот пункт кажется довольно простым и понятным. Существуют специальные библиотеки для того, чтобы собирать фичи из данных, в итоге этот процесс становится очень механическим. Наверное, полезно уметь векторизовывать данные, если это можно назваться фичами. Что такое векторизация и почему она оч важна в NLP читать тут.

3. Сама модель. Самая простая штука. 99% дата саентистов не создает новые библиотеки моделей, а просто переобучает готовые алгоритмы. Поэтому здесь вы мало на что влияете. Важно просто подобрать правильную модель к вашей задаче. Иногда выгода может быть там, где вы соедините несколько моделей. Но с точки зрения практики и регулярных поисков продуктов в ИИ, тут лежит мало дополнительной пользы.

4. Таргеты и разметка. Так же важно, как источники данных (очень).
4.1. Таргеты. Если вы знаете, как найти нужные бизнесу таргеты - вы уже можете делать своё дело. Знаете как точно найти дефолты заемщиков? Добро пожаловать в банковский риск менеджмент. В курсе как сделать классную разметку удачных стартапов? Можете подавать резюме в современный инвест фонд.
4.2. Разметка. Просто помните, что для того чтобы из прокачанного Т9 стать тем ChatGPT, который мы знаем и уже привыкли, OpenAI просто добавило в трансформер beam search и применило дешевую рабочую силу из Кении для разметки получаемых текстов. Не стесняйтесь вкладывать деньги в разметку. Именно её качество и количество будет отличать ваши бизнес метрики от метрик ваших соперников.

Я составил рейтинг 20 крупнейших IT компаний России по итогам 2023 года. 1 апреля закончился срок сдачи бухгалтерской отчетности для российских компаний, а это значит, что мы можем посмотреть на рынок "целиком", а не только на публичные компании, которые обязаны раскрывать отчетность раньше непубличных.

Мне нравятся такие helicopter view, они дают представление о том, где мы находимся и в какую сторону идем.

Основные наблюдения из рейтинга:

1. Суммарная выручка крупнейших 20 компаний рунета выросла на 54% с 1740 млрд руб в 2022 до 2690 млрд руб в 2023
2. Суммарная чистая прибыль увеличилась в два раза с 51 млрд рубл в 2022 до 103 млрд руб в 2023
3. Для меня было неожиданностью, что самый прибыльный российский IT - это Avito с 39 млрд чистой прибыли по итогам 2023
4. В рейтинге всего 2 компании с отрицательной чистой прибылью - ВК и Ozon, их суммарные убытки за 2023 составили почти 100 млрд рублей
5. Многие известные компании оказались ниже радара этого рейтинга, хотя я думал, что они сюда войдут - это, например, Циан, Carprice, Aviasales, Flocktory, Whoosh.

При составлении этого рейтинга я использовал следующую методологию:

1. Для публичных компаний использовались данные из их публичной отчетности, для непубличных - из отчетов ФНС.
2. Производственные компании или участники реестра IT компаний не участвуют в рейтинге, поскольку их основная деятельность зачастую не связана с IT.
3. Банки также не участвуют в рейтинге, поскольку все-таки получают большую часть дохода от кредитных продуктов.
4. Технологические дочки крупных компаний попадают в рейтинг, если у них есть доступный сайт, на котором показаны продукты их компании, используемые не только их материнской компанией.
5. В рейтинг не вошли некоторые известные IT компании, у которых нету отчетности за 2023 или 2022 год. Один из примеров - 1С.

@dsproduct