Во время золотой лихорадки надо продавать лопаты. Доказано Nvidia.

Nvidia сместила Apple со второго места по капитализации публичных компаний. За май компания увеличила стоимость почти на 600 млн долларов! Рост в первую очередь вызван повсеместным использованием ИИ со всеми вытекающими - ростом необходимых вычислительных мощностей. Некоторые американские СМИ уже пророчат, что к 2030 году ИИ будет потреблять 10% всей электроэнергии в США - чем не призыв к покупке соответствующих акций? Тем более, что количество долларов в мире увеличилось почти в два раза за последние несколько лет, а ФРС постоянно грозится дропнуть ставку рефинансирования с текущих рекордных значений.

Все бегут за ИИ, чтобы накачать свой пузырек.

Эрик Юань, генеральный директор Zoom, поделился планами по внедрению ИИ в продукты компании. Ну как, "поделился" - он дал огромное интервью, где только и говорил про искусственный интеллект. Но он хочет не просто делать расшифровки и резюме встреч (а было бы классно), а сразу замахивается на "ваш двойник будет ходить за вас на встречи и делать работу" - браво, Юань! Но все-таки сначала хотелось бы простую LLM, которая делает саммари встречи хотя бы для платных подписчиков. Пока что это больше похоже на смешную попытка заскочить в поезд, чьим локомотивом остаются Nvidia и Microsoft.

Вообще, все эти заигрывания с ИИ со стороны компаний, которым бы для начала сделать нормальные дешики и самые базовые алгоритмы машинного обучения, похожи на цирк с клоунами. Это лишь жалкие попытки поднять капитализацию словесными интервенциями, чтобы топ-менеджмент получил годовой бонус побольше.

И это многое говорит о долгосрочности намерений и способности выживать. График акций Zoom прилагается.

OpenAI идет на войну. На прошлой неделе в совет директоров OpenAI вошел Пол Накасоне. Что про него известно:

1. Много лет служил в армии США в кибер войсках и был главой Агентства Национальной Безопасности, то есть занимался формированием мнения людей по земному шару (привет цветным революциям) и следил за людьми.
2. Был начальником разведки в Афганистане (тут должна быть популярная история про то, что в Афганистане во времена нахождения войск штатов производство героина выросло до рекордных объемов).

Особенно мне нравится объяснение этому назначению.

Экс‑генерал Накасоне позаботится о том, чтобы общий искусственный интеллект послужил на благо всего человечества

Ну что ж, ждем счастливое демократическое будущее для всех. Чувствую, что скоро всем известная фабрика троллей покажется нам невинной игрушкой.

ML system design.

При отборе почти во все компании на позицию data scientist от кандидатов просят решить так называемый ML system design. Особенно тщательно к этому надо готовиться ребятам, которые претендуют на позицию middle и выше.

Что это такое? Это кейс, в рамках которого тебе надо представить, что завтра тебя попросят обучить какую-то модель для какой-то проблемы. Тебе надо представить, как бы ты подошел к обучению и развертыванию модели в продакшене. Обычно хорошие кандидаты идут по определенной структуре:

1. Problem Navigation
В начале надо разобраться с тем, зачем вообще нужна модель. Надо поспрашивать интервьюера о том, какие есть требования у бизнеса или бизнес метрики.

2. Training Data
Стоит разобраться с тем, на какой таргете ты будешь обучать модель и откуда брать данные для обучения. Особенно сильные кандидаты знают внешние источники для насыщения алгоритма или откуда спарсить данные.

3. Feature Engineering
Ну тут все понятно. Просто надо пофантазировать, какие фичи ты сделаешь из данных и на что обратишь внимание в первую очередь.

4. Modeling
Дальше стоит выбрать алгоритм. Обычно неплохо взять базовый алгоритм, обучить на нем, и потом переходить к более сложным.

5. Model Evaluation
На какие метрики ты будешь опираться при выборе алгоритма? Тут надо посмотреть на пункт 1, вспомнить, зачем оно вообще надо, и подобрать метрики, которые наиболее важны для бизнеса, но с уклоном в метрики качества моделей.

6. Deployment
Как модель будет крутиться в проде? Это API или предварительно рассчитанная таблица? Как часто надо обновлять таблицу? А вычислительных мощностей хватит?

7. Monitoring and Observability
Как ты поймешь, что модель нормально работает в проде и не поехала по своим параметрам через месяц после начала использования?

Не так давно читал большое интервью СЕО Zoom о том, что компания планирует заменить людей на встречах AI-двойниками. Мол, твой двойник может метнуться за тебя кабанчиком, обкашлять вопросики и порешать за бизнесочек. И вот сегодня после обзора спринта факторинговой компании мой товарищ прислал расшифровку Zoom ассистента:

"Иван вёл дискуссию об управлении лимитами и внес несколько изменений, в том числе переименование лимитов клея в группу из климатов, удаление секции по работе с клиентами во время наводнений, а также введение поезда для заблуждения."

Будущее и правда всё ближе и ближе!

Ну и, конечно, это ни разу не было словесной интервенцией для получения бонусов топ-менеджментом за рост акций. Никто никогда этим занимался и вот опять.

О стоимости данных для обучения. Прочитал интервью Николас Томпсон, СЕО "The Atlantic" (одно из старейших изданий в США). Недавно The Atlantic заключило договор с OpenAI, что в течение 2 лет ИИ-гигант может пользоваться данными газеты и обучать на них свои модели. За это The Atlantic получает:
- Возможность пользоваться новыми продуктами OpenAI (фантики на счет)
- Появление в поисковой выдаче OpenAI

То есть по факту OpenAI расплачивается за данные воздухом. Кто-то может поспорить, что у продуктов OpenAI есть себестоимость, но давайте вспомним как цена на GPT-4o упала в 10 раз по сравнению с GPT-4 чисто за счет оптимизации алгоритмов. Это значит, что ИИ-гигант может просто удешевлять стоимость данных за счет уменьшения себестоимости вычислительных операций. Добавьте к этому вычислительные мощности Azure от Microsoft, инвестиции Билла Гейтса в ядерную электроэнергию и вы получите мегакорпорацию, владеющую самой низкой себестоимостью ИИ в мире.

OpenAI выпустила упрощённую и дешевую модель GPT-4o Mini.

GPT-4o Mini вышла 18 июля 2024 года. Она стоит значительно меньше полноразмерных моделей и более производительна, чем GPT-3.5. Таким образом, модель стала доступнее для разработчиков, которые хотят с ней повозиться.

Зачем это OpenAI? Выгода проста: низкая цена позволит снизить входной барьер во многие сервисы и приложения, где экономика может не складываться с классической GPT-3.5. Цены на GPT-4o Mini составляют 15 центов за миллион входных токенов (это примерно 2500 страниц текста) и 60 центов за миллион выходных токенов, что делает его более чем на 60% дешевле, чем GPT-3.5 Turbo.

Раньше многие разработчики обращались к Claude 3 Haiku или Gemini 1.5 Flash, прежде чем платить за полноценную версию GPT-3.5. Так что запуск GPT-4o Mini позволит OpenAI не терять деньги и сразу “приручать” пользователей.

GPT-4o Mini набрал 82% на тесте MMLU, который измеряет навыки рассуждения, по сравнению с 77.9% у Gemini Flash и 73.8% у Claude Haiku.

SearchGPT от OpenAI. Наш любимый ИИ-гигант представил пресс-релиз своей поисковой системы на основе ИИ. Что следует из пресс-релиза?
Во-первых, теперь ChatGPT может ходить в интернет и предоставлять актуальную информацию.
Во-вторых, OpenAI будет взаимодействовать с издателями и вставлять ссылки на них в своем поиске. При этом SearchGPT отделен от процесса обучения генеративных моделей ИИ OpenAI, и сайты могут появляться в результатах поиска, даже если они отказались от использования их данных для обучения моделей (скорее всего те, кто дадут инфу для дообучения модели будут повыше в поиске).
В-третьих, с этим поиском можно будет общаться так же, как с ИИ внутри ChatGPT.
Видео прилагается. Будущее рядом. И в нем все меньше места для Google.