Microsoft оценили рост популярности ИИ

И самое интересное, что сделали они это очень крутой метрикой: не объемами рынка, не числом новых стартапов, не суммой инвестиций и вот этим всем, а с помощью простого человеческого количества ИИ-контрибьютов на GitHub в минуту.

Получился вот такой симпатичный график. Как всегда, видна четкая граница до/после релиза ChatGPT. Всего с этого момента рост метрики произошел на 230% (!!!), и это действительно показательно (потому что где, как не на гитхабе, сейчас наблюдать тренды экономики?)

Красивое, в общем 😍

Вышла полная версия интервью с разработчиками o1. Основное и самое интересное:

⚪️ Вдохновлялись RL из AlphaGo. Название o1 символизирует, что это новое поколение моделей: от есть не очередная gpt, а полная смена подхода и парадигмы. Кстати, лого модели символизирует пришельца- сверхразума.

⚪️ Разработка o1 была большим вызовом: разработчики столкнулись с кучей проблем с масштабированием рассуждений и оптимизацией. Также много внимания пришлось уделить этике (так они назвали то, что скрывают от пользователей большую часть рассуждений 😍)

⚪️ Оказывается o1 mini на большинстве тестов не отстает от o1 preview, потому что обучена рассуждать ничуть не хуже, просто знает меньше фактов. Очень важный тейк с точки зрения скейлинга.

⚪️ Во время тестирования модели был выявлен огромный потенциал модели к философским рассуждениям, творческому подходу и, самое главное, самокритике. Это, по словам разработчиков, и есть поворотные фичи для ИИ.

⚪️ В планах у OpenAI прикрутить к модели интерпретатор, сделать ее мультимодальной и более управляемой для пользователя.

Смотреть полностью тут

Какой-то фанат OpenAI собрал на гитхабе целую коллекцию статей, блогпостов и проектов, которые помогут понять, как устроена о1

Вот ссылка. В разделе блогпостов – ссылки на отчеты OpenAI, суммаризации интервью, интересные блоги экспертов.

В статьях (это самый крутой раздел!) – списки работ ученых, которые работали над o1 и немного related works.

Есть даже небольшая коллекция твиттов на тему o1. В общем, идеально, если хотите погрузиться глубоко и надолго (ну или просто сохранить крутых статей в бэклог) 🥰

Там The Washington Post насчитали, что для того, чтобы сгенерировать 100 слов, GPT-4 требуется целая бутылка воды на охлаждение серверов 🤔

Верим и идем подключать к ноуту с локальной Llama 3.1 кулер?

Андрей Карпаты выложил видео с 20-минутным рассказом о том, как он создавал знаменитый llm.c проект

Кратко: его не устраивал PyTorch и метод compile и он решил переписать все сам на C 😃

Сейчас llm.c – космически популярный для петпроекта релиз. Разработчики продолжают добавлять туда оптимизации, а в скором времени обещают завезти поддержку llama-3.1

Идеально для просмотра в воскресенье

Google представили новую систему оценивания способности LLM работать с длинным контекстом

Спойлер: лучшей моделью в этом тесте оказалась (ни за что не поверите)… Gemini 1.5 😁

А теперь к сути метода. Основным тестом на длинный контекст сейчас считается задача «иголка в стоге сена». Это когда мы вставляем целевое предложение («иглу») в корпус случайных документов («стог сена») и задаем вопрос, на который можно ответить, только используя информацию в «игле».

Google этот метод предлагают модифицировать так, чтобы модель не просто извлекала информацию из текста, а умела ее синтезировать, то есть выявлять структуру (метод так и называется: Latent Structure Queries).

Для этого, в одном из разработанных бенчмарков они, например, предлагают модели очень длинный текст, в котором спрятаны последовательные действия со списком («текст текст текст … удали элемент в конце …. текст текст текст …. вставь элемент в начало»), а затем задают вопрос, какой длины получился список. А в другом бенчмарке вообще попадаются вопросы, на которых в тексте ответа нет, и в таком случае модель должна честно ответить: «в тексте ответа нет».

Кстати, работа красиво называется Michelangelo. «Мы учим модель «высекать» нерелевантную информацию из длинных контекстов, выявляя скрытую структуру, подобно тому, как скульптор выявляет скульптуру из мрамора»

⚡️ Похоже, что новый голосовой режим ChatGPT после 4 месяцев ожидания наконец-то раскатят завтра

Но только для избранных пользователей. Им пришли письма от OpenAI. Остальных не пускают в тестирование даже по личному обращению на почту.

Радуемся, конечно, но не от всего сердца

Завозим чтиво на ночь: Альтман написал в своем блоге лонгрид про будущее с ИИ

Называется «The Intelligence Age» и скорее напоминает интересное философское эссе про историю поколений, возможности человечества, образование наших детей с ИИ и все такое.

Среди прочего, кстати, затесалась интересная фраза: «It is possible that we will have superintelligence in a few thousand days (!)»…

А вообще, советуем прочитать полностью: у Альтмана явные задатки оратора (и лирика) 🙂

Свершилось: OpenAI выпустили что-то в опенсорс 😯

Да, вы не ослышались. Правда, это конечно не веса o1, и даже не исходный код gpt-4o, а просто датасет MMMLU (Multilingual Massive Multitask Language Understanding).

Это известный MMLU, просто переведенный на 14 языков с помощью профессиональных переводчиков. Лицензия MIT. Доступен на HF.

Но OpenAI так раскошелились не просто так, а в честь открытия своей новой OpenAI Academy. Это программа, ориентированная на помощью разработчикам и бизнесу в развивающихся регионах в использовании ИИ.

Компания будет предлагать сообщество, помощь и обучение от экспертов OpenAI, депозиты на API на сумму от одного миллиона долларов, а еще проведение соревнований для поиска решения актуальных проблем.

Звучит пока что неплохо. Информации о том, как к программе присоединиться, пока нет, но обещают скоро раскрыть.

Привет! Поучаствуете в нашем опросе? 😏

В какой среде удобнее всего работать с ipynb? Какие характеристики железа для ML-щика самые важные? Где взять GPU, если не хочешь попрощаться с тремя зарплатами?

Мы в команде Data Secrets, как и многие в DS сообществе, тоже задаемся этими вопросами, и поэтому проводим небольшое исследование на тему того, где русскоговорящие ML и DS специалисты (то есть вы, наши подписчики!) работают с ipynb, и какие у них при этом возникают боли.

Опрос состоит всего из 10 коротких вопросов и займет не более 5 минут. Переходите по ссылке и поделитесь своим опытом и мнением: https://forms.gle/Ev7MuAxLGMwGBeLU7.

Результатами мы обязательно поделимся!