🚀 Разыгрываем футболку за вопрос в комментариях

После последних розыгрышей многие спрашивали, продается ли наш мерч. Отвечаем: пока нет. Но есть хорошая новость: мы вдохновились новым конкурсом вопросов для бенчмарков LLM и решили провести свой собственный!

5000 долларов не обещаем, но победитель получит ту самую нашу Deep Learning футболку-альманах!

Правила просты: пишите под этим постом один вопрос, который вы бы задали модели, чтобы точно определить, AGI перед вами или еще нет. В финал пройдут самые залайканные комменты, а победителя выберем завтра вечером с помощью опроса в канале.

Ждем в комментариях именно твой остроумный вариант! Погнали 🏃‍♂️

Как-то давно про скандальный Калифорнийский законопроект про регуляцию ИИ не слышно. Что там с ним?

➡️ Сейчас законопроект на стадии подписания у губернатора Калифорнии. До 30 сентября (то есть совсем скоро) он должен сделать однозначный и окончательный выбор: отклонить или принять.

➡️ Буквально на днях в сенате США появилась Хелен Тонер, печально известная за то, что год назад пыталась вышвырнуть Альтмана из OpenAI. Она высказывалась за законопроект, а еще говорила о том, что правительству пора сосредоточиться не на дипфейках, а на том, что они вообще не готовы к появлению AGI (а он появится, по словам Хелен, вот-вот).

➡️ Вероятнее всего, закон все-таки примут. Но вряд ли он останется жить в текущих формулировках. Например, правительство недавно достаточно легко пошло на встречу Anthropic, которые предложили правки. Однако пока что так запарились одни Anthropic: остальные компании в основном просто высказываются против. Поэтому, очень вероятно, некоторые важные правки последуют уже после подписания.

Microsoft оценили рост популярности ИИ

И самое интересное, что сделали они это очень крутой метрикой: не объемами рынка, не числом новых стартапов, не суммой инвестиций и вот этим всем, а с помощью простого человеческого количества ИИ-контрибьютов на GitHub в минуту.

Получился вот такой симпатичный график. Как всегда, видна четкая граница до/после релиза ChatGPT. Всего с этого момента рост метрики произошел на 230% (!!!), и это действительно показательно (потому что где, как не на гитхабе, сейчас наблюдать тренды экономики?)

Красивое, в общем 😍

Вышла полная версия интервью с разработчиками o1. Основное и самое интересное:

⚪️ Вдохновлялись RL из AlphaGo. Название o1 символизирует, что это новое поколение моделей: от есть не очередная gpt, а полная смена подхода и парадигмы. Кстати, лого модели символизирует пришельца- сверхразума.

⚪️ Разработка o1 была большим вызовом: разработчики столкнулись с кучей проблем с масштабированием рассуждений и оптимизацией. Также много внимания пришлось уделить этике (так они назвали то, что скрывают от пользователей большую часть рассуждений 😍)

⚪️ Оказывается o1 mini на большинстве тестов не отстает от o1 preview, потому что обучена рассуждать ничуть не хуже, просто знает меньше фактов. Очень важный тейк с точки зрения скейлинга.

⚪️ Во время тестирования модели был выявлен огромный потенциал модели к философским рассуждениям, творческому подходу и, самое главное, самокритике. Это, по словам разработчиков, и есть поворотные фичи для ИИ.

⚪️ В планах у OpenAI прикрутить к модели интерпретатор, сделать ее мультимодальной и более управляемой для пользователя.

Смотреть полностью тут

Какой-то фанат OpenAI собрал на гитхабе целую коллекцию статей, блогпостов и проектов, которые помогут понять, как устроена о1

Вот ссылка. В разделе блогпостов – ссылки на отчеты OpenAI, суммаризации интервью, интересные блоги экспертов.

В статьях (это самый крутой раздел!) – списки работ ученых, которые работали над o1 и немного related works.

Есть даже небольшая коллекция твиттов на тему o1. В общем, идеально, если хотите погрузиться глубоко и надолго (ну или просто сохранить крутых статей в бэклог) 🥰

Там The Washington Post насчитали, что для того, чтобы сгенерировать 100 слов, GPT-4 требуется целая бутылка воды на охлаждение серверов 🤔

Верим и идем подключать к ноуту с локальной Llama 3.1 кулер?

Андрей Карпаты выложил видео с 20-минутным рассказом о том, как он создавал знаменитый llm.c проект

Кратко: его не устраивал PyTorch и метод compile и он решил переписать все сам на C 😃

Сейчас llm.c – космически популярный для петпроекта релиз. Разработчики продолжают добавлять туда оптимизации, а в скором времени обещают завезти поддержку llama-3.1

Идеально для просмотра в воскресенье

Google представили новую систему оценивания способности LLM работать с длинным контекстом

Спойлер: лучшей моделью в этом тесте оказалась (ни за что не поверите)… Gemini 1.5 😁

А теперь к сути метода. Основным тестом на длинный контекст сейчас считается задача «иголка в стоге сена». Это когда мы вставляем целевое предложение («иглу») в корпус случайных документов («стог сена») и задаем вопрос, на который можно ответить, только используя информацию в «игле».

Google этот метод предлагают модифицировать так, чтобы модель не просто извлекала информацию из текста, а умела ее синтезировать, то есть выявлять структуру (метод так и называется: Latent Structure Queries).

Для этого, в одном из разработанных бенчмарков они, например, предлагают модели очень длинный текст, в котором спрятаны последовательные действия со списком («текст текст текст … удали элемент в конце …. текст текст текст …. вставь элемент в начало»), а затем задают вопрос, какой длины получился список. А в другом бенчмарке вообще попадаются вопросы, на которых в тексте ответа нет, и в таком случае модель должна честно ответить: «в тексте ответа нет».

Кстати, работа красиво называется Michelangelo. «Мы учим модель «высекать» нерелевантную информацию из длинных контекстов, выявляя скрытую структуру, подобно тому, как скульптор выявляет скульптуру из мрамора»