Выиграть $5000 и стать соавтором в статье с CEO ScaleAI в обмен всего на один вопрос?

Да запросто. CAIS и ScaleAI запустили конкурс вопросов для сложнейшего в мире бенчмарка для LLM. За каждый подходящий вопрос они обещают 500 до 5000 долларов, а также соавторство в статье.

Название конкурса, кстати, заслуживает отдельного внимания: Humanity’s Last Exam. Нельзя сабмитить вопросы, которые придумали не вы, вопросы, на которые легко ответить с помощью поисковика, вопросы без однозначного ответа или вопросы про оружие. В остальном – дело фантазии.

Все правила можно прочитать здесь. Пробовать будете? 😉

🚀 Разыгрываем футболку за вопрос в комментариях

После последних розыгрышей многие спрашивали, продается ли наш мерч. Отвечаем: пока нет. Но есть хорошая новость: мы вдохновились новым конкурсом вопросов для бенчмарков LLM и решили провести свой собственный!

5000 долларов не обещаем, но победитель получит ту самую нашу Deep Learning футболку-альманах!

Правила просты: пишите под этим постом один вопрос, который вы бы задали модели, чтобы точно определить, AGI перед вами или еще нет. В финал пройдут самые залайканные комменты, а победителя выберем завтра вечером с помощью опроса в канале.

Ждем в комментариях именно твой остроумный вариант! Погнали 🏃‍♂️

Как-то давно про скандальный Калифорнийский законопроект про регуляцию ИИ не слышно. Что там с ним?

➡️ Сейчас законопроект на стадии подписания у губернатора Калифорнии. До 30 сентября (то есть совсем скоро) он должен сделать однозначный и окончательный выбор: отклонить или принять.

➡️ Буквально на днях в сенате США появилась Хелен Тонер, печально известная за то, что год назад пыталась вышвырнуть Альтмана из OpenAI. Она высказывалась за законопроект, а еще говорила о том, что правительству пора сосредоточиться не на дипфейках, а на том, что они вообще не готовы к появлению AGI (а он появится, по словам Хелен, вот-вот).

➡️ Вероятнее всего, закон все-таки примут. Но вряд ли он останется жить в текущих формулировках. Например, правительство недавно достаточно легко пошло на встречу Anthropic, которые предложили правки. Однако пока что так запарились одни Anthropic: остальные компании в основном просто высказываются против. Поэтому, очень вероятно, некоторые важные правки последуют уже после подписания.

Microsoft оценили рост популярности ИИ

И самое интересное, что сделали они это очень крутой метрикой: не объемами рынка, не числом новых стартапов, не суммой инвестиций и вот этим всем, а с помощью простого человеческого количества ИИ-контрибьютов на GitHub в минуту.

Получился вот такой симпатичный график. Как всегда, видна четкая граница до/после релиза ChatGPT. Всего с этого момента рост метрики произошел на 230% (!!!), и это действительно показательно (потому что где, как не на гитхабе, сейчас наблюдать тренды экономики?)

Красивое, в общем 😍

Вышла полная версия интервью с разработчиками o1. Основное и самое интересное:

⚪️ Вдохновлялись RL из AlphaGo. Название o1 символизирует, что это новое поколение моделей: от есть не очередная gpt, а полная смена подхода и парадигмы. Кстати, лого модели символизирует пришельца- сверхразума.

⚪️ Разработка o1 была большим вызовом: разработчики столкнулись с кучей проблем с масштабированием рассуждений и оптимизацией. Также много внимания пришлось уделить этике (так они назвали то, что скрывают от пользователей большую часть рассуждений 😍)

⚪️ Оказывается o1 mini на большинстве тестов не отстает от o1 preview, потому что обучена рассуждать ничуть не хуже, просто знает меньше фактов. Очень важный тейк с точки зрения скейлинга.

⚪️ Во время тестирования модели был выявлен огромный потенциал модели к философским рассуждениям, творческому подходу и, самое главное, самокритике. Это, по словам разработчиков, и есть поворотные фичи для ИИ.

⚪️ В планах у OpenAI прикрутить к модели интерпретатор, сделать ее мультимодальной и более управляемой для пользователя.

Смотреть полностью тут