Как говорил Пётр I, «радуйся малому, тогда и большое придёт». Так как Claude 3.5 Sonnet не смогла обогнать GPT-4o по Elo-рейтингу на оценках живых людей на LMSYS Arena, то резона торопиться у OpenAI с релизом новой модели нет: а зачем, если ты итак топ?

Но зато наконец-то раскатили приложение ChatGPT для Mac на всех пользователей (качать тут, нужен процессор M-серии). А вместе с этим добавили...барабанная дробь...поиск по чатам! Наконец-то можно шустро найти диалог полугодовой давности по паре ключевых слов — этого очень не хватало. Даже странно, что СТОЛЬКО времени заняло добавление столь нужной фичи.

Зачем вам может понадобиться приложение? Несколько главных приколюх:
— клавиша быстрого доступа, чтобы сразу начать вбивать текст, без перехода на сайт
— возможность сделать скриншот окна или фото с камеры в один клик
— можно выделить текст документа, нажать горячую клавишу, и задать по этому контексту вопрос

GPT-4.5 видимо до Claude 3.5 Opus не увидим 😢

# Гайд для сотрудников: опционы в стартапах

https://vas3k.club/post/24737/

Вышло! Русскоязычная версия ультимативного гайда о том, что сотрудникам стартапов нужно знать по опционы, как можно всё потерять и каковы шансы заработать.

По сравнению с англоязычной версией текст сокращен, упрощен и снабжен мемами.

Текст потребовал от меня много усилий, так что буду рад, если вы поделитесь им с друзьями ❤️

Project Naptime: Evaluating Offensive Security Capabilities of Large Language Models

С 2014-го года в Google существует проект Google Zero, в рамках которого экспертами проводится аудит уязвимостей в программах. Существует большое количество инструментов, которые облегчают процесс, но не делают его полностью автоматизируемым. Так как многие переживают, что LLM могут потенциально начать автономно искать уязвимости и их эксплуатировать, то хочется понимать, когда примерно это может произойти. Иными словами нужен бенчмарк для отслеживания прогресса.

С выходом LLAMA 3 сотрудники META опубликовали бенчмарк CyberSecEval 2, в котором нас интересуют две задачи: 1) обнаружение и эксплойт переполнения буффера («buffer overflow») 2) переписывание программы, чтобы вызвать сбой из-за проблем с памятью («advanced memory corruption»). Померяли результаты GPT-шек, своих LLAMA, сказали «да модели работают оч хреново, бояться нечего» и хлопнули дверью.

Вот тут в игру и вступают сотрудники проекта Zero. Они поняли, что то, как в META померили способности моделей — это курам насмех. Они прям так и пишут: «Мы обнаружили, что усовершенствовав методологию тестирования с использованием актуальных возможностей LLM, можно достичь значительно более высоких показателей <...> в противном случае результаты не смогут отразить истинный уровень возможностей моделей».

Конечно, легко Лекуну говорить, что модели не опасны, когда а) у тебя нет передовых моделей (🤣) б) ты не хочешь вкладываться в нормальный пайплайн оценки моделей (😂). А потом разводить руками и говорить «нам не нужны регуляции, вот смотрите, есть же бенчмарк!». Чтоб вы понимали уровень качества проверки — моделям даже не давали рассуждать перед написанием ответа (не было Chain-of-Thought).

Что сделали ребята из Google: они поняли, что нужен LLM-агент, который умеет итеративно работать с проблемой и использовать инструменты. Собрали систему, которая позволяет запускать отладку кода, искать конкретное место в коде (если файл очень большой и модель теряется в контексте), вызывать Python для запуска разного. LLM получает задачу в очень общем виде (без явного указания, что конкретно нужно сделать), и пытается итеративно прийти к цели. Перед каждым действием LLM получает историю своих прошлых действий, пишет рассуждения, и затем выбирает, чем заняться.

В статье говорилось, что GPT-4 решила 5% примеров из первой задачи и 16% для второй. Гугловцы же дожали эти цифры до 100% и 76%. Ну то есть по сути всё, можно закрывать бенчмарк и сразу делать задачи гораздо сложнее. Он был мертворождён — потому что модели решали его сразу на релизе (просто авторы не смогли померить). Понятно, что не получится для каждого бенчмарка перед релизом строить ультрамегасложную систему, но тут прям совсем глупо получилось — даже минимальной домашней работы не было проделано.

А вот видео робота в действии — за полторы минуты он берёт 4 детали с одной стойки и перекладывает на другую с высокой точностью (так, чтобы штырьки вошли в отверстия). Утверждается, что точность манипулирования деталями составляет 1-3 см. Возможно, для каких-то задач этого хватит 🤷‍♂️ но точно ждём улучшений в будущем.

Самое главное, или почему это круто:
— Figure — партнёры OpenAI, и имеют доступ как к экспертизе, так и к передовым моделям. Анонс и демо были тут.
— Роботы управляются нейросетью end-2-end, на вход поступают пиксели с картинки камер, на выходе — действия всеми конечностями. Нет никаких промежуточных шагов, которые нужно было бы программировать вручную. По сути, из процесса масштабирования навыков убран человек, остались только данные (а раньше нужно было и то, и другое). Такой подход сейчас применяется у многих компаний-конкурентов.
— насколько я понял, передвижению нейронка обучалась в симуляции и не на конкретном заводе, а вот данные для выполнения задачи уже собирали на месте. Но это не является проблемой — ведь ту работу, которую хотят автоматизировать, каждый день выполняют люди, и собрать с них демонстрации это задача решаемая. Посмотрите, как выглядит аналогичная VR-арена у Tesla Optimus
— в видео показывается, как робот сам исправляет оплошность (деталь не так встала). В теории такое может выучиться и без демонстраций (по сравнению состояний «нужно» и «как есть»), но скорее всего люди делали нечто похожее
— прогресс тут не постепенный, а очень ступенчатый. До определённого уровня такие роботы абсолютно бесполезны (это мы наблюдали последние 10+ лет), а с какого-то уровня уже могут исполнять сразу много задач (потому что требуются во многом схожие навыки). Но конкретный прогноз дать сложно, будем следить за обстановкой. Моя ставка, что сначала задач будет 2-3, потом 5-10, потом 20, а потом уже и почти все работяги имеют железяку в смене, и не на одном заводе. Главное на регуляции и забастовки не нарваться 😶‍🌫

Появилось немного свободного времени, думаю написать лонг (не такой, как про Sora, раза в два короче, на 15-17 минут чтения). Есть несколько идей, между которыми разрываюсь.

Пожалуйста, напишите в комментарии, о чём вам было бы интересно почитать и в чём подразобраться (только не в одно слово, а хотя бы полный тезис одним предложением). Лайкайте комментарии с темами, которые нравятся вам. Минимизируйте спам и шуточки.

Среди идей (в основном, непроработанных):
— основы механической интерпретируемости трансформеров, или что мы знаем о чёрных ящиках - нейросетях
— LLM для улучшения обучения LLM (на основе этой работы)
— «Нет, опенсурсные модели не догнали GPT-4» (про LLAMA-3 и оценку Эло-рейтинга, немного устаревший топик)
— «Образование в эпоху AI» (краткая версия, без опроса экспертов из индустрии и продуманных предсказаний о будущем)
— Почему ближайшее будущее AI индустрии во многом зависит от GPT-5?

Предлагайте ваши или выражайте заинтересованность в указанных опциях 💬

В ноябре я писал про инициативу компании XTX Markets. Они выделили $10M чтобы подстегнуть прогресс AI в математике, и совместно с организаторами Международной Олимпиадой по Математике (International Mathematical Olympiad, IMO), спонсировали конкурс AIMOPrize. В его рамках на Kaggle, соревновательной площадке с задачами по машинному обучению, пару дней назад закончилось одноимённое соревнование.

Для него авторы приготовили 110 новых олимпиадных задач (то есть до этого если схожие и были, то лишь просто подобные). На 50 штуках решения оцениваются по ходу трёхмесячного соревнования, а на оставшихся 50 определяется победитель (перезапуском решений с новыми задачами, к которым ни у кого нет доступа). И ещё 10 задач были даны как примеры, с ними можете ознакомиться тут, чтобы прикинуть примерную сложность.

Решения принимаются в виде упакованного архива с кодом и моделями и запускаются в изолированном окружении, из которого даже логи нельзя читать (чтобы задачи не увидели). И конечно же никаких вызовов моделей OpenAI/Anthropic не был разрешено.

Результаты получились смешными. Команда, занявшая первое место, вырвалась вперёд, и её решение справилось с 29 задачами. Второе место осилило 22 задачи, 3-4 20 задач, и остальные меньше. Шутка в том, что ещё 3 месяца назад, почти в самом начале соревнования, опубликовали решение, которое (как оказалось после окончания) осилило 21 задачу. То есть почти все команды за 3 месяца, как бы сильно не пыхтели, не смогли улучшить решение так, чтобы оно обобщалось на новые, невиданные до этого проблемы.

Иначе говоря, если вы просто скопировали это решение и немного пошаманили с параметрами (основных два, напишу ниже), и это не испортило решение больше чем на 1 задачу — вы получаете золото. На 3 — серебро (то есть 18-19 задач).

А решение достаточно простое. Берётся китайская модель MMOS-DeepSeekMath-7B, натренированная на решение схожих задач через написание кода на Python. Для неё делается 2 промпта. Для каждой задачи генерируется до 19 решений. Иногда можно сгенерировать меньше — например, если первые сколько-то программ дают один и тот же ответ, то можно не продолжать, ведь вы уже уверены в результате. Так или иначе, после генерации ответы агрегируются методом голосования большинством: какой чаще был, тот и записываем.

Вот количество генераций — это один параметр. Люди пытались немного поменять логику отсечения (когда нужно браться за следующую задачу), или делать чуть больше/меньше генераций. Второй параметр — это температура генерации, которая отвечает за случайность. Так как генерируется больше десятка решений, то хочется, чтобы они немного да отличались. Поэтому мы позволяем иногда брать не самое вероятное следующее слово, а, скажем, второе или третье. Тут люди прям сильно крутили температуру, пытались понять, что лучше 😁 накрутились, что пролетели мимо золотых медалей.

Третье место уже выложило своё решение, они там то сё пробовали, анализировали ошибки, но итог мы знаем (21 балл 🤓). Буду очень ждать решение первого места, интересно, что сделали ребята. Они сказали, что дообучали свою LLM, но и китайской модели тоже не чужда математика и задачки.

===

Главная критика соревнования — ограничение на ресурсы. 50 задач должны решаться за 9 часов на видеокарточке P100...выпущенной в 2016м году. Памяти у неё мало, никаких больших моделей не влазит, даже 7B еле-еле с квантизацией пролазит. Генерация жутко медленная, про трансформеры и LLM тогда не знали, оптимизации нуль. Организаторов понять можно, им нужно прогонять сотни и тысячи решений, ресурсы не бесконечны, но это является большим ограничивающим фактором для участников. Скорее всего, можно было бы решить больше, 35-37 задач, если бы просто дали больше времени (24 часа вместо 9?) и карточка посовременнее. И это грустно 😪 надеюсь, в следующем году авторы исправятся, накинут побольше GPU, и мы увидим прорывы. Ведь главный приз в почти миллион долларов остался неразыгранным: для него нужно решить 47 задач.

В начале соревнования я дал предсказание, что из-за ограниченных ресурсов скорее всего никто не сможет набрать больше 30 🤓

В июне Google закрыл Google Podcasts, которым я пользовался долгое время. Идеально минимальный дизайн без ненужных фич, простое бесплатное скачивание + прослушивание в оффлайне хоть где, никакой регистрации (просто обычный аккаунт Google), и большинство авторов там постили.

Очень грустно 😢 мне завтра лететь 7 часов, придётся как-то по другому слушать(

1. Spotify - вне своей страны нельзя больше 14 суток пользоваться
2. Apple Podcasts - у меня андроид 🤷‍♂️
3. YouTube Music - не пробовал, но там нет двух из двух подкастов, которые я сейчас проверил

👍 офигенно. Берите на заметку, незанятая ниша. Ну или подскажите мне, пожалуйста, чем пользоваться.

Очередной убитый гуглом сервис 😂

The podcast in the question: https://www.latent.space/p/yitay