Начинаем выходные с вырезки из недавнего интервью Mira Murati (CTO OpenAI). Это, кстати, не первое её публичное появление за последний месяц — видимо, решили спрятать Sam от глаз публики, ибо слишком много негатива и претензий льётся в его сторону. А может просто более важными вещами занят 🤷‍♂️

Так вот, в этом кусочке Mira говорит про то, что модели GPT-3 по уровню интеллекта были как маленькие детки, GPT-4 на уровне старшеклассников, а в ближайшее время (в течение полутора лет) доберёмся до моделей уровня PhD (кандидатов наук) в рамках определённых задач. Вы можете не соглашаться с оценками, это популярная позиция, мол, GPT-4 на самом деле вообще не сравнима, но не в этом суть.

Что привлекло моё внимание, так это схожесть с тезисом из Situational Awareness за авторством Leopold Aschenbrenner, помните я писал про интервью и анонс работы? На бумаге у Leopold были такие же расчёты, привязанные к количеству вычислений, производимых во время обучения моделей, и
— GPT-2 имела уровень дошкольника
— GPT-3 уровень начальной школы
— GPT-4 уровень умного старшеклассника
— и дальше на горизонте модели PhD-level

Думаю, эта схожесть не случайна, и варианта вижу три:
— это распространенный внутри OpenAI подход к рассуждению
— Mira это придумала сама, не читав работу Leopold
— Mira прочитала работу и переняла эту оценку

Мне кажется, что почти наверняка это вариант 1, да и расчёты по таймлайнам в самой работе очень похожи на те, что были у штатного философа-предсказателя OpenAI Daniel Kokotajlo, задача которого была буквально оценивать сроки развития технологий и разрабатывать необходимые меры по интеграции систем в экономику и сообщество. У него даже предсказанный год появления AGI был тот же: 2027. И ровно к этому сроку OpenAI официально планировали закончить проект Superalignment'а (которого уже нет), так как считали, что нужно готовиться к развитию суперинтеллекта.

Опять же, вы можете не соглашаться с самими предсказаниями/тезисами/траекторией развития, но моя рабочая гипотеза в том, что всё это — часть реального внутреннего видения и прогнозов, которые OpenAI берут за номинальные. Это обсуждается, обговаривается, ведутся дебаты за обеденным столом, команда прогнозистов делает корректировки, etc.

В их картине мира они действительно идут к точке, что через 3-4 года будет AGI (определённый как «на уровне эксперта в большинстве экономически важных задач»); это не подразумевает, что через 4 года людей почти на всех работах заменит GPT-X, так как есть и регуляции, и проблемы внедрения технологии, и даже просто забастовки людей; такая система может быть разработана, но не анонсирована. Или разработана и анонсирована, но законсервирована, пока не появятся регуляции.

В комменты пишите свои аргументированные доводы, почему вы не согласны с таймлайном OpenAI.

Sam Altman вспомнил, что он вообще-то был президентом YC, да и что у него есть свой инвестфонд на 400+ компаний. А потому OpenAI за последнюю неделю отметились несколькими покупками. Первая — Rockset, компания занимается поиском и аналитикой баз данных. 50/50 улучшение Advanced Data Analyst-режима GPT-4 и задел на поисковую систему, которую пилят давно. Но это не так интересно.

Вторая, вот прям сегодня поглотили стартап Multi. Они делали платформу для коллаборативной разработки/ведения митингов. Более подробно смотрите на приложенной демке — вы созваниваетесь с коллегами, кто-то шарит экран, и все могут что-то делать одновременно. В 10 пальцев рук код, конечно, не попишешь, но распараллелить какие-то вещи (включая отладку кода стажёров на удалёнке, ох, наглотался в ковид...) вполне возможно. Бонусом идут заметки с митинга, включая полную запись, её саммари, возможность быстро задавать вопросы ко всем митингам (даже тем, что были месяц назад), ведение лога активности и создание «следующих шагов» (чтобы каждый, выходя с митинга, не забывал, что ему надо делать в ближайшую неделю).

Причины покупки вижу две:
— в OpenAI любят кодить в 2 пары рук и им нравится инструмент (👀 учитывая что у них нет удалёнки)
— ...они хотят сделать такое же общение и коллаборацию...но не с коллегами, а с GPT-приправленным ассистентом. Ассистент тоже видит все вкладки, все экраны, имеет тот же контекст, что и вы, так ещё и говорить умеет. А ещё через подобную программу ОЧЕНЬ легко собирать данные для дообучения/понимания уязвимых мест, где ассистент плохо себя показывает.

Не ожидаю в ближайший ~год развития, но после этого, и с обновлением поколения моделей — думаю, будет отвал башки.

Сами Multi написали в анонсе следующее:
— Недавно мы задавались вопросом, как нам следует работать вместе с компьютерами. Не на компьютере или используя, а именно _с_ компьютерами. Вместе с ИИ. Мы считаем, что это один из самых важных продуктовых вопросов нашего времени.

На сайте makereal.tldraw.com можно схематично нарисовать прототип UI, сделать стрелочки и подписи с объяснением функциональности, а затем сделать запрос в GPT-4o/Claude-3.5 на генерацию кода, который бы реализовывал интерфейс

Примеры пока простенькие, не то что целый аналог приложений с мировым именем строится по щелчку, но мы потихоньку приближаемся к этому. Вот пример генерации iPod с оригинальным дизайном: можно покрутить селектор для выбора трека. Со слов авторов, GPT-4o не могла такое реализовать, а Claude 3.5 первая справившаяся модель.

В комментарии скину картинку, по которой делалась генерация.

Концепт конечно интересный, если захотите поиграться — вам понадобится свой API ключ.

Эх, а вот лет через 5-7... 💀 нет, серьёзно, какой процент работы на себя возьмут AI-ассистенты? 25%? 50%? 75%? Кажется, что в любом случае свой карьерный путь и путь обучения/развития себя и детей нужно пересматривать.

Очень интересно как учительницы литературы будут предлагать делать разбор подобных сгенерированных творений и просить описать, А ЧТО ЖЕ ХОТЕЛ СКАЗАТЬ АВТОР А КАК ОН ЧУВСТВОВАЛ А КАКИЕ НАРЯДНЫЕ МЕТАФОРЫ И ЭПИФОРЫ ИСПОЛЬЗОВАЛ

И всё — вот с таким лицом 🤓

Как говорил Пётр I, «радуйся малому, тогда и большое придёт». Так как Claude 3.5 Sonnet не смогла обогнать GPT-4o по Elo-рейтингу на оценках живых людей на LMSYS Arena, то резона торопиться у OpenAI с релизом новой модели нет: а зачем, если ты итак топ?

Но зато наконец-то раскатили приложение ChatGPT для Mac на всех пользователей (качать тут, нужен процессор M-серии). А вместе с этим добавили...барабанная дробь...поиск по чатам! Наконец-то можно шустро найти диалог полугодовой давности по паре ключевых слов — этого очень не хватало. Даже странно, что СТОЛЬКО времени заняло добавление столь нужной фичи.

Зачем вам может понадобиться приложение? Несколько главных приколюх:
— клавиша быстрого доступа, чтобы сразу начать вбивать текст, без перехода на сайт
— возможность сделать скриншот окна или фото с камеры в один клик
— можно выделить текст документа, нажать горячую клавишу, и задать по этому контексту вопрос

GPT-4.5 видимо до Claude 3.5 Opus не увидим 😢

# Гайд для сотрудников: опционы в стартапах

https://vas3k.club/post/24737/

Вышло! Русскоязычная версия ультимативного гайда о том, что сотрудникам стартапов нужно знать по опционы, как можно всё потерять и каковы шансы заработать.

По сравнению с англоязычной версией текст сокращен, упрощен и снабжен мемами.

Текст потребовал от меня много усилий, так что буду рад, если вы поделитесь им с друзьями ❤️

Project Naptime: Evaluating Offensive Security Capabilities of Large Language Models

С 2014-го года в Google существует проект Google Zero, в рамках которого экспертами проводится аудит уязвимостей в программах. Существует большое количество инструментов, которые облегчают процесс, но не делают его полностью автоматизируемым. Так как многие переживают, что LLM могут потенциально начать автономно искать уязвимости и их эксплуатировать, то хочется понимать, когда примерно это может произойти. Иными словами нужен бенчмарк для отслеживания прогресса.

С выходом LLAMA 3 сотрудники META опубликовали бенчмарк CyberSecEval 2, в котором нас интересуют две задачи: 1) обнаружение и эксплойт переполнения буффера («buffer overflow») 2) переписывание программы, чтобы вызвать сбой из-за проблем с памятью («advanced memory corruption»). Померяли результаты GPT-шек, своих LLAMA, сказали «да модели работают оч хреново, бояться нечего» и хлопнули дверью.

Вот тут в игру и вступают сотрудники проекта Zero. Они поняли, что то, как в META померили способности моделей — это курам насмех. Они прям так и пишут: «Мы обнаружили, что усовершенствовав методологию тестирования с использованием актуальных возможностей LLM, можно достичь значительно более высоких показателей <...> в противном случае результаты не смогут отразить истинный уровень возможностей моделей».

Конечно, легко Лекуну говорить, что модели не опасны, когда а) у тебя нет передовых моделей (🤣) б) ты не хочешь вкладываться в нормальный пайплайн оценки моделей (😂). А потом разводить руками и говорить «нам не нужны регуляции, вот смотрите, есть же бенчмарк!». Чтоб вы понимали уровень качества проверки — моделям даже не давали рассуждать перед написанием ответа (не было Chain-of-Thought).

Что сделали ребята из Google: они поняли, что нужен LLM-агент, который умеет итеративно работать с проблемой и использовать инструменты. Собрали систему, которая позволяет запускать отладку кода, искать конкретное место в коде (если файл очень большой и модель теряется в контексте), вызывать Python для запуска разного. LLM получает задачу в очень общем виде (без явного указания, что конкретно нужно сделать), и пытается итеративно прийти к цели. Перед каждым действием LLM получает историю своих прошлых действий, пишет рассуждения, и затем выбирает, чем заняться.

В статье говорилось, что GPT-4 решила 5% примеров из первой задачи и 16% для второй. Гугловцы же дожали эти цифры до 100% и 76%. Ну то есть по сути всё, можно закрывать бенчмарк и сразу делать задачи гораздо сложнее. Он был мертворождён — потому что модели решали его сразу на релизе (просто авторы не смогли померить). Понятно, что не получится для каждого бенчмарка перед релизом строить ультрамегасложную систему, но тут прям совсем глупо получилось — даже минимальной домашней работы не было проделано.