Хождения Sam Altman в Сенат не прошли даром. OpenAI и другие ведущие лаборатории искусственного интеллекта (список не указан, ждём других анонсов) берут на себя ряд добровольных обязательств по повышению безопасности, защищенности и надежности технологий искусственного интеллекта и предоставляемых услуг. Этот процесс будет координироваться Белым домом и будет являться важным шагом на пути к осмысленному и эффективному управлению ИИ как в США, так и во всем мире.

Более детально ознакомиться можно на официальной странице, тезисно — ниже.

Область применения: модели, которые в целом являются куда более мощными и способными, чем текущие модели с фронтира (включая GPT-4, Claude 2, PaLM 2, DALL-E 2 — это примеры "слабых" моделей).

1) Коммит на внутреннее и внешнее тестирование моделей в разных областях, включая неправомерное использование, социальные риски и проблемы национальной безопасности (биологическая, кибер, итд)
2) Работать и содействовать обмену информацией между компаниями и правительствами о рисках доверия и безопасности, опасных или возникающих возможностях и попытках обойти меры безопасности AI.
3) Инвестировать в кибербезопасность и защиту от внешних угроз, чтобы защитить проприетарные и невыпущенные модели.
4) Мотивация (включая денежную) стороннего тестирования на уязвимости сообществом
5) Разработать и внедрить механизмы, позволяющие пользователям понять, создан ли текстовый, аудио- или визуальный контент с помощью ИИ (например, водяные знаки)
6) Публично сообщать о возможностях модели или системы, ограничениях и областях надлежащего и ненадлежащего использования, включая обсуждение социальных рисков
7) Уделить первоочередное внимание исследованиям социальных рисков, связанных с системами ИИ, в том числе по предотвращению вредных предубеждений и дискриминации и защите конфиденциальности
8) Разрабатывать и внедрять передовые системы искусственного интеллекта, чтобы помочь решить самые большие проблемы общества

Звучит серьёзно, очень интересно посмотреть, как будет выглядеть координация нескольких разных компаний и даже разных стран.

Появилось на сайте Белого Дома (ссылка)

Под инициативной подписались следующие компании:
Amazon, Anthropic, Google, Inflection, Meta, Microsoft, OpenAI

Немного странно, что нет Nvidia, поставщиков видеокарт для тренировки мощных моделек (да у них и исследовательский отдел очень неслабый, вспомнить только модель на 530 миллиардов параметров!).

По поводу вообще всей новости процитирую Бориса @boris_again:
> Офигеть конечно, что Белый Дом серьезно занимается AI safety. Не перестаю удивляться насколько все вылезло из пузыря

Мы давно не говорили про SpaceX, пора бы и посмотреть, как у них дела.

А в целом всё неплохо, полным ходом идёт подготовка к следующему запуску. Корабль (верхняя часть аппарата) уже протестирован (может быть не до конца, но прожиги и криотесты были). На неделе бустер поставили на стартовый стол для испытаний — тот самый, основание под которым разлетелось в песок после прошлого запуска! Да, всё починили: залили больше 5000 тонн бетона, поставили систему подачи воды для смягчения эффекта работы двигателей первой ступени. См. прикреплённое фото.

Действительно спустя 3 месяца _почти_ всё готово. Несколько прожигов первой ступени и чуть больше тестовых заправок отделяют нас от второй попытки орбитального полёта. Напомню, что по лицензии от FAA SpaceX имеет право еще на 4 запуска до конца года. Если не хочется терять возможности - нужно делать по запуску чуть реже, чем раз в полтора месяца. Мой консервативный прогноз таков, что будет еще 3 попытки запуска (ракеты и корабли для них почти готовы, остались только двигатели).

А в следующем посте будет мегакрасивейшая запись с камеры недавно запущенной Falcon 9, которая зацепила ракурс заката Солнца за Землю. Эффектные кадры!

#ml #искусственный_интеллект

# The Bitter Lesson

The Bitter Lesson - знаменитое эссе от профессора Rich Sutton и один из самых важных текстов для спекциалистов по ML и всех пытающихся разобраться в буме AI. Текст написан в 2019 году и оказался пророческим, предсказав бум ChatGPT/GPT-4 и победу подхода OpenAI.

Речь вот о чем. Традиционно ученые в AI считали, что искусственный интеллект требует какого-то особого подхода, какой-то “звездной пыли.” Это называется inductive bias: некие особые знания о проблеме, направляющие машинное решение. Считалось, что чем умнее мы хотим получить машину, тем хитрее должны быть наши эвристики и тем глубже должно быть наше понимание проблемной области.

Эмпирически это казалось верным. Например, ученые наблюдали сильынй прирост качества в машинном переводе после того, как глубоко изучили лингвистику и закодировали часть ее правил в свою систему. Аналогично в анализе изображений кто-то мог придумать хитрый фильтр или стоэтапный выделять ключевые точки. Такие результаты позволял ученым почувствовать себя очень умными (и не зря!), опубликоваться, защитить свои PhD и в целом удовлетворить всех участников академической среды.

Но вот что происходило из раза в раз: кто-то просто докидывал вычислений и побольше данных. И побеждал все хитрые методы! Все добытые слезами, потом и кровью inductive bias методы оказывались на пыльной полке истории.

Так было в шахматах: сначала все делали хитрые движки, но победила система построенная практически на полном переборе. Так же было с Go. Так же было со Старкрафтом. Скорее всего так будет с Nethack.

В компьютерном зрении конволюционные нейросети победили “ручной” SIFT и подобные методы. Автор SIFT позже сказал, что создал свой метод только потому, что у него не было нейросетей, которые делают бррр. В машинном переводе LSTM положили на лопатки все системы на основе правил. ChatGPT/GPT-4 это предельный случай: модель построенная на чистом “stack more layers” обращается с языком лучше, чем все создания компьютерных лингвистов.

Горький урок в том, что общие методы построенные на вычислениях побеждают хитрости построенные на человеческой интуиции. Урок этот все еще не усвоен до конца: PhD продолжают делать хитрые методы, а общие системы остаются не в почете. Тот кто усвоит урок будет иметь более точную модель реальности.

Очень советую прочитать оригинал эссе по ссылке в заголовке.

Короткий, но интересный пост от Anthropic:

Frontier Threats Red Teaming for AI Safety

В нем команда делится подходами и общими выводами на основе проекта по биологическим рискам, который они проводили в качестве теста вместе с экспертами. Те провели более 150 часов с фронтир-моделями Anthropic (предположу, что Claude 2) за последние 6 месяцев в попытках оценить способности модели выводить вредную биологическую информацию, вроде деталей разработки и приобретения биологического оружия. Среди прочего, эти эксперты учились использовать и придумывать джейлбрейки (специальные промпт). Также в коллаборации были разработаны количественные оценки возможностей модели, чтобы понять, а чего же она всё таки умеет.

Детали в блогпосте не опубликованы (намеренно), лишь упомянуто несколько общих тенденций и суждений, а также то, что наработки с проекта были применены к моделям, котоыре сейчас доступны публично по API.

Во-первых, современные фронтир-модели вроде Claude 2 и GPT-4 иногда могут давать сложные, достаточно точные, полезные и подробные знания на экспертном уровне. В большинстве изученных ими областей такое случается нечасто. В иных же областях так и происходит (модель демонстрирует экспертный уровень).
Также были обнаружили признаки того, что модели становятся более способными по мере того, как становятся больше (сделайте удивленное лицо).

В итоге исследовательская группы считает, что LLM, обучаемые и разворачиваемые без надлежащего контроля, могут ускорять попытки злоумышленников злоупотребить биологией по сравнению с обычным доступом в Интернет, а также позволить им выполнять задачи, которые они не могли бы выполнить без LLM.
Эти два эффекта сегодня, вероятно, невелики, но растут относительно быстро вместе с развитием LLM.

И главное — команда обеспокоена тем, что, если ничего дальше не делать, то подобные виды рисков могут проявиться в ближайшие два-три года, а не пять и более лет. По результатам исследования в план будущих исследований были внесены корректировки, в том числе будет обращаться больше внимания на модели, работающие с инструментами реального мира.

(у меня в канале где-то выше было про GPT-4 и инструменты для смешивания химических веществ, но я не смог найти ссылку. Добавлю, если найду)

UPD: нашёл, вот. Если пропустили - обязательно прочитайте, чтобы понять, как языковая, казалось бы, модель может смешивать вещества и проводить эксперименты автономно.

Кстати, с лидом команды SuperAlignment вышел двухчасовой подкаст.
Послушать можно на гугл-подкастах: тут
А вот тут можно прочитать полную текстовую расшифровку записи.

Вероятно, сделаю отдельный пост-выжимку, чего интересного обсудили.

До сих пор роботы работали на комбинациях сложных систем, где высокоуровневые системы рассуждений и низкоуровневые системы манипулирования играли в "глухой телефончик". Вот представьте, что вы думаете о том, что хотите сделать, а затем должны сообщить об этих действиях остальному телу, чтобы заставить его двигаться. Представленная модель RT-2 устраняет эту сложность и позволяет одной языковой модели не только выполнять сложные рассуждения, но и напрямую отдавать команды роботу. Самое главное, это показывает, что с небольшим объемом данных для обучения роботов система способна на выполнение задач, на которых она никогда не была обучена.

Например, если бы вы хотели, чтобы предыдущие системы могли выбрасывать мусор, вам пришлось бы явно обучить их, чтобы они могли идентифицировать мусор, а также поднимать его и затем выбрасывать. А RT-2 уже имеет представление о том, что такое мусор, и может идентифицировать его без специального обучения, да еще и имеет представление о том, как именно выбрасывать мусор, хотя её никогда не обучали этому действию. Даже первый вопрос "а что такое мусор" очень нетривиален для полноценной формализации. Вот подумайте об абстрактной природе мусора — то, что было пакетом чипсов или банановой кожурой, становится мусором после того, как вы их съедите, а до этого мусором не является. И ничего из этого не нужно объяснять текстом или отдельно тренировать — RT-2 может понять это из своих внутренних представлений и выполнить свою работу.

Почему это важно и чего будет дальше:
1) важно понимать, что языковые модели - универсальные reasoners (мыслители? размышляторы?), и за счёт генерализации и переноса знаний из одной области в другую могут легко находиться разные применения
2) исследователи не брали самые большие и умные модели для своей задачи, так как хотели, чтобы все модели работали меньше чем за секунду (то есть частота действий робота не менее 1 Герц). Условно, если добавить GPT-4 и более мощную картиночную модель, то результаты будут куда более впечатляющими
3) данных пока маловато, но от этой точки и до полноценного датасета, включающего в себя данные от работы на производственной линии завода до горничной — один, может, два года (неэкспертная оценка, поправьте меня в комментариях, если разбираетесь). А с данными приходит и существенное улучшение
4) модель училась по одной технике, а есть куча других, которые, как я вижу, в скором времени начнут смешиваться друг с другом и давать улучшения ещё больше. Например, можно обучать роботов на видео, где люди что-то делают. И даже записывать новое не надо — в ТикТоке и на ютубе можно найти почти что угодно!

Статья: тут
Сайт с верхнеуровневым описанием и демо-видео: клик
Более подробный и технический блогпост Deepmind: здесь

А вот кстати и утёкшая визуализация корпуса для робота RT-4. Релиз намечен на 2025й год.

Я как-то пропустил, а оказывается в прошлый вторник, 25го июля, в Сенат снова ходили большие фигуры мира машинного обучения (или "Искусственного Интеллекта", как это сейчас модно).

Были приглашены:
— Dario Amodei, CEO Anthropic
— Yoshua Bengio, один из крёстных отцов глубокого обучения, съевший на этом собаку (серьёзно, его h-index в Computer Science — второй среди всех исследователей, то есть это буквально один из самых цитируемых учёных). Вот его Google Scholar
— Stuart J. Russell, про него ничего не знаю, эксперты приглашаются в комментарии. Вот на всякий случай его wiki-странчика

Запись слушания: https://youtu.be/hm1zexCjELo

Я её послушаю, саммари скорее всего не будет (хотя прошло 6 дней, наверняка уже где-то написали?), но вот за что у меня зацепилось ухо в показаниях Dario Amodei (таймкод). Я как раз на неделе писал о том, что Anthropic занимаются анализом навыков больших языковых моделей в области биологического оружия.


Так вот, ниже вольный перевод слов Dario:

Я хочу сфокусироваться на среднесрочных рисках <...>. Последние 6 месяцев мы в коллаборации с учеными мирового уровня в области биозащиты занимались анализом навыков и роли AI в биологии в контексте неправильного использования [речь про биологическое оружие].
Сегодня некоторые шаги (и необходимые для их осуществления знания) в процессе производства биооружия не могут быть обнаружены в поисковиках и не описаны в учебниках, и требуют очень высокого уровня экспертизы. Это является вещью, которая до сих пор спасает нас от масштабных атак.
Мы обнаружили, что современные большие языковые модели могут предоставить сведения касательно некоторых из этих шагов, хоть и не полностью и не со стопроцентной уверенностью и надёжностью [то есть всё еще совершают ошибки].
<...> Однако простая экстраполяция навыков этих систем на те, что мы ожидаем увидеть на горизонте 2-3 лет, указывает на то, что AI сможет описывать все необходимые промежуточные шаги, упрощая доступ всё большему количеству злоумышленников к масштабным биологическим атакам.

В комментарии приглашаются эксперты по геополитике, которые расскажут, что к чему.

UPD: в комментарии подписчик скинул ссылку на пост с кратким обзором позиций других спикеров: https://t.me/howtocomply_AI/243