Building an early warning system for LLM-aided biological threat creation

Исследование OpenAI с презентацией раннего прототипа фреймворка для оценки опасностей от LLM в контексте разработки биооружия. Напомню, что основная цель — смотреть наперёд, уметь оценивать неанонсированные модели перед тем, как выпускать их на волю к пользователям. В дизайн фреймворка было заложено 3 принципа:

1️⃣Необходимо вовлекать живых людей в процесс взаимодействия с моделью — такую оценку нельзя автоматизировать условно промптами и скриптами. Поэтому в рамках тестирования было отобрано 100 человек (50 экспертов с PhD по биологии и опытом работы в лаборатории и 50 студентов, имевших за плечами хотя бы 1 курс биологии).
2️⃣Участники должны опираться на полный спектр навыков модели — поэтому всем предоставили материалы с описанием типичных проблем LLM, продвинутых техник промптинга и примеров того, на что модели способны
3️⃣Нужно оценивать не модель в вакууме, а улучшение, которое она привносит в процесс разработки биооружия по отношению к публично доступной информации. В данном случае 50 учатсников получали доступ к интернету и не использовали LLM, а другие 50 общались со специальной версией GPT-4, которая была переобучена так, чтобы не отказываться предоставлять потенциально опасную информацию. К сожалению, у неё самой была отключена возможность гуглить — это нужно было делать человеку.

Всего в процессе разработки выделяется 5 стадий, от планирования, через исследование и синтез к распространению. Специалисты из отдельной организации подготовили 5 задач (по одному на каждую стадию. Ими, конечно, не делятся), которые ложатся в эту систему, и для каждого прописали чёткие критерии разбалловки от 1 до 10 по пяти метрикам, чтобы можно было оценить успешность выполнения каждого шага. Эти метрики: точность и полнота описания, новаторство в решении, затраченное время и субъективная сложность, проставляемая исполнителем. Новаторство почти не встречалось, и дальше мы сфокусируемся на первых двух метриках — остальные менее интересны.

При такой оценке точность описания процессов изготовления биооружия с LLM выросла в среднем на всех 5 этапах на 0.88 балла для экспертов и 0.25 для студентов. Полнота — на 0.82 и 0.41 соответственно. Это не является статистически значимым результатом, так как в каждой когорте по сути всего 25 человек, однако OpenAI уверены, что замер стандартным статистическим тестом здесь не совсем уместен. Например, нам может быть интереснее количество людей, получающих оценку больше 8 на каждом из этапов.

Прочитал отчёт про разработку AI-ассистента для студентов именитого курса CS50 в Harvard University. Процесс происходил итеративно, мини-группа из 70 тестировщиков летом -> 500 студентов на кампусе -> тысячи студентов в онлайне.

Всего было разработано 3 AI-based продукта:
1. Плагин для IDE, объясняющий код (в том числе разницу форматтирования, чтобы студенты сразу учились писать красиво удобно)

2. Автоответчик на форуме поддержки, где в асинхронном режиме студенты могут общаться между собой (и иногда с преподами), чтобы разрулить свои проблемы. Теперь бот на основе GPT-4 и с материалом всех лекций в памяти писал ответы (которые в течение определенного времени верифицировались или удалялись ассистентами)

3. Главная фишка — AI-duck. У программистов есть такой концепт, резиновая уточка: если вдруг попал в просак и не можешь понять, где баг или другая проблема, то нужно начать объяснять в слух кому-то пошагово, что происходит. Обычно помогает поймать себя на описании проблемы в логике и получить aha-moment. Собственно, AI-уточка тут — это GPT-4 + набор инструкций + все конспекты в памяти, и неистовое желание помочь студенту. Можно как помочь разобраться в одной задаче, так и в целом пояснить материал лекций, если вдруг не понял. А чтобы студенты не абьюзили GPT-4, авторы ввели систему жизней: 10 сердечек ❤️, каждое сообщение вычитает одно. На восстановление ❤️ нужно 3 минуты. Это как экономит деньги на API OpenAI, так и заставляет студента думать своей головой, а не по каждому чиху дергать «ментора».

Основная цель всех приседаний, конечно, приблизиться к соотношению студент:учитель как 1-к-1. Как показывали исследования (про которые я уже писал), при таком персональном подходе существенно увеличивается качество образования. И, согласно опросу, студенты чувствовали, что они имеют персонального преподавателя — 47% отметили, что бот very helpful (26% — просто helpful), и 53% сказали что love бота (33% просто like, чуть менее серьёзно, чем love 😈).

Интересно, что качество ответов на вопросы на платформе в сценарии 2 просело относительно людей. «Тупые машины галлюцинируют, ха-ха, как их в образование то тащить!» — скажут одни. Правильный ответ: все простые вопросы на себя взяла уточка, а те, с которыми она не справилась, студенты выкладывали на форум, где получали ответы — среднее количество уменьшилось с 1.1 (на студента) до 0.28 (!).

И немного про деньги: в среднем один студент обходился в $1.9 в месяц, что с лихвой окупилось по мнению авторов. Проект признан успешным, его теперь будут раскатывать на ещё 10 других курсов, и рекомендуют другим учебным заведениям делать то же самое!

Игра года в мире будущего уже готова, осталось AR-шлемы раздать геймерам ☺️

Автор

Утром (просыпаюсь в 15:30, утро 😀) увидел на канале Нейрочистилище пост с упоминанием революционного браузера Arc. Я про него давно слышал, но как-то не настолько интересно было заглянуть и уж тем более переехать с Google Chrome, которым я пользуюсь с какого, 2009? 2010?

Революционность браузера в удобстве, максимально переработанном UI, дарящем новый UX. Вкладки и папки — сбоку, моментальное переключение между рабочими пространствами в рамках одного окна и многое-многое другое. Просто полистайте лендинг arc.net, глаз сразу зацепится.

Конкретно в упомянутом видео рассказывается про несколько AI-powered фичей, работающих прямо в браузере. Краткое саммари (но рекомендую посмотреть всё):
1️⃣Instant Links — вместо перехода в поисковик и открытия ссылки вручную можно предоставить браузеру выбрать за вас, куда перейти, чтобы прочитать ответ. По-сути, лишаете Google денежки за рекламу, которую вам показывают сверху. А можно пойти дальше и сделать запрос "сделай папку с отзывами на X" — и сбоку в UI создастся папка, в которую сложатся ссылки. Вы по ним пройдетесь, они исчезнут — всё. Очень удобно (глянуть отсюда)
2️⃣Arc Explore (запустится скоро) — аналог Bing-чата, вместо открытия ссылки бот прочитает несколько сайтов за вас, и даст понятное краткое и релевантное саммари. Анимация поиска — это просто отвал башки (таймкод)
3️⃣Live Folder Beta (с 15го февраля) — как вы поняли из пункта один, в Arc есть понятие папки, в которой хранятся страницы, релевантные, например, одной части вашего проекта. Грубо говоря закладки на максималках. Так вот, предлагается делать папки, в которые прилетают обновления на страницах, на которые вы подписаны. Новый блогпост любимого автора? Увидите в папке обновление! Свежий PR для ревью вами? Тут как тут.

И кроме этого уже несколько месяцев как были другие, более классические AI фичи — саммари страницы, поиск ответа на вопрос на странице через ChatGPT, моментальный доступ к ChatGPT в командной строке (и всё — бесплатно). Полный список тут.

И последнее — «Our coolest unreleased browser feature». Вот по этой ссылке точно надо перейти самому и посмотреть.
В браузере Arc есть Boost — это не премиум-подписка, как вы могли бы подумать, а умный ээээ фильтр страницы. Вы можете написать JS-код, который кастомизирует определенный сайт. Можно убрать ненужные ссылки, можно переместить или отмасштабировать ленту, как вам удобно, etc. Но не все из нас ведь программисты, верно? Как вы уже догадались, предлагается отправить запрос в GPT типа «пусть все твиты будут размыты, пока я на них не наведу курсором, чтобы прочитать». Можно пойти ещё дальше — в демке показывают, как GPT пишет код для вызова GPT (кек) для каждого заголовка товара на Amazon, чтобы переписать его в более понятном user-friendly виде (до 4-5 слов). Уже вижу, как такое можно делать на Aliexpress! 👀 Гляньте видео, станет понятнее, какая магия там происходит. Не то, чтобы это самая важная фича, но приятненько.

Note: браузер доступен на айфоне и MacOS, версия на Windows скоро.

Вчера после написания поста из-за жары не мог уснуть, решил скачать XCode (IDE для разработки приложений под системы Apple) с идеей посмотреть, насколько легко не разбирающемуся человеку написать приложение под VisionOS. Я не то что на Swift не писал — я кроме Python только в HTML немного тыкал да в Java (во времена школы, не дальше классов в коде).

Идея была простая — делать распознавание объектов с камеры, и либо создавать описание сцены через LLM/VLM, либо выводить модельку объекта (из заранее заготовленного списка). Сколько не пытался найти, как получить картинку с камеры — всё без толку. В итоге через полтора часа решил погуглить и нашёл, что да, Apple реально не позволяют получать стрим видео или просто фото с камер. Только сырые сигналы с датчиков, либо уже обработанные данные (плоскости, смещение по осям координат, etc.). Жопа пригорела, конечно (лучше бы спал).

Почему не загуглил сразу отдельно? Потому что думал, что гарнитура вот только вышла, никто ещё не успел опробовать, но оказывается, что документация + библиотеки уже с полгода вывешены, потому люди их уже и в хвост и в гриву.

Решил для сублимации и практики сделать (не без помощи GPT-4) распознавание голоса (по задумке — с передачей в LLM, на деле — просто выводил текст + менял размер в зависимости от громкости). Да, с микрофона звук легко получить. До передачи в LLM руки не дошли — модель долго качалась (спасибо азиатскому серверу), но я почти всё нужное написал через swift-transformers от HF.

После сна уже забил, надо было другим заниматься. Сейчас вышел в Твиттер, наткнулся на демку запуска Mistral7B в 4bit квантизации, решил с вами поделиться. Тут генерация примерно 9-10 токенов в секунду выходит. Для справки llama.cpp на M2 с 10 ядрами (как в Vision Pro) выдаёт 21.91 tok/s.

В общем, интересно, ждём разных ускорений и приколов. За отрезанный к камере доступ жалко 😪

P.S.: доки и туториалы с обучающими проектами у Apple шикарные. Не хватает только AI-поиска, чтобы находить описанное простыми словами.

Если вы дочитали предыдущий пост до конца, то у вас мог возникнуть вопрос: «В смысле во второй раз, а когда был первый?».

И ответ на него вы можете найти в долгожданной обещанной пятой лекции второго модуля, где я рассказываю про законы масштабирования LLM'ок, а также про случай, как индустрия прожгла зазря десятки, если не сотни миллионов долларов — и всё из-за ошибки одних из лучших исследователей.

И да, 4 поста выше были написаны как подводка к выложенной лекции 😀 зато теперь ясно, что LR и LR Schedulers — это вам не игрушки, а очень важные вещи!

Смотреть лекцию: здесь
Смотреть весь плейлист (пока что 8 лекций): тык

Мало кто знает, но превью для этого видео должно было быть таким.

Но чтобы понять, о чём речь (и почему это не кликбейт) — придётся посмотреть всю лекцию...

😪🤨