🪆Матрешка Representation Learning

Появились подробности о том, как устроено сокращение эмбеддингов в OpenAI. Статья вышла аж в 2022 году, и до вчерашнего дня авторов явно не баловали вниманием.

Обучаем модель для эмбеддинга (например на задаче генерации текста), но, вместо того, что бы обучать модель с фиксированным размером вектора-эмбеддинга, мы делаем вложеные под-векторы.

Например, размерность вектора-эмбеддинга для модели составляет 256. Традиционно, мы бы взяли вот этот вектор 256 и считали бы лосс на нем. В MRL мы возьмем сначала под-вектор размером 2 (x[:2]) и посчитаем лосс для него, еще возьмем под-вектор размера 4 (x[:4]), x[:8], ..., x[:128], x и для них всех тоже посчитаем лосс.

Таким образом, мы подталкиваем модель к тому, что бы в каждой матрешке было какое-то полезное представление (эмбеддинг).

Получается, что в эмбеддинге размером 2 - совсем мало информации, 16 уже побольше и так далее. Ввиду того, что эти саб-вектора отсортированы, мы можем спокойно откидывать хвост, так как он содержит самые нюансные нюансы.

🪆Статья
🖥 Код

Может ли LLM помочь злоумышленникам создать биологическую угрозу человечеству

LLM и CV алгоритмы помогают в создании новых лекарств или диагностике заболеваний, но наивно полагать, в это самое время никто не пытается использовать ИИ для какой-нибудь пакости.

OpenAI взялись за нешуточную задачу — пытаются оценить риски возможности использования ИИ (точнее, больших языковых моделей) для создания биологических угроз. Например, для производства нового (или старого) вируса.

К счастью, все не так плохо. Исследование показало, что GPT-4, даже "исследовательская" версия, отвечающая на небезопасные вопросы без необходимости джейлбрейка, несмотря на свою осведомленность, лишь немного повышает эффективность создания биологических угроз. А точнее - нет статистически значимой разницы между использованием интернета и интернета+LLM.

Немного об эксперименте: пригласили экспертов и студентов биохимиков, разделили на группы, использующие только интернет или интернет+LLM. Разбили задание на шаги и оценивали следующие критерии:
🔬Точность (описаны ли этапы синтеза вещества и, напр, условия транспортировки)
🧫Полнота (все ли компоненты подобраны для воплощения плана)
🧪Инновационность (напр, разработал ли участник новую стратегию, позволяющую обойти ограничения синтеза ДНК).
⏳Потраченное время
👩‍🔬Субъективная оценка сложности задачи

Неожиданное открытие, сделанное исследователями в ходе ресеча: информация о необходимых реагентах и оборудовании удивительно доступна, буквально в паре кликов от первого поискового запроса. Поэтому, видимо, узкое место в создании проблем человечеству - не доступ к информации, а наличие специалистов биохимиков и биомедиков, желающих создавать оружие вместо лекарств.

А мое неожиданное (и приятное) открытие - кто-то в кой-то веки использовал U-тест Манна-Уитни (это такая непараметрическая версия t-теста Стьюдента) для сравнения двух групп 🎉

В общем, исследователи предлагают не терять бдительность и продолжать изучать потенциальные риски. Но пока можо выдохнуть. А мне пойти уже спать

🧬Статья

Стенфордские шпаргалки по курсам CS и SME

Шервин Амиди со своим братом-близнецом Афшином, выложили материалы по ключевым темам DL курсов, в которых они ассистировали в Стэнфорде.
Цель - сделать легко усваиваемые конспекты и упростить изучение сложной теории.

Disclaimer: мало картинок, у кого формулофобия, открывайте с осторожностью

🧺VIP cheatsheets

Порог эффекта "зловещей долины": новое поколение, новые правила?

Кажется, некоторым из нас было как-то не по себе при просмотре демо Х1. Случайно провела микро исследование: на видео прибежали дети, я расспросила их о впечатлениях. Интересно, что Им ролик из предыдущего поста совсем не показался пугающим. Вкратце: понравилось лицо Eve, и вообще норм такого дома иметь.

Выглядит так, что у поколения альфа уже другой порог эффекта "зловещей долины". Это ни хорошо, и ни плохо, просто факт: нас, миллениалов и зумеров, не пугают зомби и фрэнки, это уже комедийные персонажи, образы кибогов претендуют на звание новых секс символов, ну, а новое поколение не смущает присутствуе адроидов в пространстве рядом.

Очевидно, на это влияет, что современные дети растут в мире, где технологии и ИИ - часть повседневной жизни в виде игрушек, образовательных инструментов, умных колонок и пылесосов. А ещё массовая культура: уже много лет роботы - протагонисты в мультах, положительные, эмоционально отзывчивые герои, иногда с человеческими чертами и эмоциями. Ещё бы, роботы не воспринимались дружелюбно и естественно. Меньше напряжения и отторжения, больше симпатии и эмпатии.

Не знаю, куда это приведет. Зато это точно облегчит интеграцию новых технологий в общество. В конце концов, альфам и предстоит формировать гармоничное сосуществование человека и машины в будущем. Хорошо бы мы не успели им сильно усложнить задачу.

Если заходите подвинуть и свой uncanny valley threshold, то вот вам топ 5 мультов с роботами от участников фокус-группы:
1️⃣Митчеллы против машин (The Mitchells Vs. The Machines), 2021
2️⃣Маугли дикой планеты (Willy: Planète inconnue), 2009
3️⃣WALL-E, 2008
4️⃣Город героев (Big Hero 6), 2014
5️⃣Неисправимый Рон (Ron's Gone Wrong), 2021

🔣Кст, об X1 из первых уст в DL in NLP

Молодая семья выгуливает песика, так мило 🫶