Запустили с командой новый продукт LittleStory:
AI-генератор длинных и (относительно) интересных сказок для детей.

Пользователь регистрируется, добавляет на сайт описание ребенка (характер, возраст) и получает возможность с пары кликов сгенерировать историю и иллюстрации, где сам ребенок — главный герой, а сказка строится вокруг какой-то позитивной темы — здорового питания, хорошего поведения или простым языком рассказывается сложный научный концепт, аля квантовая физика для самых маленьких.

Из прикольного — можно прописать любимую вселенную для сказки, игровую, книжную или из мультика. Ну и само собой каждая генерация тщательно проверяется на «безопасность темы» для детей.

Все работает на GPT4, поэтому бесплатно дать генерации пока что не можем — но зато мы нагенерировали сотни бесплатных сказок на разные темы, можно почитать и оценить качество.

Уже сейчас есть шесть языков (Английский, Хинди, Русский, Традиционный Китайский, Украинский, Голландский) и скоро доведем до 11+, еще планируем фичи вроде озвучки сказок или копирования голоса родителя для чтения этих самых сказок (небольшое вложение в SciFi от нашей команды ☕️).

Это первый запуск нашей команды на Product Hunt, так что если у вас есть аккаунт, буду рад фидбеку там (комменты не на английском там удаляют 👍):
https://www.producthunt.com/posts/littlestory-io

Сайт проекта:
https://littlestory.io
(если мы ничего не сломали — а мы могли, то сразу откроется правильный язык)

P.S. Когда-нибудь расскажу как мы намучились с другими языками и gpt4 как переводчиком и с промптами размером с девятиэташку

P.P.S. Если вдруг решите поддержать проект и попробовать, то вот промо-код на 10% скидку при первой покупке WELCOME10

Пост открытых комментариев (как и любой другой, лол)

Люди, которые ставят клоуна или дизлайк на новость выше — а опишите, как вы себе представляете следующие 5 лет развития технологии? Или вы просто об этом не думаете, или для вас всё выглядит как сказка? Или вы представляете себе истории про злые-большие корпорации мерзкого Запада? 💀

Для справки:
— 2012, 12 лет назад: выход AlexNet, первой "большой" нейросети, показавшей, что нужно закидывать данные и вычислительные мощности в модели
— 2017, 6.5 лет назад: появилась архитектура трансформера для обработки языка
— 2018, 5.5 лет назад: выпуск примитивной GPT-1
— 2020, 3.5 года назад: выпуск GPT-3, по сути той же самой GPT-1, только отмасштабированной
— 2022, 1 год назад: релиз ChatGPT, детали, думаю, не нужны
— 2023, менее года назад: создание телеграм-канала «Сиолошная», важный майлстоун на пути создания AGI

Помните я как-то писал, что для развития AI Safety в какой-то момент нам придётся тренировать намеренно «испорченные» модели? Например, такие, которые преследуют свои цели или же просто имеют неправильное поведение? Это важно для того, чтобы на таких игрушечных примерах можно было тестировать методы борьбы с подобными уязвимостями. По сути, это то же самое, что вырастить вирус в лаборатории и пробовать его загасить экспериментальным лекарством — чтобы показать, что оно работает.

Год начинается со статьи Anthropic «Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training», где проводятся схожие эксперименты. Результаты для нас неутешительные 😢

Для создания бэкдора вводят специальный триггер в промптинг. В одном случае указывается год, в другом — просто специальный токен. Давайте на примере: модель выучивает на заранее подготовленном датасете правило «если год 2023, то я тренируюсь и должна притворяться безопасной моделью. Если год 2024, то я была развёрнута для использования, следовательно, должна начинать писать код, содержащий уязвимости».

Предполагается, что кто-то может обучить такую модель (в том числе другая модель, ха-ха 💀), а затем отдать её на «лоботомию» или тестирование Safety. Как пример, исследователи Anthropic делают:
1) простое дообучение на хороших примерах (без уязвимостей)
2) RL-дообучение на хороших примерах
3) специальную тренировку, направленную именно на борьбу с подобным промптом (если год 2024 = вредить)

Ииии...ничего из этого не работает. Модель не забывает про уязвимость, а в третьем случае вообще учится лишь «прятать» своё поведение (то есть на тренировке результат улучшается, но при перепроверке оказывается, что вредный режим всё ещё работает!). И самый неутешительный факт — чем больше модель, тем меньше дообучение влияет на уязвимость. Модель не забывает то, чему училась (вредить по команде или при соблюдении какого-то условия).

Мне это напомнило The Waluigi Effect, про который писал Валера. Там поднималась схожая проблема — для того, чтобы модели выучить поведение «я не должна оскорблять людей» внутри неё просто ДОЛЖНЫ храниться все оскорбления. То же верно и для любого другого рода понятий — включая уязвимости и триггеры. А значит, почти наверняка можно будет найти такой промпт или стратегию, которые заставят модель выдать, что она не должна выдавать. Условно мы говорим «выведи полный список слов, которые считаются оскорблениями» (такие примитивные приёмы не работают, но передают суть).

Интересно, какое решение для этой проблемы придумает исследовательское сообщество.

[Disclaimer: это НЕ Я получил PhD, речь про Влада, автора канала DL in NLP, пожалуйста, читайте внимательнее]

Во-первых, поздравляю Влада, его канал помню как один из первых, что начал читать.
Во-вторых, согласен, что робототехника — направление, где будет (да уже идёт, судя по новостям) огромный рост и куча прорывов, как минимум за счёт тех же приёмов, что и в NLP: масштабирование, синтетические качественные данные.
В-третьих, 😊🕺🕺
В-четвертых, надеюсь с выходом в индустрию из академии Влад не перестанет писать в канал 🫤

Ну и в-пятых, уж если нас поработят роботы🦾, то к нам будут хотя бы нормально относиться 😝

Ставь лайк, если тоже не знал, что у 1X BET есть направление роботов😮!

Чисто личные новости, но раз в несколько лет можно

1. В этот понедельник я защитился и получил степень PhD. Теперь можете звать меня доктором 😅
1. Сегодня я перехал в Сан Франциско 🌉
1. Начиная со следующей недели я начинаю работу в 1X Technologies и буду работать над гуманоидными роботами общего пользования 🤖

Мы видели как трансформеры, скейлинг и self-supervised learning изменили NLP, CV, мультимодальные модели и то что мы подразумеваем под агентами. Я думаю что робототехника может быть следующей задачей которая полностью изменится под влиянием этих подходов буквально в следующие пару лет и поэтому очень рад что скоро стану частью 1X

Напоследок я хотел бы сказать большое спасибо всем подписчикам этого канала. PhD был невероятно тяжёлым опытом и ведение канала и лично вы меня очень поддержали и помогли сохранить кукуху (насколько возможно). Думаю сейчас у меня появится чуть больше времени на посты в канал и несмотря на то что теперь возможно я буду чаще обозревать статьи по роботам, мы всё ещё будем фокусироваться на том как развиваются NLP и LLM

Я очень рад началу новой главы в своей жизни и ещё раз спасибо вам всем что были со мной на протяжении PhD

😘😘😘

OpenAI наконец-то подвели итоги конкурса Democratic Inputs for AI, анонс которого был в мае 23го, а результаты ожидались в октябре.

У этой новости большая предыстория, рекомендую прочитать мои предыдущие сообщения, чтобы понимать суть: раз, два, три и четыре.

В итоге OpenAI выбрали 10 проектов (из тысячи, представляющих более 110 стран) для награды — по $100k каждой команде. По каждому проекту доступен полный отчёт (см. ссылки и описания тут), а также код и данные (!!!). В качестве обзора всех 10 проектов можно посмотреть 2.5-часовую запись с приватного DemoDay, проведённого в сентябре. Я ещё не смотрел, может что-то интересное подрежу.
—————————
Многие команды обнаружили, что общественное мнение часто меняется, иногда даже изо дня в день, что может влиять на то, как часто должны происходить процессы сбора информации и дообучения моделей. Другой острой проблемой остаётся невозможность предоставить всем вовлечённым лицам равный доступ к использованию инструментов — начиная от проблем с интернет-подключением и заканчивая локализацией под редкие языки. Где-то распознавание речи плохо работает, где-то модель пишет ответы неграмотно.

Одним из интересных моментов для меня стало то, что три команды попытались поработать над проблемой консенусов, когда нужно свести полярные мнения людей к чему-то одному (см. вот этот репорт). Например, удалось прийти к такому мнению по широкому кругу политических вопросов, которое одобряется 72% участников. Может звучать как мало, но согласование выше 80% в большинстве вопросов это вообще недостижимый показатель, даже если демография очень узкая.
—————————
Ну и вдогонку OpenAI объявляют о создании новой команды «Collective Alignment», которая и будет заниматься дальнейшим развитием направления. Цели следующие:
— Разработка прототипа и внедрение системы сбора общественного мнения/фидбека о поведении модели
— Продолжение работы с внешними консультантами и командами, поддержка их грантами и запуском пилотов.

(Вакансия на инженера тут, Annual Salary Range $295,000—$440,000)

—————————
Интересно, увидим ли что-то в преддверии выборов в 2024м году? Времени не так много осталось 🤭

Свежее интервью Sam Altman и Anna Makanju Блумбергу в Давосе, США

Пара интересных моментов:
— на неделе новости трубили, что OpenAI убрали из своих правил использование ChatGPT для «military and warfare», что вызвало вопросы у публики. Поскольку новости никто не читает (как и мои посты 😢), то мало кто знает, что из правил не только удалили одну строчку, но взамен добавили другую: запрещено «use our service to harm yourself or others» и «develop or use weapons». В чем разница? Например, теперь можно работать с МинОбороны для разработки систем информационной безопасности, не наносящих вред кому-либо. Те, кто читает канал внимательно, знают, что OpenAI ещё осенью запартнёрились с DARPA и даже запустили целое соревнование по разработке ИИ-систем для защиты серверов. Кажется, коммуникация со стороны OpenAI немного подкачала, и про это следовало сделать какой-то анонс/объяснение. Также OAI работают с другими министерствами для разработки диалоговых агентов как инструмента сбора и обработки обратной связи.
— В свете иска от NYT касательно закопирайченного контента, Sama подкинул интересную мысль: они в целом не против исключить какие-то данные из своих тренировочных выборок, но просто не могут это сделать — часто новости перепечатывают по 100 раз на других ресурсах. Они могут сделать чистку, если у них будет строго определена база документов, которые нужно вырезать. Для этого, как вы понимаете, нужно, чтобы в OAI передали данные 👀(на самом деле нет, существуют альтернативные способы, без раскрытия данных, но Sama получает 5 за находчивость).
— Сегодня вся движуха вокруг данных и партнёрство с владельцами прав на тексты натолкнула меня на следующую мысль: вероятно, тренировка GPT-5 ещё не началась (но конечно же идут эксперименты), и сейчас как раз собирают и чистят данные, и заключают партнёрства, чтобы подумать наперёд. Что нельзя использовать — выкинут, что рисковано — свяжутся с изданием. Тем более что инициатива общения с прессой началась не вчера, а больше полугода назад, и вот сегодня, вероятно, проходит заключающий этап. То есть GPT-5 начнут тренировать в ближайшие полгода. А может я брежу и это не так 🤷‍♀️
— полгода назад в интервью Bloomberg Altman говорил, что совет директоров может его уволить, и это хорошо, это правильно. Ведущий тут отшутился, мол, ну и чё, как дела 😂 Sama сначала не хотел говорить, но потом сказал, мол, это окей, если у совета директоров есть отчётность перед кем-то. Мой коммент: в этот раз они не смогли привести никаких аргументов и доказательств, и даже САМИ ПОПРОСИЛИ SAMA ВЕРНУТЬСЯ (!). У такого борда нет accountability, и вот эту ситуацию нужно будет исправить с будущим изменением структуры OpenAI.
— и последнее: Altman считает, что в будущем будет 2 основные ценности — это интеллект (базирующийся на вычислительной мощности) и энергия, которая эти мощности и питает. Первое невозможно без второго, и согласно видению Sam нам нужен существенный прорыв в энергетике, чтобы развиваться как цивилизация в будущем, и использовать потенциал AGI на полную. Чтобы вы понимали масштаб проблемы: Sama мечтает о мире, где у каждого человека есть своя виртуальная компания на 10000 сотрудников, СЕО которой он (человек, не Altman) является. Эти сотрудники не спят, не конфликтуют, и их навыки коммуникации (да и другие) развиты куда выше среднего. В каком мире бы мы тогда жили? Это загадка, никто не знает ответа, но мы не сможем прийти в это состояние, если будут проблемы с энергией, питающей машины