это я когда увидел сколько статей хочется разобрать из числа вышедших за последние трое суток

Но разборов (пока) не будет, поэтому вот вам так называемый МЕМ с сайта levels.fyi (для сравнения зарплат и уровней/должностей в разных компаниях):

🚀Kandinsky 2.1🚀
Наступил день, которого ждала вся команда (вовсе не тот, который стал всплывать в разных каналах на прошлой неделе😂). Сегодня мы официально выпускаем новую лучшую версию нашей диффузионной генеративной модели, которая претерпела существенные изменения относительно предшественницы 2.0.

Отличительные особенности включают:
📌3.3B параметров
📌Разрешение генераций - 768x768
📌Image prior трансформер
📌Новый автоэнкодер изображений MoVQ
📌Дообучение на очень чистом сете из 172M пар «текст-изображение»
📌Режимы работы: генерация по тексту, смешивание изображение, генерация изображений по образцу, изменение изображений по тексту, inpainting/outpainting

Всё это позволило добиться впечатляющего качества на различных доменах генераций.

FID на датасете COCO_30k достигает значения 8.21🔥 По публичным данным на сегодняшний день лучше только eDiffI (NVidia) и Imagen (Google Reseacrh).

Детально о модели можно прочитать в статье на Хабре, а протестировать Kandinsky 2.1 можно тут:
📍Телеграм-бот
📍FusionBrain.AI
📍GitHub
📍HuggingFace
📍rudalle.ru
📍MLSpace

Спасибо всей команде за слаженную и качественную работу - испытываю несказанное признание каждому🔥

@complete_ai

⚡️SpaceX официально уведомили NASA о том, что намерены осуществить тестовый полёт Starship 10 апреля с резервными днями 11 и 12 апреля соответственно.

Напомним, что лицензии на запуск от FAA нет до сих пор, но судя по всему спейсы уверены, что получат её в ближайшее время

Наткнулся на занятную статью "8 вещей, которые надо знать о больших языковых моделях"

Краткое содержание:
1. LLM предсказуемо становятся более "способными" с увеличением затрат в $, даже без крутых инноваций. Главное тут - предсказуемость, что было показано в статье про GPT-4: учили 5-7 маленьких моделек с бюджетом 0.1% от финального, а затем по этому делали предсказание для огромной модели. Для общей оценки перплексии и метрик на подвыборке одной конкретной задаче такое предсказание было очень точным.

2. Однако конкретные важные навыки, как правило, возникают непредсказуемо как побочный продукт увеличения затрат на обучение (дольше тренировать, больше данных, больше модель) - практически невозможно предсказать, когда модели начнут выполнять определенные задачи. Подробнее об этом мы писали в статье про историю развития GPT-моделей, которую, надеюсь, многие из вас читали. На картинке - распределение роста качества моделей в разных задачах. В трети маленькие модели ничего не показывают, средние в целом тоже, а большие БАХ! И учатся решать.

3. LLM часто выучивают и используют представления внешнего мира. Тут приводится много примеров, и вот один из них: модели, обученные играть в настольные игры на основе описаний отдельных ходов, никогда не видя изображения игрового поля, выучивают внутренние представления о состоянии доски на каждом ходу.

4. Не существует надежных методов управления поведением LLM. Хотя и был достигнут некоторый прогресс в понимании и смягчении разных проблем (в том числе ChatGPT и GPT-4 с обучением из обратной связи), нет единого мнения о том, сможем ли мы их решить. Растет обеспокоенность, что проблемы alignment'а станут катастрофическими, когда проявятся в более крупных системах будущего.

5. Эксперты пока не могут интерпретировать внутреннюю работу LLM. Yе существует методики, которая позволила бы каким-либо удовлетворительным образом изложить, какие виды знаний, рассуждений или целей использует модель, когда она генерирует какой-либо результат.

6. Качество выполнения задач человеком не является верхней границей для LLM. Хотя они и обучены в первую очередь имитировать поведение человека при написании текста, но всё равно потенциально могут превзойти нас во многих задачах. Так происходит в более узких задачах вроде шахмат или игры в Го.

7. LLM не должны выражать ценности своих создателей или ценности, закодированные в выборке из интернета. Они не должны повторять стереотипы, теории заговора или стремиться оскорбить кого-либо.

8. Оценки способности модели по первым впечатлениям часто вводят в заблуждение. Очень часто нужно додумать правильный промпт, подсказать модели, может, показать примеры - и она начнёт справляться куда лучше. То есть она "умнее", чем кажется на первый взгляд.

Картинка ко второму пункту.

Если ориентироваться на выборку из 202 задач из датасета BIG-Bench (специально делался сложным, чтобы языковые модели тестировать от и до), то как правило (в среднем) модели демонстрируют повышение качества с увеличением масштаба, но по отдельности метрики в задачах могут:
— улучшаться постепенно
— улучшаться резко
— оставаться на одном уровне
— ухудшаться
— колебаться

Все это приводит к невозможности уверенно экстраполировать производительность какой-либо будущей системы.

Особенно интересна зелёная часть - это как раз где показатели качества резко скачут вверх ни с того, ни с сего.

Человечество vs. Искусственный интеллект

Обещанный коллаб с Вастриком из @vas3k_channel и Павлом Комаровским из @RationalAnswer наконец подъехал! Там почти всё написал сам Вастрик – а мы так, стояли и сбоку подсказывали (следующая статья из серии зато на мне и Паше будет).

В статье мы обсуждаем проблемы и риски от развития искусственного интеллекта – и фокусируемся на будущем и (не)далёкой перспективе, с разбором ситуаций, которые происходят уже сейчас. В общем, хочется призвать людей ко вдумчевому общественному обсуждению и дискуссии вместо тыкания пальцем "ну вот Юдковский предлагает бомбить датацентры ахахах шизыыыы!"

Читать статью: https://habr.com/ru/companies/ods/articles/727158/

Текст можно прочитать и на VC, и на Хабре (и даже на DTF), и у самого Вастрика в Блоге – если вам понравится, будем благодарны за лайк на любой из площадок, где вам удобнее читать

В четверг, 13 апреля, в 15 по Лондону делаем аудио чат в этом канале вместе с Игорем планируем разбирать различные твиты и контр-твиты, вроде этого, где делаются следующие заявление:
Relax.

The industrial revolution changed every aspect of daily life for every human on earth. The only other comparable event in our history was the adoption of agriculture.

The invention of HTTPS was a much bigger turning point than GPT-4 can ever be.

Или

This seems very short sighted. In the span of a few months we’re seeing insane evolution. I think it’s becoming quite obvious that GPT / LLMs will keep evolving at an even faster pace and affect almost every aspect of our lives deeply.

Industrial Revolution-level? In terms of jobs created / destroyed and impact on society, of course it will be, possibly more.

Будем высказывать свое бесценное мнение, троллить, провоцировать и отвечать на вопросы слушателей. Подключайтесь

Буквально со второй недели ведения канала у меня в голове витала мысль, что с одной стороны длинные посты не то чтобы людям хочется читать, а с другой - мне хочется делать какую-то подводку и давать бэкграунд, что это за проблема, какие есть решения, в чем польза и так далее.

Поэтому я размышлял над аудиоформатом. Скажем, делаю средней длины пост, а после него записываю 5-10 минутное аудиосообщение, которое могут послушать те, кому реально хочется деталей.

Так вот, на следующей неделе пойду в гости к своему (пока) бывшему боссу, Валере Бабушкину. У него, как ясно из форварда ниже, есть свой канал @cryptovalerii. Я бы мог долго распинаться, что у опытного менеджера, который и был топ-менеджером в одном из крупнейших офлайн-ритейлеров, и лидировал команды в Фейсбуке, можно многому научиться, но лучше сами перейдите вот в этот пост посмотреть хэш-теги, покликать и почитать ранее написанное.

Ну и ясен красен ждём всех читателей в виде слушателей в следующий четверг!

Только что от автора Сиолошной узнала, что прямо сейчас на Ютубе идёт беседа Эндрю Ына с Яном ЛеКуном. Беседуют про вот эту идею остановить разработку мощного ИИ на 6 месяцев. ЛеКун против этой идеи (высказывался об этом сразу после публикации петиции), поэтому и разговор называется "Why the 6-month AI pause is a bad idea"

Начали всего 20 минут назад. К видео есть форма для вопросов и живой чат.

Смотреть тут

Ровно 7 лет назад первая ступень Falcon 9 впервые успешно села на плавучую баржу в океане. Видео обязательно смотреть со звуком, чтобы прочувствовать радость команды SpaceX.

Тогда это казалось чем-то невероятным и фантастическим, ведь обычно как бывает?
— Мы запускаем ракету, и где-то вот в Сибири или в Тихом океане на огромной площади посреди ничего упадут ОБЛОМКИ.
— (Маск, ухмыляясь) Я нарисую крестик на маленькой барже, и хреновина высотой с 11-этажный дом (41.2 метра) попадет чётко в её центр, ок?

А теперь это стало рутиной, я сам где-то через года 3 после этого перестал смотреть на запуски. Уж слишком всё стабильно, никакой интриги! Садится как по часам!

До этого ступень лишь 1 раз успешно села на землю (за 4 месяца до этого).

Но главное не забывать, что сейчас мы ждём первого орбитального полёта Starship, который, надеюсь, мягко приводнится, дав тем самым старт частым пускам и испытаниям. А то надоело ждать!

Как оказывается, Дед Andrej, выйдя на работу в OpenAI, не бросил нас и продолжает накидывать образовательные интересные материалы.

На этот раз он поделился colab'ом, где обучает трансформер с двумя токенами (нуль и единица) на одной конкретной последовательности, а затем смотрит, как выученные зависимости переносятся на увиденный моделью пример. Предположу, что делается это как проба пера для того, чтобы понимать принципы обучения более тяжелых моделей (как зависимости выстроены в них, какие вероятности переходов):
— Думаю, что интересно тренировать / изучать крошечные GPT, потому что становится легче визуализировать и получить интуитивное представление о всей системе.

Особенно интересно посмотреть, что модель делает с последовательностью из трёх нулей, которой не видела ранее. Какое будет предсказание? Как модель себя поведет на том куске "знаний", которые не получала напрямую?

Твит
Колаб

Ставь лайк, если хочешь тренировать игрушечные модели и получать за это 300кк/сек

Мой соавтор Паша Комаровский с канала @RationalAnswer продолжает делать контент более доступным, и склепал видеоролик о том, что нам показалось самым интересным в новейшей нейросетке GPT-4 от OpenAI: каким образом текстовая модель научилась понимать картинки, насколько она крута в кодинге, и почему вдруг решила встать на путь обмана ничего не подозревающих кожаных мешков.

Предыдущее видео с объяснением принципов работы ChatGPT (и языковых моделей в целом) всего за одну неделю набрало более 150 тысяч просмотров! 🚀🚀🚀

Смотреть новый ролик про GPT-4: https://www.youtube.com/watch?v=Aaaf6CzG_3Y

P.S. напомню, что если вы уже читали текстовую версию – то в ролике всё то же самое, просто в другом формате.

Greg Brockman, президент OpenAI, написал у себя в твиттере интересное. Ниже - пара ключевых вещей:

(если вы не знаете, что такое alignment/алайнмент, то начать можно здесь)

— OpenAI хотят выпускать всё более и более заалайненные модели итеративно. Их цель состоит в том, чтобы каждая публично доступная модель была самой заалайненной
— Итеративная разработка очень важна. Множество экспертов делает ошибочные предсказания по поводу будущего (в любой области). Один из способов избежать подобного - это чтобы технология имела ранний и частый "контакт" с реальным миром (в том смысле, что они собирают примеры взаимодействия людей, способов применения модели, итд).
— Эту мысль высказывал и Sam Altman в подскасте с Lex Fridman - было бы куда хуже, если OpenAI делали внутри себя всё скрытно до GPT-7, а потом выкатили в мир, а модель была бы не готова. И люди бы не были готовы к переменам.

И на десерт:
— OpenAI считают (и заявляли в дискуссиях с правительствами), что запуск процесса тренировки подобных моделей должен сопровождаться сообщением о нём государству и/или регулятору. Помимо этого, стоит уделить внимание заблаговременному прогнозированию "способностей" моделей и оценке их влияния [на общество].
— Более того, необходимо требовать использования лучших практик для тестирования полученных моделей [как OpenAI делали 6 месяцев алайнмент внутри компании, до релиза, с приглашением экспертов]
— управление использованием большим количеством вычислительных ресурсов, стандарты безопасности и регулирование/обмен опытом запуска моделей - это, с точки зрения OpenAI, хорошие идеи, но детали подобных регуляций должны меняться со временем по мере развития технологии