Помните фильм «Матрица», особенно первую часть?

А как именно помните? я тут узнал, что их с каждым релизом то перекрашивают, то обрезают или даже растягивают кадры.

Как же тяжело быть киноделом 🥺

Считая слева направо и сверху вниз — какой из кадров 1) ближе к тому, что вы помните 2) кажется вам лучше?

Пишите в комментарии два ваших числа (например, 4-6)

Источник

Сделайте удивлённое лицо — моя с Пашей статья «Как работает ChatGPT: объясняем на простом русском эволюцию языковых моделей с T9 до чуда» стала победительницей ежегодного конкурса Технотекст на Хабре. Получено достижение «Человек с золотой клавиатурой» 😎

В сотый раз напоминать про эту статью не хотелось, но если вы пришли в канал позже и каким-то образом не видели, с чего я начинал и за какие заслуги тут столько подписчиков набежало — бегом читать!

Статьи в других категориях (моя — в AI & ML), которые показались мне интересными и которые я почитаю в ближайшее время:
— Нейронные сети для планирования движения беспилотных автомобилей (от Яндекса)
— Шесть причин, почему ваши A/B-тесты не работают (от Озона)
— Самое понятное объяснение Специальной теории относительности
— Настолки, расследования, охота на уток: как делать активности, которые запоминаются (от АльфаБанка)
— Как не давать пустых обещаний себе, команде и заказчику
— D&D как инструмент тимлида: решаем проблемы команды с помощью разговорных ролевых игр (от Озона)
— Как прогнозировать время выполнения задач (от Тинькофф)
— Как работать с нейросетью Midjourney, чтобы получать желаемый результат
— Доступность игр для людей с ограниченными возможностями: проблемы и их решения
— Как мы научили ML-модель выбирать товары для акций в СберМаркете и увеличили ROI скидок в 8 раз (от СберМаркета)
— Как создать хороший FAQ (от X5)
— Как улучшить английский в документации. Часть 2: ловушки двусмысленности


А еще Хабру сегодня 18 лет! 🙏

Как вы любите, под вечер две новости про нашего любимого Sam Altman

1. Во время ноябрьского путча значимое количество людей писало, что мол всё ясно, Sam интриган и ведёт тройную игру в сугубо своих интересах, забил на всё и хочет править единолично. Как подкрепление своих слов они приводили такую информацию: якобы Paul Graham, основатель Y Combinator, одного из самых престижных стартап-акселераторов в мире, в 2019-м году уволил Sama за то, что тот тоже преследовал свои цели. Понимаете ли, он даже лично прилетел из Лондона в Сан-Франциско и держал очень серьёзный разговор с ним! Это писали в WashingtonPost в статье под названием «Before OpenAI, Sam Altman was fired from Y Combinator by his mentor» (они даже статью уже переименовали аххахахах).

Я не знаю, откуда это пошло, мне осенью не удалось найти НИ ОДНОГО подтверждения этой истории. Ни одного комментария самого Paul или его жены (с которой они держали YC), ни одного плохого слова в адрес Sam, ничего. Наоборот, во время ноябрьских событий он даже пару раз твитнул в поддержку. Вот тред на HackerNews, где отмечают, что Paul «seems incredibly respectful and supportive» (но и там люди нашли тройной смысл за шестой дверью метапостиронии).

Ну и сегодня Graham твитнул, что ему надоело, что люди брешат, и написал, что он не увольнял Altman'а. Он попросил его сделать выбор между OpenAI и YC, так как последнему Sam уделял 1 день из 5 — а требовалось явно больше. Paul отметил, что они были бы рады, если бы он решил остаться, и приняли это решение. Никто не пытался прогнать 😐

2. Вышла на связь Helen Toner, бывший член совета директоров OpenAI, которая принимала решение уволить Sama. Она дала интервью, где около 5 минут рассказывала про осенние события. В целом, там ничего нового для тех, кто следил за путчем в канале. Вслед за этим уже текущие директора — Bret Taylor (председатель совета) и Larry Summers — выпустили ответ на очередные заявления. Его опубликовали в The Economist, вот ссылка без пэйволла.

Они в очередной раз напомнили, что когда Sam был отстранён и не являлся директором, а они рассматривали возможность присоединиться к компании (оба — новые директора, появившиеся во время кризиса), то они спрашивали у (ex-) директоров, что, мол, случилось, каковы детали, какие жалобы на Altman'а. Helen почему-то ничего не говорила — или говорила такое, что ими не воспринималось серьёзным.

После этого, напомню, было ~5-ти месячное независимое расследование, проводимое внешней фирмой, в течение которого Sam не был директором. Подробно писал тут. Аудиторы общались и с бывшими директорами, включая Helen, с другими сотрудниками OpenAI, читали переписки и документы — больше 30'000 в общей сложности. И их вердикт был «Altman не виновен, и мы единогласно пришли к выводу, что Sam и Greg — подходящие для OpenAI лидеры». Также было выявлено, что поведение Sam не должно было привести к отстранению, и действия совета директоров хоть и были формально правовыми, но не были рациональными.

«Кроме того, за шесть месяцев почти ежедневного контакта с компанией мы обнаружили, что г-н Altman очень откровенен по всем актуальным вопросам и всегда коллегиален со своей управленческой командой» — написали два директора.

Чисто для справки: Larry Summers — это бывший:
1) министр финансов США
2) главный экономист Всемирного банка
3) президент Гарвардского университета
4) директор Национального экономического совета

Ну конечно же Sama пообещал, что если тот подмахнёт — он ему на лапу отсыпет, а как иначе? 🏥

В далёком 2019-м OpenAI экспериментировали с робототехникой. Тогда они обучили робо-руку собирать кубик Рубика, причём модель училась полностью в симуляции, а затем тестировалась в жизни. Как я писал ранее, существует проблема sim-2-real gap — это разница между симуляцией и реальностью: если она велика (например, компьютер не может точно просчитывать физику объектов), то обученный алгоритм будет работать куда хуже при тестировании.

С тех пор утекло много воды — потихоньку sim-2-real gap минимизируется (посты про это: 1, 2).
Но и OpenAI не стояли на месте, и... в 2020-м году решили закрыть команду 🤨 Со слов Ilya Sutskever, нужно было очень сильно вкладываться ресурсами и перепрофилироваться, и основной проблемой были данные (с реальных устройств или из симуляции). Даже вот флот в 100 роботов (роборук, робоног или цельных гуманоидов) — это уже огромное количество работы, от налаживания конвейера выпуска до обслуживания, но при этом со 100 роботов данных много и не соберёшь. «There was no path to data from robotics».

Совсем недавно OpenAI запартнёрились со стартапом Figure AI, который специализируется в робототехнике — писал тут: https://t.me/seeallochnaya/1169

А сегодня появилась новость в Forbes, что команду собирают снова — сейчас ищут самых первых сотрудников; процесс начался буквально пару месяцев назад. Но основная цель команды — не разработка своих роботов с нуля, а улучшение базовой технологии для предоставления внешним партнёрам (вроде тех же Figure AI). Якобы OpenAI не будет конкурировать с ними — что на самом деле не совсем так: как минимум будет борьба за самые лучшие кадры.

Под «базовой технологией» здесь подразумевается большой зоопарк моделей:
1) LLM — как движок, принимающий решения/пишущий код, или как интерпретатор команд
2) VLM — Vision-Language Models для того, чтобы распознавать объекты
3) VLAM — Vision-Language-Action Models, сюда добавляется ещё и предсказание команд для робо-конечностей напрямую
4) World Models — модели мира, которые могут использоваться для симуляций или как часть пайплайна работы робота. Помните лонг про Sora?) Другой стартап 1X, делающий роботов, рассказывал, как они используют Stable Diffusion для того, чтобы симулировать результаты конкретного действия на 1 секунду вперёд и оценивать последствия, а после этого принимать решения. Думаю, тут схожая история.
5) голосовые интерфейсы — для принятия команд от людей и естественных ответов на них

В общем, есть где развернуться!

Меня порвало 😂

(воспроизводится на GPT-4o)

Увидел в ленте твит Shaun Maguire с названием «Я только что пожертвовал кампании Donald Trump 300 тысяч долларов». У меня за это зацепился глаз — потому что я помню, как один раз высокопоставленного руководителя из Facebook выгнали/выжили из компании за поддержку фонда, который поддерживал Trump'а, на $10k. Shaun Maguire, как я узнал из его твиттер профиля и быстрого поиска, это партнёр в Sequoia Capital (одном из самых престижных венчурных фондов), до этого построил и продал компанию Expanse за $800M, а до этого работал с DARPA и даже ездил в Афганистан в командировки (я так понял по теме кибербезопасности).

Интересно, как разовьётся история в этот раз — будет ли много таких индивидов, которые не побоятся публично высказываться в поддержку Трампа, жертвовать деньги, и будут ли их за это отменять? Потому что в 2016-м году, по крайней мере в Калифорнии и в бигтехе, такое не то что не было принято — это порицалось. Все такие прогрессивные и против Трампа. Помню, видел комментарий в ОДС от живущих в Сан-Франциско: «Да нет, Трампа то можно поддерживать, просто либо непублично, либо безработно».

А история, которую я вспомнил, была про Palmer Luckey, со-основателя Oculus. Да, это он собрал в гараже на коленке первые прототипы, а потом продал компанию за 2 миллиарда долларов — и остался работать в Facebook...на 4 года, пока собственно не решил поддержать Трампа. В твиттере недавно была интересная инетракция между ним, Boz'ом (текущий СТО META) и John Carmack (это который ведущий разработчик Doom и который 3D игры выводил в массы своим движком). Последний сожалел, что не поддержал Palmer'а в своё время. Если есть время — рекомендую почитать весь тред.

Самый кек: «You retweeted posts claiming I donated to white supremacists, and a post saying that anyone who supports Trump because they don't like Hillary Clinton is a shitty human being». За такое, как мы поняли, не выгоняют 👀

У Palmer'а всё хорошо: он основал компанию Anduril по разработке боевой техники, ракет, дронов, сотрудничает с DOD, выигрывает тендеры на поставку. Как вы понимаете, в 2024-м это золотая жила, с текущим состоянием дел в мире. Недавно пересматривал 2 свежих интервью с ним. Не супер-интересное, но если вам хочется чуть больше узнать о нём — то вот: 1, 2, 3. А ниже будет вырезка из одного из них.

(ну и очень интересно как в Калифорнии будут дела, произойдет ли Vibe Shift)

— Сложно ли переманивать людей из крупных технологических компаний?
— О, нет! Нет! Способ переманивания людей из крупных технологических компаний заключается в том, чтобы сказать им, что их карьера бессмысленна, и они тратят свою жизнь на то, что не имеет значения. Вы шокируете их и выводите из матрицы, спрашиваете их: «Что ты делаешь со своей жизнью? В мире есть большие проблемы, и ты не работаешь над решением одной из них!». Это помогло привести много людей из бигтеха в Anduril.

Ну конечно, а то привыкли кнопки менять местами и перекрашивать эмоджи 🤪

Часто задаёте себе этот вопрос? Что вы делаете со своей жизнью? В мире столько всего происходит, а вы выбрали ВОТ ЭТО?

Сегодня у нас самый насыщенный секциями день в spatial.chat 🎉

1. 11:00 — 16:00, трек Robotics
2. 12:00 — 13:30, трек Speech
3. 12:00 — 14:45, трек ML in Manufacturing
4. 13:00 — 14:30, трек ML in Marketing
5. 15:00 — 16:00, online-mix докладов MLOps и Random DS
6. 16:00 — 17:00, трек Scoring
7. 17:00 — 20:00, трек Advanced LLM

Трансляция будет поочередно заглядывать в каждую из комнат на 1-2 доклада.
Но лучше всего собрать программу на свой вкус под себя 🤗

Ссылка на онлайн: ODS спейс в Spatial Chat
Пароль на сегодня: weekendpartyparrot
Расписание и все доклады: на платформе ods.ai

Начинаем в 11:00 с секции Robotics! 🦾️️️️️️

Video-MME: The First-Ever Comprehensive Evaluation Benchmark of Multi-modal LLMs in Video Analysis

Мультимодальный бенчмарк, который замеряет качество ответов моделей на вопросы по видео. Всего было собрано 900 видео разной длины (суммарно 256 часов), все были отсмотрены людьми. К каждому человек придумал по 3 вопроса с 4 вариантами ответа, лишь один из которых является верным. Все видео разделены на 6 крупных доменов и на 12 типов задач (от понимания пространственных взаимодействий и подсчёта объектов/событий до распознавания надписей и действий). Кстати, именно с подсчётом самые большие проблемы — там самая низкая метрика (~60% правильных ответов). Ещё к видео есть субтитры и аудио, но последнее актуально только для одной модели (пока).

Примечательно, что на этом бенчмарке явным лидером выступает флагманская модель Google — Gemini 1.5 Pro. С одной стороны оно и понятно — у модели заявлена работа с видео из коробки, в то время как OpenAI упоминают лишь изображения. Видео это ни что иное как последовательность изображений, однако работать с одним объектом и с последовательностью — немного разные задачи. В случае последнего важно понимать динамику, отношения между объектами итд. Думаю, OpenAI тренировали на это свою модель, но вот недотренировали видимо. Но и GPT-4o существенно дешевле Gemini 1.5 Pro (и, вероятно, быстрее, не замерял).

Главное у гугловцев не спрашивать, тренировали ли они модель на YouTube'овских видео 😏
Дополнительно проверялось, что видео не были ни в каких других публичных датасетах, то есть это не переразметка уже чьего-то чужого труда. И шанс того, что это было в тренировочной выборке, меньше (немного).

Однако авторы пишут, что у Gemini есть поддержка длинного контекста в 1M токенов, (то есть несколько часов видео), а вот у GPT-4o контекст сильно ограничен. И потому авторы для модели от Google брали по 1 кадру в секунду для всех видео длины меньше 30 минут (и по 1 кадру в 2 секунды для 30-60 минут), а для OpenAI'шной... всего 10 кадров на всё видео. Я не смог найти в статье или коде, как именно происходит выборка кадров, и достаточно ли модели информации для ответа на вопрос. По умолчанию считаю, что нет, кадры выбирались случайно в некоторых примерно равномерно распределённых интервалах.

Картинка с метриками.

Ключевые выводы:
1. GPT-4o лучше GTP-4V, выходит, OpenAI не врали, когда говорили, что модель мультимодальна с самого начала.
2. Gemini существенно лучше для анализа видео любой длительности, и чем длиннее видео — тем больше разница.
3. Субтитры могут существенно накинуть в качестве. Ну, не зря модели всё же языковые
4. Открытые модели отстают от флагманских, но в коротких видео (до 2 минут) кое-как можно использовать.
5. Чем длиннее видео, тем хуже качество — что логично, ведь у модели куда больше шанс ошибиться, не учесть то или подумать другое.
6. OpenAI пора бы тоже выпускать модели с длинным контекстом 👶
7. Мне не хватило анализа изменения качества по годам/месяцам релиза видео. Думаю, что если бы мы увидели падение метрик на последнем квартале 23-го, то можно было бы смело говорить про переобучение. А так — хз, может модели видели, может, нет 🤷‍♂️
8. И странно, что они не замерили качество Gemini с теми же кадрами, что брали для GPT-4o/других моделей, чтобы проверить разницу метрик именно за счёт контекста.

Я бы рад сравнить метрики с человеческими, чтобы понять, насколько модельки далеки, но авторы не написали, какое качество было бы у людей, которые смотрят видео в первый раз. Думаю, на long-категории (30-60 минут) люди бы очень сильно провалились и были хуже моделей уже сейчас.