А вот видео робота в действии — за полторы минуты он берёт 4 детали с одной стойки и перекладывает на другую с высокой точностью (так, чтобы штырьки вошли в отверстия). Утверждается, что точность манипулирования деталями составляет 1-3 см. Возможно, для каких-то задач этого хватит 🤷‍♂️ но точно ждём улучшений в будущем.

Самое главное, или почему это круто:
— Figure — партнёры OpenAI, и имеют доступ как к экспертизе, так и к передовым моделям. Анонс и демо были тут.
— Роботы управляются нейросетью end-2-end, на вход поступают пиксели с картинки камер, на выходе — действия всеми конечностями. Нет никаких промежуточных шагов, которые нужно было бы программировать вручную. По сути, из процесса масштабирования навыков убран человек, остались только данные (а раньше нужно было и то, и другое). Такой подход сейчас применяется у многих компаний-конкурентов.
— насколько я понял, передвижению нейронка обучалась в симуляции и не на конкретном заводе, а вот данные для выполнения задачи уже собирали на месте. Но это не является проблемой — ведь ту работу, которую хотят автоматизировать, каждый день выполняют люди, и собрать с них демонстрации это задача решаемая. Посмотрите, как выглядит аналогичная VR-арена у Tesla Optimus
— в видео показывается, как робот сам исправляет оплошность (деталь не так встала). В теории такое может выучиться и без демонстраций (по сравнению состояний «нужно» и «как есть»), но скорее всего люди делали нечто похожее
— прогресс тут не постепенный, а очень ступенчатый. До определённого уровня такие роботы абсолютно бесполезны (это мы наблюдали последние 10+ лет), а с какого-то уровня уже могут исполнять сразу много задач (потому что требуются во многом схожие навыки). Но конкретный прогноз дать сложно, будем следить за обстановкой. Моя ставка, что сначала задач будет 2-3, потом 5-10, потом 20, а потом уже и почти все работяги имеют железяку в смене, и не на одном заводе. Главное на регуляции и забастовки не нарваться 😶‍🌫

Появилось немного свободного времени, думаю написать лонг (не такой, как про Sora, раза в два короче, на 15-17 минут чтения). Есть несколько идей, между которыми разрываюсь.

Пожалуйста, напишите в комментарии, о чём вам было бы интересно почитать и в чём подразобраться (только не в одно слово, а хотя бы полный тезис одним предложением). Лайкайте комментарии с темами, которые нравятся вам. Минимизируйте спам и шуточки.

Среди идей (в основном, непроработанных):
— основы механической интерпретируемости трансформеров, или что мы знаем о чёрных ящиках - нейросетях
— LLM для улучшения обучения LLM (на основе этой работы)
— «Нет, опенсурсные модели не догнали GPT-4» (про LLAMA-3 и оценку Эло-рейтинга, немного устаревший топик)
— «Образование в эпоху AI» (краткая версия, без опроса экспертов из индустрии и продуманных предсказаний о будущем)
— Почему ближайшее будущее AI индустрии во многом зависит от GPT-5?

Предлагайте ваши или выражайте заинтересованность в указанных опциях 💬

В ноябре я писал про инициативу компании XTX Markets. Они выделили $10M чтобы подстегнуть прогресс AI в математике, и совместно с организаторами Международной Олимпиадой по Математике (International Mathematical Olympiad, IMO), спонсировали конкурс AIMOPrize. В его рамках на Kaggle, соревновательной площадке с задачами по машинному обучению, пару дней назад закончилось одноимённое соревнование.

Для него авторы приготовили 110 новых олимпиадных задач (то есть до этого если схожие и были, то лишь просто подобные). На 50 штуках решения оцениваются по ходу трёхмесячного соревнования, а на оставшихся 50 определяется победитель (перезапуском решений с новыми задачами, к которым ни у кого нет доступа). И ещё 10 задач были даны как примеры, с ними можете ознакомиться тут, чтобы прикинуть примерную сложность.

Решения принимаются в виде упакованного архива с кодом и моделями и запускаются в изолированном окружении, из которого даже логи нельзя читать (чтобы задачи не увидели). И конечно же никаких вызовов моделей OpenAI/Anthropic не был разрешено.

Результаты получились смешными. Команда, занявшая первое место, вырвалась вперёд, и её решение справилось с 29 задачами. Второе место осилило 22 задачи, 3-4 20 задач, и остальные меньше. Шутка в том, что ещё 3 месяца назад, почти в самом начале соревнования, опубликовали решение, которое (как оказалось после окончания) осилило 21 задачу. То есть почти все команды за 3 месяца, как бы сильно не пыхтели, не смогли улучшить решение так, чтобы оно обобщалось на новые, невиданные до этого проблемы.

Иначе говоря, если вы просто скопировали это решение и немного пошаманили с параметрами (основных два, напишу ниже), и это не испортило решение больше чем на 1 задачу — вы получаете золото. На 3 — серебро (то есть 18-19 задач).

А решение достаточно простое. Берётся китайская модель MMOS-DeepSeekMath-7B, натренированная на решение схожих задач через написание кода на Python. Для неё делается 2 промпта. Для каждой задачи генерируется до 19 решений. Иногда можно сгенерировать меньше — например, если первые сколько-то программ дают один и тот же ответ, то можно не продолжать, ведь вы уже уверены в результате. Так или иначе, после генерации ответы агрегируются методом голосования большинством: какой чаще был, тот и записываем.

Вот количество генераций — это один параметр. Люди пытались немного поменять логику отсечения (когда нужно браться за следующую задачу), или делать чуть больше/меньше генераций. Второй параметр — это температура генерации, которая отвечает за случайность. Так как генерируется больше десятка решений, то хочется, чтобы они немного да отличались. Поэтому мы позволяем иногда брать не самое вероятное следующее слово, а, скажем, второе или третье. Тут люди прям сильно крутили температуру, пытались понять, что лучше 😁 накрутились, что пролетели мимо золотых медалей.

Третье место уже выложило своё решение, они там то сё пробовали, анализировали ошибки, но итог мы знаем (21 балл 🤓). Буду очень ждать решение первого места, интересно, что сделали ребята. Они сказали, что дообучали свою LLM, но и китайской модели тоже не чужда математика и задачки.

===

Главная критика соревнования — ограничение на ресурсы. 50 задач должны решаться за 9 часов на двух видеокарточках T4...выпущенных в 2018м году. Памяти мало, большие модели не влазят, приходится жить с LLM на 7B. Генерация жутко медленная (~100 ток/с с батчом), про трансформеры и LLM тогда не знали, оптимизации нуль. Организаторов понять можно, им нужно прогонять сотни и тысячи решений, ресурсы не бесконечны, но это является большим ограничивающим фактором для участников. Скорее всего, можно было бы решить больше, 35-37 задач, если бы просто дали больше времени (24 часа вместо 9?) и карточка посовременнее. И это грустно 😪 надеюсь, в следующем году авторы исправятся, накинут побольше GPU, и мы увидим прорывы. Ведь главный приз в почти миллион долларов остался неразыгранным: для него нужно решить 47 задач.

В начале соревнования я дал предсказание, что из-за ограниченных ресурсов скорее всего никто не сможет набрать больше 30 🤓

В июне Google закрыл Google Podcasts, которым я пользовался долгое время. Идеально минимальный дизайн без ненужных фич, простое бесплатное скачивание + прослушивание в оффлайне хоть где, никакой регистрации (просто обычный аккаунт Google), и большинство авторов там постили.

Очень грустно 😢 мне завтра лететь 7 часов, придётся как-то по другому слушать(

1. Spotify - вне своей страны нельзя больше 14 суток пользоваться
2. Apple Podcasts - у меня андроид 🤷‍♂️
3. YouTube Music - не пробовал, но там нет двух из двух подкастов, которые я сейчас проверил

👍 офигенно. Берите на заметку, незанятая ниша. Ну или подскажите мне, пожалуйста, чем пользоваться.

Очередной убитый гуглом сервис 😂

The podcast in the question: https://www.latent.space/p/yitay

Привет!
Мы в лабараторию ебаного ресерча Vikhr models открываем летние стажировки
Что по задачам:

- Мержинг, стакинг, замеринг, эволюционка поверх LLM cтакинга
- собирать крутые инструкт сеты, у нас много gpt4 токенов, если хочется трогать руками RAG, агентность, function calling и прочие хайповые слова - велком!
- Учить Lora на разные задачи и трогать кучу очень интерсных задач (SPPO, DPO, KTO)
- Есть целых! 4v100 и к конце лета приедет а6000
- Собрать самые крутые и самые мемные бенчмарки😎
- развлекатся с vllm, быстрым инференсом и при желании строить опенсуср
- если вам хочется заводить свою шизо идею а на работе не дают - велком, мы сами такие

Оплата: в авторах на хабре, вероятно на arxiv, уникальный опыт(сорян денег реально нет, мы реально работаем на энтузиазме)

Скидывать cv, нюдсы, вопросы, ответы, предложения в: https://forms.gle/54BLnMMxZuNNboev6

Послушал свежее интервью Microsoft CTO Kevin Scott, и почти всё обсуждение строилось вокруг AI и дальнейшего развития. Microsoft вообще чем-то другим занимается? 🤣

— вопреки мнению многих скептиков, пока не видно уменьшения эффективности масштабирования моделей. Делаешь больше, учишь дольше — получаешь модель лучше
— к сожалению, людям это сложнее прочувствовать, так как вместо наблюдения за кривой развития мы лишь получаем одну точку (фронтир модель) раз в сколько-то месяцев или лет, так как датацентры нужно построить, инженерные задачи для масштабирования — решить
— и несмотря на то, что размеры тренировочных кластеров и не думают уменьшаться, с ростом полезности моделей и проникновения их в экономику затраты на развёртывание и применение будут в разы больше оных на обучение. Тем более кластер для применения можно делать куда меньше, а инженерных задач хоть и больше (или скорее они разнообразнее, и позволяют креатив), но и скорость итераций выше — ведь обучение моделей занимает месяцы и стоит сотни миллионов долларов.
— Scott снова рассказывает (прошлый раз был весной), что следующая фронтир модель OpenAI докажет тезисы выше, мол, развитие не замедляется, масштабирование как работало последние 6 лет, так и продолжает, и стоит рассчитывать на существенные улучшения по всем направлениям. Конечно, легко списать все подобные заявления на хайп или попытку втюхать что-то, и именно поэтому следующее поколение моделей будет важным (хотя даже там найдутся дурачки, которые будут говорить «не ну это то понятно, но вот ДАЛЬШЕ-то уже не будет развития!»). Хорошо, что хотя бы слова и дела Microsoft не расходятся — ведь они инвестируют десятки и сотни миллиардов долларов в инфраструктуру в расчёте получить с этого прибыль

И как раз к вопросу про тренировочные кластера и вычислительные мощности:
1. Elon Musk говорит, что Grok 2 уже дотренировали и сейчас полируют, скоро должен выйти (мб в следующем месяце)
2. Grok 3 планируется на конец года, и по словам Elon будет тренироваться на кластере из 100'000 H100. Очень лихо Musk запрыгнул на поезд кластеров, карты-то в дефиците, а он смог раздобыть мощности. Для справки: GPT-4 в 2022м году тренировали на 25'000 карт прошлого поколения.
3. OpenAI и Microsoft не спят и тоже заключают партнёрство с Oracle, чтобы ко второй половине 25го года построить кластер на 100'000 GB200 — это уже карты следующего поколения, каждая состоит из двух чипов, а значит как минимум в два с копейками раз мощнее. Мысленно можете читать это как 200'000 карт 🔼. Интересно, на нём ли будут тренировать GPT-6?

Что ж, когда-то это должно было произойти. После 335 успешных миссий подряд (!) у компании SpaceX произошла осечка.

Первая ступень успешно села на платформу посреди океана — это был её 19й полёт. Проблема возникла со второй ступенью — через 2 минуты после перезапуска двигателя наблюдалось образование большого количества инея (небольшое его количество - это нормально, он всегда намораживается из дренажа, но в этот раз его было необычно много). Потенциально, это могло указывать на утечку кислорода.

Полезной нагрузкой миссии были спутники самой SpaceX — Starlink. На данный момент все спутники (20 штук) находятся ниже расчётных орбит, и хоть и начали подъем, но скорее всего сгорят в атмосфере.

❌ счётчик успешных миссий сбросился до нуля, потребуется ~3 года, чтобы снова дойти до четвёртой сотни
✅ счётчик успешных посадок подряд обновился до 255. Это был 291й полёт на уже ранее летавших ускорителях.

Видео отсюда, за часть текста с деталями и счётчики спасибо @spacex_rus

P.S.: но не унываем! В начале августа нас ждёт куда более важный полёт с попыткой посадки самого тяжелого ускорителя из когда-либо созданных!

P.P.S.: это второй за неделю пример неудачной работы второй ступени — первый был во время первого полёта новой ракеты Европейского космического агентства Ariane 6. Походу, инопланетяне гасят.. 👽не хотят, чтобы мы летали далеко.

😏 Клубничку не хотите? 😏Ну, Strawberry? Тут Reuters пишут, что это — кодовое название проекта OpenAI, ранее известного как Q* (всплывал ранее тут 8 месяцев назад). Это следует из внутренней документации, раскрытой источником и отсмотренной Reuters.

TLDR новостной заметки:
— документ является подробным планом того, как OpenAI намерены использовать Strawberry для проведения «deep research» (исследований) — для этого сильно прокачали reasoning, то есть «рассуждения» модели
— деталей о публичном появлении системы нет, равно как и нет деталей о принципе работы. Последнее хранится в секрете даже от большинства сотрудников компании
— ранее в этом году два источника описывали увиденную ими демонстрацию Q*: система была способна отвечать на сложные научные и математические вопросы, находящиеся за пределами возможностей моделям сегодняшнего дня. Данная информация о двух источниках появляется впервые (то есть скорее всего Reuters не были убеждены на 100%, и не публиковали новость. Сейчас информация, вероятно, каким-то образом подтвердилась)
— в четверг в OpenAI была еженедельная встреча «на всех», где показывали свежие навыки моделей (об этом писал Bloomberg). Однако не ясно, имеет ли это хоть какую-то связь с Strawberry/Q*
— также в документе подчёркивается, что «среди возможностей, на которые нацелен проект Strawberry, входит выполнение задач с длинным горизонтом планирования». Тут имеются в виду сложные задачи, которые требуют от модели выполнения ряда действий в течение длительного периода времени
— дообучение модели производилось на «deep-research» наборе данных. Не уточняется, что это такое, но сделаю аккуратное предположение, что это грубо говоря промежуточные мысли, которые приводят к некоторым выкладкам. Именно эта часть данных обычно нигде не сохранена и не описана, и потому модели не могут ей научиться — мол, почему было сделано так, а не эдак
— OpenAI также планирует протестировать возможности Strawberry в выполнении работы программистов и инженеров машинного обучения

===

Моё мнение: в целом всё достаточно верхнеуровнево и правдоподобно-логично, очевидного бреда нет. Однако это не говорит о том, что это правда. OpenAI, как и другие, 100% работают по этим направлениям, главный вопрос в конкретных достижениях.

Появление аж двух новостей за неделю (Bloomberg и Reuters), а также проведение внутреннего демо скорее указывает на приближение к релизу. Это не значит, что систему анонсируют через пару недель, но ждать, должно, осталось не долго. Хоть до ноябрьского DevDay ещё... 😪

Такие демо недолго живут без анонса, потому что быстро утекают: Sam Altman говорил, что увидел приложение с голосовым режимом GPT-4o буквально за неделю до мини-презентации: до этого работа шла маленькой командой.

Увидел сравнение Starship и Saturn V (в масштабе), решил написать пост для того, чтобы давать ссылку в будущем. В комментариях часто спрашивают «так а чё, ну другие ракеты же есть ❓».

Основных тезиса три, и все они связаны между собой:
— стоимость запуска
— многоразовость
— конструкция, созданная с прицелом на масштабирование производства

Многие ракеты уходящей эпохи — продукты почти штучные. Их всегда было дорого запускать (особенно сверхтяжёлые, выводящие более 100 тонн на орбиту), и было ясно, что максимум будут десятки запусков, так как заказчиков не так много (в самом начале и вовсе один — государство).
До настоящего времени было всего 4 программы сверхтяжей: Saturn V и Н1 (для Лунной гонки), Энергия, SLS (разработка началась после 2010-го), в сумме 20 полётов — из которых 13 у Saturn V с 7 6 высадками на другое небесное тело. В настоящее время есть другие программы либо без даты пусковых испытаний, либо 2027 (Китай).

Легко увидеть, почему так вышло — все проекты государственные, большая часть сделана для престижа, денег не экономили, но и поддерживать программы долго не собирались. Отсюда следуют бешеные цены на запуск — во-первых, нужно учитывать стоимость разработки проекта (десятки миллиардов долларов), которая делится на очень маленькое число пусков, а, во-вторых, гнаться за дешевизной не было смысла/времени/желания.

SpaceX подошли к проблеме с кардинально другой стороны — они поняли, что если пусков будет много, то имеет смысл вложиться в разработку и сделать технологическое чудо: обеспечить полную многоразовость и при этом держать цену производства как можно ниже. Starship показал, что корабль, сделанный 1) из дешёвой и доступной нержавейки 2) без специальных чистых комнат, на пустыре около океана 3) с дешёвыми легко заменяемыми компактными двигателями 4) специально с прицелом на конвейерное производство и масштабирование — возможен.

Ну а с многоразовостью всё понятно — мы не выбрасываем самолёты после каждого рейса, так почему ракетам оставаться одноразовыми? Давайте пробовать спасать сначала части, а затем и всю систему — и корабль, и ускоритель. Хоть их производство и не такое дорогое, всё же дешевле просто залить топлива и пустить ещё раз. И ещё раз. И ещё... вот так это будет выглядеть.

Прочитать про экономику пусков можно в предыдущем посте.

На картинке: выделил примерный объем отсека с полезной нагрузкой. Starship может вывести на орбиту тысячу кубометров груза (это больше, чем жилой объем МКС, собираемой несколькими государствами) ЗА ОДИН РАЗ.

===

Ой, и ещё — будущие версии корабля будут ещё больше и ещё выше 😵