Разработчики PyTorch выкатили прикольный гайд про то, как организовать инференс LLM вообще без CUDA-ядер

Они предлагают заменить все ядра CUDA на рукописные Triton ядра в миксе с torch.compile. Это нужно для совместимости с ГПУ от AMD, Intel и др, а не только с Nvidia + для большей гибкости и низкоуровневости.

В статье подробно описывается, как и что нужно сделать, и в итоге показано, что с помощью некоторых дополнительных оптимизаций и танцев с бубном таким способом можно добиться ~80% производительности CUDA.

Получился интересный, но, к слову, достаточно ироничный гайд, учитывая трудности Nvidia на сегодняшний день 😀

Сентябрьский книгопад продолжается

Вот и еще одна книжка первой свежести заехала. Называется Introduction to Machine Learning, появилась на архиве сегодня.

Хоть и называется «Введение», но содержит достаточно много глубокого материала. Например, 50 страниц посвящено оптимизации в ML (со всей серьезной математикой), а еще 50 – PCA, тоже со всеми тонкостями. Ну и базовая база типа линейных моделей и деревьев тоже присутствует. Сами посмотрите оглавление 👆

Читать тут

Кажется, мы нашли для вас развлечение на выходные: у Андрея Карпаты вышло новое интервью 🥳

По таймкодам:

➡️статус автономии, tesla против waymo
➡️человекоподобные роботы
➡️бутылочные горлышки в достижении AGI
➡️экзомозг – будущее или миф?
➡️небольшие LM, опенсорс
➡️его новая eureka labs, ИИ-образование
➡️чему следует учиться в эпоху ИИ

Длится кстати, всего 45 минут. Скоро расскажем краткое содержание, а пока вот вам ссылка на просмотр.

Красота: новая обложка журнала Time, посвященная ИИ-инфлюенсерам

Тройка лидеров:

1. Сундар Пичаи – CEO Google
2. Сатья Наделла – CEO Microsoft
3. Саша Луччони – AI & Climate Lead Hugging Face

А Сэм Альтман оказался на 4 месте. Обидно, наверное 😞

Кого еще узнали с обложки?

Интернет взрывает новая модель Reflection 70В: она выбивает на бенчмарках результаты, превосходящие Claude 3.5 Sonnet и GPT-4o

Название Reflection выбрано в честь метода Reflection-Tuning: это когда модель итеративно обучается на синтетических структурированных данных, чтобы научиться рассуждать и самокорректироваться. Плюсом добавлен отдельный этап планирования для улучшения CoT. В качестве инициализации брали Llama 3.1 70B.

На практике модель прямо в ответах оборачивает все рассуждения в тег <reasoning>, а возможные ошибки в тег <reflection>. Затем она обнаруженные ошибки исправляет, и итоговый ответ выдает в теге <output>.

Результаты на бенчмарках: 89,9% MMLU, 79,7% MATH, 90,1% IFEval, 99.2% GSM8K. Говорят, что тот самый синтетический датасет и техрепорт будет на следующей неделе. А еще на следующей неделе обещают Reflection на 405В 😨

Сама модель уже доступна на HuggingFace.

Итак, завозим наше краткое содержание сегодняшего интервью Андрея Карпаты. Было много интересного:

⚪️ "10 лет назад я впервые покатался на беспилотной машине в рамках демо, и подумал, что это была идеальная поездка. Однако нам все равно пришлось потратить 10 лет, чтобы перейти от демо к продукту, за который люди платят. Сейчас мы достигли некоторого подобия AGI в сфере self-driving, но пройдет еще очень много времени, пока все это будет глобализовано. То же самое ждет и языковые модели."

⚪️ Tesla круче других компаний, которые занимаются self-driving, хотя сейчас это и не заметно. "Я верю в Tesla, эта компания идет по правильной траектории, фокусируясь на AI. Это не просто self-driving компания, это крупейшая робототехническая компания с огромный потенциалом к расширению, и их подход к работе выведет Tesla на первое место уже в ближайшие годы."

⚪️ Трансформер - не просто очередной метод, но подход, который полностью изменил наш взгляд на ИИ, и на данный момент это единственная по-настоящему масштабируемая архитектура. Нам очень повезло, что мы наткнулись именно на трансформер в огромном пространстве алгоритмов. "Я верю, что трансформер лучше человеческого мозга во многих отношениях, просто эта модель еще не готова проявить себя сполна".

⚪️ Раньше бутылочным горлышком в ИИ была архитуктура. Теперь компании практически о ней не думают: за последние 5 лет классический трансформер изменился не так уж сильно. Акцент в наши дни перемещается на данные.

⚪️ Данные из Интернета, на самом деле, – далеко не самые лучшие данные для обучения модели. Это просто "ближайший сосед" идеальных данных. То, что мы действительно хотим от модели, – это умение рассуждать. А страницы из Интернета не могут ее сполна этому научить.

⚪️ Будущие за синтетическими данными, однако главная проблема синтетики – это энтропия и разнообразие. Его недостаточно, и это действительно препятствие. Тем не менее, текущие модели должны помогать нам создавать следующие, при этом "итоговые" модели могут оказаться на удивление крошечными (Андрей уже говорил об этом, подробнее мы писали тут).

⚪️ Андрей говорит, что ушел в образование, потому что не заинтересован в том, чтобы "заменить" людей, а нацелен на то, чтобы сделать их умнее и вдохновленнее. "Я хочу, чтобы люди были ЗА автоматизацию и мечтаю проверить, на что будет способно человечество, когда у каждого будет идеальный репетитор в лице ИИ".

⚪️ ИИ пока не способен создать курс, но идеально подходит для того, чтобы интерпретировать и подстраивать созданные людьми материалы для каждого студента в отдельности. "Я думаю, образование должно стать для людей скорее развлечением, чем трудом."

В Северной Каролине какой-то гений с 2017 года (!) генерировал музыку и заработал на этом состояние. Теперь его судят 🤷‍♂️

Общую сумму мошенничества 52-летнему Майклу Смиту насчитали, прямо скажем, немалую: 10 миллионов долларов. Он якобы загружал на стриминги сгенерированные треки несуществующих групп, а потом накручивал прослушивания ботами.

К 2019 году мужчина греб по 110к долларов в месяц. Правда, теперь ему грозит около 20 лет тюрьмы.

Видимо Google или OpenAI упустили в лице Смита ценного сотрудника, раз он в 2017 нашел способ генерировать правдоподобную музыку 🐻

История о том, как тысяча AI-агентов в Minecraft играли

Во-первых, почему именно Minecraft? Потому что это идеальная симуляция общества, и исследователи хотели проверить, смогут ли агенты организоваться в комьюнити, как люди, или у них наступит хаос.

В итоге… с построением нормальной цивилизации ИИ-малыши справились на ура. Они создали торговый центр, голосовали на выборах, создали конституцию, распространяли религии, ну и лутались конечно 😉

Как это было организовано? Каждого агента наделили ролью и автономностью, «разрешили» свободно озвучивать мысли и общаться с другими, и объяснили некоторый социальный кодекс.

Кстати, с агентами можно поиграться самому (поговорить или дать задание). Надо просто скопировать свой порт и подключиться по нему здесь.