Машинное обучение digest

⚡️ Claude Code для Уолл-стрит

Появился проект Dexter - автономный AI-финансовый аналитик, который проводит полноценное исследование компании без участия человека.

Вы задаёте вопрос, например:
*NVIDIA недооценена по DCF?*

Дальше система работает сама:
- строит план исследования
- подтягивает актуальные рыночные данные
- загружает финансовую отчётность за 5 лет
- считает ключевые метрики и мультипликаторы
- проверяет свои же расчёты на ошибки
- формирует итоговый инвестиционный вывод

И всё это — автономно.

Как это устроено:

Dexter разбивает задачу на несколько этапов:
- получает текущие цены
- анализирует исторические P/E
- сравнивает с отраслевыми значениями
- проводит оценку (включая DCF)
- проверяет согласованность данных
- собирает всё в финальный аналитический тезис

Внутри — несколько агентов:
- один планирует исследование
- второй выполняет сбор и расчёты
- третий проверяет корректность цифр
- четвёртый пишет итоговый отчёт

Система умеет:
- читать отчёты SEC (10-K, 10-Q, 8-K)
- работать с реальными финансовыми метриками
- делать полноценную DCF-оценку

По сути, это как команда аналитиков:
один ставит задачи, второй ищет данные, третий проверяет расчёты, четвёртый пишет отчёт.

Только вся команда - это AI, и запускается прямо в терминале.

https://github.com/virattt/dexter

76 views11:06

🌟

Как YouTube ускорил проверку валидных рекомендаций в LLM в 948 раз.

YouTube и Google DeepMind опубликовали статью и код фреймворка STATIC.

Проблема, которую он решает, хорошо знакома всем, кто строит рекомендательные системы на базе LLM: модель генерирует идентификаторы позиций, которых нет в каталоге, вышли из продажи или нарушают бизнес-правила. Именно поэтому YouTube выдает старые видео в ленте там, где должны появляться ролики последней недели.

Очевидное решение - префиксное дерево: на каждом шаге декодирования маска блокирует невалидные токены. Работает в целом нормально, но убивает производительность на TPU и GPU. Причины две:

🟠Обход через цепочки указателей создает случайный, несмежный паттерн доступа к памяти, а память ускорителей рассчитана на потоковое чтение блоками, а не на такой режим.

🟠Гугловский XLA-компилятор требует статических вычислительных графов, а префиксное дерево с управлением потоком, зависящим от данных, в это не вписывается.

В итоге префиксное дерево на CPU удваивает время инференса, что для системы с целевой задержкой ≤10 мс на шаг неприемлемо.

STATIC меняет подход принципиально: дерево разворачивается в статическую разреженную матрицу формата Compressed Sparse Row. Обход превращается в векторизованную операцию, которую акселератор умеет выполнять нативно.

Для первых двух уровней дерева, где коэффициент ветвления максимален, используется предвычисленная плотная булева маска: проверка валидности токена сводится к прямому обращению по индексу, без какого-либо перебора.

Для глубоких уровней работает специализированное ядро Vectorized Node Transition Kernel, оно читает фиксированный блок данных вне зависимости от реального числа дочерних узлов, не создавая условных переходов. В этом и есть вся соль: весь граф остается статическим, XLA не перекомпилирует ничего на ходу.

🟡

Тесты и результаты

Замеры проводили на TPU v6e с 3B-моделью и словарем из 20 млн. свежих видео.

STATIC добился задержки 0,033 мс на шаг декодирования (это всего 0,25% от общего времени инференса.

Для сравнения: префиксное дерево на CPU давало +31,3 мс (239% от инференса), лучший из конкурирующих методов непосредственно на акселераторе, PPV Approximate +1,56 мс (11,9%). Итоговый профит:

🟢948x против дерева на CPU;
🟢47x против PPV Approximate;
🟢1033x против точного PPV.

По памяти: ~90 МБ на 1 млн. элементов. Для словаря в 20 млн. верхний предел по HBM примерно 1,5 ГБ, на практике - около 75% от этого значения.

🟡

STATIC развернут на YouTube в продакшне.

A/B-тест с условием «только видео за последние 7 дней» показал +5,1% просмотров свежего контента, +2,9% для трехдневного окна, +0,15% по CTR и 100% соответствие бизнес-правилам.

Дополнительный бонус: метод решает проблему рекомендации новых товаров, не представленных в обучающей выборке. На датасете Amazon Reviews Recall@1 вырос с 0% до 1,2–4,4% в зависимости от категории.

В репозитории лежит ноутбук, на котором без утомительной настройки можно сразу посмотреть, как строится индекс из Semantic ID и как запускается декодирование с ограничениями.

📌Лицензирование: Apache 2.0 License.

🟡

Arxiv

🖥

GitHub

@ai_machinelearning_big_data

#AI #ML #LLM #STATIC #DeepMind

Please open Telegram to view this post

VIEW IN TELEGRAM

Please open Telegram to view this post

VIEW IN TELEGRAM

👍1

41 views11:48

0:42

⚡️

Gemini 3.1 Flash-Lite - самый экономичный Gemini 3

Google представил Gemini 3.1 Flash-Lite - ультрабыструю и максимально дешёвую модель в линейке Gemini 3.

Цена - всего $0.25 за 1 млн входных токенов и $1.50 за 1 млн выходных токенов.

Модель выполняет задачи быстрее и обходится в разы дешевле крупных моделей, обеспечивая увеличение скорости генерации на 45% по сравнению с Gemini 2.5 Flash.

Главное:

• Настраиваемые уровни "мышления"
Можно регулировать глубину рассуждения под задачу - от лёгких операций до более сложной логики.

• Подходит для high-scale задач
Оптимизирована для массовых сценариев - генерация UI, дашбордов, симуляций, автоматизация workflow.

• Доступна через Gemini API
Разработчики уже могут тестировать модель в Google AI Studio.

Отличный дешёвый и быстрый ИИ.

https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-3-1-flash-lite/

@ai_machinelearning_big_data

#Gemini

Please open Telegram to view this post

VIEW IN TELEGRAM

Please open Telegram to view this post

VIEW IN TELEGRAM

54 views16:52

⚡️

ChatGPT-5.3 Instant

Похоже, это такая новая тенденция - релизить новинки синхронно.

OpenAI развернула GPT-5.3 Instant, масштабный апдейт своей самой используемой модели.

В этот раз создатели сфокусировались на качестве общения: модель стала реже отказывать в обработке безопасных запросов и избавилась от излишне осторожных, морализирующих нравоучений.

Существенно улучшена логика работы с веб-поиском. GPT-5.3 Instant глубже синтезирует найденные данные с собственными знаниями, не сводя выдачу к простому перечислению ссылок.

В релизе говорят, что заметно подросла фактологическая точность: в сложных областях (медицина, право, финансы) количество галлюцинаций упало на 26,8% при поиске в сети и на 19,7% при опоре только на внутреннюю базу.

Также улучшены навыки генерации текста, слог стал более живым и разнообразным по стилю.

Модель уже открыта для всех, в том числе через API по идентификатору gpt-5.3-chat-latest.

Предыдущая версия, GPT-5.2 Instant, останется в Legacy-доступе для платных подписчиков до 3 июня этого года, после чего ее отключат.

@ai_machinelearning_big_data

#news #ai #ml

Please open Telegram to view this post

VIEW IN TELEGRAM

9.02K views19:27

🔥 Легендарный математик - Дональд Кнут начал свою новую научную работу словами: “Shock! Shock!”

Почему?

Потому что Claude Opus 4.6 решил открытую задачу, над которой Кнут работал несколько недель.
Речь о гипотезе разложения графов из легендарной книги The Art of Computer Programming.

Кнут даже назвал статью в честь ИИ:

“Claude’s Cycles”

Что произошло:

- Claude провёл 31 исследование
- на это ушло примерно 1 час
- Кнут изучил результат
- оформил формальное математическое доказательство

И закончил работу фразой:

> *«Похоже, мне придётся пересмотреть своё мнение о генеративном ИИ.»*

Это сказал человек, который написал библию компьютерных наук.

И назвал научную работу в честь ИИ.

Почитать саму работу можно здесь:
https://cs.stanford.edu/~knuth/papers/claude-cycles.pdf

37 views07:43

⚡️

Anthropic расширила возможности skill-creator.

Anthropic перенесла часть инженерной культуры: тестирование, бенчмаркинг и итеративность в процесс создания навыков и для этого теперь не нужно уметь писать код.

В skill-creator добавили автоматические тесты, бенчмарки и A/B-сравнения и теперь создатели навыков могут измерить, работает ли skill, до его запуска в продакшен.

🟡

Центральный инструмент - evals (автотесты качества).

Автор задает тестовые промпты и описывает, как выглядит нужный результат. Skill-creator запускает их параллельно: с навыком и без него.

Независимый агент-сравниватель оценивает результаты вслепую, не зная, какая версия перед ним, и сразу показывает, дает ли навык реальный прирост.

Внутренние тесты Anthropic: точность PDF-навыка выросла с 6/8 до 7/8, Excel-навыка - с 6/8 до полных 8/8.

Отдельный бенчмарк-режим дает детальную картину по каждому прогону: процент успешных тестов, время выполнения, расход токенов.

На примере PDF-навыка при работе с незаполняемыми формами и таблицами из многостраничных документов успешность выросла с 40 до 100% (при том же времени выполнения).

🟡

Evals полезны и в долгосрочной перспективе.

Если базовая модель начинает проходить тесты без загруженного навыка - это сигнал о том, что навык уже есть в ее поведении и skill можно отключить. Результаты тестов хранятся локально и интегрируются в CI-системы.

🟡

Обновление улучшило триггерную активацию.

Claude решает, когда подключить навык, исключительно по короткому текстовому описанию в системном промпте.

Skill-creator теперь анализирует эти описания против тестовых промптов и предлагает правки, снижающие и ложные срабатывания и пропуски.

По результатам внутреннего прогона триггеринг стал лучше на 5 из 6 публичных навыков.

Все обновления уже доступны в вебе и Cowork. Для Claude Code обновили плагин или вот он же - в репозитории, если ставить руками.

@ai_machinelearning_big_data

#news #ai #ml

Please open Telegram to view this post

VIEW IN TELEGRAM

30 views11:39

BullshitBench v2, созданный Питером Гостевым, - это бенчмарк, который проверяет, способны ли модели ИИ распознавать бессмысленные запросы и отказываться на них отвечать, вместо того чтобы уверенно продолжать и «придумывать» ответ.

Только модели Claude от Anthropic и Qwen 3.5 от Alibaba показывают результат выше 60% по распознаванию бессмыслицы.
А модели OpenAI и Google? Застряли на месте и почти не улучшаются.

Еще более неожиданно: модели с усиленным рассуждением (reasoning), которые «думают дольше», на самом деле показывают худшие результаты. Они используют дополнительное вычисление не для того, чтобы отвергнуть бессмысленный запрос, а чтобы рационализировать и оправдать этот абсурд.

https://x.com/petergostev/status/2028492838082666780

21 views05:56

0:17

Google Research показали способ научить LLM рассуждать более рационально - как байесовские модели.

Идея проста: вместо того чтобы просто генерировать текст, модель обучают обновлять свои убеждения при появлении новой информации, как это делает теория вероятностей.

Проблема в том, что обычные LLM плохо работают с неопределённостью. Когда появляется новая информация, они не всегда корректно пересматривают свои выводы и часто не улучшают предсказания даже при увеличении количества данных.

Исследователи предложили метод Bayesian Teaching:
модель обучают имитировать решения оптимальной байесовской модели, которая считается математически правильным способом рассуждать о вероятностях.

Что получилось:

- LLM начинают лучше обновлять свои предположения, когда получают новую информацию.
- Навык переносится на другие задачи, даже если модель обучали на одном типе задач.
- Улучшается принятие решений в условиях неопределённости.

Например, после такого обучения модель, обученная на задаче рекомендаций авиаперелётов, смогла применять тот же принцип рассуждений к выбору отелей и даже к онлайн-шопингу, хотя эти задачи сложнее и для них трудно задать точную байесовскую модель.

Главный вывод исследования:

LLM можно учить стратегиям рассуждения, а не только фактам.
И если обучить модель копировать правильную логику (например, байесовскую), она может переносить этот способ мышления на новые задачи.

https://research.google/blog/teaching-llms-to-reason-like-bayesians/

🔥1

22 views06:05

0:17

24 views06:05

🔥 Новый research от ByteDance показал, как ИИ научился писать CUDA-код для GPU лучше стандартных компиляторов.

Система генерирует кастомные низкоуровневые компоненты, которые могут работать до 100% быстрее, чем решения, созданные традиционными автоматическими инструментами оптимизации.

Проблема в том, что программирование под AI-чипы и GPU невероятно сложное. Разработчик должен идеально управлять памятью, потоками и математическими операциями, иначе производительность резко падает.

Исследователи решили это так:
они дали LLM безопасную среду для экспериментов, где модель может:

- писать CUDA-код
- запускать тесты производительности
- анализировать результат
- улучшать код через цикл проб и ошибок

Поскольку обучающих данных по такому низкоуровневому коду почти нет, систему заставили генерировать тысячи новых тренировочных задач, комбинируя базовые математические операции.

При этом награда выдавалась не просто за правильный результат, а только если код выполнялся значительно быстрее существующих решений.

В тестах против:

- коммерческих моделей
- встроенных оптимизаторов компиляторов

этот агент регулярно находил неожиданные оптимизации, которые ускоряли работу GPU.

Главный вывод исследования:

LLM могут не только писать код, но и создавать оптимизации на уровне железа, находя такие способы ускорения, которые люди и компиляторы часто пропускают.

arxiv.org/abs/2602.24286

26 views08:01

Модель с триллионом параметров буквально «удалила половину своего мозга» и стала умнее.

Yuan3.0 Ultra**-— новая open-source мультимодальная **MoE-модель от Yuan Lab.
Всего 1010 млрд параметров, но при инференсе активны только 68.8 млрд.

На бенчмарках RAG она обошла GPT-5.2, Gemini 3.1 Pro и Claude Opus 4.6 с заметным отрывом.

Например:

- 67.4% на Docmatix против 56.8% у GPT-4o

Что умеет модель:

- Enterprise RAG - 68.2% средней точности на 10 задачах поиска
- Анализ сложных таблиц - 62.3% на бенчмарке MMTab
- Text-to-SQL - 83.9% на Spider 1.0
- Мультимодальный анализ документов с контекстом 64K

Ключевая инновация — Layer-Adaptive Expert Pruning (LAEP).

Во время предобучения у MoE возникает сильный дисбаланс:
некоторые эксперты получают в 500 раз больше токенов, чем другие.

LAEP постепенно удаляет малоиспользуемых экспертов слой за слоем,
что позволяет:

- сократить 33% параметров
- увеличить эффективность обучения на 49%

Также исследователи улучшили метод “fast-thinking” RL.

Теперь система больше награждает ответы, которые:

- правильные
- используют меньше шагов рассуждения

Это позволило:

- уменьшить количество выходных токенов на 14.38%
- повысить точность на 16.33%

Главный сигнал из этого исследования:

MoE-модели начинают сжимать себя прямо во время обучения, а не после.

Если pruning станет частью pretraining, стоимость обучения триллионных моделей может резко снизиться.

https://github.com/Yuan-lab-LLM/Yuan3.0-Ultra

🔥1

28 views08:08

2:39

🌟

Self-Flow: обучение диффузионных моделей без внешних энкодеров от Black Forest Labs.

Black Forest Labs и MIT решили проблему, с которой сталкиваются диффузионные и flow-модели: чтобы генерировать качественные картинки, им нужны сильные семантические представления. Обычно их берут снаружи - выравнивают внутренние признаки модели с признаками энкодера вроде DINOv2. Метод работает, но есть нюанс.

Чем сильнее энкодер, тем хуже результат: в экспериментах замена DINOv2-B на более мощный DINOv3-H+ стойко ухудшала FID. Модель привязывалась к фиксированным внешним представлениям и переставала масштабироваться. На видео и аудио выравнивание с энкодерами V-JEPA2 и MERT вообще давало результат хуже ванильного flow matching.

🟡

Self-Flow предлагает механизм Dual-Timestep Scheduling

В стандартном flow matching все токены нойзятся одинаково, поэтому модель решает задачу локально и не учится строить глобальные связи. Self-Flow сэмплирует 2 разных уровня шума и случайно назначает их разным токенам (часть входа зашумлена сильнее, часть чище). Это создает асимметрию: чтобы восстановить сильно зашумленные токены, модель вынуждена опираться на чистые и строить глобальный контекст.

Поверх этого работает самообучение по принципу дистилляции. Обучаются одновременно 2 копии модели: модель-ученик видит смешанный зашумленный вход, модель-учитель - более чистую версию (EMA-копия с экспоненциальным скользящим средним).

Ученик учится предсказывать признаки учителя из зашумленного входа, и это вынуждает его развивать сильные семантические представления без какого-либо внешнего энкодера.

🟡

Результаты тестов

🟢На ImageNet 256×256 Self-Flow показал FID 5.70 против 5.89 у REPA;

Это, кстати, первый случай, когда self-supervised метод превзошел внешнее выравнивание на этом бенче

🟢На text-to-image: FID 3.61 против 3.92 у REPA;

🟢По видео: FVD 47.81 против 49.75 у REPA;

🟢По аудио: лучшие FAD-оценки среди всех вариантов.

При этом на масштабировании (с 290M до 1B) разрыв с REPA увеличивается: модель Self-Flow на 625M параметров обходит REPA на 1B.

Метод универсален для модальностей - он работает одинаково на картинках, видео и аудио, что намекает на применение для мультимодального обучения.

В репозитории проекта есть код инференса на основе SiT-XL/2 с per-token timestep conditioning, чекпоинт на основе ImageNet 256×256 и скрипты для генерации сэмплов под FID-оценку через ADM evaluation suite. Поддерживаются режимы SDE и ODE, мульти-GPU через torchrun.

🟡

Статья

🟡

Техотчет

🖥

GitHub

@ai_machinelearning_big_data

#AI #ML #Multimodal #Framework #BFL

Please open Telegram to view this post

VIEW IN TELEGRAM

22 views14:05

OpenAI объявила о начале развёртывания новых моделей GPT-5.4 Thinking и GPT-5.4 Pro в ChatGPT.

Также GPT-5.4 стала доступна разработчикам через API и в Codex. Новая версия объединяет несколько ключевых направлений развития моделей: улучшенное логическое рассуждение, более сильные возможности программирования и поддержку агентных сценариев работы.

По словам компании, GPT-5.4 стала одной из самых точных и эффективных моделей. Она требует меньше токенов для выполнения задач и работает быстрее по сравнению с предыдущими версиями.

В версии ChatGPT модель GPT-5.4 Thinking получила улучшенный режим размышления: при более длительном анализе она лучше удерживает контекст и способна проводить более глубокие исследования в интернете.

Появилась и новая функция управления процессом ответа. Теперь пользователь может прервать генерацию в середине ответа и изменить направление работы модели, добавив новые инструкции.

Функция управления ответом уже начинает появляться в веб-версии ChatGPT и на Android. Поддержка iOS ожидается немного позже.

https://x.com/openai/status/2029620624923189283?s=46

27 views18:13

⚡️ Карпаты показал, как быстро можно обучить модель уровня GPT-2.

NanocHat теперь тренирует модель с возможностями GPT-2 всего за 2 часа на одном узле с 8×H100. Еще месяц назад это занимало около 3 часов.

Главное улучшение оказалось не только в оптимизациях и FP8, а в смене датасета - с FineWeb-edu на NVIDIA ClimbMix. Другие датасеты вроде Olmo, FineWeb и DCLM давали регрессии, а ClimbMix сразу показал стабильный результат.

Но самое интересное другое.
Карпати подключил AI-агентов, которые автоматически экспериментируют с настройками nanocHat.

Агент работает так:
он создает feature-ветку, пробует разные идеи, тестирует их и автоматически мержит те, что улучшают метрики.

За ~12 часов агент сделал 110 изменений, снизив validation loss модели d12 с 0.862 → 0.858 без увеличения времени обучения.

Фактически модель теперь сама оптимизирует свой тренировочный пайплайн.

Карпати шутит, что последние недели он больше оптимизирует агентную систему, которая улучшает код, чем сам репозиторий nanocHat.

https://x.com/karpathy/status/2029701092347630069

22 views07:16

25 views07:20