📚 MIT 6.S191 – Лекция 7: Генеративный ИИ для медиа
Выступает Doug Eck — ведущий исследователь Google Research, один из создателей MusicLM и Imagen.
🎨 В видео рассказывается:
▪ как ИИ генерирует музыку, изображения, текст и видео
▪ примеры от Google: MusicLM, Imagen
▪ обсуждаются границы возможностей генеративных моделей
▪ поднимаются этические и социальные вопросы
▶️ Смотреть: https://www.youtube.com/watch?v=ZNodOsz94cc
@data_analysis_ml
Выступает Doug Eck — ведущий исследователь Google Research, один из создателей MusicLM и Imagen.
🎨 В видео рассказывается:
▪ как ИИ генерирует музыку, изображения, текст и видео
▪ примеры от Google: MusicLM, Imagen
▪ обсуждаются границы возможностей генеративных моделей
▪ поднимаются этические и социальные вопросы
▶️ Смотреть: https://www.youtube.com/watch?v=ZNodOsz94cc
@data_analysis_ml
YouTube
MIT 6.S191 (Google): Large Language Models
MIT Introduction to Deep Learning 6.S191: Lecture 7
Large Language Models (Part 1)
Lecturer: Peter Grabowski (Google)
Peter Grabowski leads an applied research team focused on Gemini at Google.
For all lectures, slides, and lab materials: http://intr…
Large Language Models (Part 1)
Lecturer: Peter Grabowski (Google)
Peter Grabowski leads an applied research team focused on Gemini at Google.
For all lectures, slides, and lab materials: http://intr…
🥇 VL-Rethinker — новую парадигму мультимодального вывода, обучаемую напрямую с помощью Reinforcement Learning.
🌟 Новая SOTA на ключевых бенчмарках по vision + math:
🟢 MathVista: 80.3 → 🥇 (+6.4 vs GPT-o1 73.9)
🟢 MathVerse: 61.7 → 🥇 (+4.7 vs GPT-o1 57.0)
🟢 MathVision: 43.9 → 🥇 (+1.7 vs GPT-o1 42.2)
🔥 В чём секрет? GRPO-алгоритм с двумя ключевыми новшествами:
🟠 Этап 1: Улучшение логики, с помощью GRPO + SSR (Selective Sample Replay):
Сохраняются только те последовательности действий модели (rollouts), которые дали ненулевое преимущество (advantage).
При повторном обучении приоритет отдается полезным примерам, что помогает стабилизировать обучение.
Почему это важно?
При обычном GRPO-со временем "advantage" может становиться нулевым → градиенты обнуляются → модель перестаёт учиться. SSR решает эту проблему.
🟠 Этап 2: Вынужденное «переосмысление» (Forced Rethinking)
На этом этапе в каждый rollout добавляется специальный триггер, заставляющий модель заново обдумывать ответ, прежде чем его выдать.
Это развивает способность к саморефлексии, улучшает многошаговое рассуждение и точность ответов.
🔥 Модель вынуждена подумать ещё раз перед финальным ответом.
Результат — у модели появляются признаки метапознания: она сама находит ошибки в начальных размышлениях.
✔️ VL-Rethinker-72B — первый VLM, обгоняющий GPT-o1.
Похоже, что будущее за "медленно думающими" и умеющими рефлексировать агентами.
🔜 Paper
🔜 Code
🔜 Website
Сохраняются только те последовательности действий модели (rollouts), которые дали ненулевое преимущество (advantage).
При повторном обучении приоритет отдается полезным примерам, что помогает стабилизировать обучение.
Почему это важно?
При обычном GRPO-со временем "advantage" может становиться нулевым → градиенты обнуляются → модель перестаёт учиться. SSR решает эту проблему.
На этом этапе в каждый rollout добавляется специальный триггер, заставляющий модель заново обдумывать ответ, прежде чем его выдать.
Это развивает способность к саморефлексии, улучшает многошаговое рассуждение и точность ответов.
Результат — у модели появляются признаки метапознания: она сама находит ошибки в начальных размышлениях.
Похоже, что будущее за "медленно думающими" и умеющими рефлексировать агентами.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🎙 Новый выпуск DEPLOY подкаста — включай, если интересуешься техноподходом в реальных продуктах
Гость выпуска — Антон из Яндекса, эксперт по рекламным технологиям.
С 2013 года он, прошёл путь от Perl до C++ и сегодня отвечает за инфраструктуру и качество таких сервисов, как Яндекс.Директ и Метрика.
Звучит серьёзно — так оно и есть.
Но при этом выпуск получился очень живой, прикладной и честный.
Что внутри:
🟡 Как реклама помогает бизнесу продавать, а пользователям решать свои задачи — за счёт системы рекомендаций
🟡 Зачем нужны нейросети в реальном времени и как они влияют на user experience
🟡 Как проектировать высоконагруженные системы, чтобы они не разваливались под нагрузкой
🟡 Что такое «перфоратор» и как оптимизировать нагрузку на сервера
🟡 Почему без нормальной командной структуры и A/B-тестов далеко не уедешь
🟡 Как устроена разработка в Яндексе, как решаются конфликты и почему важно менторство
Антон очень чётко объясняет сложные штуки, не уходит в абстракции и при этом даёт полезный взгляд на реальную разработку, архитектуру и работу больших продуктовых команд.
📍 Смотри/слушай:
⚫️ YouTube
⚫️ VK
⚫️ Rutube
Подкаст — must listen, если ты работаешь с ML, инфраструктурой, рекламой или просто хочешь понять, как всё это устроено в настоящей продовой среде.
Гость выпуска — Антон из Яндекса, эксперт по рекламным технологиям.
С 2013 года он, прошёл путь от Perl до C++ и сегодня отвечает за инфраструктуру и качество таких сервисов, как Яндекс.Директ и Метрика.
Звучит серьёзно — так оно и есть.
Но при этом выпуск получился очень живой, прикладной и честный.
Что внутри:
Антон очень чётко объясняет сложные штуки, не уходит в абстракции и при этом даёт полезный взгляд на реальную разработку, архитектуру и работу больших продуктовых команд.
📍 Смотри/слушай:
Подкаст — must listen, если ты работаешь с ML, инфраструктурой, рекламой или просто хочешь понять, как всё это устроено в настоящей продовой среде.
Please open Telegram to view this post
VIEW IN TELEGRAM
📚 AICI — новый уровень контроля над генерацией текста в LLM. Это не просто очередная библиотека, а принципиально новый подход к интеграции пользовательской логики в процесс генерации текста.
Суть в том, что разработчики с помощью данного инструмента дают возможно встраивать собственные алгоритмы прямо в процесс декодирования токенов. Например, можно динамически редактировать промпты, ограничивать вывод по грамматике или координировать несколько параллельных генераций. Всё это работает через компактные Wasm-модули, выполняющиеся на CPU параллельно с GPU-вычислениями модели.
🤖 GitHub
@data_analysis_ml
Суть в том, что разработчики с помощью данного инструмента дают возможно встраивать собственные алгоритмы прямо в процесс декодирования токенов. Например, можно динамически редактировать промпты, ограничивать вывод по грамматике или координировать несколько параллельных генераций. Всё это работает через компактные Wasm-модули, выполняющиеся на CPU параллельно с GPU-вычислениями модели.
🤖 GitHub
@data_analysis_ml
Veo 2 от Google доступен для всех — создавать кинематографичные ролики можно в AI Studio.
Лимит: 3-5 видео в день, зато БЕСПЛАТНО.
@data_analysis_ml
Лимит: 3-5 видео в день, зато БЕСПЛАТНО.
@data_analysis_ml
Открыт приём научных работ в журнал Международной конференции AI Journey с призом за лучшую статью
— 1 миллион рублей.
Ключевые исследования будут опубликованы в спецвыпуске журнала «Доклады РАН. Математика, информатика, процессы управления» и его англоязычной версии Doklady Mathematics.
Условия участия:
✓ Оригинальные исследования (без плагиата)
✓ Языки: русский/английский
✓ Дедлайн подачи — 20 августа 2025
Подать заявку → https://aij.ru/science
— 1 миллион рублей.
Ключевые исследования будут опубликованы в спецвыпуске журнала «Доклады РАН. Математика, информатика, процессы управления» и его англоязычной версии Doklady Mathematics.
Условия участия:
✓ Оригинальные исследования (без плагиата)
✓ Языки: русский/английский
✓ Дедлайн подачи — 20 августа 2025
Подать заявку → https://aij.ru/science
🚀 MaxText — высокопроизводительный LLM-фреймворк для на Python/JAX для TPU и GPU. В отличие от многих аналогов, он достигает высокой эффективности без ручных оптимизаций — за счёт возможностей JAX и компилятора XLA.
Проект поддерживает Llama 2/3, Mistral, Mixtral, Gemma и DeepSeek, а его ключевая фишка — линейная масштабируемость: от одного устройства до кластеров в 51 000 чипов. При этом код остаётся минималистичным, что упрощает кастомизацию под исследовательские и продакшн-задачи.
🤖 GitHub
@data_analysis_ml
Проект поддерживает Llama 2/3, Mistral, Mixtral, Gemma и DeepSeek, а его ключевая фишка — линейная масштабируемость: от одного устройства до кластеров в 51 000 чипов. При этом код остаётся минималистичным, что упрощает кастомизацию под исследовательские и продакшн-задачи.
🤖 GitHub
@data_analysis_ml
Forwarded from Machinelearning
OpenAI утверждает, что эти модели способны генерировать новые и полезные идеи.
Обе будут добавлены с сегодняшнего дня в ChatGPT и API.
Эти ризонинг модели стали лучше использовать внутренние инструменты для решения сложных задач.
Модель o3 установила новый рекорд на AIME 2025 с точностью 98.4%.
А вот o4-mini, набрала 99.5% — лучший результат среди всех моделей.
На Codeforces модели набирают более 2700 баллов, что помещает их в число 200 лучших программистов в мире!
На Humanity Last Exam её показатели находятся на уровне флагманской модели Deep Research.
API — о3 сильно дешевле о1: 10/40$ вместо 15/60$, а o4-mini будет доступна для БЕСПЛАТНЫХ пользователей
С помощью внутренних инструментов модель также умеет рассуждать и работать с изображениями (например, использовать Python для их преобразования).
Эти способности к рассуждению достигнуты благодаря масштабированию как во время обучения, так и во время инференса.
Трансляция: https://www.youtube.com/watch?v=sq8GBPUb3rk
@ai_machinelearning_big_data
#openai
Please open Telegram to view this post
VIEW IN TELEGRAM
❓ Алгоритмическая торговля и количественный анализ: успех зависит от точного тестирования. Как избежать убытков и ошибок в логике торговых стратегий?
На открытом уроке 28 апреля в 20:00 мск научим вас, как правильно тестировать торговые стратегии с помощью самых популярных инструментов. Применение таких инструментов, как pandas, backtrader и backtesting, поможет вам избежать переобучения и непредсказуемых рыночных условий.
Используя полученные знания, вы сможете точно оценивать эффективность своих стратегий, настраивать метрики, такие как доходность и Sharpe ratio, и улучшать результаты с минимальными рисками.
➡️ Присоединяйтесь к открытому уроку и получите скидку на большое обучение «ML для финансового анализа»: https://otus.pw/lQq0/?erid=2W5zFHubd2g
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
На открытом уроке 28 апреля в 20:00 мск научим вас, как правильно тестировать торговые стратегии с помощью самых популярных инструментов. Применение таких инструментов, как pandas, backtrader и backtesting, поможет вам избежать переобучения и непредсказуемых рыночных условий.
Используя полученные знания, вы сможете точно оценивать эффективность своих стратегий, настраивать метрики, такие как доходность и Sharpe ratio, и улучшать результаты с минимальными рисками.
➡️ Присоединяйтесь к открытому уроку и получите скидку на большое обучение «ML для финансового анализа»: https://otus.pw/lQq0/?erid=2W5zFHubd2g
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
This media is not supported in your browser
VIEW IN TELEGRAM
Roboflow/trackers — это новая, унифицированная Python‑библиотека object‑tracking, в которой «с нуля» реализуются популярные алгоритмы многoобъектного трекинга (первым уже готов SORT, вскоре планируются Deep SORT, ByteTrack и др.)
Проект входит в open‑source‑экосистему Roboflow (Supervision, RF‑DETR и т.д.) и предоставляет единый API поверх разных детекторов, так что вы можете, например, скрестить Ultralytics YOLO‑v9, MMDetection или HuggingFace Transformers с любым трекером из пакета без «клея»‑оберток.
Установка
pip install trackers
import supervision as sv
from rfdetr import RFDETRBase # любой детектор
from trackers.sort_tracker import SORTTracker
model = RFDETRBase() # или Ultralytics, MMDet…
tracker = SORTTracker()
def callback(frame, _):
dets = model.predict(frame) # сводим к sv.Detections
dets = tracker.update(dets) # добавляем tracker_id
return sv.LabelAnnotator(
text_position=sv.Position.CENTER
).annotate(frame, dets, dets.tracker_id)
sv.process_video("in.mp4", "out.mp4", callback)
На выходе ‑ ролик с пронумерованными боксами, где каждый объект сохраняет ID между кадрами.
Лицензия без ограничений (Apache‑2.0) и возможность править алгоритм под себя.
👉 Репозиторий
Please open Telegram to view this post
VIEW IN TELEGRAM
Вы когда-нибудь хотели сделать свою собственную систему рекомендаций фильмов? 🎬
Приходите на бесплатный вебинар, где Савелий Батурин, Senior ML-Engineer и преподаватель курса по ML школы Simulative в прямом эфире покажет как построить рекомендательную систему фильмов на Kaggle.
Что будем делать на вебинаре:
Вебинар будет интересен как новичкам, так и уже опытным специалистам
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
В списке есть: Doom II и Quake до Pokemon Red и Super Mario Land и другие.
Например, при игре в Doom. Sonnet 3.7 прошёл дальше всех и даже нашёл «синюю комнату»!
Режим реального времени: агент получает только raw‑фреймы и контролирует игру «на ходу» в режиме реального времени.
VideoGameBench‑Lite: среда автоматически ставит игру на паузу, пока модель думает, чтобы убрать задержки инференса и дать время на обдуманные действия
vgbench.com
.
Единый интерфейс: абстрагируем эмуляторы (PyBoy для Game Boy, DOSBox для MS‑DOS) и предоставляем API для передачи изображений, нажатий кнопок и проверки завершения игры
vgbench.com
Open‑source: код и примеры агентов доступны на GitHub — клонируйте, форкайте и тестируйте свои LLM/VLM‑агенты!
vgbench.com
📂 Репозиторий: https://github.com/alexzhang13/videogamebench
🔗 Документация и примеры агентов: https://www.vgbench.com/
#VideoGameBench #VLM #AI #ReinforcementLearning #AIGC
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
Tesla опубликовала изображения своего суперкомпьютера Dojo - системы, созданной на заказ для обучения ИИ-моделей проекта полного автономного вождения (FSD). Фото были опубликованы 17 апреля не случайно - это совпало с недавним заявлением Илона Маска о расширении крупного вычислительного кластера в Giga Texas. Dojo полностью работает на чипах, разработанных Tesla.
TeslaAI в Х (ex-Twitter)
Популярная платформа для оценки ИИ-моделей Chatbot Arena, которую используют ведущие лаборатории ИИ, официально становится компанией Arena Intelligence Inc. Это позволит команде расширить ресурсы для развития сервиса, сохранив нейтралитет тестирования. Проект, запущенный в 2023 году исследователями из UC Berkeley, давно стал ключевым инструментом для сравнения языковых моделей — его рейтинги влияют на маркетинг и развитие ИИ.
До сих пор Chatbot Arena работала на грантах и спонсорской поддержке от Kaggle, Google, Andreessen Horowitz и Together AI.
bloomberg.com
Anthropic впервые инвестировала в стартап, поддержав Goodfire. Инвестиционный раунд, возглавляемый Menlo Ventures, собрал в общей сложности 50 миллионов долларов, а Anthropic внесла 1 миллион долларов.
Goodfire специализируется на механистической интерпретации - методе, который помогает разработчикам понять, как работают системы ИИ, причем методы Goodfire считается более продвинутым, чем существующие инструменты, используемые Anthropic.
theinformation.com
Википедия представила структурированный датасет на платформе Kaggle, чтобы облегчить разработчикам ИИ доступ к данным и снизить нагрузку на свою инфраструктуру. Вместо парсинга сырого текста ботамы, теперь доступны JSON-файлы на английском и французском языках с разделами статей, краткими описаниями, инфобоксами и ссылками на изображения.
Датасет оптимизирован для ML-задач: файнтюна моделей, анализа и тестирования. Это часть стратегии Викимедии, которая не только экономит ресурсы Википедии, но и упрощает работу с контентом — вместо борьбы с ботами разработчики получают готовый инструмент.
enterprise.wikimedia.com
Deezer, французский музыкальный стриминговый сервис, сообщил, что около 18 % песен, загружаемых на его платформу, создаются ИИ. Этот показатель непрерывно растет: ежедневно на платформу загружается около 20 000 композиций, созданных искусственным интеллектом, что почти вдвое больше, чем 4 месяца назад.
Deezer внедрил инструмент обнаружения ИИ для выявления музыки, созданной с помощью Suno и Udio в январе 2025 года, когда ежедневное количество загружаемых песен, созданных ИИ, составляло около 10 000.
billboard.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Мечтаешь хакнуть свою продуктивность с помощью ИИ? Приходи на AI-митап в Нижнем Новгороде! 👌
📍 Встречаемся 24 апреля в 18:00 по адресу: ул. Октябрьская, 35, пространство «Гараж».
Регистрируйся на митап и готовься к апгрейду своих скиллов!
📍 Встречаемся 24 апреля в 18:00 по адресу: ул. Октябрьская, 35, пространство «Гараж».
Регистрируйся на митап и готовься к апгрейду своих скиллов!
В примере на картинке Promptify использует OpenAI для выполнения распознавания именованных сущностей (NER) в медицинском тексте.
Она извлекает ключевые данные, такие как возраст, диагнозы и симптомы, из истории болезни пациента и структурирует их в удобный формат.
- Что она делает:
Берёт предложение: "Пациент — 93-летняя женщина с хронической болью в правом бедре, остеопорозом, гипертонией, депрессией и хронической фибрилляцией предсердий, поступившая для оценки и лечения сильной тошноты, рвоты и инфекции мочевыводящих путей."
Выдаёт структурированные данные, выделяя сущности:
93-летняя → Возраст
хроническая боль в правом бедре → Медицинское состояние
сильная тошнота и рвота → Симптом
Плюс метаданные: Отделение: Внутренняя медицина, Группа: Гериатрия
Почему это круто:
- Упрощает создание промптов для задач NLP.
- Поддерживает модели вроде GPT, PaLM и другие.
- Выдаёт структурированный результат (списки, словари) для лёгкой обработки.
pip3 install promptify
#Python #ИИ #NLP #Promptify #МашинноеОбучение
Please open Telegram to view this post
VIEW IN TELEGRAM