❤️ Sebastian Raschka выпустил большую статью про будущее обучения языковых моделей

Кратко: эпоха простого масштабирования закончилась, теперь всё внимание на обучение с подкреплением (RL).

RLHF давно помогает моделям подстраиваться под людей, но для реального мышления этого мало. Сейчас на сцену выходит GRPO — более легкий вариант, без лишних затрат. Так обучали, например, DeepSeek-R1-Zero.

Проблема в том, что RL нередко приводит к растянутым и ошибочным ответам. Решения ищут: где-то штрафуют за длину текста, где-то пересчитывают преимущества. А DeepSeek V3 и вовсе показывает зачатки мышления без RL, только на хороших данных.

Вывод: RL нужен, но без фанатизма. Главное — грамотная комбинация техник, контроль длины и автоматическая проверка. Тогда у моделей появляется шанс действительно думать, а не просто выдавать красивые тексты.

❤️ Читать полностью тут

❤️ Data Signal

❤️ SkyReels V2 — опенсорсная нейросетка, которая превращает текст в полноценные фильмы. Причём не просто ролики на 10 секунд, а истории любой длины без теоретических ограничений.

Умеет собирать сюжет из текста, превращать картинки в видео, управлять виртуальной камерой (приближает, меняет ракурсы) и даже добавлять отдельные элементы прямо в видеоряд. Работает на разных железках за счёт гибких режимов инференса.

А на тестах SkyReels обошёл всех конкурентов среди открытых моделей.

❤️ Пробуем киношить здесь: skyreels.ai

❤️ Data Signal

❤️ Команда MoonshotAI представила Kimi-Audio — мощную 7B-модель для задач аудио: распознавания речи, анализа звукового контента и генерации ответов.

Она работает через гибридный токенизатор, доработанную LLM на базе Qwen 2.5 и быстрый детокенизатор, что позволяет обрабатывать звук почти без задержек.

Модель обучалась на 13 млн часов аудио и показывает лучшие результаты в задачах ASR, эмоционального анализа и аудиовопросов.

В диалогах Kimi-Audio почти догоняет GPT-4o по качеству. Всё это доступно в открытом доступе — лицензия MIT.

❤️ GitHub

❤️ Data Signal