Forwarded from Сиолошная
Seed1.5-Thinking: Advancing Superb Reasoning Models with Reinforcement Learning
Не полноценный разбор статьи + модели, просто почитал интересную для себя часть — про Seed-Thinking-Verifier. Эта модель является частью процесса обучения рассуждениям. Как делает обычно, например, в DeepSeek R1:
1. Собирают задачи по математике и программированию, где правильный ответ легко проверяется. Для математики проверка — это сверка ответов, для программирования — прогон десятков тестов.
2. Начинают обучение, модель генерирует варианты, ответы извлекаются и верифицируются (запускаются тесты итд).
Seed-Thinking-Verifier — это модель, которая дополняет этот процесс, на уровне со сверкой ответов и запуском тестов. Она вдохновлена процессом тщательного человеческого размышления и глубокого анализа. Тренируется также, как рассуждающая модель, только правильный/неправильный ответ для сравнения — это корректность оценки. То есть модель сама выучивает, как нужно рассуждать, чтобы прийти к выводу о качестве предоставленного ответа. В её промпт всегда подаётся правильный ответ и _какой-то_ ответ. Например, это может быть пара 524288 и 2^19 (оба числа равны, но простая проверка в лоб не выявит этого).
Кроме этого, Seed-Thinking-Verifier может помочь с решением проблем, которые часто возникают с «обычным» верификатором, например, пограничные/крайние случаи, которые не тестируются/не описаны в и исходном ответе.
А теперь рубрика «я нипонел»😐 — вот авторы говорят это всё, но... при этом применяют Seed-Thinking-Verifier только для STEM задач (большая часть из них — математика). При этом прям отдельно написано, что у них есть неверифируемые задачи (то есть там где нет однозначно правильного/неправильного ответа, скажем, креативное письмо или перевод). Для них используется обычный Reward modelling, хотя казалось бы именно тут Thinking-Verifier может расцвести! Может быть, в 2.0 версии исправят
Картинка: сравнение верификатора без рассуждений (модель предсказывает YES/NO по промпту + истинному ответу + ответу модели) и Seed-Thinking-Verifier. Оба обучены на одном и том же наборе данных и там получают 99%+ правильных оценок. А на семпле в 456 отобранных новых запросов заметна разница — рассуждающий верификатор гораздо более точен и почти не ошибается.
Не полноценный разбор статьи + модели, просто почитал интересную для себя часть — про Seed-Thinking-Verifier. Эта модель является частью процесса обучения рассуждениям. Как делает обычно, например, в DeepSeek R1:
1. Собирают задачи по математике и программированию, где правильный ответ легко проверяется. Для математики проверка — это сверка ответов, для программирования — прогон десятков тестов.
2. Начинают обучение, модель генерирует варианты, ответы извлекаются и верифицируются (запускаются тесты итд).
Seed-Thinking-Verifier — это модель, которая дополняет этот процесс, на уровне со сверкой ответов и запуском тестов. Она вдохновлена процессом тщательного человеческого размышления и глубокого анализа. Тренируется также, как рассуждающая модель, только правильный/неправильный ответ для сравнения — это корректность оценки. То есть модель сама выучивает, как нужно рассуждать, чтобы прийти к выводу о качестве предоставленного ответа. В её промпт всегда подаётся правильный ответ и _какой-то_ ответ. Например, это может быть пара 524288 и 2^19 (оба числа равны, но простая проверка в лоб не выявит этого).
Кроме этого, Seed-Thinking-Verifier может помочь с решением проблем, которые часто возникают с «обычным» верификатором, например, пограничные/крайние случаи, которые не тестируются/не описаны в и исходном ответе.
А теперь рубрика «я нипонел»
Картинка: сравнение верификатора без рассуждений (модель предсказывает YES/NO по промпту + истинному ответу + ответу модели) и Seed-Thinking-Verifier. Оба обучены на одном и том же наборе данных и там получают 99%+ правильных оценок. А на семпле в 456 отобранных новых запросов заметна разница — рассуждающий верификатор гораздо более точен и почти не ошибается.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3❤1🔥1
Forwarded from РСпектр: связь, ИТ, кибербезопасность
Топ-менеджер DeepSeek оценил уровень ИИ в России
Развитие технологии искусственного интеллекта идет равномерно, независимо Китай это или Россия, нельзя сказать, что в каких-то странах сейчас наблюдается опережение или отставание. Об этом RSpectr заявил директор по инновациям китайской компании DeepSeek Ким Ён (Jīn Yán).
По его словам, гонка за объемами данных в сфере ИИ уже закончилась, сейчас началась новая – за память и качество. «Вопрос уже не в том, сколько данных собрали, а из чего их собрали и как ими безопасно пользоваться. Качество в 2026 году – это ответы на четыре безжалостных вопроса [к данным]: что это? Откуда? Чьим согласием покрыто? Как это удалить по запросу? Если хотя бы один ответ на эти вопросы будет расплывчатым, то перед нами уже не актив, а риски», – рассказал Ким Ён на мероприятии «ИИчница в МГУ», организованном компанией WMT AI.
Изображение: RSpectr
Развитие технологии искусственного интеллекта идет равномерно, независимо Китай это или Россия, нельзя сказать, что в каких-то странах сейчас наблюдается опережение или отставание. Об этом RSpectr заявил директор по инновациям китайской компании DeepSeek Ким Ён (Jīn Yán).
По его словам, гонка за объемами данных в сфере ИИ уже закончилась, сейчас началась новая – за память и качество. «Вопрос уже не в том, сколько данных собрали, а из чего их собрали и как ими безопасно пользоваться. Качество в 2026 году – это ответы на четыре безжалостных вопроса [к данным]: что это? Откуда? Чьим согласием покрыто? Как это удалить по запросу? Если хотя бы один ответ на эти вопросы будет расплывчатым, то перед нами уже не актив, а риски», – рассказал Ким Ён на мероприятии «ИИчница в МГУ», организованном компанией WMT AI.
Изображение: RSpectr
👏8🤣1
Forwarded from 42 секунды
RB: Первый в мире ИИ для МРТ младенцев – разработка Яндекса и ШАДа ускоряет диагностику ДЦП
– ИИ создали Yandex B2B Tech, студенты ШАДа и СПбГПМУ
– Нейросеть анализирует МРТ мозга новорожденных
– Она помогает врачам заметить первые признаки ДЦП
– Также ИИ замечает другие нарушения нервной системы
– Новая нейросеть способна анализировать снимки МРТ
– С точностью 90% ИИ выделяет серое и белое вещество
– ИИ показывает соотношение и состояние структур мозга
– Врач быстрее поставит диагноз и выберет терапию
– Обычно на расшифровку МРТ уходит неск. часов-дней
– Для работы нужны опытные врачи (МРТ – это 22+ среза)
– Новая нейросеть делает расшифровку за пару минут
– ДЦП встречается в 2-3 случаях на 1 тыс. новорожденных
– Yandex B2B Tech планирует выложить решение в опенсорс
@ftsec
– ИИ создали Yandex B2B Tech, студенты ШАДа и СПбГПМУ
– Нейросеть анализирует МРТ мозга новорожденных
– Она помогает врачам заметить первые признаки ДЦП
– Также ИИ замечает другие нарушения нервной системы
– Новая нейросеть способна анализировать снимки МРТ
– С точностью 90% ИИ выделяет серое и белое вещество
– ИИ показывает соотношение и состояние структур мозга
– Врач быстрее поставит диагноз и выберет терапию
– Обычно на расшифровку МРТ уходит неск. часов-дней
– Для работы нужны опытные врачи (МРТ – это 22+ среза)
– Новая нейросеть делает расшифровку за пару минут
– ДЦП встречается в 2-3 случаях на 1 тыс. новорожденных
– Yandex B2B Tech планирует выложить решение в опенсорс
@ftsec
❤6👍1
#unrealneural
MV-RAG: Retrieval Augmented Multiview Diffusion
TextTo3D генерация продвинулась вперед. MV-RAG – новый конвейер преобразования текста в 3D, который сначала извлекает релевантные двумерные изображения из большой базы данных 2D-данных, а затем обуславливает на этих изображениях многоракурсную модель диффузии для синтеза согласованных и точных многоракурсных результатов.
MV-RAG совершенствует генерацию многоракурсных изображений, объединяя внутренние знания предобученной многоракурсной модели с внешними визуальными сигналами, полученными из большой базы данных изображений. На этапе вывода полученные двумерные изображения кодируются в токены с помощью кодировщика изображений, а затем обучаемого ресемплера. В многоракурсной модели диффузии трёхмерные слои собственного внимания обеспечивают согласованность между сгенерированными представлениями. Каждый слой перекрёстного внимания затем работает в двух параллельных ветвях: одна обусловлена текстовыми токенами, а другая — полученными токенами изображений. Их выходные данные объединяются с использованием коэффициента слияния, прогнозируемого модулем Prior-Guided Attention.
https://yosefdayani.github.io/MV-RAG/
MV-RAG: Retrieval Augmented Multiview Diffusion
TextTo3D генерация продвинулась вперед. MV-RAG – новый конвейер преобразования текста в 3D, который сначала извлекает релевантные двумерные изображения из большой базы данных 2D-данных, а затем обуславливает на этих изображениях многоракурсную модель диффузии для синтеза согласованных и точных многоракурсных результатов.
MV-RAG совершенствует генерацию многоракурсных изображений, объединяя внутренние знания предобученной многоракурсной модели с внешними визуальными сигналами, полученными из большой базы данных изображений. На этапе вывода полученные двумерные изображения кодируются в токены с помощью кодировщика изображений, а затем обучаемого ресемплера. В многоракурсной модели диффузии трёхмерные слои собственного внимания обеспечивают согласованность между сгенерированными представлениями. Каждый слой перекрёстного внимания затем работает в двух параллельных ветвях: одна обусловлена текстовыми токенами, а другая — полученными токенами изображений. Их выходные данные объединяются с использованием коэффициента слияния, прогнозируемого модулем Prior-Guided Attention.
https://yosefdayani.github.io/MV-RAG/
❤3👍1