Синтетика для агентов: зачем нужен симулятор мира
Исследовательница Юхань Ло (Yuhan Luo) опубликовала эссе с говорящим названием «Мы думаем о синтетических данных слишком узко». Её тезис: синтетика давно перестала быть задачей «прогнать модель по шаблонам и получить побольше примеров». Когда мы обучаем агентов вести целые рабочие процессы, генератор данных превращается в отдельную исследовательскую систему со своими задачами, средами, проверяющими и людьми в контуре. Разбираем главные идеи и показываем, как одна из них выглядит в коде.
https://uproger.com/sinteticheskie-dannye-dlya-agentov/
Исследовательница Юхань Ло (Yuhan Luo) опубликовала эссе с говорящим названием «Мы думаем о синтетических данных слишком узко». Её тезис: синтетика давно перестала быть задачей «прогнать модель по шаблонам и получить побольше примеров». Когда мы обучаем агентов вести целые рабочие процессы, генератор данных превращается в отдельную исследовательскую систему со своими задачами, средами, проверяющими и людьми в контуре. Разбираем главные идеи и показываем, как одна из них выглядит в коде.
https://uproger.com/sinteticheskie-dannye-dlya-agentov/
❤3🥰2👍1👎1🔥1
🔎 RAG нашёл документы. Но следует ли ответ из этих документов?
На Hugging Face опубликован Jev-RAG-Claim-Verification-130K: датасет для исследования галлюцинаций и проверки того, подтверждаются ли утверждения предоставленным контекстом.
Внутри 130 тысяч проверок, построенных на 12 118 ответах из RAGTruth. Для каждой сохранены исходная разметка и отдельное предсказание проверяющей модели
21 181 расхождение между моделью и разметкой. В 1 265 категориальных проверках модель сообщала уверенность не ниже 90%, но её решение расходилось с эталоном. Готовый материал для разбора уверенных ошибок, хотя само расхождение ещё не доказывает ошибку модели.
https://huggingface.co/datasets/MaziyarPanahi/Jev-RAG-Claim-Verification-130K
На Hugging Face опубликован Jev-RAG-Claim-Verification-130K: датасет для исследования галлюцинаций и проверки того, подтверждаются ли утверждения предоставленным контекстом.
Внутри 130 тысяч проверок, построенных на 12 118 ответах из RAGTruth. Для каждой сохранены исходная разметка и отдельное предсказание проверяющей модели
jev-1.13.0.21 181 расхождение между моделью и разметкой. В 1 265 категориальных проверках модель сообщала уверенность не ниже 90%, но её решение расходилось с эталоном. Готовый материал для разбора уверенных ошибок, хотя само расхождение ещё не доказывает ошибку модели.
https://huggingface.co/datasets/MaziyarPanahi/Jev-RAG-Claim-Verification-130K
👍4🔥3❤2🥰2
Forwarded from Machinelearning
Аккаунт Тибо, который отвечает в OpenAI за ChatGPT, Codex и API, в сентябре собрал наибольшую долю трафика среди аккаунтов X. Такие данные приводит рейтинг Similarweb.
Второе место занял спортивный журналист Фабрицио Романо, с новостями о футбольных трансферах, третье – Илон Маск.
В августе Тибо был вторым, а в июле – четвёртым.
Рост популярности связан с тем, что пользователи следят за анонсами о сбросе лимитов. По статистике Х, за год Тибо опубликовал 83 таких объявления, из них 60 - про полные сбросы.
Поклонники завели сайты, которые отслеживают сбросы, а сам Соттьё пишет, что люди уже останавливают его на улице и просят обнулить лимиты.
Similarweb в таких рейтингах считает долю веб-трафика соцсети, которая приходится на страницу аккаунта, без учёта приложения X. Поэтому рейтинг показывает, как часто открывают профиль, а не охват публикаций или число подписчиков.
В июле у Соттьё их было около 250 тысяч (сейчас 893), у Маска - 240 миллионов.
https://x.com/Similarweb/status/2105254978411454973
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🥰3❤2👍2
One Day Offer: стань щитом для миллионов клиентов! 🔥
В департамент противодействия мошенничеству Сбера нужен аналитик данных в антифрод — чтобы разбирать тренды мошенничества, находить скрытые паттерны и превращать их в правила защиты.
Готов к таким задачам — добро пожаловать на One Day Offer: отбор за один день, разбор реальных кейсов, быстрая обратная связь.
24 октября, онлайн, регистрация и подробности — здесь!
В департамент противодействия мошенничеству Сбера нужен аналитик данных в антифрод — чтобы разбирать тренды мошенничества, находить скрытые паттерны и превращать их в правила защиты.
Готов к таким задачам — добро пожаловать на One Day Offer: отбор за один день, разбор реальных кейсов, быстрая обратная связь.
24 октября, онлайн, регистрация и подробности — здесь!
Forwarded from Machinelearning
DeepSeek открыла исходный код DeepInfer - собственного движка для запуска ИИ-моделей.
Именно он обеспечивает работу DeepSeek-V4.1-Flash с высокой производительностью и минимальными задержками.
Главное:
- Ускорение инференса - больше запросов за меньшее время.
- Эффективное использование GPU - снижение затрат на вычисления.
- Параллельная обработка - высокая пропускная способность при больших нагрузках.
- Снижение стоимости ИИ - меньше ресурсов на генерацию каждого ответа.
DeepInfer опубликован под лицензией Apache 2.0. Разработчики смогут использовать технологии DeepSeek в собственных проектах.
GitHub: https://github.com/deepseek-ai/DeepInfer
Именно он обеспечивает работу DeepSeek-V4.1-Flash с высокой производительностью и минимальными задержками.
Главное:
- Ускорение инференса - больше запросов за меньшее время.
- Эффективное использование GPU - снижение затрат на вычисления.
- Параллельная обработка - высокая пропускная способность при больших нагрузках.
- Снижение стоимости ИИ - меньше ресурсов на генерацию каждого ответа.
DeepInfer опубликован под лицензией Apache 2.0. Разработчики смогут использовать технологии DeepSeek в собственных проектах.
GitHub: https://github.com/deepseek-ai/DeepInfer
❤2
Виртуальных агентов обсудят на митапе «Русское техно 2» от MWS 23 октября. ⚡ Успейте зарегистрироваться.
В программе доклады и дискуссии по темам:
— Как построить control plane для персональных ИИ-агентов на Kubernetes.
— Как построить агентный производственный процесс в связке с Harness.
— Подходы к управлению командами с ИИ-агентами. Как меняются метпроцессы внутри команды?
— Когда ИИ-агент становится экономически оправданным.
А также участников ждет битва промптов и нетворкинг.
Когда: 23 октября
Формат: офлайн в Москве и онлайн
Зарегистрироваться
В программе доклады и дискуссии по темам:
— Как построить control plane для персональных ИИ-агентов на Kubernetes.
— Как построить агентный производственный процесс в связке с Harness.
— Подходы к управлению командами с ИИ-агентами. Как меняются метпроцессы внутри команды?
— Когда ИИ-агент становится экономически оправданным.
А также участников ждет битва промптов и нетворкинг.
Когда: 23 октября
Формат: офлайн в Москве и онлайн
Зарегистрироваться
Ornith-1.5-122B — открытая MoE-модель для программирования и ИИ-агентов с обучением на самостоятельно созданных задачах.
В процессе обучения система генерирует задания, подбирает стратегии решения и улучшает модель через reinforcement learning. Цикл охватывает и сами задачи, и организацию работы агента, и его попытки решения.
Результаты по оценке разработчиков:
- 84,5% — SWE-bench Verified.
- 76,9% — SWE-bench Pro.
- 81,2% — TerminalBench 2.1.
- 48% — Humanity’s Last Exam с инструментами.
Контекст — 262 тыс. токенов, с расширением через YaRN — примерно до 1 млн. Поддерживаются вызовы инструментов, запуск через vLLM и SGLang и подключение к агентам через OpenAI-совместимый API.
Веса доступны под лицензией MIT. Основной акцент — работа с большими кодовыми базами и выполнение многошаговых задач.
https://huggingface.co/ornith-ai/Ornith-1.5-122B
В процессе обучения система генерирует задания, подбирает стратегии решения и улучшает модель через reinforcement learning. Цикл охватывает и сами задачи, и организацию работы агента, и его попытки решения.
Результаты по оценке разработчиков:
- 84,5% — SWE-bench Verified.
- 76,9% — SWE-bench Pro.
- 81,2% — TerminalBench 2.1.
- 48% — Humanity’s Last Exam с инструментами.
Контекст — 262 тыс. токенов, с расширением через YaRN — примерно до 1 млн. Поддерживаются вызовы инструментов, запуск через vLLM и SGLang и подключение к агентам через OpenAI-совместимый API.
Веса доступны под лицензией MIT. Основной акцент — работа с большими кодовыми базами и выполнение многошаговых задач.
https://huggingface.co/ornith-ai/Ornith-1.5-122B
huggingface.co
ornith-ai/Ornith-1.5-122B · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
👍3👎2❤1
Сколько стоит разделить рекомендательный пайплайн на стримы
Разделить большой пайплайн на независимые стримы — не значит бесплатно упростить разработку. У такого подхода есть цена: отдельные структуры приходится создавать для каждого стрима, а часть операций выполняется последовательно.
В AI VK решили эту проблему двумя оптимизациями: повторно используют компоненты пайплайна между запросами и стримами, а вычисленные признаки — переиспользуют между стримами в рамках одного запроса. В результате переход не привёл к заметному росту потребления ресурсов.
Как устроена эта архитектура и что она меняет в работе команд — читайте в статье.
Разделить большой пайплайн на независимые стримы — не значит бесплатно упростить разработку. У такого подхода есть цена: отдельные структуры приходится создавать для каждого стрима, а часть операций выполняется последовательно.
В AI VK решили эту проблему двумя оптимизациями: повторно используют компоненты пайплайна между запросами и стримами, а вычисленные признаки — переиспользуют между стримами в рамках одного запроса. В результате переход не привёл к заметному росту потребления ресурсов.
Как устроена эта архитектура и что она меняет в работе команд — читайте в статье.
👍2❤1
Media is too big
VIEW IN TELEGRAM
Gemini 4 Argon объединила три открытых набора данных и создала интерактивную 3D-визуализацию анатомии человека.
Можно переключать анатомические слои прямо во время анимации, рассматривать отдельные мышцы или заглянуть внутрь бьющегося сердца.
Можно переключать анатомические слои прямо во время анимации, рассматривать отдельные мышцы или заглянуть внутрь бьющегося сердца.
❤4😁3👍2
This media is not supported in your browser
VIEW IN TELEGRAM
Вопрос с собеседования по ML: зачем делить на корень из d в attention?
Разбор популярного вопроса на собеседованиях по машинному обучению: почему в attention
скалярное произведение делят на корень из d.
Показываем на реальных расчётах, как без этого softmax насыщается, а градиенты пропадают. Сохрани, чтобы не завалить на интервью.
https://www.youtube.com/shorts/sbkDkGJU1ww
Разбор популярного вопроса на собеседованиях по машинному обучению: почему в attention
скалярное произведение делят на корень из d.
Показываем на реальных расчётах, как без этого softmax насыщается, а градиенты пропадают. Сохрани, чтобы не завалить на интервью.
https://www.youtube.com/shorts/sbkDkGJU1ww
❤3👍3
Если энтропия всегда растёт, почему молекулы могут вернуться туда, откуда начали?
В 1896 году молодой математик Эрнст Цермело поставил перед Людвигом Больцманом неудобный вопрос.
Он использовал теорему возвращения Пуанкаре: при определённых условиях ограниченная механическая система почти для любого начального состояния рано или поздно вернётся сколь угодно близко к нему.
Представьте газ, первоначально собранный в одной половине закрытого сосуда. После удаления перегородки он заполнит весь объём. Но теорема допускает почти полное возвращение к исходному состоянию.
Как это совместить с необратимым ростом энтропии?
Больцман не отвергал математику. Его ответ опирался на вероятность: для обычного газа подобного возвращения пришлось бы ждать немыслимо долго.
Равновесию соответствует колоссально больше микроскопических состояний, чем газу, собравшемуся в углу. Поэтому движение к равновесию подавляюще вероятно, а обратный процесс практически ненаблюдаем.
Спор помог прояснить статистическую природу второго начала термодинамики: макроскопическое уменьшение энтропии чрезвычайно маловероятно, но не запрещено самими законами механики.
https://plato.stanford.edu/entries/statphys-statmech/
В 1896 году молодой математик Эрнст Цермело поставил перед Людвигом Больцманом неудобный вопрос.
Он использовал теорему возвращения Пуанкаре: при определённых условиях ограниченная механическая система почти для любого начального состояния рано или поздно вернётся сколь угодно близко к нему.
Представьте газ, первоначально собранный в одной половине закрытого сосуда. После удаления перегородки он заполнит весь объём. Но теорема допускает почти полное возвращение к исходному состоянию.
Как это совместить с необратимым ростом энтропии?
Больцман не отвергал математику. Его ответ опирался на вероятность: для обычного газа подобного возвращения пришлось бы ждать немыслимо долго.
Равновесию соответствует колоссально больше микроскопических состояний, чем газу, собравшемуся в углу. Поэтому движение к равновесию подавляюще вероятно, а обратный процесс практически ненаблюдаем.
Спор помог прояснить статистическую природу второго начала термодинамики: макроскопическое уменьшение энтропии чрезвычайно маловероятно, но не запрещено самими законами механики.
https://plato.stanford.edu/entries/statphys-statmech/
❤3👍1🔥1