Свежие данные из интернета для ИИ-агента - одним вызовом API
Чтобы ИИ-ассистент отвечал с учётом актуальной информации, недостаточно найти ссылки. Нужно загрузить страницы, очистить HTML, разбить текст и выбрать фрагменты, которые помогут ответить на вопрос.
Smart Snippets в Yandex Search API берут эту подготовку на себя. На входе - поисковый запрос, на выходе - подходящие выдержки из найденных страниц с цитатами и ссылками на источники. Их можно сразу передать вашей модели для формирования ответа.
Размер фрагмента - около 500 токенов. Контекст не забивается страницами целиком: модель получает отобранные материалы. По данным команды продукта, это сокращает расход токенов на веб-контекст до трёх раз при том же качестве ответа.
Возможность пригодится агентам, которые ищут документацию, проверяют актуальные условия или собирают информацию о рынке. Команде при этом нужно поддерживать меньше компонентов поискового пайплайна.
Свяжитесь с экспертом, чтобы протестировать на своих запросах - по ссылке.
Чтобы ИИ-ассистент отвечал с учётом актуальной информации, недостаточно найти ссылки. Нужно загрузить страницы, очистить HTML, разбить текст и выбрать фрагменты, которые помогут ответить на вопрос.
Smart Snippets в Yandex Search API берут эту подготовку на себя. На входе - поисковый запрос, на выходе - подходящие выдержки из найденных страниц с цитатами и ссылками на источники. Их можно сразу передать вашей модели для формирования ответа.
Размер фрагмента - около 500 токенов. Контекст не забивается страницами целиком: модель получает отобранные материалы. По данным команды продукта, это сокращает расход токенов на веб-контекст до трёх раз при том же качестве ответа.
Возможность пригодится агентам, которые ищут документацию, проверяют актуальные условия или собирают информацию о рынке. Команде при этом нужно поддерживать меньше компонентов поискового пайплайна.
Свяжитесь с экспертом, чтобы протестировать на своих запросах - по ссылке.
❤4🔥1
ChatGPT PRO - полный курс на русском
Практический курс по ChatGPT: от первого промпта до агентов, Custom GPTs, Deep Research, проектов, коннекторов и Codex.
Схемы, готовые промпты, рецепты задач, антипаттерны и чек-листы - всё в одном README.
https://github.com/justxor/ChatGPT_ru/
Практический курс по ChatGPT: от первого промпта до агентов, Custom GPTs, Deep Research, проектов, коннекторов и Codex.
Схемы, готовые промпты, рецепты задач, антипаттерны и чек-листы - всё в одном README.
https://github.com/justxor/ChatGPT_ru/
❤3👍2🔥2👎1
Хватит переписывать промпты: что такое harness engineering
Почему ИИ-агенты ломаются даже на топовых моделях, из каких трёх слоёв состоит надёжная система и как за пять минут собрать обвязку для Claude Code и Cursor.
Знакомая ситуация: агент выдал сломанный результат, и рука сама тянется переписать промпт. Потом в ход идёт другая модель, потом тариф с окном контекста побольше. А модель всё так же забывает инструкции, берёт не тот инструмент, пропускает проверку и рапортует об успехе там, где всё сломано.
Причина обычно сидит за пределами весов модели, в среде, где она работает. Эту среду называют harness (по-русски ближе всего слово «обвязка»), а её проектирование получило название harness engineering. Разберём, из чего состоит обвязка и как собрать свою за пять минут.
https://uproger.com/harness-engineering-ii-agenty/
Почему ИИ-агенты ломаются даже на топовых моделях, из каких трёх слоёв состоит надёжная система и как за пять минут собрать обвязку для Claude Code и Cursor.
Знакомая ситуация: агент выдал сломанный результат, и рука сама тянется переписать промпт. Потом в ход идёт другая модель, потом тариф с окном контекста побольше. А модель всё так же забывает инструкции, берёт не тот инструмент, пропускает проверку и рапортует об успехе там, где всё сломано.
Причина обычно сидит за пределами весов модели, в среде, где она работает. Эту среду называют harness (по-русски ближе всего слово «обвязка»), а её проектирование получило название harness engineering. Разберём, из чего состоит обвязка и как собрать свою за пять минут.
https://uproger.com/harness-engineering-ii-agenty/
👍6❤3
🤖 Зачем вызывать большую LLM, если агенту нужно просто выбрать «да» или «нет»?
Phocinae-Largha-150M-v1: модель на 144,3 млн параметров для локальных решений без генерации текста.
За один проход она отвечает «да/нет», выбирает вариант или выставляет оценку от 2 до 10. Вместе с ответом возвращает уверенность: сомнительные случаи можно передавать большой модели.
⚡ По данным авторов:
• Веса FP16 занимают 288,6 МБ, поддерживается CPU.
• Задержка на RTX 5090 составляет 21 мс.
• В тесте маршрутизации число вызовов LLM сократилось на 55%, а точность на уверенно обработанной части составила 99,36%.
Оговорка: это специализированная модель. Английский результат получен после обучения на train-части бенчмарка, китайская оценка включает машинные переводы.
modelscope.ai/models/PerryLink/Phocinae-Largha-150M-v1
Phocinae-Largha-150M-v1: модель на 144,3 млн параметров для локальных решений без генерации текста.
За один проход она отвечает «да/нет», выбирает вариант или выставляет оценку от 2 до 10. Вместе с ответом возвращает уверенность: сомнительные случаи можно передавать большой модели.
⚡ По данным авторов:
• Веса FP16 занимают 288,6 МБ, поддерживается CPU.
• Задержка на RTX 5090 составляет 21 мс.
• В тесте маршрутизации число вызовов LLM сократилось на 55%, а точность на уверенно обработанной части составила 99,36%.
Оговорка: это специализированная модель. Английский результат получен после обучения на train-части бенчмарка, китайская оценка включает машинные переводы.
modelscope.ai/models/PerryLink/Phocinae-Largha-150M-v1
👍4❤2
Z.ai выпустила GLM-Legal, отдельную модель для юристов
Z.ai представила GLM-Legal, юридическую модель на базе GLM-5.3-Flash. По словам компании, на основных юридических бенчмарках она держится на уровне frontier-моделей, хотя в основе лежит облегчённая Flash-версия.
Модель заточена под реальную юридическую работу: проверку договоров, анализ доказательств, комплаенс и похожие задачи, где нужна аккуратность с документами, а не красивые общие ответы.
Отраслевые модели на базе компактных LLM становятся отдельным трендом. Если небольшая модель после дообучения закрывает задачи юристов на уровне топовых, ее дешевле гонять на больших объемах документов и проще встроить в корпоративный контур.
Пока это закрытый доступ: API выдают по заявке. Попробовать модель в деле можно через агента AutoClaw.
Блог: https://z.ai/blog/glm-legal
API: https://z.ai/consultation/l
AutoClaw: https://autoclaw.z.ai
Z.ai представила GLM-Legal, юридическую модель на базе GLM-5.3-Flash. По словам компании, на основных юридических бенчмарках она держится на уровне frontier-моделей, хотя в основе лежит облегчённая Flash-версия.
Модель заточена под реальную юридическую работу: проверку договоров, анализ доказательств, комплаенс и похожие задачи, где нужна аккуратность с документами, а не красивые общие ответы.
Отраслевые модели на базе компактных LLM становятся отдельным трендом. Если небольшая модель после дообучения закрывает задачи юристов на уровне топовых, ее дешевле гонять на больших объемах документов и проще встроить в корпоративный контур.
Пока это закрытый доступ: API выдают по заявке. Попробовать модель в деле можно через агента AutoClaw.
Блог: https://z.ai/blog/glm-legal
API: https://z.ai/consultation/l
AutoClaw: https://autoclaw.z.ai
❤5👍2🔥2
🧠 В 22 года объяснить Гильберту его же математику
Давид Гильберт, один из величайших математиков своего времени, не мог разобраться в новой квантовой механике Гейзенберга.
По воспоминаниям его ассистента, молодой Джон фон Нейман за несколько дней изложил её в изящной аксиоматической форме. Гильберт был восхищён.
Позже фон Нейман помог построить строгий математический фундамент квантовой механики на основе гильбертовых пространств.
Получилась красивая ирония: математические идеи Гильберта стали языком новой физики, а объяснить её самому Гильберту помог 22-летний фон Нейман.
📖 Источник: Норман Макрей, «Джон фон Нейман».
Давид Гильберт, один из величайших математиков своего времени, не мог разобраться в новой квантовой механике Гейзенберга.
По воспоминаниям его ассистента, молодой Джон фон Нейман за несколько дней изложил её в изящной аксиоматической форме. Гильберт был восхищён.
Позже фон Нейман помог построить строгий математический фундамент квантовой механики на основе гильбертовых пространств.
Получилась красивая ирония: математические идеи Гильберта стали языком новой физики, а объяснить её самому Гильберту помог 22-летний фон Нейман.
📖 Источник: Норман Макрей, «Джон фон Нейман».
❤8👍7🔥6
По данным FT, Netflix сократит примерно 6% глобального штата,крупнейшие увольнения с 2022 года
Больше всего пострадают команды продукта, технологий, юристов и HR.
В компании пишут, что нужно «дисциплинированно подходить к тому, куда направлять людей и ресурсы». При этом бизнес они называют сильным и растущим и говорят, что идут по плану на полный год. То есть это оптимизация на фоне хороших показателей, а не реакция на кризис.
Крупные технологические компании продолжают перераспределять штат даже в растущем бизнесе, а вспомогательные функции и часть техкоманд попадают под нож первыми. Причины сокращений в сообщении компании не раскрываются.
Источник: https://www.ft.com/content/5f1b2f31-2067-4c3a-8093-54210a7c0e72
Больше всего пострадают команды продукта, технологий, юристов и HR.
В компании пишут, что нужно «дисциплинированно подходить к тому, куда направлять людей и ресурсы». При этом бизнес они называют сильным и растущим и говорят, что идут по плану на полный год. То есть это оптимизация на фоне хороших показателей, а не реакция на кризис.
Крупные технологические компании продолжают перераспределять штат даже в растущем бизнесе, а вспомогательные функции и часть техкоманд попадают под нож первыми. Причины сокращений в сообщении компании не раскрываются.
Источник: https://www.ft.com/content/5f1b2f31-2067-4c3a-8093-54210a7c0e72
❤2👍2🥰2👎1
This media is not supported in your browser
VIEW IN TELEGRAM
Компании выросли из вайбкодинга — куда двигаемся дальше?
Год назад вайбкодинг обсуждали на каждом митапе. Сегодня так пишут код почти все, но быстрая генерация кода ещё не означает быстрый и качественный релиз. Если процессы в команде остались прежними, использование ИИ не даёт ощутимых результатов. Тогда в чём польза для бизнеса?
Чётких ответов на рынке пока немного. 27 ноября red_mad_robot делают ивент Робоцех, где соберутся практики ИИ из крупных компаний, которые уже встроили ИИ в разработку и получили результат. Они расскажут, какие решения прижились в продакшене, сколько времени ушло на внедрение и где нейросети пока не оправдали ожиданий.
Послушать мало, поэтому в программу добавили ещё два воркшопа. На них участники своими руками соберут систему командной работы с ИИ-агентами и пройдут путь от задачи до работающего приложения.
↗️ 27 ноября, 11:00, Москва, Инженерный амфитеатр ДКС
↗️ Доклады можно смотреть онлайн, воркшопы проходят только очно
↗️ Билеты еще в продаже: upgrade.redmadrobot.com
Год назад вайбкодинг обсуждали на каждом митапе. Сегодня так пишут код почти все, но быстрая генерация кода ещё не означает быстрый и качественный релиз. Если процессы в команде остались прежними, использование ИИ не даёт ощутимых результатов. Тогда в чём польза для бизнеса?
Чётких ответов на рынке пока немного. 27 ноября red_mad_robot делают ивент Робоцех, где соберутся практики ИИ из крупных компаний, которые уже встроили ИИ в разработку и получили результат. Они расскажут, какие решения прижились в продакшене, сколько времени ушло на внедрение и где нейросети пока не оправдали ожиданий.
Послушать мало, поэтому в программу добавили ещё два воркшопа. На них участники своими руками соберут систему командной работы с ИИ-агентами и пройдут путь от задачи до работающего приложения.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤🔥2
🧪 Sakana AI собрала команду ИИ-агентов для научных исследований
The Agentic Scientist объединяет агентов вроде Codex и Claude Code в полный исследовательский цикл: гипотезы, планирование, эксперименты, проверка результатов и написание статьи.
Главная идея: рост метрики ещё нужно объяснить. Система заранее задаёт критерии проверки и связывает утверждения в статье с экспериментальными данными.
В совместной работе человек ставит вопрос, направляет исследование и проверяет выводы. Агенты предлагают гипотезы, проводят эксперименты и оформляют результаты.
Одну работу, подготовленную с помощью системы, уже приняли на ALIFE 2026. Авторы делают ставку на совместные открытия человека и ИИ.
https://arxiv.org/abs/2610.18933
The Agentic Scientist объединяет агентов вроде Codex и Claude Code в полный исследовательский цикл: гипотезы, планирование, эксперименты, проверка результатов и написание статьи.
Главная идея: рост метрики ещё нужно объяснить. Система заранее задаёт критерии проверки и связывает утверждения в статье с экспериментальными данными.
В совместной работе человек ставит вопрос, направляет исследование и проверяет выводы. Агенты предлагают гипотезы, проводят эксперименты и оформляют результаты.
Одну работу, подготовленную с помощью системы, уже приняли на ALIFE 2026. Авторы делают ставку на совместные открытия человека и ИИ.
https://arxiv.org/abs/2610.18933
❤4👍3👎1
🔥 Хочешь быстрее расти в IT? Хватит учиться в одиночку
Окружение решает больше, чем кажется.
Собрал папки и каналы, где можно быстрее влиться в нужное направление, следить за трендами и не вариться в своём пузыре.
AI: t.me/ai_machinelearning_big_data
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
DevOps: t.me/DevOPSitsec
Docker: https://t.me/+90Z5TAyfuNU5YmRi
Golang: t.me/Golang_google
Rust: t.me/rust_code
C++: t.me/cpluspluc
C#: t.me/csharp_ci
Java: t.me/javatg
JavaScript: t.me/javascriptv
React: t.me/react_tg
Frontend: t.me/front
PHP: t.me/phpshka
Android: t.me/android_its
Мобильная разработка: t.me/mobdevelop
Базы данных: t.me/sqlhub
Data Science: t.me/data_analysis_ml
Big Data: t.me/bigdatai
Математика: t.me/data_math
Физика: t.me/fizmat
Kubernetes: t.me/kubernetc
GameDev: https://t.me/gamedev
Haskell: t.me/haskell_tg
Собеседования и карьера:
DS собеседования: t.me/machinelearning_interview
Python собеседования: t.me/python_job_interview
Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy
Папка Frontend: https://t.me/addlist/mzMMG3RPZhY2M2Iy
Полезное сверху:
ИТ-мемы: t.me/memes_prog
Английский для программистов: t.me/english_forprogrammers
ИИ и технологии: t.me/vistehno
954 ГБ open-source курсов: https://t.me/+rKBQEMccAA01MTcy
ИТ-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy
Max Ai: https://max.ru/ai_machinelearning_big_data
Max python: https://max.ru/pythonl
ТЕХНО: https://max.ru/vistehno
Max Go: https://max.ru/Golang_google
Max Linux: https://max.ru/linuxkalii
Devops: https://max.ru/DevOPSitsec
C#: https://max.ru/csharp_ci
C++: https://max.ru/cpluspluc
SQL: https://max.ru/sqlhub
Java: https://max.ru/javatg
Подписывайся на нужные направления и собирай себе ленту, которая реально двигает вперёд.
Окружение решает больше, чем кажется.
Собрал папки и каналы, где можно быстрее влиться в нужное направление, следить за трендами и не вариться в своём пузыре.
AI: t.me/ai_machinelearning_big_data
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
DevOps: t.me/DevOPSitsec
Docker: https://t.me/+90Z5TAyfuNU5YmRi
Golang: t.me/Golang_google
Rust: t.me/rust_code
C++: t.me/cpluspluc
C#: t.me/csharp_ci
Java: t.me/javatg
JavaScript: t.me/javascriptv
React: t.me/react_tg
Frontend: t.me/front
PHP: t.me/phpshka
Android: t.me/android_its
Мобильная разработка: t.me/mobdevelop
Базы данных: t.me/sqlhub
Data Science: t.me/data_analysis_ml
Big Data: t.me/bigdatai
Математика: t.me/data_math
Физика: t.me/fizmat
Kubernetes: t.me/kubernetc
GameDev: https://t.me/gamedev
Haskell: t.me/haskell_tg
Собеседования и карьера:
DS собеседования: t.me/machinelearning_interview
Python собеседования: t.me/python_job_interview
Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy
Папка Frontend: https://t.me/addlist/mzMMG3RPZhY2M2Iy
Полезное сверху:
ИТ-мемы: t.me/memes_prog
Английский для программистов: t.me/english_forprogrammers
ИИ и технологии: t.me/vistehno
954 ГБ open-source курсов: https://t.me/+rKBQEMccAA01MTcy
ИТ-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy
Max Ai: https://max.ru/ai_machinelearning_big_data
Max python: https://max.ru/pythonl
ТЕХНО: https://max.ru/vistehno
Max Go: https://max.ru/Golang_google
Max Linux: https://max.ru/linuxkalii
Devops: https://max.ru/DevOPSitsec
C#: https://max.ru/csharp_ci
C++: https://max.ru/cpluspluc
SQL: https://max.ru/sqlhub
Java: https://max.ru/javatg
Подписывайся на нужные направления и собирай себе ленту, которая реально двигает вперёд.
❤1👍1🔥1
Ник Матсакис предлагает для Rust северную звезду эпохи ИИ-агентов: ноль unsafe-кода
Один из ключевых людей в дизайне Rust опубликовал текст о том, что кодинг-агенты значат для языка. Это письменная версия доклада на REBASE в рамках SPLASH. Сам автор называет содержимое «недопечёнными идеями», так что это видение, а не предложение новых фич.
Выводы такие: люди в программировании всё ещё нужны, дизайн языков по-прежнему важен, а Rust хорошо подходит для агентной разработки и может подойти ещё лучше.
По производительности аргумент простой. Хорошие значения по умолчанию плюс явные ручки для тонкой настройки. По словам автора, люди, которые раньше вручную оптимизировали криптографический код, теперь обращаются к агентам. Вместе с профайлером вроде dial9 получается цикл: бенчмарк, профиль, агент предлагает правку, PR в репозитории.
С надёжностью сложнее. Типы удерживают агента в рамках, но тесты показывают наличие багов, а не их отсутствие, и типы гарантируют лишь отсутствие определённых классов ошибок, а не корректность результата. Тут нужны доказательства. Для Rust уже есть Verus, Creusot, Aeneas и Kani. При этом типы продолжают играть роль, потому что делают доказательства дешевле. &mut даёт гарантию уникальности, и Verus опирается на borrow checker именно ради этого, чтобы солверу было проще.
Куда, по мнению Матсакиса, стоит двигаться: более выразительная система типов (view types, внутренние ссылки, даже проверка вроде «в лог не попадают персональные данные»), расширяемый компилятор, чтобы инструменты доказательств не жили на костылях из макросов и привязке к конкретным версиям компилятора, и поддержка доказательства корректности unsafe-кода.
Северная звезда: больше никакого unsafe. Это не значит убрать ключевое слово. Это значит уметь доказать, что весь unsafe-код корректен и не приводит к неопределённому поведению.
Главной открытой проблемой автор называет дизайн, то есть решение о том, что вообще строить. Ставка на специализированные языки дизайна, которые превращают высокоуровневое намерение в проверки типов, линты или теоремы.
Для контекста Матсакис цитирует Дэвида Толная: инженеры Meta в этом году написали первосторонний Rust-кода вдвое больше, чем за предыдущие девять лет вместе взятые.
Блог: https://smallcultfollowing.com/babysteps/blog
Один из ключевых людей в дизайне Rust опубликовал текст о том, что кодинг-агенты значат для языка. Это письменная версия доклада на REBASE в рамках SPLASH. Сам автор называет содержимое «недопечёнными идеями», так что это видение, а не предложение новых фич.
Выводы такие: люди в программировании всё ещё нужны, дизайн языков по-прежнему важен, а Rust хорошо подходит для агентной разработки и может подойти ещё лучше.
По производительности аргумент простой. Хорошие значения по умолчанию плюс явные ручки для тонкой настройки. По словам автора, люди, которые раньше вручную оптимизировали криптографический код, теперь обращаются к агентам. Вместе с профайлером вроде dial9 получается цикл: бенчмарк, профиль, агент предлагает правку, PR в репозитории.
С надёжностью сложнее. Типы удерживают агента в рамках, но тесты показывают наличие багов, а не их отсутствие, и типы гарантируют лишь отсутствие определённых классов ошибок, а не корректность результата. Тут нужны доказательства. Для Rust уже есть Verus, Creusot, Aeneas и Kani. При этом типы продолжают играть роль, потому что делают доказательства дешевле. &mut даёт гарантию уникальности, и Verus опирается на borrow checker именно ради этого, чтобы солверу было проще.
Куда, по мнению Матсакиса, стоит двигаться: более выразительная система типов (view types, внутренние ссылки, даже проверка вроде «в лог не попадают персональные данные»), расширяемый компилятор, чтобы инструменты доказательств не жили на костылях из макросов и привязке к конкретным версиям компилятора, и поддержка доказательства корректности unsafe-кода.
Северная звезда: больше никакого unsafe. Это не значит убрать ключевое слово. Это значит уметь доказать, что весь unsafe-код корректен и не приводит к неопределённому поведению.
Главной открытой проблемой автор называет дизайн, то есть решение о том, что вообще строить. Ставка на специализированные языки дизайна, которые превращают высокоуровневое намерение в проверки типов, линты или теоремы.
Для контекста Матсакис цитирует Дэвида Толная: инженеры Meta в этом году написали первосторонний Rust-кода вдвое больше, чем за предыдущие девять лет вместе взятые.
Блог: https://smallcultfollowing.com/babysteps/blog
❤3🙈1
Синтетика для агентов: зачем нужен симулятор мира
Исследовательница Юхань Ло (Yuhan Luo) опубликовала эссе с говорящим названием «Мы думаем о синтетических данных слишком узко». Её тезис: синтетика давно перестала быть задачей «прогнать модель по шаблонам и получить побольше примеров». Когда мы обучаем агентов вести целые рабочие процессы, генератор данных превращается в отдельную исследовательскую систему со своими задачами, средами, проверяющими и людьми в контуре. Разбираем главные идеи и показываем, как одна из них выглядит в коде.
https://uproger.com/sinteticheskie-dannye-dlya-agentov/
Исследовательница Юхань Ло (Yuhan Luo) опубликовала эссе с говорящим названием «Мы думаем о синтетических данных слишком узко». Её тезис: синтетика давно перестала быть задачей «прогнать модель по шаблонам и получить побольше примеров». Когда мы обучаем агентов вести целые рабочие процессы, генератор данных превращается в отдельную исследовательскую систему со своими задачами, средами, проверяющими и людьми в контуре. Разбираем главные идеи и показываем, как одна из них выглядит в коде.
https://uproger.com/sinteticheskie-dannye-dlya-agentov/
❤3👍1👎1🔥1🥰1
🔎 RAG нашёл документы. Но следует ли ответ из этих документов?
На Hugging Face опубликован Jev-RAG-Claim-Verification-130K: датасет для исследования галлюцинаций и проверки того, подтверждаются ли утверждения предоставленным контекстом.
Внутри 130 тысяч проверок, построенных на 12 118 ответах из RAGTruth. Для каждой сохранены исходная разметка и отдельное предсказание проверяющей модели
21 181 расхождение между моделью и разметкой. В 1 265 категориальных проверках модель сообщала уверенность не ниже 90%, но её решение расходилось с эталоном. Готовый материал для разбора уверенных ошибок, хотя само расхождение ещё не доказывает ошибку модели.
https://huggingface.co/datasets/MaziyarPanahi/Jev-RAG-Claim-Verification-130K
На Hugging Face опубликован Jev-RAG-Claim-Verification-130K: датасет для исследования галлюцинаций и проверки того, подтверждаются ли утверждения предоставленным контекстом.
Внутри 130 тысяч проверок, построенных на 12 118 ответах из RAGTruth. Для каждой сохранены исходная разметка и отдельное предсказание проверяющей модели
jev-1.13.0.21 181 расхождение между моделью и разметкой. В 1 265 категориальных проверках модель сообщала уверенность не ниже 90%, но её решение расходилось с эталоном. Готовый материал для разбора уверенных ошибок, хотя само расхождение ещё не доказывает ошибку модели.
https://huggingface.co/datasets/MaziyarPanahi/Jev-RAG-Claim-Verification-130K
👍2❤1