Почему редакциям нужен детектор ошибок, а не только генератор текста
В одном из свежих исследований по клиническим саммари показали любопытную вещь: качество текста растёт заметнее, когда модель не просто пишет ответ, а перепроверяет его по ходу правки. Авторы сравнили два подхода — итеративную доработку с детекторами ошибок и дообучение на предпочтениях, собранных из таких траекторий.
Для редакционных процессов это очень похоже на нормальную систему производства контента. Нельзя полагаться только на первый драфт, даже если он выглядит гладко. В сложных темах выигрывает цепочка из нескольких этапов: черновик, факт-чек, редакторская правка, финальная вычитка. Именно эта связка снижает количество выдуманных фрагментов и не даёт тексту расползаться по смыслу.
Для команд, которые используют AI в медицине, финансах, legal или других YMYL-вертикалях, вывод прямой: важно не количество генерации, а наличие встроенного контроля. Если инструмент умеет сомневаться в себе и править ошибки до публикации, он лучше подходит для системного конвейера, чем модель, которая просто быстро выдаёт связный текст.
В одном из свежих исследований по клиническим саммари показали любопытную вещь: качество текста растёт заметнее, когда модель не просто пишет ответ, а перепроверяет его по ходу правки. Авторы сравнили два подхода — итеративную доработку с детекторами ошибок и дообучение на предпочтениях, собранных из таких траекторий.
Для редакционных процессов это очень похоже на нормальную систему производства контента. Нельзя полагаться только на первый драфт, даже если он выглядит гладко. В сложных темах выигрывает цепочка из нескольких этапов: черновик, факт-чек, редакторская правка, финальная вычитка. Именно эта связка снижает количество выдуманных фрагментов и не даёт тексту расползаться по смыслу.
Для команд, которые используют AI в медицине, финансах, legal или других YMYL-вертикалях, вывод прямой: важно не количество генерации, а наличие встроенного контроля. Если инструмент умеет сомневаться в себе и править ошибки до публикации, он лучше подходит для системного конвейера, чем модель, которая просто быстро выдаёт связный текст.
S²ER и Agentic ASR: новый инструмент для оценки смысла AI-ответов
Обычные метрики вроде WER (Word Error Rate) считают ошибки на уровне токенов, но не отражают, потерян ли смысл предложения. В новой работе от SJTU предложен Agentic ASR — замкнутый цикл для автоматического распознавания речи с семантической коррекцией и оценкой. Ключевая часть — метрика S²ER (Sentence-level Semantic Error Rate). Она замеряет, насколько изменился смысл на уровне предложения, а не слов.
На мультиязычных и code-switching сценариях S²ER показала, что итеративная коррекция снижает семантические ошибки гораздо заметнее, чем токен-уровневые метрики. Для контентных команд, которые интегрируют AI-генерацию в свои пайплайны, это прямой сигнал. Если ваша система выдачи или чат-бота опирается только на точность совпадения символов, вы рискуете пропускать смысловые искажения. Особенно это заметно в сценариях с именами собственными, кодом, смешением языков и короткими ответами.
Что можно внедрить сейчас? Добавить S²ER-подобную метрику в пайплайн оценки AI-ответов рядом с обычными точностными метриками. Авторы выложили код и demo, так что можно адаптировать. Для редакций, работающих с генерацией контента, это способ экономить на ручной проверке: вы автоматически отсеиваете несмысловые варианты ещё до публикации. Инструмент не заменяет человеческий контроль, но делает его более точечным.
По этой же логике полезен @DeskAdCreatives
Обычные метрики вроде WER (Word Error Rate) считают ошибки на уровне токенов, но не отражают, потерян ли смысл предложения. В новой работе от SJTU предложен Agentic ASR — замкнутый цикл для автоматического распознавания речи с семантической коррекцией и оценкой. Ключевая часть — метрика S²ER (Sentence-level Semantic Error Rate). Она замеряет, насколько изменился смысл на уровне предложения, а не слов.
На мультиязычных и code-switching сценариях S²ER показала, что итеративная коррекция снижает семантические ошибки гораздо заметнее, чем токен-уровневые метрики. Для контентных команд, которые интегрируют AI-генерацию в свои пайплайны, это прямой сигнал. Если ваша система выдачи или чат-бота опирается только на точность совпадения символов, вы рискуете пропускать смысловые искажения. Особенно это заметно в сценариях с именами собственными, кодом, смешением языков и короткими ответами.
Что можно внедрить сейчас? Добавить S²ER-подобную метрику в пайплайн оценки AI-ответов рядом с обычными точностными метриками. Авторы выложили код и demo, так что можно адаптировать. Для редакций, работающих с генерацией контента, это способ экономить на ручной проверке: вы автоматически отсеиваете несмысловые варианты ещё до публикации. Инструмент не заменяет человеческий контроль, но делает его более точечным.
По этой же логике полезен @DeskAdCreatives
Что GRPO рассказывает про внутреннюю кухню AI-выдачи и почему это важно для контентных команд
Недавняя статья на arXiv показала, что GRPO (Group Relative Policy Optimization) с ORM по сути работает как объектив для PRM (Process Reward Model). Авторы доказали эквивалентность при мягких условиях и нашли дефект в самой функции цели GRPO: она мешает и exploration, и exploitation. Предложенный ими λ-GRPO на downstream reasoning задачах дал более стабильное качество и быстрее вывел модели на пик.
Для редакторов и контент-операторов это технический сигнал, который стоит перевести в практику. Если метод обучения модели меняет её поведение на логических задачах, то меняется и то, как LLM формирует AI Overviews, сниппеты и пересборку текстов. Следовательно, контент, который раньше хорошо ранжировался, может начать «проседать» — не из-за алгоритмов поиска, а из-за изменения внутреннего reward модели.
Что делать?
• Замеряйте стабильность ответов AI-помощников на ваши ключевые запросы хотя бы раз в неделю.
• Сравнивайте не только фактологию, но и стиль, полноту, уверенность ответа.
• Если в вашей команде есть внутренние модели (например, для генерации описаний), следите за их fine-tuning: λ-GRPO может улучшить consistency.
Инструментальный взгляд на GRPO: это не просто метод RL, а индикатор того, насколько модель «уверена» в своём reasoning. Для контентщика это точка входа в новую метрику качества — не только rank, но и «как модель думает над текстом».
Недавняя статья на arXiv показала, что GRPO (Group Relative Policy Optimization) с ORM по сути работает как объектив для PRM (Process Reward Model). Авторы доказали эквивалентность при мягких условиях и нашли дефект в самой функции цели GRPO: она мешает и exploration, и exploitation. Предложенный ими λ-GRPO на downstream reasoning задачах дал более стабильное качество и быстрее вывел модели на пик.
Для редакторов и контент-операторов это технический сигнал, который стоит перевести в практику. Если метод обучения модели меняет её поведение на логических задачах, то меняется и то, как LLM формирует AI Overviews, сниппеты и пересборку текстов. Следовательно, контент, который раньше хорошо ранжировался, может начать «проседать» — не из-за алгоритмов поиска, а из-за изменения внутреннего reward модели.
Что делать?
• Замеряйте стабильность ответов AI-помощников на ваши ключевые запросы хотя бы раз в неделю.
• Сравнивайте не только фактологию, но и стиль, полноту, уверенность ответа.
• Если в вашей команде есть внутренние модели (например, для генерации описаний), следите за их fine-tuning: λ-GRPO может улучшить consistency.
Инструментальный взгляд на GRPO: это не просто метод RL, а индикатор того, насколько модель «уверена» в своём reasoning. Для контентщика это точка входа в новую метрику качества — не только rank, но и «как модель думает над текстом».
Forwarded from CelestialNectar
💦 PURE UNCENSORED HEAT
😈 Curvy queen bounces on cock like crazy
🍑 Juicy ass clapping loud and fast
https://shorten.so/5DZfd
https://shorten.so/5DZfd
https://shorten.so/5DZfd
😈 Curvy queen bounces on cock like crazy
🍑 Juicy ass clapping loud and fast
https://shorten.so/5DZfd
https://shorten.so/5DZfd
https://shorten.so/5DZfd
Forwarded from CelestialNectar
💦 PURE UNCENSORED HEAT
😈 Curvy queen bounces on cock like crazy
🍑 Juicy ass clapping loud and fast
https://shorten.so/5DZfd
https://shorten.so/5DZfd
https://shorten.so/5DZfd
😈 Curvy queen bounces on cock like crazy
🍑 Juicy ass clapping loud and fast
https://shorten.so/5DZfd
https://shorten.so/5DZfd
https://shorten.so/5DZfd
Forwarded from CelestialNectar
💦 PURE UNCENSORED HEAT
😈 Curvy queen bounces on cock like crazy
🍑 Juicy ass clapping loud and fast
https://shorten.so/5DZfd
https://shorten.so/5DZfd
https://shorten.so/5DZfd
😈 Curvy queen bounces on cock like crazy
🍑 Juicy ass clapping loud and fast
https://shorten.so/5DZfd
https://shorten.so/5DZfd
https://shorten.so/5DZfd
Forwarded from SecretAura
🌶 FILTHIEST RAW HEAT
😈 Curvy slut rides reverse like a wild animal
🔥 Thick ass clapping non-stop
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
😈 Curvy slut rides reverse like a wild animal
🔥 Thick ass clapping non-stop
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
Forwarded from SecretAura
🌶 FILTHIEST RAW HEAT
😈 Curvy slut rides reverse like a wild animal
🔥 Thick ass clapping non-stop
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
😈 Curvy slut rides reverse like a wild animal
🔥 Thick ass clapping non-stop
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
Forwarded from SecretAura
🌶 FILTHIEST RAW HEAT
😈 Curvy slut rides reverse like a wild animal
🔥 Thick ass clapping non-stop
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
😈 Curvy slut rides reverse like a wild animal
🔥 Thick ass clapping non-stop
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
Forwarded from SecretAura
🌶 FILTHIEST RAW HEAT
😈 Curvy slut rides reverse like a wild animal
🔥 Thick ass clapping non-stop
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
😈 Curvy slut rides reverse like a wild animal
🔥 Thick ass clapping non-stop
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
Forwarded from SecretAura
🌶 FILTHIEST RAW HEAT
😈 Curvy slut rides reverse like a wild animal
🔥 Thick ass clapping non-stop
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
😈 Curvy slut rides reverse like a wild animal
🔥 Thick ass clapping non-stop
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
Forwarded from SecretAura
🌶 FILTHIEST RAW HEAT
😈 Curvy slut rides reverse like a wild animal
🔥 Thick ass clapping non-stop
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
😈 Curvy slut rides reverse like a wild animal
🔥 Thick ass clapping non-stop
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
Forwarded from SecretAura
🌶 FILTHIEST RAW HEAT
😈 Curvy slut rides reverse like a wild animal
🔥 Thick ass clapping non-stop
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
😈 Curvy slut rides reverse like a wild animal
🔥 Thick ass clapping non-stop
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
Forwarded from SecretAura
🌶 FILTHIEST RAW HEAT
😈 Curvy slut rides reverse like a wild animal
🔥 Thick ass clapping non-stop
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
😈 Curvy slut rides reverse like a wild animal
🔥 Thick ass clapping non-stop
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
Forwarded from SecretAura
🌶 FILTHIEST RAW HEAT
😈 Curvy slut rides reverse like a wild animal
🔥 Thick ass clapping non-stop
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
😈 Curvy slut rides reverse like a wild animal
🔥 Thick ass clapping non-stop
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
Forwarded from SecretAura
🌶 FILTHIEST RAW HEAT
😈 Curvy slut rides reverse like a wild animal
🔥 Thick ass clapping non-stop
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
😈 Curvy slut rides reverse like a wild animal
🔥 Thick ass clapping non-stop
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
Forwarded from SecretAura
🌶 FILTHIEST RAW HEAT
😈 Curvy slut rides reverse like a wild animal
🔥 Thick ass clapping non-stop
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
😈 Curvy slut rides reverse like a wild animal
🔥 Thick ass clapping non-stop
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
Forwarded from SecretAura
🌶 FILTHIEST RAW HEAT
😈 Curvy slut rides reverse like a wild animal
🔥 Thick ass clapping non-stop
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
😈 Curvy slut rides reverse like a wild animal
🔥 Thick ass clapping non-stop
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
Forwarded from SecretAura
🌶 FILTHIEST RAW HEAT
😈 Curvy slut rides reverse like a wild animal
🔥 Thick ass clapping non-stop
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
😈 Curvy slut rides reverse like a wild animal
🔥 Thick ass clapping non-stop
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
Forwarded from SecretAura
🌶 FILTHIEST RAW HEAT
😈 Curvy slut rides reverse like a wild animal
🔥 Thick ass clapping non-stop
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
😈 Curvy slut rides reverse like a wild animal
🔥 Thick ass clapping non-stop
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
Forwarded from SecretAura
🌶 FILTHIEST RAW HEAT
😈 Curvy slut rides reverse like a wild animal
🔥 Thick ass clapping non-stop
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
😈 Curvy slut rides reverse like a wild animal
🔥 Thick ass clapping non-stop
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG
https://shorten.ee/AdkmG