Forwarded from Machinelearning
Google представила g-AMIE (guardrailed-AMIE) — расширенную версию своей исследовательской системы AMIE, которая работает в паре с врачом по принципу асинхронного надзора.
Идея проста: ИИ собирает анамнез, а врач принимает решения. Для этого была разработана многоагентная система на базе Gemini 2.0 Flash и специальный веб-интерфейс "кабинет врача"
Агент-диалог ведёт беседу с пациентом, собирая информацию. Его работа делится на 3 фазы: общий сбор анамнеза, целенаправленная проверка первоначального дифференциального диагноза и заключительная фаза с ответами на вопросы пациента.Агент-ограничитель следит за тем, чтобы агент-диалог не давал никаких индивидуальных медицинских советов, диагнозов или планов лечения, при необходимости перефразируя его ответы.Агент SOAP-записи генерирует подробную медицинскую карту в популярном формате SOAP, разделяя задачи предварительных итогов (жалобы пациента, объективные данные) и вывода (оценка и план лечения).После сбора анамнеза сгенерированная SOAP-запись и черновик заключения отправляются на проверку врачу через «кабинет врача». Врач может редактировать документы и либо одобрить отправку сообщения, либо принять решение о необходимости очной консультации.
Чтобы оценить эффективность такого подхода, было проведено рандомизированное слепое исследование в формате виртуального объективного структурированного клинического экзамена (ОСКЭ) на 60 клинических сценариях.
В исследовании участвовали пациенты, g-AMIE и 2 контрольные группы: врачи общей практики и медсестры-практики/ассистенты врачей. Обеим человеческим группам было предписано работать в тех же ограничениях, что и g-AMIE, то есть только собирать анамнез без предоставления советов. Затем их SOAP-записи и проекты сообщений оценивались группой опытных врачей-наблюдателей.
Во-первых, g-AMIE успешно справился с задачей и ни разу не был уличён в предоставлении индивидуальных медицинских советов.
Во-вторых, его способность извлекать ключевую информацию из беседы с пациентом была оценена выше, чем у обеих контрольных групп. SOAP-записи, сгенерированные g-AMIE, были признаны более полными, точными и читаемыми.
Врачи-наблюдатели чаще предпочитали работать с записями от ИИ и с большей вероятностью одобряли составленные им сообщения для пациентов.
Более того, дифференциальные диагнозы и планы лечения, основанные на данных от g-AMIE, были оценены как более адекватные.
g-AMIE оказался более "многословным", что, с одной стороны, способствовало лучшему установлению контакта с пациентом (тестовые пациенты отметили его эмпатию), но с другой — приводило к более длительному времени проверки записей врачами.
Во-вторых, хотя в записях g-AMIE и встречались галлюцинации, их частота была сопоставима с ошибками памяти у людей.
Интересно, что медсестры и ассистенты врачей показали себя лучше, чем врачи общей практики, как в сборе анамнеза, так и в соблюдении ограничений.
Авторы объясняют это тем, что врачи не привыкли воздерживаться от советов во время консультации и их стандартный рабочий процесс был нарушен. Поэтому результаты не следует интерпретировать как прямое превосходство ИИ над клиницистами в реальном мире, так как люди не были обучены работать в этой новой парадигме.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4❤2🔥2🥰1
🧠 Как снизить самоуверенность LLM-«судей»
Проблема:
Модели, которые сравнивают ответы и выбирают лучший, часто завышают уверенность — 90–100%, при том что реальная точность ниже.
Что проверили:
- 14 моделей, задача — сравнить два ответа и выбрать лучший.
- Метрики уверенности:
1. Самооценка (0–100)
2. Доля голосов «за» в 10 прогонах
3. Внутренняя вероятность выбора A или B
Выяснили, что популярная метрика *Expected Calibration Error* плохо ловит проблемы на крайних значениях уверенности.
Новое решение:
- TH-Score — отдельно считает точность в зоне высокой и низкой уверенности, плюс учитывает, как часто такие случаи встречаются.
- LLM-as-a-Fuser — модель, которая читает решения нескольких «судей» и их короткие комментарии, а потом выдает единый вердикт с уверенностью. Работает лучше, чем простое большинство или взвешенное голосование, потому что учитывает причины выбора.
Результаты:
- Qwen3-235B-A22B как fuser: 86,29% точности, ошибка калибровки — 6,42%
- Mistral-Nemo: точность выросла с 20,29% → 67,43%, ошибка упала с 74,22% → 20,49%
Вывод:
- Высокоуверенные решения можно брать автоматически
- Низкоуверенные — отправлять на пересмотр
- Для стабильных итогов — использовать fuser
📌 Подробнее
Проблема:
Модели, которые сравнивают ответы и выбирают лучший, часто завышают уверенность — 90–100%, при том что реальная точность ниже.
Что проверили:
- 14 моделей, задача — сравнить два ответа и выбрать лучший.
- Метрики уверенности:
1. Самооценка (0–100)
2. Доля голосов «за» в 10 прогонах
3. Внутренняя вероятность выбора A или B
Выяснили, что популярная метрика *Expected Calibration Error* плохо ловит проблемы на крайних значениях уверенности.
Новое решение:
- TH-Score — отдельно считает точность в зоне высокой и низкой уверенности, плюс учитывает, как часто такие случаи встречаются.
- LLM-as-a-Fuser — модель, которая читает решения нескольких «судей» и их короткие комментарии, а потом выдает единый вердикт с уверенностью. Работает лучше, чем простое большинство или взвешенное голосование, потому что учитывает причины выбора.
Результаты:
- Qwen3-235B-A22B как fuser: 86,29% точности, ошибка калибровки — 6,42%
- Mistral-Nemo: точность выросла с 20,29% → 67,43%, ошибка упала с 74,22% → 20,49%
Вывод:
- Высокоуверенные решения можно брать автоматически
- Низкоуверенные — отправлять на пересмотр
- Для стабильных итогов — использовать fuser
📌 Подробнее
❤4👍2
This media is not supported in your browser
VIEW IN TELEGRAM
Теперь нас можно заменили на роботов 🤖
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7😁7👍4🔥1
Технологическая платформа Авито вошла в тройку лучших работодателей для айтишников, работающих с ИИ и данными.
DevCrowd, занимающаяся исследованиями IT-отрасли, выкатила итоги нового исследования Data-специалистов и составила рейтинг компаний, наиболее привлекательных для тех, кто работает с ИИ и данными. Технологическая платформа Авито заняла второе место и обошла таких гигантов, как Сбер, МТС и OZON.
DevCrowd в рамках исследования опрашивала специалистов, которые занимаются разработкой и обучением умных алгоритмов – data scientists, ML-инженеры, дата-инженеры и аналитики. Почти половина респондентов (46,8%) ответили, что именно Авито видят компанией мечты. Среди преимуществ, по которым специалисты выбирают работодателей, назвали интересные рабочие задачи, высокую зарплату по рынку и перспективы построения карьеры.
Авито продолжает инвестировать в ИИ-технологии. За три года платформа планирует вложить в направление более 12 миллиардов рублей.
🤍 Подпишитесь на полезные каналы Авито
DevCrowd, занимающаяся исследованиями IT-отрасли, выкатила итоги нового исследования Data-специалистов и составила рейтинг компаний, наиболее привлекательных для тех, кто работает с ИИ и данными. Технологическая платформа Авито заняла второе место и обошла таких гигантов, как Сбер, МТС и OZON.
DevCrowd в рамках исследования опрашивала специалистов, которые занимаются разработкой и обучением умных алгоритмов – data scientists, ML-инженеры, дата-инженеры и аналитики. Почти половина респондентов (46,8%) ответили, что именно Авито видят компанией мечты. Среди преимуществ, по которым специалисты выбирают работодателей, назвали интересные рабочие задачи, высокую зарплату по рынку и перспективы построения карьеры.
Авито продолжает инвестировать в ИИ-технологии. За три года платформа планирует вложить в направление более 12 миллиардов рублей.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3😁2👍1🔥1
Forwarded from Machinelearning
Что она умеет:
-
- Автоматическая пунктуация, капитализация и точные таймстампы до слова.
- Поддержка русского, французского, немецкого, испанского и многих других языков.
Чем интересна
- До 10× быстрее инференс, чем у моделей в 3 раза больше.
- Уже показывает state-of-the-art точность среди открытых моделей на Hugging Face.
- Лицензия CC-BY-4.0 — можно свободно использовать в проектах.
Под капотом:
- Архитектура: FastConformer-энкодер + Transformer-декодер (~978M параметров).
- Форматы:
.wav и .flac, моно 16 кГц. - Легко интегрируется через NVIDIA NeMo или прямо с Hugging Face.
Где пригодится:
Всего ~978M параметров → легче, быстрее и дешевле в использовании, чем большие модели конкурентов.
@ai_machinelearning_big_data
#AI #NVIDIA #SpeechRecognition #ASR #AST #Multilingual #MachineLearning #DeepLearning
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2👍1
♟️ UC Berkeley: RL чуть улучшает шахматную тактику LLM, но не учит стратегии
В работе обучали Qwen2.5 3B и 7B, а также Llama3.1 8B с Group Relative Policy Optimization. Каждое действие оценивалось с помощью заранее обученного «шахматного критика» — трансформера на 270M параметров, натренированного на 15 млрд позиций со Stockfish-оценками. Такой критик даёт плотную (dense) и градуированную награду — не просто «верно/неверно», а вероятность победы.
📈 Результаты
- Dense-награда ускоряет обучение и даёт лучшие результаты, чем чистый supervised fine tuning.
- Но точность на шахматных задачах упирается в 25–30% (против 66.5% у 1800 ELO), вне зависимости от модели.
- Добавление reasoning-трейсов от более сильной модели при SFT потолок не пробивает, а иногда даже ухудшает результат.
🔍 Почему потолок
- Модели не могут надёжно «держать в голове» позицию и применять базовую тактику.
- В тестах: на задаче обновления доски — 0.0% у всех, на задаче «мат в 1» (2 варианта ответа) — Instruct-модели ~52%, базовые — 12.7–42.7%.
⚙️ Анализ
- Моделям нужно «ведение за руку» — без списка легальных ходов обучение рушится.
- SAN (Standard Algebraic Notation) лучше UCI, формат FEN vs PGN не влияет.
💡 Вывод
RL в основном усиливает то, что уже есть после предобучения. Без глубоких шахматных знаний на этапе пре-трейна LLM не способны строить стабильные долгосрочные планы.
https://arxiv.org/abs/2507.00726
В работе обучали Qwen2.5 3B и 7B, а также Llama3.1 8B с Group Relative Policy Optimization. Каждое действие оценивалось с помощью заранее обученного «шахматного критика» — трансформера на 270M параметров, натренированного на 15 млрд позиций со Stockfish-оценками. Такой критик даёт плотную (dense) и градуированную награду — не просто «верно/неверно», а вероятность победы.
📈 Результаты
- Dense-награда ускоряет обучение и даёт лучшие результаты, чем чистый supervised fine tuning.
- Но точность на шахматных задачах упирается в 25–30% (против 66.5% у 1800 ELO), вне зависимости от модели.
- Добавление reasoning-трейсов от более сильной модели при SFT потолок не пробивает, а иногда даже ухудшает результат.
🔍 Почему потолок
- Модели не могут надёжно «держать в голове» позицию и применять базовую тактику.
- В тестах: на задаче обновления доски — 0.0% у всех, на задаче «мат в 1» (2 варианта ответа) — Instruct-модели ~52%, базовые — 12.7–42.7%.
⚙️ Анализ
- Моделям нужно «ведение за руку» — без списка легальных ходов обучение рушится.
- SAN (Standard Algebraic Notation) лучше UCI, формат FEN vs PGN не влияет.
💡 Вывод
RL в основном усиливает то, что уже есть после предобучения. Без глубоких шахматных знаний на этапе пре-трейна LLM не способны строить стабильные долгосрочные планы.
https://arxiv.org/abs/2507.00726
❤2👍2
Forwarded from Machinelearning
🐋 Гигантский кит приплыл к нам!
🚀 DeepSeek обновился до V3.1.
Следите за новостями, волна только набирает силу.
✨ Новый LLM: deepseek-ai/DeepSeek-V3.1-Base
⚡ 685B параметров
📏 Контекстное окно 128k
https://huggingface.co/deepseek-ai/DeepSeek-V3.1-Base
@ai_machinelearning_big_data
#DeepSeek #AI #LLM #V3_1 #MachineLearning
🚀 DeepSeek обновился до V3.1.
Следите за новостями, волна только набирает силу.
✨ Новый LLM: deepseek-ai/DeepSeek-V3.1-Base
⚡ 685B параметров
📏 Контекстное окно 128k
https://huggingface.co/deepseek-ai/DeepSeek-V3.1-Base
@ai_machinelearning_big_data
#DeepSeek #AI #LLM #V3_1 #MachineLearning
❤6🔥4👍2
🧠 Reasoning — это не «да/нет».
Сегодня почти все LLM обучены на схожих RL-техниках. Разница не в том, есть reasoning или нет, а в том, сколько усилий модель тратит на рассуждения.
🔎 Примеры:
- Claude — многие называют «non-reasoning», но именно они первыми ввели спец-токены и режим *«thinking deeply, stand by…»*.
- DeepSeek v3.1 тоже явно тратит токены на рассуждения, просто это пока не так очевидно.
- GPT-5 в thinking-режиме выдаёт лучшие результаты, используя почти в 2 раза меньше токенов, чем o3.
⚡ Ключ — токены на ответ. Их редко показывают, но именно они отражают реальное «усилие reasoning».
R1-0528 и Qwen подняли метрики за счёт увеличения reasoning-токенов, но это не всегда полезно для юзера.
👉 Правильный взгляд: reasoning = спектр.
Цена и ценность модели = активные параметры × число reasoning-токенов.
#AI #LLM #reasoning #benchmarks
Сегодня почти все LLM обучены на схожих RL-техниках. Разница не в том, есть reasoning или нет, а в том, сколько усилий модель тратит на рассуждения.
🔎 Примеры:
- Claude — многие называют «non-reasoning», но именно они первыми ввели спец-токены и режим *«thinking deeply, stand by…»*.
- DeepSeek v3.1 тоже явно тратит токены на рассуждения, просто это пока не так очевидно.
- GPT-5 в thinking-режиме выдаёт лучшие результаты, используя почти в 2 раза меньше токенов, чем o3.
⚡ Ключ — токены на ответ. Их редко показывают, но именно они отражают реальное «усилие reasoning».
R1-0528 и Qwen подняли метрики за счёт увеличения reasoning-токенов, но это не всегда полезно для юзера.
👉 Правильный взгляд: reasoning = спектр.
Цена и ценность модели = активные параметры × число reasoning-токенов.
#AI #LLM #reasoning #benchmarks
❤3👍2🔥2
🔥 Работаете с данными, но избегаете текстов? Тогда пора восполнить пробел — без NLP в современном ML уже не обойтись. Этот курс — не просто теория про трансформеры и word2vec. Это реальная практика:
✅ Создадите телеграм-бота
✅ Научитесь парсить данные
✅ Освоите Langchain и построите систему NER или Q&A.
Вы будете разбираться в архитектурах моделей вроде BERT и GPT, а не просто применять их вслепую. Всё обучение — на живых лекциях от экспертов, с акцентом на русский язык и современные методы. Диплом Otus ценится в индустрии, а знания пригодятся — от CV до продакшн-задач. Осталось только пройти короткое тестирование и получить скидку. Старт совсем скоро — не упустите возможность: https://otus.pw/SSfu9/?erid=2W5zFJdM6Up
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
✅ Создадите телеграм-бота
✅ Научитесь парсить данные
✅ Освоите Langchain и построите систему NER или Q&A.
Вы будете разбираться в архитектурах моделей вроде BERT и GPT, а не просто применять их вслепую. Всё обучение — на живых лекциях от экспертов, с акцентом на русский язык и современные методы. Диплом Otus ценится в индустрии, а знания пригодятся — от CV до продакшн-задач. Осталось только пройти короткое тестирование и получить скидку. Старт совсем скоро — не упустите возможность: https://otus.pw/SSfu9/?erid=2W5zFJdM6Up
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
🌟 TabPFN — трансформер для быстрого анализа табличных данных. Этот проект предлагает альтернативу традиционным методам машинного обучения для работы с табличными данными. Модель демонстрирует впечатляющую скорость — решает задачи классификации и регрессии за секунды, даже на небольших датасетах.
Сервис обладает минимальной потребностью в настройке гиперпараметров. Достаточно установить пакет через pip, и модель готова к работе. Для максимальной точности разработчики рекомендуют использовать AutoTabPFN с автоматическим ансамблированием.
🤖 GitHub
@machinelearning_ru
Сервис обладает минимальной потребностью в настройке гиперпараметров. Достаточно установить пакет через pip, и модель готова к работе. Для максимальной точности разработчики рекомендуют использовать AutoTabPFN с автоматическим ансамблированием.
🤖 GitHub
@machinelearning_ru
❤5👍3🔥1
⚡️ Библиотека EasyOCR для распознавания текста на картинках
Поддерживает 80+ языков.
Выдаёт результат в виде списка, каждый элемент которого представляет собой координаты ограничивающей рамки, обнаруженный текст и уровень уверенности модели.
Установка:
🟢 Репозиторий
@machinelearning_ru
Поддерживает 80+ языков.
Выдаёт результат в виде списка, каждый элемент которого представляет собой координаты ограничивающей рамки, обнаруженный текст и уровень уверенности модели.
Установка:
pip install easyocr@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5