Baidu открыла Unlimited OCR 2 - модель для распознавания документов на сотни страниц без постоянного роста затрат на каждый следующий токен.
Она обрабатывает многостраничный документ с учётом контекста между страницами.
В основе – Sparse Reference Sliding Window Attention (SR-SWA): модель обращается к небольшому набору наиболее нужных визуальных данных. Механизм Unlimited-Horizon Decoding освобождает участки KV-кэша, которые больше не нужны.
Это позволяет сохранять почти постоянные задержку и расход памяти на каждом шаге генерации, даже когда документ становится длиннее.
По результатам авторов:
- На документах из 100 страниц декодирование на один шаг быстрее в 7 раз, чем с полным вниманием, и в 5,6 раза, чем с R-SWA.
- Высокая точность разбора сохраняется на документах до 300 страниц.
- Модель показывает лучшие результаты на MPDocBench и MarathonDocBench.
Ускорение относится к отдельному шагу декодирования, а не ко времени обработки всего документа.
Доступны запуск через Transformers и SGLang, код опубликован под лицензией MIT.
https://github.com/baidu/Unlimited-OCR
Она обрабатывает многостраничный документ с учётом контекста между страницами.
В основе – Sparse Reference Sliding Window Attention (SR-SWA): модель обращается к небольшому набору наиболее нужных визуальных данных. Механизм Unlimited-Horizon Decoding освобождает участки KV-кэша, которые больше не нужны.
Это позволяет сохранять почти постоянные задержку и расход памяти на каждом шаге генерации, даже когда документ становится длиннее.
По результатам авторов:
- На документах из 100 страниц декодирование на один шаг быстрее в 7 раз, чем с полным вниманием, и в 5,6 раза, чем с R-SWA.
- Высокая точность разбора сохраняется на документах до 300 страниц.
- Модель показывает лучшие результаты на MPDocBench и MarathonDocBench.
Ускорение относится к отдельному шагу декодирования, а не ко времени обработки всего документа.
Доступны запуск через Transformers и SGLang, код опубликован под лицензией MIT.
https://github.com/baidu/Unlimited-OCR
❤54👍54👏53🔥50💯41🎉40🤔39😁38
inclusionAI открыла две версии Ling: обновлённую модель для агентов и базовые веса для дообучения. Обе – под MIT.
Ling-3.1-flash-1019 получила улучшения рассуждений и многошаговой работы с инструментами.
Характеристики: 560 млрд параметров, 25 млрд активных на токен и контекст 1 млн токенов. Гибридная MoE-архитектура сочетает линейное внимание KDA и Gated MLA.
По данным команды, относительно предыдущей версии:
- AutomationBench-AA: с 62% до 68%.
- CritPt: с 18% до 26%.
- SciCode: с 54% до 57%.
- Artificial Analysis Intelligence Index: с 41 до 44.
Ling-3.1-flash-base – базовый чекпойнт той же архитектуры для продолжения предобучения, адаптации под предметную область, SFT, обучения с подкреплением и исследований дистилляции.
Базовая версия опубликована в BF16, хотя обучение проводилось в FP8. Для непосредственного использования в качестве чат-ассистента она не предназначена.
Для запуска обновлённой модели доступны инструкции под SGLang и vLLM.
Обновлённая модель: https://huggingface.co/inclusionAI/Ling-3.1-flash-1019
Базовые веса: https://huggingface.co/inclusionAI/Ling-3.1-flash-base
Ling-3.1-flash-1019 получила улучшения рассуждений и многошаговой работы с инструментами.
Характеристики: 560 млрд параметров, 25 млрд активных на токен и контекст 1 млн токенов. Гибридная MoE-архитектура сочетает линейное внимание KDA и Gated MLA.
По данным команды, относительно предыдущей версии:
- AutomationBench-AA: с 62% до 68%.
- CritPt: с 18% до 26%.
- SciCode: с 54% до 57%.
- Artificial Analysis Intelligence Index: с 41 до 44.
Ling-3.1-flash-base – базовый чекпойнт той же архитектуры для продолжения предобучения, адаптации под предметную область, SFT, обучения с подкреплением и исследований дистилляции.
Базовая версия опубликована в BF16, хотя обучение проводилось в FP8. Для непосредственного использования в качестве чат-ассистента она не предназначена.
Для запуска обновлённой модели доступны инструкции под SGLang и vLLM.
Обновлённая модель: https://huggingface.co/inclusionAI/Ling-3.1-flash-1019
Базовые веса: https://huggingface.co/inclusionAI/Ling-3.1-flash-base
👍24😁20🔥19❤17🤔15🎉12💯12👏5
Liquid AI представила LFM3 – шесть компактных моделей для текста, изображений, видео и звука с открытыми весами.
Первый выпуск – модели примерно на 2 млрд параметров, рассчитанные на локальный запуск и дообучение под конкретные задачи.
Что внутри:
- LFM3-1.7B – текстовая модель для агентов с контекстом 256K. Веса в 4-битном формате занимают около 1 ГБ.
- LFM3-VL-2B – работа с изображениями и видео, документами, графиками и интерфейсами.
- LFM3-Audio-2B – распознавание, генерация и перевод речи на 18 языках, понимание звуков и вызов инструментов.
- LFM3-Omni-2B – объединяет зрение, слух и голосовые ответы.
- d1-2B и d1-Omni-2B – модели для структурированных решений: классификации, извлечения данных, поиска объектов и оценки вероятностей.
Архитектура сочетает короткие свёртки, скользящее и глобальное внимание. Базовая модель обучена на 22 трлн токенов.
По оценке команды, LFM3-1.7B превосходит LFM2.5-2.6B при числе параметров на 35% меньше. На SWE-bench Verified результат вырос с 18% до 43,4%, на BFCL V4 – с 55,89 до 71,39.
Все модели можно дообучать на одной GPU, заявляют разработчики. Доступны базовые и дообученные веса, Playground и API.
> Blog: http://liquid.ai/blog/lfm3
> Docs: http://docs.liquid.ai
> Open weights: http://huggingface.co/collections/LiquidAI/lfm3
> Playground: http://playground.liquid.ai
> API: http://console.liquid.ai
> Pipette: http://pipette.liquid.ai
> Get in touch for custom fine-tuning: http://liquid.ai/connect
Первый выпуск – модели примерно на 2 млрд параметров, рассчитанные на локальный запуск и дообучение под конкретные задачи.
Что внутри:
- LFM3-1.7B – текстовая модель для агентов с контекстом 256K. Веса в 4-битном формате занимают около 1 ГБ.
- LFM3-VL-2B – работа с изображениями и видео, документами, графиками и интерфейсами.
- LFM3-Audio-2B – распознавание, генерация и перевод речи на 18 языках, понимание звуков и вызов инструментов.
- LFM3-Omni-2B – объединяет зрение, слух и голосовые ответы.
- d1-2B и d1-Omni-2B – модели для структурированных решений: классификации, извлечения данных, поиска объектов и оценки вероятностей.
Архитектура сочетает короткие свёртки, скользящее и глобальное внимание. Базовая модель обучена на 22 трлн токенов.
По оценке команды, LFM3-1.7B превосходит LFM2.5-2.6B при числе параметров на 35% меньше. На SWE-bench Verified результат вырос с 18% до 43,4%, на BFCL V4 – с 55,89 до 71,39.
Все модели можно дообучать на одной GPU, заявляют разработчики. Доступны базовые и дообученные веса, Playground и API.
> Blog: http://liquid.ai/blog/lfm3
> Docs: http://docs.liquid.ai
> Open weights: http://huggingface.co/collections/LiquidAI/lfm3
> Playground: http://playground.liquid.ai
> API: http://console.liquid.ai
> Pipette: http://pipette.liquid.ai
> Get in touch for custom fine-tuning: http://liquid.ai/connect
❤25👍24🔥20😁16💯14👏13🤔13🎉9
Google предложила «сон» для языковых моделей – отдельный этап, на котором ИИ закрепляет новые знания и тренируется на собственных примерах.
Проблема непрерывного обучения – катастрофическое забывание: усваивая новую информацию, модель может потерять ранее освоенные навыки. А знания из контекстного окна сами по себе не становятся постоянной памятью.
В SLEEP чередуются два режима:
Бодрствование: модель взаимодействует с входными данными и сохраняет информацию в краткосрочной памяти.
Сон: приём новых данных приостанавливается. Модель активирует дополнительные блоки памяти MoE и переносит знания в их веса, уменьшая вмешательство в уже закреплённую информацию. После этого временная память освобождается.
Есть и этап «сновидений»: случайные сочетания экспертов генерируют тренировочные примеры. Система отбирает наиболее полезные и использует их для дальнейшего обучения.
Что показали эксперименты команды:
- BABILong: работа с информацией из последовательностей до 10 млн токенов через её закрепление в параметрах.
- Последовательное обучение переводу: почти нулевое падение результатов на ранее изученных языках.
- Математика: точность 79,2% на AIME 2024 и 69% на AIME 2025.
«Сон» здесь – управляемый цикл дообучения по заданным исследователями правилам. Архитектура и код модели остаются фиксированными.
https://research.google/blog/the-sleep-framework-a-new-way-for-llms-to-retain-knowledge-in-continual-learning/
@data_analysis_ml
Проблема непрерывного обучения – катастрофическое забывание: усваивая новую информацию, модель может потерять ранее освоенные навыки. А знания из контекстного окна сами по себе не становятся постоянной памятью.
В SLEEP чередуются два режима:
Бодрствование: модель взаимодействует с входными данными и сохраняет информацию в краткосрочной памяти.
Сон: приём новых данных приостанавливается. Модель активирует дополнительные блоки памяти MoE и переносит знания в их веса, уменьшая вмешательство в уже закреплённую информацию. После этого временная память освобождается.
Есть и этап «сновидений»: случайные сочетания экспертов генерируют тренировочные примеры. Система отбирает наиболее полезные и использует их для дальнейшего обучения.
Что показали эксперименты команды:
- BABILong: работа с информацией из последовательностей до 10 млн токенов через её закрепление в параметрах.
- Последовательное обучение переводу: почти нулевое падение результатов на ранее изученных языках.
- Математика: точность 79,2% на AIME 2024 и 69% на AIME 2025.
«Сон» здесь – управляемый цикл дообучения по заданным исследователями правилам. Архитектура и код модели остаются фиксированными.
https://research.google/blog/the-sleep-framework-a-new-way-for-llms-to-retain-knowledge-in-continual-learning/
@data_analysis_ml
🔥34👏19👍14😁14💯14🎉11❤7🤔6❤🔥2
Media is too big
VIEW IN TELEGRAM
Ричард Фейнман обсуждал проблемы ИИ ещё в 1985 году. И сегодня это звучит удивительно знакомо
В этом видео физик отвечает на вопрос: смогут ли машины думать и стать умнее людей?
Фейнман предлагает сначала разобраться, что именно мы называем интеллектом. Компьютер уже превосходит человека в одних задачах и уступает в других. При этом от машины мы почему-то требуем победить лучших специалистов, даже если сами справляемся гораздо хуже.
Но самая интересная часть - история программы, которая искала полезные правила решения задач. Однажды она обнаружила способ получать высокую оценку: присваивать баллы собственному правилу, вместо того чтобы делать полезную работу.
Сегодня подобное называют *reward hacking*: система находит лазейку в оценке и оптимизирует показатель, обходя замысел разработчика. История Фейнмана хорошо иллюстрирует эту проблему.
Спустя 40 лет вопрос всё тот же: как убедиться, что машина решает задачу, а не учится выглядеть успешной?
https://www.youtube.com/watch?v=ipRvjS7q1DI
В этом видео физик отвечает на вопрос: смогут ли машины думать и стать умнее людей?
Фейнман предлагает сначала разобраться, что именно мы называем интеллектом. Компьютер уже превосходит человека в одних задачах и уступает в других. При этом от машины мы почему-то требуем победить лучших специалистов, даже если сами справляемся гораздо хуже.
Но самая интересная часть - история программы, которая искала полезные правила решения задач. Однажды она обнаружила способ получать высокую оценку: присваивать баллы собственному правилу, вместо того чтобы делать полезную работу.
Сегодня подобное называют *reward hacking*: система находит лазейку в оценке и оптимизирует показатель, обходя замысел разработчика. История Фейнмана хорошо иллюстрирует эту проблему.
Спустя 40 лет вопрос всё тот же: как убедиться, что машина решает задачу, а не учится выглядеть успешной?
https://www.youtube.com/watch?v=ipRvjS7q1DI
❤27👍24👏12😁12🤔12🎉11💯11🔥9❤🔥3⚡1
This media is not supported in your browser
VIEW IN TELEGRAM
Мы? Кто мы? Нет никаких мы
😁31🔥11👏9💯9👍7❤🔥6❤6🤔5🎉5🤣2
⚡ Студенты ШАДа и исследователи Яндекса выпустили MTGBench - бенчмарк для оценки рассуждений ИИ в текстовых задачах
Он проверяет, учитывает ли модель новые вводные по ходу диалога и не противоречит ли своим прежним шагам. Внутри 7 текстовых игр на русском и английском. Оценивается и ответ, и число шагов до него.
Что показал прогон 16 моделей:
🟢 Reasoning уместен не везде. Сильнее всего он помогает в задачах с буквами и отсевом вариантов, слабее в задачах на знания и смысл.
🟢 Высокий балл в одной игре не гарантирует успех в другой.
🟢 На русском модели справляются хуже, особенно в буквенных играх.
🟢 Сильнейшие модели с reasoning обошли людей по среднему баллу во всех семи играх.
Статья уже в Findings EMNLP 2026.
🖥 GitHub
@data_analysis_ml
Он проверяет, учитывает ли модель новые вводные по ходу диалога и не противоречит ли своим прежним шагам. Внутри 7 текстовых игр на русском и английском. Оценивается и ответ, и число шагов до него.
Что показал прогон 16 моделей:
Статья уже в Findings EMNLP 2026.
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤15👍12🔥12🤣11👏7🎉7💯7😁6🤔4
🔥️️️️️️ GeForce можно ускорить в ИИ-задачах без замены видеокарты: появился gpu-unlock
Автор проекта заявляет, что инструмент снимает ограничение производительности Tensor Cores в операциях FP16, BF16 и TF32 с накоплением в FP32.
Разблокировка применяется при загрузке Linux, до запуска штатного драйвера NVIDIA. Прошивать VBIOS или устанавливать модифицированный драйвер не требуется.
По опубликованным в репозитории замерам:
- Обработка промпта LLM: прирост 25–55%.
- Дообучение моделей: 25–50%.
- Генерация изображений: 30–55%.
- Генерация токенов, ограниченная пропускной способностью памяти: без изменений.
Обещанные «до 2×» относятся к отдельным тензорным вычислениям, а не к скорости любой нейросети. Для квантованных GGUF в llama.cpp и Ollama указан более скромный выигрыш: 0–15%.
RTX 30 отмечены как стабильные, RTX 20 и RTX 40 поддерживаются экспериментально. RTX 50 не поддерживаются. Проект работает в Linux.
Цифры приведены автором и участниками проекта: результат зависит от модели, нагрузки и лимита мощности видеокарты.
https://github.com/Zagitta/gpu-unlock
Автор проекта заявляет, что инструмент снимает ограничение производительности Tensor Cores в операциях FP16, BF16 и TF32 с накоплением в FP32.
Разблокировка применяется при загрузке Linux, до запуска штатного драйвера NVIDIA. Прошивать VBIOS или устанавливать модифицированный драйвер не требуется.
По опубликованным в репозитории замерам:
- Обработка промпта LLM: прирост 25–55%.
- Дообучение моделей: 25–50%.
- Генерация изображений: 30–55%.
- Генерация токенов, ограниченная пропускной способностью памяти: без изменений.
Обещанные «до 2×» относятся к отдельным тензорным вычислениям, а не к скорости любой нейросети. Для квантованных GGUF в llama.cpp и Ollama указан более скромный выигрыш: 0–15%.
RTX 30 отмечены как стабильные, RTX 20 и RTX 40 поддерживаются экспериментально. RTX 50 не поддерживаются. Проект работает в Linux.
Цифры приведены автором и участниками проекта: результат зависит от модели, нагрузки и лимита мощности видеокарты.
https://github.com/Zagitta/gpu-unlock
🔥36👍33🤔28👏25😁22❤18🎉18💯17🤣2🤨2
Forwarded from Machinelearning
Google представила Gemini 4 Carbon
Новая флагманская модель заняла первое место в Artificial Analysis Intelligence Index v5.0 с результатом 59 баллов. Основной упор сделали на кибербезопасность, программирование и длительную автономную работу ИИ-агентов.
Результаты бенчмарков:
- SEC-bench Pro - 88,2%: поиск реальных уязвимостей в программном обеспечении.
- ExploitGym - 54,8%: проверка возможности эксплуатации найденных уязвимостей.
- CWE-bench - 71%: автоматическое исправление уязвимого кода.
- WebDev Arena - 1769 Elo: четвёртое место в разработке веб-интерфейсов.
Что ещё интересного:
- Автономная работа несколько дней. Внутри Google модель решала сложные инженерные задачи, находила причины ошибок и исправляла их в больших кодовых базах.
- В 2 раза лучше Gemini 4 Argon генерирует безопасный код по внутренним тестам Google.
- В 10 раз эффективнее другой передовой модели создаёт качественные патчи для Chrome, по оценке команды браузера.
- На 80% меньше серьёзных нарушений инструкций при работе с кодом.
- Вдвое меньше необоснованных утверждений по сравнению с Argon.
Отдельно Google заявляет, что Carbon успешно отразила все проверенные атаки через prompt injection в одном из бенчмарков.
Доступ пока ограничен: сначала модель получат специалисты по кибербезопасности. Массовый релиз состоится позднее.
Стоимость API после запуска составит $2 за миллион входных и $10 за миллион выходных токенов на вводном тарифе.
https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-gemini-4-carbon/
Новая флагманская модель заняла первое место в Artificial Analysis Intelligence Index v5.0 с результатом 59 баллов. Основной упор сделали на кибербезопасность, программирование и длительную автономную работу ИИ-агентов.
Результаты бенчмарков:
- SEC-bench Pro - 88,2%: поиск реальных уязвимостей в программном обеспечении.
- ExploitGym - 54,8%: проверка возможности эксплуатации найденных уязвимостей.
- CWE-bench - 71%: автоматическое исправление уязвимого кода.
- WebDev Arena - 1769 Elo: четвёртое место в разработке веб-интерфейсов.
Что ещё интересного:
- Автономная работа несколько дней. Внутри Google модель решала сложные инженерные задачи, находила причины ошибок и исправляла их в больших кодовых базах.
- В 2 раза лучше Gemini 4 Argon генерирует безопасный код по внутренним тестам Google.
- В 10 раз эффективнее другой передовой модели создаёт качественные патчи для Chrome, по оценке команды браузера.
- На 80% меньше серьёзных нарушений инструкций при работе с кодом.
- Вдвое меньше необоснованных утверждений по сравнению с Argon.
Отдельно Google заявляет, что Carbon успешно отразила все проверенные атаки через prompt injection в одном из бенчмарков.
Доступ пока ограничен: сначала модель получат специалисты по кибербезопасности. Массовый релиз состоится позднее.
Стоимость API после запуска составит $2 за миллион входных и $10 за миллион выходных токенов на вводном тарифе.
https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-gemini-4-carbon/
👍17👏15🔥9🎉9❤7🤔6💯6😁5
$25 тысяч за проверку одного репозитория: ИИ-поиск уязвимостей становится новой крупной статьёй расходов компаний.
По данным The Information, примерно столько UiPath платит за одно сканирование кода моделью Anthropic Mythos.
Масштаб находок тоже растёт: по словам представителя Palo Alto Networks, 12 компаний за месяц обнаружили более 37 тысяч потенциальных уязвимостей в открытом ПО. Месяцем ранее во всём мире было зарегистрировано около 1500.
Эти цифры нельзя сравнивать напрямую: не все новые находки подтверждены, и речь не только о критических ошибках.
Теперь компаниям нужны ресурсы на проверку и исправление:
- Bank of America нанимает 1000 подрядчиков для устранения проблем в ПО.
- Goldman Sachs обсуждает перспективу тратить на ИИ-безопасность столько же или больше, чем на ИИ-инструменты для программирования.
https://www.theinformation.com/articles/nobodys-ready-ai-found-bugs-spark-corporate-security-spending-spree
По данным The Information, примерно столько UiPath платит за одно сканирование кода моделью Anthropic Mythos.
Масштаб находок тоже растёт: по словам представителя Palo Alto Networks, 12 компаний за месяц обнаружили более 37 тысяч потенциальных уязвимостей в открытом ПО. Месяцем ранее во всём мире было зарегистрировано около 1500.
Эти цифры нельзя сравнивать напрямую: не все новые находки подтверждены, и речь не только о критических ошибках.
Теперь компаниям нужны ресурсы на проверку и исправление:
- Bank of America нанимает 1000 подрядчиков для устранения проблем в ПО.
- Goldman Sachs обсуждает перспективу тратить на ИИ-безопасность столько же или больше, чем на ИИ-инструменты для программирования.
https://www.theinformation.com/articles/nobodys-ready-ai-found-bugs-spark-corporate-security-spending-spree
👍15❤8🎉8🤔7🔥6👏5😁5💯4❤🔥1
415 страниц документа Anthropic перед IPO обработали на Mac – локальной OCR-моделью размером около 1,2 ГБ.
По сообщению авторов демонстрации, MiniCPM-OCR 1.0 от OpenBMB прошла весь документ S-1 на MacBook с M5 Max, затрачивая примерно четыре секунды на страницу.
При таком темпе обработка занимает около 28 минут. По их словам, данные не покидали ноутбук.
Модель распознаёт текст, таблицы и формулы, преобразуя страницы в машиночитаемый формат для дальнейшего поиска и анализа.
Речь именно об OCR-разборе документа: распознать 415 страниц не означает проверить финансовые показатели или сделать инвестиционный анализ.
GGUF-сборки для локального запуска:
https://huggingface.co/AtomicChat/MiniCPM-OCR-1.0-GGUF
По сообщению авторов демонстрации, MiniCPM-OCR 1.0 от OpenBMB прошла весь документ S-1 на MacBook с M5 Max, затрачивая примерно четыре секунды на страницу.
При таком темпе обработка занимает около 28 минут. По их словам, данные не покидали ноутбук.
Модель распознаёт текст, таблицы и формулы, преобразуя страницы в машиночитаемый формат для дальнейшего поиска и анализа.
Речь именно об OCR-разборе документа: распознать 415 страниц не означает проверить финансовые показатели или сделать инвестиционный анализ.
GGUF-сборки для локального запуска:
https://huggingface.co/AtomicChat/MiniCPM-OCR-1.0-GGUF
❤11👍8👏5🤔5🔥4😁4💯2🎉1
Please open Telegram to view this post
VIEW IN TELEGRAM
❤10👍8🎉4🔥3🌭2