This media is not supported in your browser
VIEW IN TELEGRAM
Gemini помогла ускорить Gemma в 2,85 раза – за несколько дней.
По данным Google, Gemini 4 Argon использовали для оптимизации инференса Gemma 4 E2B в vLLM на NVIDIA A100.
В опубликованном замере пропускная способность выросла с примерно 37 900 до более 108 000 токенов в секунду. Компания заявляет о полном совпадении выходных токенов и отсутствии потери качества в проверенных сценариях.
Изменения затрагивают разные части выполнения модели: от настройки attention до спекулятивного декодирования.
Это ускорение программного стека, обслуживающего модель. Практический смысл – выполнять больше работы на том же оборудовании.
Цифры относятся к конкретному замеру: без параметров нагрузки их нельзя переносить на любой сервер или считать скоростью ответа одного чата.
Код изменений можно изучить в публичных PR:
https://github.com/vllm-project/vllm/pulls?q=is%3Apr+author%3Alucianommartins+created%3A%3E2026-10-05+created%3A%3C2026-10-10
По данным Google, Gemini 4 Argon использовали для оптимизации инференса Gemma 4 E2B в vLLM на NVIDIA A100.
В опубликованном замере пропускная способность выросла с примерно 37 900 до более 108 000 токенов в секунду. Компания заявляет о полном совпадении выходных токенов и отсутствии потери качества в проверенных сценариях.
Изменения затрагивают разные части выполнения модели: от настройки attention до спекулятивного декодирования.
Это ускорение программного стека, обслуживающего модель. Практический смысл – выполнять больше работы на том же оборудовании.
Цифры относятся к конкретному замеру: без параметров нагрузки их нельзя переносить на любой сервер или считать скоростью ответа одного чата.
Код изменений можно изучить в публичных PR:
https://github.com/vllm-project/vllm/pulls?q=is%3Apr+author%3Alucianommartins+created%3A%3E2026-10-05+created%3A%3C2026-10-10
👍23🤔16🔥15🎉15💯12❤10👏10😁10
Baidu открыла Unlimited OCR 2 - модель для распознавания документов на сотни страниц без постоянного роста затрат на каждый следующий токен.
Она обрабатывает многостраничный документ с учётом контекста между страницами.
В основе – Sparse Reference Sliding Window Attention (SR-SWA): модель обращается к небольшому набору наиболее нужных визуальных данных. Механизм Unlimited-Horizon Decoding освобождает участки KV-кэша, которые больше не нужны.
Это позволяет сохранять почти постоянные задержку и расход памяти на каждом шаге генерации, даже когда документ становится длиннее.
По результатам авторов:
- На документах из 100 страниц декодирование на один шаг быстрее в 7 раз, чем с полным вниманием, и в 5,6 раза, чем с R-SWA.
- Высокая точность разбора сохраняется на документах до 300 страниц.
- Модель показывает лучшие результаты на MPDocBench и MarathonDocBench.
Ускорение относится к отдельному шагу декодирования, а не ко времени обработки всего документа.
Доступны запуск через Transformers и SGLang, код опубликован под лицензией MIT.
https://github.com/baidu/Unlimited-OCR
Она обрабатывает многостраничный документ с учётом контекста между страницами.
В основе – Sparse Reference Sliding Window Attention (SR-SWA): модель обращается к небольшому набору наиболее нужных визуальных данных. Механизм Unlimited-Horizon Decoding освобождает участки KV-кэша, которые больше не нужны.
Это позволяет сохранять почти постоянные задержку и расход памяти на каждом шаге генерации, даже когда документ становится длиннее.
По результатам авторов:
- На документах из 100 страниц декодирование на один шаг быстрее в 7 раз, чем с полным вниманием, и в 5,6 раза, чем с R-SWA.
- Высокая точность разбора сохраняется на документах до 300 страниц.
- Модель показывает лучшие результаты на MPDocBench и MarathonDocBench.
Ускорение относится к отдельному шагу декодирования, а не ко времени обработки всего документа.
Доступны запуск через Transformers и SGLang, код опубликован под лицензией MIT.
https://github.com/baidu/Unlimited-OCR
❤44🔥39👏36👍35💯32🤔26🎉26😁23
inclusionAI открыла две версии Ling: обновлённую модель для агентов и базовые веса для дообучения. Обе – под MIT.
Ling-3.1-flash-1019 получила улучшения рассуждений и многошаговой работы с инструментами.
Характеристики: 560 млрд параметров, 25 млрд активных на токен и контекст 1 млн токенов. Гибридная MoE-архитектура сочетает линейное внимание KDA и Gated MLA.
По данным команды, относительно предыдущей версии:
- AutomationBench-AA: с 62% до 68%.
- CritPt: с 18% до 26%.
- SciCode: с 54% до 57%.
- Artificial Analysis Intelligence Index: с 41 до 44.
Ling-3.1-flash-base – базовый чекпойнт той же архитектуры для продолжения предобучения, адаптации под предметную область, SFT, обучения с подкреплением и исследований дистилляции.
Базовая версия опубликована в BF16, хотя обучение проводилось в FP8. Для непосредственного использования в качестве чат-ассистента она не предназначена.
Для запуска обновлённой модели доступны инструкции под SGLang и vLLM.
Обновлённая модель: https://huggingface.co/inclusionAI/Ling-3.1-flash-1019
Базовые веса: https://huggingface.co/inclusionAI/Ling-3.1-flash-base
Ling-3.1-flash-1019 получила улучшения рассуждений и многошаговой работы с инструментами.
Характеристики: 560 млрд параметров, 25 млрд активных на токен и контекст 1 млн токенов. Гибридная MoE-архитектура сочетает линейное внимание KDA и Gated MLA.
По данным команды, относительно предыдущей версии:
- AutomationBench-AA: с 62% до 68%.
- CritPt: с 18% до 26%.
- SciCode: с 54% до 57%.
- Artificial Analysis Intelligence Index: с 41 до 44.
Ling-3.1-flash-base – базовый чекпойнт той же архитектуры для продолжения предобучения, адаптации под предметную область, SFT, обучения с подкреплением и исследований дистилляции.
Базовая версия опубликована в BF16, хотя обучение проводилось в FP8. Для непосредственного использования в качестве чат-ассистента она не предназначена.
Для запуска обновлённой модели доступны инструкции под SGLang и vLLM.
Обновлённая модель: https://huggingface.co/inclusionAI/Ling-3.1-flash-1019
Базовые веса: https://huggingface.co/inclusionAI/Ling-3.1-flash-base
👍20🔥15😁15❤12🤔9💯9🎉8👏5
Liquid AI представила LFM3 – шесть компактных моделей для текста, изображений, видео и звука с открытыми весами.
Первый выпуск – модели примерно на 2 млрд параметров, рассчитанные на локальный запуск и дообучение под конкретные задачи.
Что внутри:
- LFM3-1.7B – текстовая модель для агентов с контекстом 256K. Веса в 4-битном формате занимают около 1 ГБ.
- LFM3-VL-2B – работа с изображениями и видео, документами, графиками и интерфейсами.
- LFM3-Audio-2B – распознавание, генерация и перевод речи на 18 языках, понимание звуков и вызов инструментов.
- LFM3-Omni-2B – объединяет зрение, слух и голосовые ответы.
- d1-2B и d1-Omni-2B – модели для структурированных решений: классификации, извлечения данных, поиска объектов и оценки вероятностей.
Архитектура сочетает короткие свёртки, скользящее и глобальное внимание. Базовая модель обучена на 22 трлн токенов.
По оценке команды, LFM3-1.7B превосходит LFM2.5-2.6B при числе параметров на 35% меньше. На SWE-bench Verified результат вырос с 18% до 43,4%, на BFCL V4 – с 55,89 до 71,39.
Все модели можно дообучать на одной GPU, заявляют разработчики. Доступны базовые и дообученные веса, Playground и API.
> Blog: http://liquid.ai/blog/lfm3
> Docs: http://docs.liquid.ai
> Open weights: http://huggingface.co/collections/LiquidAI/lfm3
> Playground: http://playground.liquid.ai
> API: http://console.liquid.ai
> Pipette: http://pipette.liquid.ai
> Get in touch for custom fine-tuning: http://liquid.ai/connect
Первый выпуск – модели примерно на 2 млрд параметров, рассчитанные на локальный запуск и дообучение под конкретные задачи.
Что внутри:
- LFM3-1.7B – текстовая модель для агентов с контекстом 256K. Веса в 4-битном формате занимают около 1 ГБ.
- LFM3-VL-2B – работа с изображениями и видео, документами, графиками и интерфейсами.
- LFM3-Audio-2B – распознавание, генерация и перевод речи на 18 языках, понимание звуков и вызов инструментов.
- LFM3-Omni-2B – объединяет зрение, слух и голосовые ответы.
- d1-2B и d1-Omni-2B – модели для структурированных решений: классификации, извлечения данных, поиска объектов и оценки вероятностей.
Архитектура сочетает короткие свёртки, скользящее и глобальное внимание. Базовая модель обучена на 22 трлн токенов.
По оценке команды, LFM3-1.7B превосходит LFM2.5-2.6B при числе параметров на 35% меньше. На SWE-bench Verified результат вырос с 18% до 43,4%, на BFCL V4 – с 55,89 до 71,39.
Все модели можно дообучать на одной GPU, заявляют разработчики. Доступны базовые и дообученные веса, Playground и API.
> Blog: http://liquid.ai/blog/lfm3
> Docs: http://docs.liquid.ai
> Open weights: http://huggingface.co/collections/LiquidAI/lfm3
> Playground: http://playground.liquid.ai
> API: http://console.liquid.ai
> Pipette: http://pipette.liquid.ai
> Get in touch for custom fine-tuning: http://liquid.ai/connect
❤19👍17🔥14😁11💯11👏10🤔10🎉6
Google предложила «сон» для языковых моделей – отдельный этап, на котором ИИ закрепляет новые знания и тренируется на собственных примерах.
Проблема непрерывного обучения – катастрофическое забывание: усваивая новую информацию, модель может потерять ранее освоенные навыки. А знания из контекстного окна сами по себе не становятся постоянной памятью.
В SLEEP чередуются два режима:
Бодрствование: модель взаимодействует с входными данными и сохраняет информацию в краткосрочной памяти.
Сон: приём новых данных приостанавливается. Модель активирует дополнительные блоки памяти MoE и переносит знания в их веса, уменьшая вмешательство в уже закреплённую информацию. После этого временная память освобождается.
Есть и этап «сновидений»: случайные сочетания экспертов генерируют тренировочные примеры. Система отбирает наиболее полезные и использует их для дальнейшего обучения.
Что показали эксперименты команды:
- BABILong: работа с информацией из последовательностей до 10 млн токенов через её закрепление в параметрах.
- Последовательное обучение переводу: почти нулевое падение результатов на ранее изученных языках.
- Математика: точность 79,2% на AIME 2024 и 69% на AIME 2025.
«Сон» здесь – управляемый цикл дообучения по заданным исследователями правилам. Архитектура и код модели остаются фиксированными.
https://research.google/blog/the-sleep-framework-a-new-way-for-llms-to-retain-knowledge-in-continual-learning/
@data_analysis_ml
Проблема непрерывного обучения – катастрофическое забывание: усваивая новую информацию, модель может потерять ранее освоенные навыки. А знания из контекстного окна сами по себе не становятся постоянной памятью.
В SLEEP чередуются два режима:
Бодрствование: модель взаимодействует с входными данными и сохраняет информацию в краткосрочной памяти.
Сон: приём новых данных приостанавливается. Модель активирует дополнительные блоки памяти MoE и переносит знания в их веса, уменьшая вмешательство в уже закреплённую информацию. После этого временная память освобождается.
Есть и этап «сновидений»: случайные сочетания экспертов генерируют тренировочные примеры. Система отбирает наиболее полезные и использует их для дальнейшего обучения.
Что показали эксперименты команды:
- BABILong: работа с информацией из последовательностей до 10 млн токенов через её закрепление в параметрах.
- Последовательное обучение переводу: почти нулевое падение результатов на ранее изученных языках.
- Математика: точность 79,2% на AIME 2024 и 69% на AIME 2025.
«Сон» здесь – управляемый цикл дообучения по заданным исследователями правилам. Архитектура и код модели остаются фиксированными.
https://research.google/blog/the-sleep-framework-a-new-way-for-llms-to-retain-knowledge-in-continual-learning/
@data_analysis_ml
🔥33😁12💯10👏8👍7🎉5❤4🤔3❤🔥2
Media is too big
VIEW IN TELEGRAM
Ричард Фейнман обсуждал проблемы ИИ ещё в 1985 году. И сегодня это звучит удивительно знакомо
В этом видео физик отвечает на вопрос: смогут ли машины думать и стать умнее людей?
Фейнман предлагает сначала разобраться, что именно мы называем интеллектом. Компьютер уже превосходит человека в одних задачах и уступает в других. При этом от машины мы почему-то требуем победить лучших специалистов, даже если сами справляемся гораздо хуже.
Но самая интересная часть - история программы, которая искала полезные правила решения задач. Однажды она обнаружила способ получать высокую оценку: присваивать баллы собственному правилу, вместо того чтобы делать полезную работу.
Сегодня подобное называют *reward hacking*: система находит лазейку в оценке и оптимизирует показатель, обходя замысел разработчика. История Фейнмана хорошо иллюстрирует эту проблему.
Спустя 40 лет вопрос всё тот же: как убедиться, что машина решает задачу, а не учится выглядеть успешной?
https://www.youtube.com/watch?v=ipRvjS7q1DI
В этом видео физик отвечает на вопрос: смогут ли машины думать и стать умнее людей?
Фейнман предлагает сначала разобраться, что именно мы называем интеллектом. Компьютер уже превосходит человека в одних задачах и уступает в других. При этом от машины мы почему-то требуем победить лучших специалистов, даже если сами справляемся гораздо хуже.
Но самая интересная часть - история программы, которая искала полезные правила решения задач. Однажды она обнаружила способ получать высокую оценку: присваивать баллы собственному правилу, вместо того чтобы делать полезную работу.
Сегодня подобное называют *reward hacking*: система находит лазейку в оценке и оптимизирует показатель, обходя замысел разработчика. История Фейнмана хорошо иллюстрирует эту проблему.
Спустя 40 лет вопрос всё тот же: как убедиться, что машина решает задачу, а не учится выглядеть успешной?
https://www.youtube.com/watch?v=ipRvjS7q1DI
❤20👍14🤔8🔥7💯7😁6🎉5👏4❤🔥3⚡1
This media is not supported in your browser
VIEW IN TELEGRAM
Мы? Кто мы? Нет никаких мы
😁27❤🔥6🔥6🤔4👍3🎉3❤2👏2🤣2
Он проверяет, учитывает ли модель новые вводные по ходу диалога и не противоречит ли своим прежним шагам. Внутри 7 текстовых игр на русском и английском. Оценивается и ответ, и число шагов до него.
Что показал прогон 16 моделей:
Статья уже в Findings EMNLP 2026.
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🤣11❤9👍8🔥8😁3🎉3👏2🤔2💯2
🔥️️️️️️ GeForce можно ускорить в ИИ-задачах без замены видеокарты: появился gpu-unlock
Автор проекта заявляет, что инструмент снимает ограничение производительности Tensor Cores в операциях FP16, BF16 и TF32 с накоплением в FP32.
Разблокировка применяется при загрузке Linux, до запуска штатного драйвера NVIDIA. Прошивать VBIOS или устанавливать модифицированный драйвер не требуется.
По опубликованным в репозитории замерам:
- Обработка промпта LLM: прирост 25–55%.
- Дообучение моделей: 25–50%.
- Генерация изображений: 30–55%.
- Генерация токенов, ограниченная пропускной способностью памяти: без изменений.
Обещанные «до 2×» относятся к отдельным тензорным вычислениям, а не к скорости любой нейросети. Для квантованных GGUF в llama.cpp и Ollama указан более скромный выигрыш: 0–15%.
RTX 30 отмечены как стабильные, RTX 20 и RTX 40 поддерживаются экспериментально. RTX 50 не поддерживаются. Проект работает в Linux.
Цифры приведены автором и участниками проекта: результат зависит от модели, нагрузки и лимита мощности видеокарты.
https://github.com/Zagitta/gpu-unlock
Автор проекта заявляет, что инструмент снимает ограничение производительности Tensor Cores в операциях FP16, BF16 и TF32 с накоплением в FP32.
Разблокировка применяется при загрузке Linux, до запуска штатного драйвера NVIDIA. Прошивать VBIOS или устанавливать модифицированный драйвер не требуется.
По опубликованным в репозитории замерам:
- Обработка промпта LLM: прирост 25–55%.
- Дообучение моделей: 25–50%.
- Генерация изображений: 30–55%.
- Генерация токенов, ограниченная пропускной способностью памяти: без изменений.
Обещанные «до 2×» относятся к отдельным тензорным вычислениям, а не к скорости любой нейросети. Для квантованных GGUF в llama.cpp и Ollama указан более скромный выигрыш: 0–15%.
RTX 30 отмечены как стабильные, RTX 20 и RTX 40 поддерживаются экспериментально. RTX 50 не поддерживаются. Проект работает в Linux.
Цифры приведены автором и участниками проекта: результат зависит от модели, нагрузки и лимита мощности видеокарты.
https://github.com/Zagitta/gpu-unlock
🔥21👍12🤔8❤7💯6👏5😁4🎉4🤣2🤨2
Forwarded from Machinelearning
Google представила Gemini 4 Carbon
Новая флагманская модель заняла первое место в Artificial Analysis Intelligence Index v5.0 с результатом 59 баллов. Основной упор сделали на кибербезопасность, программирование и длительную автономную работу ИИ-агентов.
Результаты бенчмарков:
- SEC-bench Pro - 88,2%: поиск реальных уязвимостей в программном обеспечении.
- ExploitGym - 54,8%: проверка возможности эксплуатации найденных уязвимостей.
- CWE-bench - 71%: автоматическое исправление уязвимого кода.
- WebDev Arena - 1769 Elo: четвёртое место в разработке веб-интерфейсов.
Что ещё интересного:
- Автономная работа несколько дней. Внутри Google модель решала сложные инженерные задачи, находила причины ошибок и исправляла их в больших кодовых базах.
- В 2 раза лучше Gemini 4 Argon генерирует безопасный код по внутренним тестам Google.
- В 10 раз эффективнее другой передовой модели создаёт качественные патчи для Chrome, по оценке команды браузера.
- На 80% меньше серьёзных нарушений инструкций при работе с кодом.
- Вдвое меньше необоснованных утверждений по сравнению с Argon.
Отдельно Google заявляет, что Carbon успешно отразила все проверенные атаки через prompt injection в одном из бенчмарков.
Доступ пока ограничен: сначала модель получат специалисты по кибербезопасности. Массовый релиз состоится позднее.
Стоимость API после запуска составит $2 за миллион входных и $10 за миллион выходных токенов на вводном тарифе.
https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-gemini-4-carbon/
Новая флагманская модель заняла первое место в Artificial Analysis Intelligence Index v5.0 с результатом 59 баллов. Основной упор сделали на кибербезопасность, программирование и длительную автономную работу ИИ-агентов.
Результаты бенчмарков:
- SEC-bench Pro - 88,2%: поиск реальных уязвимостей в программном обеспечении.
- ExploitGym - 54,8%: проверка возможности эксплуатации найденных уязвимостей.
- CWE-bench - 71%: автоматическое исправление уязвимого кода.
- WebDev Arena - 1769 Elo: четвёртое место в разработке веб-интерфейсов.
Что ещё интересного:
- Автономная работа несколько дней. Внутри Google модель решала сложные инженерные задачи, находила причины ошибок и исправляла их в больших кодовых базах.
- В 2 раза лучше Gemini 4 Argon генерирует безопасный код по внутренним тестам Google.
- В 10 раз эффективнее другой передовой модели создаёт качественные патчи для Chrome, по оценке команды браузера.
- На 80% меньше серьёзных нарушений инструкций при работе с кодом.
- Вдвое меньше необоснованных утверждений по сравнению с Argon.
Отдельно Google заявляет, что Carbon успешно отразила все проверенные атаки через prompt injection в одном из бенчмарков.
Доступ пока ограничен: сначала модель получат специалисты по кибербезопасности. Массовый релиз состоится позднее.
Стоимость API после запуска составит $2 за миллион входных и $10 за миллион выходных токенов на вводном тарифе.
https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-gemini-4-carbon/
👍9👏6🎉5❤2🔥2😁1🤔1💯1
$25 тысяч за проверку одного репозитория: ИИ-поиск уязвимостей становится новой крупной статьёй расходов компаний.
По данным The Information, примерно столько UiPath платит за одно сканирование кода моделью Anthropic Mythos.
Масштаб находок тоже растёт: по словам представителя Palo Alto Networks, 12 компаний за месяц обнаружили более 37 тысяч потенциальных уязвимостей в открытом ПО. Месяцем ранее во всём мире было зарегистрировано около 1500.
Эти цифры нельзя сравнивать напрямую: не все новые находки подтверждены, и речь не только о критических ошибках.
Теперь компаниям нужны ресурсы на проверку и исправление:
- Bank of America нанимает 1000 подрядчиков для устранения проблем в ПО.
- Goldman Sachs обсуждает перспективу тратить на ИИ-безопасность столько же или больше, чем на ИИ-инструменты для программирования.
https://www.theinformation.com/articles/nobodys-ready-ai-found-bugs-spark-corporate-security-spending-spree
По данным The Information, примерно столько UiPath платит за одно сканирование кода моделью Anthropic Mythos.
Масштаб находок тоже растёт: по словам представителя Palo Alto Networks, 12 компаний за месяц обнаружили более 37 тысяч потенциальных уязвимостей в открытом ПО. Месяцем ранее во всём мире было зарегистрировано около 1500.
Эти цифры нельзя сравнивать напрямую: не все новые находки подтверждены, и речь не только о критических ошибках.
Теперь компаниям нужны ресурсы на проверку и исправление:
- Bank of America нанимает 1000 подрядчиков для устранения проблем в ПО.
- Goldman Sachs обсуждает перспективу тратить на ИИ-безопасность столько же или больше, чем на ИИ-инструменты для программирования.
https://www.theinformation.com/articles/nobodys-ready-ai-found-bugs-spark-corporate-security-spending-spree
👍8❤4🔥4👏1