✔️ Релиз Ernie 5.1: треть параметров Ernie 5.0 и 4 место в Arena Search Leaderboard

Baidu выпустила языковую модель Ernie 5.1 с закрытыми весами. Затраты на претрейн составили 6% от типичного бюджета для моделей этого класса.

Новинка построена на базе Ernie 5.0, но содержит треть от общего числа параметров и использует вдвое меньше активных параметров при инференсе.

В Arena Search Leaderboard модель заняла 1 место среди китайских сетей и 4 в мире. По заявлению Baidu, в тестах агентов Ernie 5.1 обходит DeepSeek-V4-Pro, а в логике и математике сопоставима с Gemini 3.1 Pro.

Экономия вычислений достигнута за счет методики Once-For-All. Baidu обучала семейство моделей за один проход: сети делят общие веса, варьируясь по глубине и количеству активных блоков MoE.

Основной претрейн выполнили при создании Ernie 5.0, для версии 5.1 потребовалось только извлечь оптимальную конфигурацию.

Для борьбы с эффектом качелей (падение креативности при улучшении логики) применили четырехэтапный файнтюн: SFT, параллельная тренировка узкоспециализированных экспертов, дистилляция их навыков в единую модель-ученика и финальный RL.

Доступ к Ernie 5.1 открыт через онлайн-площадки компании.

@ai_machinelearning_big_data

#news #ai #ml

🌟 Poolside открыл публичный доступ к кодинг-моделям

Стартап Poolside открыл публичный доступ к своим кодинг-моделям линейки Laguna.

До этого компания работала только с клиентами из государственного и публичного сектора. Релиз подготовила команда ~60 человек.

Poolside - стартап в области генеративного ИИ для разработки ПО, основанный в апреле 2023 года.

Компанию возглавляют бывший технический директор GitHub, курировавший запуск Copilot, и ex-основатель source{d} - одной из первых компаний, применивших ИИ для анализа кода.

🟡Флагман - проприетарная MoE-модель Laguna M.1 (225B-A23B).

SWE-bench Pro - 46,9%
SWE-bench Verified - 72,5%
Terminal-Bench 2.0 - 40,7%

Laguna M.1 доступна через API и OpenRouter. На ограниченное время - бесплатно.

🟡Открытая модель - Laguna XS.2 (33B-A3B)

SWE-bench Pro - 44,5%
Verified - 68,2%
Terminal-Bench 2.0 - 30,1%.

Заявлены: поддержка NVIDIA TensorRT-LLM и NVFP4-версия для Blackwell.

Laguna XS.2 распространяется по лицензии Apache 2.0 через API, OpenRouter, Ollama и на HuggingFace.

Говорят, что локально запускается на Mac с 36 ГБ памяти

Вместе с моделями Poolside предлагает агентную обвязку на базе Agent Client Protocol, на которой тестировались модели и проводился RL.


@ai_machinelearning_big_data

#news #ai #ml

📌Модели при длительной работе с документами в среднем теряют около четверти их содержимого

Команда Microsoft Research опубликовала препринт, в который демонстрирует, что современные LLM при долгом редактировании документов вносят редкие, но серьёзные искажения.

Для проведения эксперимента был создан бенчмарк DELEGATE-52 из 310 рабочих сценариев в 52 областях, от программирования и кристаллографии до нотной записи и генеалогии.

Методика тестирования основана на принципе обратимости: модель получает задание изменить документ, а затем - обратную инструкцию, которая должна вернуть его к исходному виду. Чем сильнее итоговый файл отличается от оригинала, тем больше накопленных ошибок.

В эксперименте прогнали 19 моделей, включая GPT-5.4, Claude 4.6 и Gemini 3.1 Pro на документах в 3–5 тысяч токенов и контекстом до 12 тысяч токенов.

По результатам эксперимента, после 20 последовательных правок эти 3 модели в среднем повреждают около 25% содержимого документа, а среднее значение по всей выборке составило около 50% потерь.

Лучший результат показала Gemini 3.1 Pro: она признана готовой к делегированию (≥98% сохранения исходного содержания) только в 11 из 52 областей.

Единственная область, где большинство моделей справляется почти без потерь, — программирование на Python: 17 из 19 моделей сохраняют код практически без искажений.

Хуже всего модели работают с тестом и редкими форматами: рецептами, художественной прозой, нотами и финансовыми отчетами.

Дополнительные тесты показали, что подключение агентских инструментов поиска, выполнения кода, прямой правки файлов - в базовой реализации не улучшает результат, а в среднем добавляет около 6% потерь.

Авторы заметили, что объём документа, длина взаимодействия и наличие посторонних файлов в контексте также ухудшают качество, причём эти эффекты, накапливаются и со временем усиливают друг друга.

По наблюдениям, потери распределены неравномерно: чаще всего модель работает почти безупречно, но раз в несколько шагов допускает резкий сбой и теряет 10–30% содержимого за одну итерацию. Такое поведение объясняет около 80% всех зафиксированных потерь.

Слабые модели чаще удаляют фрагменты целиком, топовые - искажают то, что остаётся в документе.


📌Лицензирование: MIT License


🟡Arxiv
🟡Датасет
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #DELEGATE52 #Microsoft