⚡️ Transformers v5: первый мажорный релиз за 5 лет.

Спустя 5 лет ожидания и 1200 коммитов в ветку main с момента последнего минорного обновления, Transformers переходит на версию 5.0.0.

Это не просто смена цифры: разработчики фундаментально пересмотрели цикл обновлений и логику работы с весами.

Начиная с v5, Hugging Face отказывается от пятинедельного цикла в пользу еженедельных релизов (v5.1, v5.2 и так далее).

Для ML-инженеров это означает, что доступ к новым архитектурам, которые появляются буквально каждый день, будет открываться практически мгновенно, без необходимости устанавливать нестабильные dev-версии.

🟡Главное техническое нововведение — API динамической загрузки весов.

Если раньше чекпоинты загружались ровно в том виде, в котором они были сериализованы, то теперь WeightConverter позволяет применять операции к слоям прямо в процессе загрузки.

Новый API дает возможность определить маппинг архитектуры на список конверсий, т.е трансформировать веса на лету, например, для поддержки MoE или Tensor Parallelism без переписывания логики модели.

🟡Рефакторинг токенизации - второе по значимости изменение.

HF наконец-то избавились от дуализма медленных (Python) и быстрых (Rust) токенайзеров, которые раньше жили в разных файлах.

В v5 теперь единый файл tokenization_<model>.py, который автоматически выбирает лучший доступный бэкенд.

Приоритет отдается TokenizersBackend на базе Rust, который дает оптимальную производительность и поддерживает параллелизацию. Если Rust недоступен, система откатывается на SentencePieceBackend или PythonBackend.

Инициализация токенайзеров стала интуитивной. Теперь можно создать пустой экземпляр и обучить его на своем корпусе с нуля, используя vocab и merges напрямую. Это унифицирует поведение токенайзеров и моделей: объект определяется своим классом, а не наличием предзагруженных файлов словаря.

🟡Важные изменения, о которых стоит знать при миграции

🟢dtype при вызове from_pretrained теперь установлен в auto. Библиотека сама попытается определить оптимальную точность, что может сэкономить память, но требует внимания к старым скриптам.

🟢изменен размер шардов при сохранении моделей — теперь по умолчанию они разбиваются на куски по 50 ГБ вместо прежних значений, т.е станет проще работать с хабом.

В релиз вошла поддержка новых моделей, в том числе GLM-4.7, Jais2 и Pixio и исправления для специфических кейсов: FP8-квантования и Flash Attention для квантованных моделей.

🔜 Полный список изменений - в Release Notes


@ai_machinelearning_big_data

#news #ai #ml

📌Ян Лекун: индустрия движется в тупик, игнорируя реальный путь к AGI.

Один из пионеров глубокого обучения и лауреат премии Тьюринга Ян Лекун резко критикует вектор развития ИИ.

Покинув пост в империи Марка Цукерберга в ноябре прошлого года, он говорит, что Кремниевая долина стала жертвой стадного чувства.

Исключительный фокус на больших языковых моделях — это тупиковый путь, который не приведет к созданию AGI, несмотря на колоссальные инвестиции.

Лекун утверждает, что индустрия буквально одурманена LLM. Фундаментальная проблема архитектуры трансформеров заключается в отсутствии способности к планированию и пониманию физического мира.

Системы, построенные на них обучаются исключительно на цифровых массивах данных; они могут предсказывать текст, но не понимают причинно-следственных связей реальности и не могут моделировать последствия своих действий.

Масштабирование языковых моделей имеет жесткий предел и не позволит достичь даже уровня человеческого интеллекта, не говоря уже о сверхразуме.

Для реализации своего видения Лекун основал Advanced Machine Intelligence Labs (AMI Labs). Стартап планирует создание систем, способных строить планы и прогнозировать исходы событий - то, чего лишены современные генеративные модели.

Отдельно досталось американским техно-гигантам за секретность. Лекун считает отказ от Open Source катастрофой и стратегической ошибкой.

Пока корпорации в США прячут разработки под замок, пытаясь сохранить лидерство, китайские компании используют открытый код и могут перехватить инициативу за счет скорости и креативности.

@ai_machinelearning_big_data

#news #ai #ml

🤖 Превращаем YouTube-видео в удобную документацию для ИИ
Вместо просмотра часов видео - получаем структурированный текст, который можно сразу скормить LLM.

Просто вставляешь ссылку — и инструмент автоматически собирает в один документ:

• метаданные видео
• описание
• миниатюру
• полную стенограмму
• комментарии
• переводы на разные языки

Всё аккуратно структурировано и хорошо индексируется - идеально для поиска, анализа и работы с ИИ.

Опенсорс. Работает мгновенно.
Теперь даже длинные туториалы становятся нормальной документацией.

Да, и разбирать обучалки индусов стало в разы проще 😏

https://youtubetodoc.com/

⚡️ GLM-OCR 0.9B - мощный OCR для сложных документов

Модель показывает SOTA-результаты в задачах понимания документов, оставаясь компактной и быстрой.

Она справляется там, где обычный OCR ломается:

- распознавание формул
- извлечение таблиц
- структурированное извлечение информации
- сложная разметка документов

И всё это при размере менее 1 миллиарда параметров - без тяжёлых инфраструктурных требований.

Подходит для:
- научных статей
- финансовых отчётов
- технической документации
- PDF со сложной версткой

Модель не просто “читает текст”, а понимает структуру страницы.

Веса: http://huggingface.co/zai-org/GLM-OCR
Демо: http://ocr.z.ai
API: http://docs.z.ai/guides/vlm/glm-ocr

✔️ Маленькие LLM вместе могут конкурировать с гигантскими моделями, если заставить их спорить правильно

Вместо одной огромной модели используется группа более простых моделей, которые критикуют друг друга и по кругу улучшают общий ответ.

Идея из исследования *Mixture-of-Models: Unifying Heterogeneous Agents via N-Way Self-Evaluating Deliberation*.

В чём суть

Систему строят не как один “мозг”, а как команду моделей:

1. Несколько разных LLM дают первоначальные ответы
2. Они читают ответы друг друга
3. Критикуют, дорабатывают и предлагают улучшения
4. Лучшие идеи проходят дальше
5. Процесс идёт раундами, пока качество растёт

Это называется N-Way Self-Evaluating Deliberation — многостороннее самооценивание с повторным обсуждением.

Почему это работает

- Плохие ранние ответы можно исправить на следующих раундах
- Ошибки одной модели подхватываются другими
- Идеи не “залипают” в первой версии

Чтобы ни одна модель не доминировала:

- используется анонимная оценка
- применяется квадратичное голосование, чтобы лучшая идея побеждала честно

Роль брокера

Специальный “брокер” выбирает, какие модели лучше подходят под конкретную задачу, а дальше они работают как команда, перепроверяя друг друга.

Главный вывод

Исследователи показывают, что consumer-модели могут конкурировать с сильнейшими LLM, если:

- есть структурированная система раундов
- есть механизм критики
- есть правила отбора лучших ответов

Система меняет вычисления на “память”:

вместо огромной модели используется больше раундов текстовой обратной связи.

Чуть больше времени — но гораздо дешевле железо.

Что это означает на практике

Можно временно собрать “сильную” модель из набора разных LLM:

- без дообучения
- без гигантских GPU
- просто через правильную организацию взаимодействия

Это способ усилить интеллект системы за счёт структуры, а не размера.

Статья: arxiv.org/abs/2601.16863

⚡️ Появился любопытный open-source проект на стыке LLM и кибербезопасности - PentestAgent.

Это система AI-агентов для black-box пентеста, где атака моделируется как оркестрация нескольких специализированных агентов, а не один «умный бот».

Что он делает

В автономном режиме система может прогонять целые пайплайны, имитируя работу red team:

- цепочки разведки (recon)
- анализ уязвимостей
- попытки эксплуатации
- формирование отчётов

Инструменты подключены напрямую

Агенты умеют работать с классическими пентест-утилитами:

- Nmap
- Metasploit
- FFUF
- SQLMap

То есть это не «LLM рассуждает в вакууме», а связка LLM + реальные security-инструменты.

Архитектурные фишки

- RAG для подтягивания контекстных знаний
- tool chaining — агенты передают результаты друг другу
- встроенный браузер и поиск
- dockerized окружение с инструментами
- всё это оркестрируется «командами» LLM-агентов

По сути, это попытка превратить пентест из набора ручных шагов в агентную систему с автоматическим циклом разведка → анализ → действие → отчёт.

github.com/GH05TCREW/pentestagent