Data Science by ODS.ai 🦜
43.8K subscribers
938 photos
104 videos
7 files
1.98K links
First Telegram Data Science channel. Covering all technical and popular staff about anything related to Data Science: AI, Big Data, Machine Learning, Statistics, general Math and the applications of former. To reach editors contact: @malev
Download Telegram
🎤 Создание речи с Qwen3-TTS

Qwen3-TTS — это мощный инструм
ент для генерации речи, предлагающий поддержку клонирования голоса, дизайна голоса и высококачественной синтезированной речи. Модель поддерживает множество языков и позволяет управлять интонацией и эмоциями в зависимости от текста.

🚀 Основные моменты:
- Поддержка 10 языков и различных диалектов.
- Высокая скорость генерации с низкой задержкой.
- Интуитивное управление голосом через текстовые команды.
- Эффективная архитектура для качественного синтеза речи.

📌 GitHub: https://github.com/QwenLM/Qwen3-TTS

#python
👍1
Forwarded from Python/ django
🐍 Самая крутая фича Python 3.14 - `sys.remote_exec()` (объясняю по-человечески)

Идея простая:
у тебя уже запущено Python-приложение (например FastAPI в Docker/K8s)
оно уже дошло до нужного состояния (в памяти есть переменные, сессии, кеши)
но тебе нужно посмотреть “что внутри” или поставить дебаггер

Раньше ты делал так:
- добавлял debugpy в код
- перезапускал приложение
- заново воспроизводил баг

Python 3.14 даёт новый чит-код:

sys.remote_exec() позволяет выполнить кусок Python-кода ВНУТРИ уже работающего Python-процесса.
То есть буквально “вколоть” скрипт в живой процесс.

Это как:
🔹 зайти внутрь процесса
🔹 выполнить print(), импорт, запись переменных
🔹 или даже подключить дебаггер
без рестарта вообще.


Пример: что можно сделать через sys.remote_exec()

Допустим у нас есть работающий процесс Python.

1) Мы хотим “добавить” туда код:
- вывести PID
- посмотреть глобальные переменные
- записать лог
- даже поменять значение переменной


# Этот код выполняется СНАРУЖИ и запускает инжект внутрь процесса
import sys

target_pid = 12345 # PID запущенного Python процесса

payload = r"""
import os
import time

print(" Injected into running process!")
print("PID:", os.getpid())
print("Time:", time.time())

# Пример: читаем что есть в глобальном пространстве
g = globals()
print("Globals keys sample:", list(g.keys())[:10])

# Пример: создаём переменную прямо в процессе
INJECTED_FLAG = True
"""

# Новое API Python 3.14
sys.remote_exec(target_pid, payload)



Пример 2: инжектим debugpy (дебаг без рестарта)


Самая хайповая штука - можно подключить debugpy в уже живое приложение.
То есть приложение уже крутится, у него есть состояние, и ты просто включаешь “прослушку” дебаггера на порту.


import sys

target_pid = 12345 # PID работающего uvicorn / fastapi процесса

payload = r"""
import debugpy

HOST = "0.0.0.0"
PORT = 5679

debugpy.listen((HOST, PORT))
print(f"🐞 debugpy is listening on {HOST}:{PORT}")

# если хочешь остановить выполнение и ждать пока подключишь IDE:
# debugpy.wait_for_client()
# print(" debugger attached!")
"""

sys.remote_exec(target_pid, payload)


Дальше:
- ты делаешь port-forward (если Docker/K8s)
- подключаешь VS Code / PyCharm / nvim к localhost:5679
- ставишь breakpoints и дебажишь как обычно


Что важно

1) Это не “удалённое выполнение” как ssh.
Это прям “внутри процесса” - доступ к памяти, переменным, импортам.

2) Это опасно для продакшена.
Требует прав уровня SYS_PTRACE (можно читать/менять процессы) - поэтому только для локалки/стендов.

3) Это может стать стандартом для отладки контейнеров:
- баг воспроизводится только в k8s
- рестарт = баг пропал
- а тут просто подключился и посмотрел

📌 Статья на эту тему

@pythonl
52🔥1👏1🙏1
Forwarded from Бэкдор
⚡️ Intel тоже кинула геймеров и работяг из-за ИИ-бума — компания официально замедляет выпуск потребительских процессоров ради нейронок. Нас ждёт дефицит и рост цен.

Теперь приоритет №1 для компании — дата-центры. Спрос на ИИ-инфраструктуру зашкаливает, и Intel выгоднее отгружать дорогие чипы Xeon корпорациям, чем процессоры для домашних ПК.

Что это значит для нас:

• Линейки Core (особенно топовые i7 и i9) могут стать дефицитными, что подтолкнет ценники вверх в ближайшие полгода.
• Шанс для AMD: Пока «синие» заняты спасением серверного бизнеса, рынок ПК может сильнее качнуться в сторону Ryzen.
• Массовый выход новых линеек может сильно замедлиться.

Переходим на AMD — теперь точно

👍 Бэкдор
Please open Telegram to view this post
VIEW IN TELEGRAM
🤡3🔥1🥰1🤯1👨‍💻1
Forwarded from Russian OSINT
👨‍🔬🔬 Более 50 научных статей NeurIPS 2025 оказались "халтурой", содержащей 🦠галлюцинации ИИ-моделей

Январь 2026 года ознаменовался громким скандалом вокруг обнаружения более 50 научных работ с грубыми ошибками со стороны LLM на престижной конференции NeurIPS*.

NeurIPS 2025* — международная площадка, на которой обсуждаются прорывные исследования в области искусственного интеллекта, машинного обучения, статистики, оптимизации и смежных дисциплин. Проводится ежегодно с 1987 года и традиционно привлекает учёных, исследователей, инженеров, разработчиков и представителей индустрии из десятков стран.

Команда исследователей GPTZero проанализировала 4841 научную работу с прошедшей конференции NeurIPS 2025 и выявила более 100 подтвержденных случаев выдуманного цитирования в 53 уже опубликованных статьях.

Анализ команды GPTZero выявил то, что исследователи из ведущих мировых центров вроде Нью-Йоркского университета, Google DeepMind и MIT допустили публикацию сгенерированного текста с вымышленными фактами и даже не перепроверили текст на галлюцинации.

Например, в одной из работ зафиксирован рекорд из 13 галлюцинаций со ссылками на несуществующие препринты формата arXiv:2305.XXXX и авторов с шаблонными именами Firstname Lastname. Команды из UCSD и NVIDIA в своих библиографических списках на полном серьезе ссылаются на вымышленных персонажей John Smith и Jane Doe.

Ещё ИИ-модели создают правдоподобно выглядящие, но несуществующие источники путем смешивания реальных элементов. Алгоритм берет имена настоящих ученых и приписывает им работы, которые они никогда не писали, или же соединяет реальный заголовок с вымышленным списком авторов.
Третий тип ошибок связан с неверной атрибуцией реально существующих работ. ИИ-решения часто правильно указывают авторов и название исследования, но ошибаются в месте его публикации (например, указывают конференцию NeurIPS вместо ICLR) или годе выпуска. В отчете зафиксированы случаи, когда статья 2024 года цитируется как опубликованная в 2020 году. Такие ошибки сложнее всего отследить, так как сама научная работа существует, но ссылка на нее в контексте статьи является фактологически неверной.

🧹 Содержащие информационный мусор доклады были успешно презентованы аудитории в 20 000 человек в декабре 2025 года.

🤔 Алекс Цуй из GPTZero справедливо задается вопросом о том, что "если авторы не проверяют, что ИИ пишет в их статьях, то как вы можете доверять тому, что их экспериментальные результаты или данные также не сфабрикованы ИИ?".

Просто невероятно, что они прошли рецензирование!

— пишет GPTZero.

В чём безумие и возмущение исследователей?

🤦‍♂️ Научные работы уже официально обнародованы. Алекс Цуй в своем отчете прямо указывает: «К сожалению, исправлять эти статьи уже поздно — они были опубликованы и представлены 20 000 человек в декабре 2025 года».

😅 Более того, факт публикации подтверждается тем, что эти доклады с галлюцинациями больших языковых моделей успешно прошли этап рецензирования, в то время как 15 000 других заявок были отклонены. Сложившаяся ситуация ставит под сомнение не только компетентность авторов, но и надежность всей системы проверки научных знаний на NeurIPS.

Кризис рецензирования усугубляется взрывным ростом количества заявок на 220% за последние пять лет. Рецензенты просто не успевают качественно проверять достоверность каждого библиографического списка.

Исследователи даже шутливо (а может и нет) вводят новое понятие «вайб-цитирование» (Vibe Citing) по аналогии с «вайб-кодингом». Печаль, тоска, ИИтоги.

@Russian_OSINT
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
😁4🔥31🙏1
Forwarded from ODS Events
Всем привет!

В 14:00 (по мск) стартует🎄 Stereo Data Ёлка 2025 и наш праздничный live эфир!
Эфир будет чередовать выступления с итогами года c офлайн площадок в Москве, Питере!

🌲Ссылка на трансляцию на VK Video ODS
🌲Подробное расписание эфира

Всех ждём 🤗 Подключайтесь!
2🥰2🤯2😢2
Forwarded from Machinelearning
📌 ИИ в Давосе-2026.

Всемирный экономический форум в Давосе на этой неделе превратился в парад прогнозов про ИИ: лидеры топовых компаний поделились своими совершенно разными взглядами на будущее.

Вот что говорили отцы индустрии:

🟡Илон Маск (xAI)
К концу этого года у нас может появиться ИИ умнее любого человека, скажу, что не позже следующего года.

Будущее — это гуманоидная робототехника, и у каждого будет робот.

Есть проблема в энергоснабжении для ИИ, но в Китае этого не произойдет, так как он развертывает более 100 ГВт солнечной энергии в год.


🟡Дженсен Хуанг (NVIDIA)
ИИ — это уникальная возможность для Европы, которая может перепрыгнуть через программную эпоху и объединить свои производственные возможности для создания инфраструктуры ИИ.
  
ИИ создаст множество рабочих мест, связанных с ручным трудом: сантехников, электриков и строителей. Их зарплаты уже растут почти вдвое. Для этого не нужна докторская степень.


🟡Сатья Наделла, (Microsoft)
Мы как глобальное сообщество должны прийти к тому, чтобы использовать ИИ для чего-то полезного, что меняет жизнь людей, стран и отраслей.

Внедрение ИИ будет неравномерно распределено по всему миру, в первую очередь из-за ограничений, связанных с доступом к капиталу и инфраструктуре.


🟡Демис Хассабис (Google DeepMind)
Я ожидаю создания новых, более значимых рабочих мест. Студентам стоит использовать время для освоения новых инструментов, а не для стажировок — это даст скачок в развитии на 5 лет вперед.

После появления AGI рынок труда окажется на неизведанной территории.


🟡Дарио Амодей (Anthropic)
Не продавать чипы Китаю — это одно из важнейших действий, чтобы у нас было время справиться с риском выхода ИИ из-под контроля.

ИИ может уничтожить половину начальных позиций для белых воротничков.


🟡Джошуа Бенджио ("Крестный отец ИИ")
Многие люди взаимодействуют с ИИ с ложным убеждением, что они похожи на нас. И чем умнее мы их делаем, тем больше это будет так. Но ИИ не совсем человек.
Неясно, будет ли это хорошо.


Единственное общее мнение - "Мы развиваемся быстрее, чем понимаем, и последствия не будут ждать, пока мы разберемся в ситуации".


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍32🔥1
Forwarded from Код Дурова
🤐 Ты должен был бороться со злом...

Исследователи Guardian выяснили, что ChatGPT активно ссылается на Grokipedia, предоставляя необъективную или недостоверную информацию пользователям.

Этим же грешит и Claude от Anthropic:

↖️ https://kod.ru/guardian-chatgpt-grokipedia
Please open Telegram to view this post
VIEW IN TELEGRAM
🤣9
ДАВОССКИЙ СЛЁТ ОТЧАЯННО ВРЁТ
всему мировому рабочему классу

Лютый холод, глобальная политнапряжённость и огромные сомнения в возможностях искусственного "интеллекта" (ИИ), прежде всего – генеративного вида (ГИИ) не помешали крупнейшим тех-бонзам в Давосе лгать о способностях новых ИКТ расширять мировой рынок труда. Но пролетарии всех стран объединяются. На этот раз – в борьбе против ИИ/ГИИ.

На завершившемся неделей Всемирном экономическом форуме (WEF-2026) топы техкомпаний хором заявили, что, хотя некоторые рабочие места с развитием ИИ исчезнут, обязательно появятся новые. Парочка таких даже придумала отмазу, что теряющие рынок и полюбэ планировавшие увольнения, теперь используют ИИ как предлог к локаутам и сокращениям.

Сторонники триллионного расширения ГИИ, в т. ч. раздутый биржей "титан чипов" Дженсен Хуанг, заявили, что "ГИИ ведёт к росту зарплат и числа рабмест сантехников, электриков и сталеваров".

"Энергетика создаёт рабочие места. Микроэлектроника (МКЭ) создаёт рабочие места. Все инфраструктурные компании создают их, – как бы "констатировал" гендиректор Nvidia на швейцарском горном курорте. – Везде – работа, работа, работа".

Этот оптимизм поразительно контрастировал с глобальным торгово-военным конфликтом, от которого пысали в штаны европеи до тех пор, пока президент США не продавил сделку на отъём у Гренландии всего в обмен на сохранение отношений с ЕС.

Но скептическое отношение к ГИИ никуда не подевалоСЯ. Делегаты обсуждали, как чат-боты могут привести потребителей к психозу и суициду, а лидеры профсоюзов поставили под сомнение ценность последних техдостижений.
"ИИ преподносят инструментом колоссального повышения производительности. Т. е. – делать больше с меньшим числом работников",стукнула по’ столу генсек Глобального трейюниона UNI с 20 млн членов Кристи Хоффман.

А гендиректор Cloudflare, занимающейся интернет-безопасностью, Мэтью Принс предсказал, что малый бизнес будет тупо уничтожен, когда все запросы потребителей будут обрабатывать ИИ-агенты.

Многие боссы крупных компаний задавали вопрос: что делать с массой неудачных пилотных ИИ-проектов на волне ГИИ-ажиотажа с появления ChatGPT в ноябре 2022 го? Но комдир IBM Роб Томас на голубом заявил, что ИИ достиг стадии, когда инвестиции могут окупиться: "Просто смелее автоматизируйте бизнес-процессы". Правда, большинство убедилось: это – не так.

Но вот незадача: по опросу PwC, только один из 8-ми руководителей считает, что ИИ снижает затраты и приносит доход. И остаётся открытым вопрос: какая бизнес-модель компенсирует накопланные и растущие $$-триллионные расходы на ГИИ-инфраструктуру?

SEO инвестиционной BlackRock Роб Гольдштейн заявил СМИ, что в прошлом году его компания – крупнейший в мире управляющий активами – привлек почти $700 млрд новых клиентских средств, рассматривая ИИ/ГИИ именно как средство расширения бизнеса, а не – сокращения штатов. Спроси банкира, и – узнаешь правду, ВЦ!

"Мы уделяем большое внимание тому, чтобы численность нашего персонала оставалась неизменной, несмотря на продолжающийся ИИ-рост", мямлил Гольдштейн. Тем временем один из глобальных ГИИ-лидеров Amazon. com на следующей неделе планирует второе крупное сокращение – аж 30 тыс. рабочих мест.

По словам Люка Трайглэнда, генерального секретаря Международной конфедерации профсоюзов, одна из причин – в том, что работники практически не участвуют в внедрении ИИ. И, конечно, видят этой ИКТ только угрозу.

Тут подоспел миллиардер-филантроп (теперь он себя так называет, ВЦ!), отец Microsoft Билл Гейтс: "Мир должен быть готов к переменам, которые принесёт ИИ. Экономика станет более продуктивной. Как правило, это – хорошо".

ВАШУ ЦИФРУ! А вдруг – нет? Но в общем в техно-футуристском плане Давосский форум 2026 завершился в основном на оптимистичной ноте.

Завершил техно-цирковую часть Илон Маск, снова рассказав о своей ГЛАВНОЙ ЦЕЛИ – защитить земную цивилизацию, сделав ее межпланетной. Сорвал жидкие по прежним временам аплодисменты и был выведен через кухню. В обход репортёров, желавших подробностей
🤡133💊2
Forwarded from ODS Events
Всем привет!

Публикуем третий выпуск подкаста «Капитанский мостик». На этот раз выпуск прошёл в офлайн формате как часть программы 🎄 Stereo Data Ёлки 2025 в Москве: обсуждали главные новости из мира ИИ вместе с аудиторией.

Ведущие — Валентин Малых и Дмитрий Колодезев.
Специальный гость — Александр Дьяконов.

Смотрите видео на площадках ⤵️
ODS VK Video
ODS YouTube

📩 Если у вас есть новости/темы для обсуждения — присылайте их в канал «Дата-капитаны» в Mattermost (авторизация через ODS.ai).
🔥1🥰1
Forwarded from AiRushV
This media is not supported in your browser
VIEW IN TELEGRAM
Не моё. Но очень хорошо вышло:)
🙏3🔥2
🚀 Крупный IT-стартап на 1200 сотрудников сегодня выглядит так: стойка из десятков Mac mini, на которых круглосуточно крутится тот самый хайповый Clawdbot, про который уже отлично писали коллеги 😊

И это не шутка.

В Кремниевой долине сейчас настоящий мини-бум: разработчики, стартапы и даже целые команды массово скупают Mac mini, чтобы поднимать на них этого «опенсорсного Джарвиса».
Доходит до абсурда — в ряде магазинов «миники» начали уходить в дефицит именно из-за AI-инфраструктуры под локальные агенты.

Почему так происходит?

Потому что это уже не просто бот.
Clawdbot — это по сути цифровой сотрудник:
- пишет код
- помогает с инфраструктурой
- отвечает в рабочих чатах
- автоматизирует рутину
- подключён к инструментам

И всё это - self-hosted, под полным контролем команды.

Так что теперь наш штат выглядит примерно так:

Слева направо:
Clawdbot, Clawdbot и ещё немного Clawdbot.

Людей меньше не стало.
Просто теперь каждый человек работает в паре с агентом, а производительность команды умножается, а не складывается.

Это уже не «AI как инструмент».
Это AI как часть команды.

Код Clawdbot в опенсорсе: https://github.com/clawdbot/clawdbot

@machinelearning_interview
🤡64👍3🔥1
Forwarded from Китай.AI
🤖 Робот с «человеческим» осязанием: китайские учёные создали революционный тактильный датчик и модель DOVE

Исследователи из Китая представили прорывную систему для роботов, которая сочетает бионический сенсор SuperTac и огромную языковую модель DOVE. Это позволяет машинам не просто «чувствовать» объекты, но и «понимать» их свойства на уровне человека.

🔬 Суперсенсор, вдохновлённый природой
За основу разработки взята уникальная способность голубей воспринимать мир — их мультиспектральное зрение и умение чувствовать магнитное поле.
➡️ Аппаратная часть — SuperTac:
Это тонкая (1 мм) «кожа», объединяющая несколько технологий:
Мультиспектральная камера — видит в ультрафиолете, видимом и инфракрасном свете, определяя форму, текстуру и даже температуру объекта.
Трибоэлектрический наногенератор (TENG) — распознаёт материал предмета по его электрическим свойствам с точностью 95%.
Инерциальный модуль (IMU) — улавливает вибрации и движение.

🧠 Искусственный интеллект, который объясняет ощущения
Сырые данные с SuperTac обрабатывает специализированная тактильно-языковая модель DOVE с 8.5 млрд параметров.
Её задача — переводить сложные физические сигналы в простые слова и логические выводы, как это делает человеческий мозг.

💡 Технические детали
• Архитектура DOVE построена на базе LLM Vicuna, дополненной четырьмя параллельными CLIP-энкодерами для обработки изображений от каждого сенсорного канала.
• Обучение проходило в три этапа: преобразование сигналов в изображения, проекция тактильных признаков в пространство языковой модели и тонкая настройка Vicuna для семантического вывода.
• Ключевая инновация — «оптический переключатель» в сенсорной коже, который меняет режимы работы между захватом текстуры и определением цвета объекта.

🚀 Что это значит на практике?
Робот с такой системой может:
• Взять чашку и «понять», что она «жёлтая, комнатной температуры, с рифлёной металлической поверхностью».
• Отсортировать мусор, логически рассуждая: «Этот предмет имеет характеристики PET, он лёгкий и тонкий — значит, пластиковая бутылка, её нужно отправить в переработку».

Эта работа — большой шаг от простого «робот чувствует» к сложному «робот понимает, что он чувствует». Развитие таких систем открывает путь к по-настоящему естественному и безопасному взаимодействию людей и машин.

Оригинальная статья в Nature

#КитайскийИИ #КитайAI #Робототехника #ИскусственныйИнтеллект #КомпьютерноеЗрение #Нейросети #Biotech
1😁1😢1
⚪️ В начале декабря 2025 года основатель Telegram Павел Дуров запустил децентрализованную конфиденциальную вычислительную сеть Cocoon (Confidential Compute Open Network) — https://www.kommersant.ru/doc/8376572. Платформа предполагает выполнение ИИ-вычислений на пользовательских устройствах и узлах внутри инфраструктуры TON (масштабируемая блокчейн-платформа, изначально созданная для интеграции с Telegram), а не в классических облачных дата-центрах. Сможет ли Cocoon стать альтернативой Microsoft или Amazon?

Cocoon делает ставку на то, что данные и модели передаются в зашифрованном виде и обрабатываются в защищенной среде, снижая риски утечек, в отличие от централизованных облаков вроде OpenAI или Google, говорит директор департамента расследований T.Hunter и основатель компании Интернет-Розыск Игорь Бедеров. Однако эта приватность может стоить более высокой цены за вычисление и чуть большей задержки, опасается он.

При этом сравнить теоретическую мощность гипотетической сети Telegram с традиционными ЦОДами сложно, отмечает господин Бедеров. «Если представить, что сеть состоит из современных устройств с производительностью GPU примерно 1 терафлопс, то 10 млн устройств дадут 10 эксафлопс. Эта цифра сопоставима с мощностью крупнейших в мире суперкомпьютеров,— отмечает эксперт.— Однако мощность ЦОДа стабильна, предсказуема и доступна 24/7. Мощность же распределенной сети — это «переменный ток» цифрового мира, который зависит от времени суток, географии и типа подключения».

В то же время, для работы ML-моделей на распределенных ресурсах чрезвычайно важна скорость сети между ее узлами, подчеркивает господин Катанов. Современные стандарты сетей для суперкомпьютеров достигают сотен гигабит в секунду, дополнительно снижая нагрузку на процессор за счет прямого и быстрого доступа к памяти узла, поясняет он. Таким образом, Cocoon может всплесками выдавать колоссальную производительность, но для задач, требующих длительных и стабильных вычислений, она будет проигрывать традиционным облачным кластерам, резюмировал Игорь Бедеров.

Модель Cocoon несет в себе ряд существенных рисков, говорит господин Бедеров. Во-первых, в разнородной сети из тысяч узлов с разным «железом», стабильностью интернета и надежностью оператора сложно гарантировать единый уровень SLA (Service Level Agreement), привычный для облачных гигантов, уточняет он. Во-вторых, сложность верификации вычислений, в-третьих, потенциальные и еще неизвестные уязвимости, перечисляет эксперт. В-четвертых, обработка персональных или финансовых данных в глобальной децентрализованной сети может создавать сложности с соблюдением юрисдикционных требований, отметил собеседник.

В краткосрочной перспективе Cocoon вряд ли заменит AWS (Amazon Web Services) или Azure для крупных корпоративных клиентов, однако он создаст мощную альтернативную нишу для стартапов и разработчиков с ограниченным бюджетом, проектов с повышенными требованиями к конфиденциальности данных, а также сценариев, где цена вычислений важнее минимально возможной задержки, считает Игорь Бедеров.

Подпишись на @irozysk
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍2🔥1
Forwarded from Душный NLP
Ускорение E2E-инференса через оптимизацию KV-кэша. Часть I

Существует много способов ускорить инференс LLM: менять архитектуру, использовать speculative decoding или просто добавлять вычислительные ресурсы. Но есть и более практичный путь — оптимизация KV-кэша.

Её можно разделить на pre-train и post-train. Первые требуют изменений до обучения модели: это архитектурные решения вроде GQA/MQA/MLA, смешивание глобального и локального атеншена, а также другие модификации, которые обычно стоят дорого из-за переобучения.

Post-train-методы можно применять к уже готовой модели: это различные sparse-стратегии, pruning, удаление повторов токенов и другие техники, которые уменьшают объём KV или сокращают число обращений к нему во время инференса.

KV-бюджеты удобно делить на dense и sparse, отдельно для prefill и отдельно для decode. В варианте dense prefill + dense decode (обычный KV-кэш) каждый новый Q взаимодействует со всеми K и V до него: ко всем токенам промпта и всем ранее сгенерированным токенам. Тогда KV-бюджет равен сумме длины промпта и длины генерации.

Если сделать sparse только на prefill, а decode оставить плотным, то Q перестаёт смотреть на весь промпт, но общий выигрыш заметен в основном в сценариях «длинный промпт — короткий ответ». Если же оставить dense prefill и сделать sparse decode, это часто релевантно reasoning/CoT-сценариям. Sparse и на prefill, и на decode даёт максимальную экономию бюджета, но обычно сильнее всего ухудшает качество.

Sparse можно строить по-разному. Если пересчитывать важные токены на каждом шаге decode, то качество станет выше, но скорость падает. Если пересчитывать раз в несколько токенов, то получается быстрее, но нужно удерживать локальный контекст между пересчётами, иначе модель начинает терять связность.

Один из сильных post-train-методов оптимизации KV-кэша — ShadowKV, который позволяет получать минимальные просадки на бенчмарках без дообучения и увеличивает throughput до трёх раз. О нём мы подробно поговорим в следующей части.

Разбор подготовил Владислав Кругликов

Душный NLP
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3🤯1
Forwarded from Machinelearning
🐋 DeepSeek выпустили DeepSeek-OCR 2 - новое поколение OCR с SOTA качеством

DeepSeek представили DeepSeek-OCR 2 - 3B модель для продвинутого понимания изображений, документов и OCR, которая выходит на уровень SOTA.

Ключевая новинка - DeepEncoder V2.

В отличие от классических vision LLM, которые «читают» картинку как сетку (слева-направо, сверху-вниз), DeepEncoder V2 работает ближе к тому, как читает человек:

- Сначала формируется глобальное понимание изображения
- Затем модель определяет логический порядок чтения — что важно первым, что дальше

Что это даёт на практике

📄 Лучше работает со сложными макетами документов
📊 Корректно читает таблицы
🧾 Связывает подписи и значения
📰 Понимает колонки и структурированный текст
🔀 Надёжнее обрабатывает смесь текста и визуальной структуры

По качеству

- Обходит Gemini 3 Pro на ряде бенчмарков
- Даёт >4% прироста по сравнению с прошлой версией DeepSeek-OCR

И это при размере модели всего 3B параметров.

Можно запускать и дообучать

Теперь DeepSeek-OCR 2 можно удобно запускать и fine-tune через Unsloth по готовому гайду.

🔗 Guide: https://unsloth.ai/docs/models/deepseek-ocr-2
🔗 Model: https://huggingface.co/deepseek-ai/DeepSeek-OCR-2
🔗 Github: https://github.com/deepseek-ai/DeepSeek-OCR-2/tree/main
🔗 Paper: https://github.com/deepseek-ai/DeepSeek-OCR-2/blob/main/DeepSeek_OCR2_paper.pdf

@ai_machinelearning_big_data

#DeepSeek #ocr #opensource
👍5🔥31🥰1😢1