DeepSeek открыла исходный код движка инференса, лежащего в основе кластера, который, по заявлению компании, обрабатывает 155 триллионов токенов в сутки.

И это уже становится закономерностью. Ранее DeepSeek опубликовала FlashMLA, DeepGEMM, DeepEP и несколько других компонентов своей инфраструктуры инференса. Теперь компания открывает исходный код фреймворка, объединяющего значительную часть этих разработок.

Проект называется DeepInfer. Это высокопроизводительный фреймворк для инференса, который используется в масштабных продакшен-сервисах DeepSeek.

На данный момент он поддерживает DeepSeek-V4.1-Flash и включает несколько интересных оптимизаций для эффективного запуска крупных моделей с архитектурой Mixture-of-Experts (MoE).

В реализации предусмотрен параллелизм экспертов (Expert Parallelism) с динамической балансировкой нагрузки. Это позволяет распределять MoE-экспертов между GPU и корректировать нагрузку при её неравномерном распределении.

Для декодирования DeepInfer использует спекулятивное декодирование DSpark с проверкой, планируемой на основе оценок уверенности. Предварительные токены генерируются заранее, а оценки уверенности помогают определить, когда необходимо выполнить их проверку.

Отдельного внимания заслуживает планировщик. Формирование батчей на CPU выполняется параллельно с вычислениями на GPU, что сокращает время простоя, обычно возникающее между этапами декодирования.

Среди других возможностей:

- Ограниченное повторное воспроизведение вычислений для Sliding Window Attention.
- Инференс, результаты которого не зависят от состава батча.
- Детерминированное семплирование.
- Генерация с ограничениями на основе JSON Schema, регулярных выражений и грамматик EBNF.

DeepSeek также опубликовала необычайно подробную документацию по развёртыванию, в которой объясняется, как её продакшен-система разделяет этапы prefill и decode, распределяет MoE-экспертов между большими группами GPU и повторно использует закэшированный контекст.

Фреймворк поддерживает GPU NVIDIA с архитектурой SM100 и NPU Huawei Ascend 950.

Однако есть важное ограничение: публичная версия пока поддерживает только офлайн-инференс. В неё не входят система KV-кэша, полноценное разделение prefill и decode, а также балансировка нагрузки, необходимые для работы полноценного онлайн-сервиса.

Изначально DeepInfer разрабатывался преимущественно на базе vLLM с использованием отдельных идей из SGLang и TensorRT-LLM.

Таким образом, это не полная копия продакшен-инфраструктуры DeepSeek. Тем не менее компания открыла доступ к значительной части своей реальной реализации инференса, которую разработчики теперь могут изучать, тестировать в бенчмарках и использовать в собственных проектах.

Исходный код полностью открыт под лицензией Apache 2.0.

👉 @PythonPortal

Демис Хассабис, генеральный директор Google DeepMind и лауреат Нобелевской премии, ожидает появления AGI гораздо раньше, чем предполагал в своих предыдущих прогнозах.

Январь 2025 года. До появления AGI остаётся ещё 5–10 лет. Возможно, для этого потребуется один или два технологических прорыва.

Февраль 2026 года. Мы находимся на пороге очередного переломного момента, когда появление AGI становится всё более близкой перспективой. Возможно, он появится в течение ближайших пяти лет.

Октябрь 2026 года. Теперь Хассабис ожидает появления AGI уже через 2–3 года.

https://www.wsj.com/tech/ai/demis-hassabis-ai-deepmind-google-isomorphic-2b4e3153?st=qXvQgt&reflink=desktopwebshare_permalink

👉 @PythonPortal

Генеральный директор OpenAI Сэм Альтман заявил:

«Будущее должно оставаться под контролем людей. Мы не хотим, чтобы слишком много власти сосредоточилось в руках ИИ с IQ в десять миллиардов или небольшой группы людей, которые смогут делать с помощью ИИ всё, что захотят».

Насколько умнее самых выдающихся людей может стать искусственный интеллект и как быстро это произойдёт? 🤔

👉 @PythonPortal

Claude больше не способен проводить реверс-инжиниринг всего подряд. Anthropic незаметно прикрыла REA (Reverse Engineer Anything).

Любопытно, однако, при каких обстоятельствах это произошло.

После нескольких нашумевших случаев, когда пользователи с помощью Claude проводили реверс-инжиниринг прошивок телевизоров Samsung и обнаруживали сервисы сбора данных, Anthropic, по всей видимости, решила ограничить возможности модели в этой области.

Как говорится, слишком многое узнал. 🚬

👉 @PythonPortal

Одна из лучших моделей, превращающих изображения в 3D, вышла в открытый доступ.

Hi3D V1.0 — масштабированная версия прошлогодней Sparc3D. Её код и веса уже опубликованы на GitHub и Hugging Face. Скачать и использовать модель можно совершенно бесплатно.

Признаться, за последнее время я не встречал более любопытного открытого релиза в области 3D.


👉 @PythonPortal

Симуляция Нью-Йорка, генерируемая в реальном времени.

По виртуальному городу можно прогуляться пешком, прокатиться на велосипеде, проехать на автомобиле или полетать на вертолёте.

В симуляции реализованы эффекты освещения, смена времени суток в реальном времени, дорожное движение, отражения и многое другое.

При этом весь проект занимает менее 800 КБ, а его исходный код находится в открытом доступе.

https://mrdoob.github.io/slop-newyork/

👉 @PythonPortal

Google Artemis позволяет ИИ-агентам управлять Android-устройствами, а теперь в проекте готовится поддержка iPhone!

Я уже довольно давно слежу за этим проектом с открытым исходным кодом, и с каждым обновлением он становится всё интереснее.

Сейчас разработчики работают над несколькими возможностями:

- Поддержка iOS, включая физические устройства и симуляторы.
- Локальные мультимодальные модели на базе Gemma 4.
- Интеграция с OpenCode через MCP.
- Поддержка жестов с несколькими одновременными касаниями и упрощённое беспроводное подключение Android-устройств.

Все эти изменения пока находятся в открытых PR, однако работа над ними заметно продвигается.

https://github.com/google/artemis

👉 @PythonPortal

Gemini Pro Argon на 1.5 года по цене кофе?

Gemini Pro на 18 месяцев можно купить за 6$ (480₽ вместо 30.000₽) - последний день акции от Jio!

> 4.0 Argon топ для вайбкодеров
> Nano Banana 2 PRO (картинки)
> Видео генерация (видео, нарез ки, мувики)
> 5 ТБ облака в Google One

🔓Вот бесплатный VPN для всех, пользуйтесь!

Работает акция еще 1 день по такой цене, дальше будет официальная цена $360 за 18 месяцев

Приобрести можно в Магазине с 20.000+ покупок и 2000+ отзывов (есть возвраты и замены).

«Современная математика глубокого обучения» — научная работа объёмом 111 страниц, посвящённая математическим основам современных нейронных сетей. Она находится в свободном доступе.

В работе подробно рассматриваются теория аппроксимации нейронных сетей, способность больших моделей к обобщению, избыточная параметризация, методы оптимизации и ландшафты функций потерь.

Особое внимание уделяется влиянию глубины нейронных сетей на их выразительные возможности, проблеме проклятия размерности, свёрточным и остаточным нейронным сетям, пакетной нормализации, разреженным представлениям и рекуррентным нейронным сетям.

Кроме того, авторы исследуют применение глубокого обучения к решению обратных задач и дифференциальных уравнений в частных производных.

Работа представляет собой обстоятельный обзор математических принципов, лежащих в основе глубоких нейронных сетей. В ней рассматриваются как уже доказанные теоретические положения, так и вопросы, на которые исследователям ещё предстоит найти ответы.

Для тех, кто стремится понять не только практическое применение современного искусственного интеллекта, но и математические закономерности, определяющие его работу, эта статья заслуживает внимания.

Научная работа: https://arxiv.org/pdf/2105.04026

👉 @PythonPortal

Один и тот же отчёт, подготовленный Research Agent, два эксперта могут оценить совершенно по-разному. Возникает закономерный вопрос: насколько вообще надёжны наши Evals, если в роли оценщика выступает LLM Judge?

Недавняя статья Кэмерона Р. Вулфа как раз посвящена этой проблеме. В ней разбирается, как оценивать задачи агентов, где результат по своей природе во многом субъективен: например, Deep Research или творческое письмо.

Автор предлагает довольно практичный подход.

Сначала специалисты в предметной области определяют критерии оценки, после чего несколько экспертов независимо проверяют один и тот же набор результатов. Если их оценки сильно расходятся, сначала нужно пересмотреть сами критерии, а в некоторых случаях и вовсе отказаться от метрик, которые слишком субъективны для надёжной оценки.

Затем LLM Judge калибруют на данных, уже проверенных людьми. Повторные тесты и доверительные интервалы помогают не принять случайные колебания результатов за реальное улучшение модели.

И наконец, нужно вернуться к самому продукту: с помощью A/B-тестов и обратной связи от пользователей проверить, действительно ли рост показателей в офлайн-оценках приводит к улучшению пользовательского опыта.

Мне особенно близка мысль о том, что сначала нужно проверить самого оценщика.

При разработке Research Agents мы часто слишком внимательно следим за тем, растут ли показатели Eval, и гораздо реже задаёмся вопросом, насколько вообще надёжны критерии, по которым эти показатели считаются.

Эту статью определённо стоит сохранить тем, кто занимается Agent Eval. Особенно полезны разделы о выборке данных, калибровке экспертов и статистических методах.

https://cameronrwolfe.substack.com/p/subjective-evals

👉 @PythonPortal

🚀 29 октября Arenadata проведёт техническую онлайн-конференцию ArenaTech

На ArenaTech инженеры Arenadata расскажут, как устроены продукты компании изнутри, поделятся опытом решения сложных инженерных задач и представят ключевые направления технологического развития.

🟢Основные темы конференции:

🔜СУБД: архитектура, развитие и эксплуатация. Обсудим планы развития Arenadata DB (ADB) и Greengage DB, новые возможности MPP-СУБД, включая hot standby, вопросы безопасности и устранения уязвимостей. Отдельное внимание уделим утилите ggrebalance, которая позволяет сокращать число сегментов кластера и заменять хосты с сохранением равномерного распределения данных.

🔜Платформа данных: безопасность и Kubernetes. Расскажем об управлении секретами и доступом в Arenadata Hyperwave (ADH) с использованием OpenBao. Разберём особенности переноса Impala, Trino и Spark в Kubernetes: интеграцию с Kerberos, разработку операторов, адаптацию Spark и использование Celeborn и YuniKorn.

🔜Инструменты: кластерный менеджер, документация, ИИ-поиск. Поделимся опытом организации процессов разработки технической документации и расскажем, как создавались интеллектуальный поиск и ИИ-ассистент, упрощающие поиск информации в документации многокомпонентной платформы данных. Также расскажем про развитие нашего кластерного менеджера ADCM.

После каждого доклада участники смогут задать вопросы спикерам в рамках Q&A-сессии.

Конференция будет интересна разработчикам, дата-инженерам, администраторам СУБД, архитекторам, DevOps-инженерам и техническим руководителям.

🗓 29 октября, 12:00 МСК

Формат: онлайн 🔛

Программа и регистрация

Теперь DeepSeek-V4.1-Flash можно запустить локально на одной видеокарте и с 46–64 ГБ оперативной памяти.

Благодаря технологии выгрузки данных на диск в Strata и методу квантования GSQ-RCO большую модель с архитектурой Mixture-of-Experts (MoE) стало возможно запускать на обычном пользовательском оборудовании, не прибегая к дорогостоящим серверным видеокартам.

Предусмотрены установка в один клик и локальный API, совместимый с OpenAI.

https://github.com/Niko1221/Strata

👉 @PythonPortal

Многие, вероятно, до сих пор не вполне понимают, для чего нужны модели мира. Однако, на мой взгляд, Genie 4 позволяет гораздо яснее представить, как подобные технологии могут приблизить нас к созданию общего искусственного интеллекта (AGI).

Google уже объединяет Genie с Gemini, хотя, к сожалению, в системе, работающей в реальном времени, используется Gemini 3.8 Flash. Модель способна наблюдать за происходящим в симуляции, разбивать поставленные цели на более простые задачи и корректировать свои планы по мере изменения окружающего мира.

В перспективе объединение способности больших языковых моделей к рассуждению с пониманием физических закономерностей, приобретённым моделью мира, может позволить ИИ-агентам испытывать различные действия и совершенствовать своё пространственно-временное мышление.

Нечто подобное происходит и с человеком, когда он мысленно представляет определённую ситуацию и пытается предугадать её последствия, прежде чем приступить к действию.

Таким образом, у ИИ-агентов появится возможность сравнивать различные способы решения задач и учиться на результатах собственных действий в виртуальной среде, прежде чем применять полученный опыт в действительности. Разумеется, при условии, что симуляции окажутся достаточно точными.

Полагаю, это поможет преодолеть некоторые трудности, с которыми современные модели всё ещё сталкиваются при решении задач, требующих пространственного мышления и понимания физических процессов.

Человек способен заранее мысленно воспроизвести предстоящее действие. Большие языковые модели, напротив, пока ограничены рассуждениями в текстовой форме. Они могут описывать физические явления и математические закономерности словами, но интерактивная модель мира позволит искусственному интеллекту не просто рассуждать о возможных событиях, а наблюдать, как они разворачиваются в виртуальной среде.

Разумеется, точность моделирования физических процессов и способность сохранять последовательность происходящего на протяжении длительного времени ещё требуют значительных улучшений.

Тем не менее это важный шаг к созданию более совершенных виртуальных сред, в которых искусственный интеллект сможет взаимодействовать с окружающим миром, приобретать опыт и учиться на собственных действиях.

👉 @PythonPortal