🚀 Как обучить модель на тысяче GPU?

Обыкновенно в курсах по машинному обучению рассматриваются модели, для обучения которых требуются ресурсы одного сервера (1 или несколько графических карт). Но современные LLM, foundational модели требуют коллосальное количество вычислений на огромных кластерах.

По словам Ильи Суцкевера совсем недавно закончилась “эпоха масштабирования”, ознаменовавшаяся экспоненциальным ростом числа параметров моделей. В этот период были разработаны ключевые концепции для масштабирования вычислений на GPU, которые мы рассмотрим на грядущем вебинаре “Параллелизация обучения модели на сотни GPU”. Интересно, что на сегодняшний день данные методы применяются не только для обучения, но и для применения больших моделей.

🎙 Спикер: Владислав Гончаренко – автор курса MLOps программы MSAI и основатель girafe-ai
📅 Когда: 20 июля (понедельник)
🕖 Время: 19:00 (МСК)

На вебинаре обсудим:
• три базовых способа масштабирования
• соединим их в 3D scaling для получения максимальных возможностей
• в каких системах они реализованы
• как вы можете использовать их сегодня
• спикер ответит на вопросы участников

Вебинар будет полезен ML-инженерам, исследователям, студентам и всем, кто хочет глубже разобраться в инфраструктуре обучения современных AI-моделей.

👉 Вебинар бесплатный, необходима предварительная регистрация

Introducing Kimi K3: Open Frontier Intelligence (Moonshot AI)

🔹 2.8 Trillion Parameters, 1 Million Context, Native Multimodal
🔹 Kimi Delta Attention enables up to 6.3x faster decoding in million-token contexts
🔹 Attention Residuals deliver ~25% higher training efficiency at <2% additional cost
🔹 Built for long-horizon agentic coding and self-evolving workflows

Kimi K3 is now live on on Kimi.com, Kimi Work, Kimi Code, and the Kimi API.
Open Weights by July 27, 2026. (~ через 9 дней откроют веса - кул 👍)

🔗 API: platform.kimi.ai
🔗 Tech blog: https://www.kimi.com/blog/kimi-k3

KV Cache (Key-Value Cache) is a crucial memory optimization in Large Language Models (LLMs) that accelerates text generation by storing intermediate attention computations (Keys and Values). Instead of re-evaluating the entire prompt for every new word, the model calculates the new token and reuses the cached history, changing computational growth from quadratic to linear.

🔗 Video link (by IBM & Red Hat): https://www.youtube.com/watch?v=o0gkdZBtwEg

Kimi K3 -> K3 stands for Kazakhstan 🇰🇿

Открытый вебинар «Параллелизация обучения модели на сотни GPU».

Авторы: команда girafe.ai (мощные специалисты)

Материалы:

- Запись на YouTube: https://www.youtube.com/watch?v=D67sPMFLtNI&list=PLJR10EXrBaAs9kwh3KAxNny5TBsEB0nF0&index=1

+ прикрепил ниже презентацию.

gpu_parralelizm.pdf

Number of Unique XOR Triplets (I, II)

> Наткнулся на интересные задачки по битовой логике (давно не решал такие задачи):

Вам дается массив чисел nums и нужно посчитать уникальное количество XOR триплетов (i <= j <= k | nums[i] ^ nums[j] ^ nums[k]).

XOR logic gate основные правила:
* X ^ X ^ X = X
* X ^ X = 0

Q1: В первой версии задачи гарантируется, что числа это перестановки чисел от 1 до N. Но при этом размер массива N -> может быть до 10^5. То есть просто O(N^3) брутфорсом не получится решить :) ~ даже O(N^2) оптимизированное решение не пройдет -> есть красивое логическое решение за O(1).

Подсказки:
* Если числа гарантировано от 1 до N перестановка - то порядок чисел не имеет значение.
* До N <= 8 попробуйте перерешать вручную на бумаге битами :)

Q2: Во второй задаче уже числа могут быть любыми до <=1500, и также гарантируется, что размер массива будет до <=1500, то есть O(N^3) решение брутфорс тут не зайдет также -> займет кучу операций ~3.4 * 10^9 => TLE. Подсказка: но O(N^2) оптимизированное хэшсетами решение зайдет :)

Topics: Bit Manipulation, Math, Hashsets

Q1: https://leetcode.com/problems/number-of-unique-xor-triplets-i

Q2: https://leetcode.com/problems/number-of-unique-xor-triplets-ii

#LeetCode

Kaggle AI Bench Sandbox added GPT-5.6 Terra 🔥

LOL:
* GPT-5.6 Terra thinks: 1GB pdf = 1L water = 1KG sugar 😅
* But for Claude Opus - 1KG sugar is the heaviest one :)

🙌 Test your prompts: https://www.kaggle.com/

Midnight Code Cup 2026 Finals (problem K)

https://2026.midnightcodecup.org/problems/K/ — на сервере запущена какая-то программа, которой можно присылать картинки, а она сообщает, насколько они похожи на загаданную картинку. Когда вы присылаете изображение, очень похожее на правильное, вам выдают ключ — и задача решена.

Разбор решения задачи (интересные решения):
- 1-я часть: https://t.me/pushing_buttons/94
- 2-я часть: https://t.me/pushing_buttons/95

Условия всех задач можно почитать здесь: https://2026.midnightcodecup.org/problems/

из канала "Боря программист" (Борис Минаев - SWE OpenAI & ICPC 2015 World Champion with full problems solved*): https://t.me/bminaiev_blog

FastAPI version 0.140.0 is a high-performance Python web framework release focused on major memory optimizations, reducing baseline memory usage by around 50%.

https://x.com/FastAPI/status/2080774236373680483

Прикольно после апдейта приложения LeetCode: можно писать код и сдавать задачи прямо через смартфон 🔥😁

Codeforces Round 1112 (Div. 1, Div. 2) will take place 26 July 2026 at 14:35 UTC.
Please, join by the link https://codeforces.com/contests/2249,2250

Knowing When Not to Use AI: AI Agents vs Rules vs ML

"The most important AI skill is knowing when not to use it."

1. Humans: Use when decisions require deep ethical judgment, emotional nuance, or accountability in high-stakes scenarios.
2. Rules (Hard-coded Logic): Use when the logic is strictly deterministic, 100% predictable, and compliance-driven.
3. GenAI (Generative AI & Agents): Use when dealing with unstructured inputs, natural language processing, or tasks requiring dynamic decision-making across tool ecosystems.
4. Traditional Machine Learning (ML): Use when predicting outcomes, classifying structured data, or detecting anomalies based on historical patterns.

~ 4 rules made with help of Gemini Flash :)

🔗 Video by IBM: https://youtu.be/_ZqSFVi6UDY?si=jKsvxDMktULlHI4m

📜 Learn more about Balancing AI: https://www.ibm.com/think/insights/ai-ethics-balancing

5 сентября будет онлайн-трансляция deep tech night — конференции Яндекса о технологических вызовах в эпоху AI, которые сегодня меняют разработку, архитектуру и инфраструктуру.

Регистрация по ссылке: https://deeptechnight.ru