☁️☁️☁️☁️☁️☁️☁️

24 сентября Yandex Cloud проведёт флагманскую технологическую конференцию — Yandex Scale 2026.

🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨
🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨
🎨🎨🎨🎨🎨🎨🎨🎨🎨
В программе четыре продуктовых трека — AI, Data, Security и Hybrid Infrastructure & DevOps, — и отдельный углублённый технологический трек DeepTech, который пройдёт только онлайн.

🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨
🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨
🎨🎨🎨🎨🎨🎨🎨🎨🎨
В треке DeepTech откроем программу докладом о том, как мы ускорили Lua в Valkey — добавили LuaJIT и Lua 5.5 без патчей интерпретатора и получили прирост скорости до 2–5 раз. Расскажем, как строим экономически эффективный инференс LLM для агентских сценариев в Yandex AI Studio — на примере DeepSeek-V3.2 и DeepSeek-V4-Flash. Разберём, что разваливается в поиске, когда он должен быть одновременно распределённым, транзакционным и линейно масштабируемым — на примере векторного, полнотекстового и гибридного поиска в YDB. Покажем, какая инфраструктура превращает недетерминированную модель в управляемый и наблюдаемый сервис, когда агент выходит из демо в продакшн. Расскажем, как мы первыми в РФ научились мониторить ИИ-агентов внутри «чёрного ящика» LLM. И заглянем под капот сети облака — Interconnect, Private Link, Inbound DNS и DNS Firewall, которые складываются в герметичный контур между Yandex Cloud, on-premises и другими облаками.

🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨
🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨

Плюс демозоны, питчинг решений, IT-квест и мерч для тех, кто в Москве. А кто смотрит онлайн, помимо трека DeepTech, есть ещё отдельная онлайн-студия: розыгрыш призов и секретный гость.

Полную программу можно посмотреть на сайте, там же — зарегистрироваться. Участие бесплатное!

Продолжая ИИшную аксиому Эскобара

Есть 2 варианта, локальной "one-shot" генерации:
1) Модель выдает архитектурно слабое решение, но зато это полностью рабочий каркас, который без проблем запускается. На такую генерацию уходит ~5 минут

2) Модель выдает классный архитектурны анализ, но полностью факапится в написании кода, допустив тупорылые логические ошибки. На такую генерацию уходит ~15 минут

На какой стул сядешь?

UPD:
Камон, естественно нет варианта, чтобы и классно было и работало, а ты что думал, это локальное нейрохрючево

UPD2:
Ладно, еще микроспойлер, некоторые тяжелые и типа-умные модели на 20+ лярдов параметров реально работают на уровне подброшенной монетки, как повезет, он либо решит задачу, либо не решит 😄

Сидел тут, выборочно осматривал на чем конкретно определенные модели факапились. Решил поисправлять за ними тупые баги, что б узнать как конечная имплементация пашет.

Ну просто поразительный перформанс листа, особенно когда тебе ниче не нужно рендерить 😄

Ура, я наконец-то закончил запись.

Осталось каких-то жалких 4/5 неделек, чтоб эту пиздецому смонтажировать 😄

Ебобаная привычка после 10-и минутных видосов писать кратко, емко и самое главное в быстром темпе, что б вы, СДВГшники, не заскучали 😄

Крч, я каким то хреном умудрился в первые 40 минут впихнуть следующий список тем:

1. LLM
2. Промпт
3. Обучение модели и инференс как разные процессы
4. Пост-тренировка в формате «инструкция → вывод»
5. Веса / параметры модели
6. Предсказание следующего токена
7. Токены и токенизатор
8. Особенности токенизации латиницы и кириллицы
9. Число параметров
10. Dense-модели
11. Эмерджентные свойства
12. Типы данных и точность весов (в т.ч. 16-бит)
13. Оценка потребления памяти по числу параметров
14. Квантизация
15. Floating point, мантисса и экспонента
16. FP8 и низкобитные форматы
17. Аппаратное ускорение низкобитных вычислений
18. Влияние квантизации на качество модели
19. Запуск квантованных моделей на CPU (в т.ч. SIMD)
20. Слои модели
21. Статическая квантизация по шаблонам
22. Защита отдельных слоев при сжатии (эмбеддинги, нормализация, ключевые блоки)
23. Адаптивная квантизация слоев с разной битностью
24. iMatrix и i-кванты
25. QAT (Quantization-Aware Training)
26. Сверхнизкобитная квантизация
27. Формат GGUF
28. Дистилляция (Distilled-модели)
29. Прунинг
30. Fine-tuning
31. LoRA и QLoRA
32. MoE (Mixture of Experts)
33. Роутер / маршрутизатор экспертов
34. Активные параметры
35. REAP
36. Спекулятивное декодирование
37. MTP (Multi-Token Prediction)
38. Reasoning
39. Мультимодальность
40. Vision
41. Speech-to-Text
42. Контекстное окно
43. Attention
44. Квадратичная сложность Attention
45. KV-кэш
46. Prefill / обработка промпта
47. Flash Attention
48. Квантизация KV-кэша
49. Paged Attention
50. Lost in the Middle


Теперь думайте, а чё же там происходит дальше 😄