В Трансформерах сложность Self-Attention растет квадратично относительно входной последовательности N. В новых моделях вроде Mamba используется State Space Models. Какое математическое свойство позволяет моделям Mamba достигать линейной сложности?
Anonymous Quiz
51%
Использование разреженного внимания (Sparse Attention)
19%
Применение рекуррентной формулировки (Recurrent Representation)
26%
Полный отказ от использования матриц весов и замена их на быстрые преобразования Фурье
4%
Использование квантового распределения данных
👍1
При обучении LLM инженеры часто сталкиваются с феноменом "Grokking". Это специфический режим обучения, который обычно наблюдается на алгоритмических задачах или модульной арифметике.
В чем заключается главная особенность феномена Grokking?
В чем заключается главная особенность феномена Grokking?
Anonymous Quiz
40%
Переобучение: 100% на обучении, 0% на новых. Потом тест резко становится идеальным.
23%
Мгновенное переобучение: за несколько итераций — 100%, тест падает до 0%.
18%
Модель ускоряет генерацию, оптимизируя градиентный спуск в собственных весах.
20%
Модель мгновенно забывает старые знания при смене домена (catastrophic forgetting).
❤1
В основе диффузионных моделей лежит процесс превращения случайного шума в четкое изображение. Этот процесс называется обратной диффузией. На каждом шаге нейросеть выполняет одну операцию. Что предсказывает нейросеть на каждом шаге обратной диффузии?
Anonymous Quiz
20%
Конечный цвет каждого пикселя будущего изображения, который должен получиться в самом конце
7%
Класс объекта (например, «собака» или «дерево»), чтобы заменить шум на текстуру этого объекта
70%
Шум, который был добавлен к изображению на данном этапе, чтобы его можно было математически вычесть
3%
Векторную траекторию движения каждого атома в цифровом пространстве кадра
👍2❤1🤩1
При разработке сложных AI-агентов часто используется техника ReAct. Она позволяет модели не просто выдавать ответ, а взаимодействовать с внешними инструментами.
В чем заключается главная особенность цикла работы агента по методу ReAct?
В чем заключается главная особенность цикла работы агента по методу ReAct?
Anonymous Quiz
13%
Модель сначала генерирует сразу 10 вариантов ответа, а затем выбирает лучший с помощью голосования
2%
Модель пишет код на языке C++, компилирует его и выполняет на сервере для получения результата
78%
Модель пишет рассуждения в текст, выбирает действие, получает результат от среды и повторяет цикл
7%
Модель использует скрытые слои для предсказания того, что пользователь нажмет в следующую секунду
❤1
This media is not supported in your browser
VIEW IN TELEGRAM
📅 Старт курса — 20 апреля.
Если хотите разобраться, как строить управляемые агентные системы:
P.S.
Please open Telegram to view this post
VIEW IN TELEGRAM
Когда мы дообучаем готовую нейросеть на новых данных, она часто начинает «забывать» то, чему училась раньше. Это катастрофическое забывание.
Какая из перечисленных техник является наиболее эффективной для борьбы с этим эффектом в Continual Learning?
Какая из перечисленных техник является наиболее эффективной для борьбы с этим эффектом в Continual Learning?
Anonymous Quiz
56%
Elastic Weight Consolidation (EWC)
24%
Data Shuffling
13%
Weight Pruning
7%
Learning Rate Maximization
👍1
В оригинальной архитектуре Transformer (2017 год) использовались синусоидальные позиционные эмбеддинги. Однако современные модели (Llama, Mistral, PaLM) перешли на более продвинутую технологию — RoPE.
В чем заключается главное преимущество RoPE?
В чем заключается главное преимущество RoPE?
Anonymous Quiz
17%
RoPE удаляет информацию о позиции слов, заставляя модель ориентироваться только на смысл
76%
RoPE внедряет информацию о позиции путем вращения векторов в комплексной плоскости
5%
RoPE сжимает текст в 2 раза, позволяя подавать в модель в два раза больше слов
1%
Это слой, который передвигает нейроны в видеокару в зависимости от того, насколько длинный текст
При дообучении модели с помощью учителей-людей используется важный промежуточный этап: создание Reward Model. Вместо того чтобы человек проверял ответ основной нейросети, обучается отдельная нейросеть-судья.
Как именно обучается эта модель?
Как именно обучается эта модель?
Anonymous Quiz
10%
Ей показывают один идеальный ответ от эксперта, и она должна выучить его наизусть, чтобы сравнивать
78%
Ей показывают ответы на вопрос, и человек помечает, какой лучше. Модель предсказывает предпочтения
2%
Она обучается искать грамматические ошибки в тексте; чем меньше ошибок, тем выше балл
9%
Модель вознаграждения — это база данных из словаря «плохих слов», за которые она снижает баллы
❤1
Исследователи из Anthropic обнаружили внутри модели миллионы features. Оказалось, что один и тот же нейрон может активироваться и на изображение кошки, и на код на языке Python. Это называется полисемантичностью.
Как ученые решили эту проблему?
Как ученые решили эту проблему?
Anonymous Quiz
14%
Они увеличили количество слоев в n раз, пока каждый нейрон не стал отвечать за что-то одно
34%
Они обучили доп. нейросеть, которая раскладывает сложные состояния модели на понятные признаки
42%
Они начали удалять случайные нейроны и смотреть, когда модель перестанет узнавать кошек
9%
Они заставили модель саму описывать каждый свой нейрон словами
👍1
Представь, что ты просишь ИИ решить сложную математическую задачу. Обычная GPT-4o начинает отвечать мгновенно. Но модель с System 2 Thinking (медленным мышлением) берет паузу в 30 секунд.
Что именно делает нейросеть в эти 30 секунд «молчания»?
Что именно делает нейросеть в эти 30 секунд «молчания»?
Anonymous Quiz
2%
Она ждет, пока освободится очередь на сервере, чтобы не перегружать систему
1%
Она ищет ответ в Google и копирует самый популярный вариант
94%
Она генерирует дерево возможных стратегий решения
2%
Она переводит задачу на 50 языков, чтобы найти решение в учебниках
😁2🤩1
⏳ Часовая готовность: создаём ИИ-агента в прямом эфире
В 19:00 МСК в рамках нашего курса «Разработка AI-агентов» стартует вебинар «ИИ-агенты в продакшене: от хайпа к деньгам». Спикер — Полина Полунина, руководитель AI-направления в Альфа-Банке.
Будет live-демо работающего агента, реальные метрики из корпоративной среды и честный разбор архитектурных граблей — без воды и «успешного успеха».
Всем зрителям эфира дадим эксклюзивный промокод AGENTS на скидку 10 000 ₽ на любой тариф курса.
👉 Занять место на вебинаре
В 19:00 МСК в рамках нашего курса «Разработка AI-агентов» стартует вебинар «ИИ-агенты в продакшене: от хайпа к деньгам». Спикер — Полина Полунина, руководитель AI-направления в Альфа-Банке.
Будет live-демо работающего агента, реальные метрики из корпоративной среды и честный разбор архитектурных граблей — без воды и «успешного успеха».
Всем зрителям эфира дадим эксклюзивный промокод AGENTS на скидку 10 000 ₽ на любой тариф курса.
👉 Занять место на вебинаре
На вечеринке N человек, среди них может быть Знаменитость:
её знают все;
она никого не знает. Можно задавать только вопрос: «Вы знаете этого человека?» Сколько минимум вопросов нужно, чтобы гарантированно найти Знаменитость (если она есть)?
её знают все;
она никого не знает. Можно задавать только вопрос: «Вы знаете этого человека?» Сколько минимум вопросов нужно, чтобы гарантированно найти Знаменитость (если она есть)?
Anonymous Quiz
21%
O(N^2)
26%
O(NlogN)
41%
O(N)
12%
O(1)
❤2👍2
Вы работаете с данными в очень высокой размерности (например, эмбеддинги на 10 000 чисел). Вы замечаете, что k-NN начинает работать очень плохо: все точки кажутся почти одинаково удаленными друг от друга.
Как называется этот эффект в линейной алгебре?
Как называется этот эффект в линейной алгебре?
Anonymous Quiz
4%
Переобучение (Overfitting)
58%
Концентрация меры (Measure Concentration)
27%
Мультиколлинеарность
11%
Исчезающий градиент
👍2🤩1
В 2025-2026 годах стал популярным стандарт MCP (Model Context Protocol), упомянутый в роадмапе Логана Торнлоу.
В чем главная задача этого протокола?
В чем главная задача этого протокола?
Anonymous Quiz
7%
Сжатие весов модели для запуска на смартфонах
86%
Унификация того, как ИИ-агенты подключаются к внешним инструментам независимо от провайдера модели
3%
Замена архитектуры Transformer на более быструю
4%
Шифрование личных данных пользователя перед отправкой в LLM
Самый востребованный навык в ИТ в 2026-м — навык создания ИИ-агентов
Мы полностью переработали курс «Разработка AI-агентов» под реалии 2026 года. Никакой долгой теории — с самого начала пишем код. Обучать и делиться набитыми шишками будут эксперты-практики из Газпромбанка, Альфа-Банка и других бигтехов.
В программе:
— архитектура автономных систем с тестированием, ReAct-циклами и контролем токенов;
— практическая работа с актуальными фреймворками LangGraph, AutoGen, MCP и CrewAI;
— настройка продвинутого RAG для парсинга документов и точного поиска;
— внедрение решений с учётом действующего законодательства (152-ФЗ);
— дипломная работа, за основу которой можно взять свой рабочий проект или задачу, которую предложим мы.
Эксперты поделятся инсайтами из реального продакшна — тем, о чём вам никогда не расскажет ни одна нейросеть.
Ах да, чуть не забыли! Дарим промокодAGENTSWEB на скидку 10 000 рублей и два курса сверху при покупке до 15 марта 🎁
→ Стать AI-инженером
Мы полностью переработали курс «Разработка AI-агентов» под реалии 2026 года. Никакой долгой теории — с самого начала пишем код. Обучать и делиться набитыми шишками будут эксперты-практики из Газпромбанка, Альфа-Банка и других бигтехов.
В программе:
— архитектура автономных систем с тестированием, ReAct-циклами и контролем токенов;
— практическая работа с актуальными фреймворками LangGraph, AutoGen, MCP и CrewAI;
— настройка продвинутого RAG для парсинга документов и точного поиска;
— внедрение решений с учётом действующего законодательства (152-ФЗ);
— дипломная работа, за основу которой можно взять свой рабочий проект или задачу, которую предложим мы.
Эксперты поделятся инсайтами из реального продакшна — тем, о чём вам никогда не расскажет ни одна нейросеть.
Запись первого открытого вебинара, на котором мы вместе с руководителем AI-направления в Альфа-Банке Полиной Полуниной пилили агента в прямом эфире.
Ах да, чуть не забыли! Дарим промокод
→ Стать AI-инженером
Обычный векторный поиск хорошо ищет похожие по смыслу тексты, но часто ошибается, когда нужно найти точный термин или когда запрос очень короткий.
Как называется подход, объединяющий классический поиск по ключевым словам и современный векторный поиск?
Как называется подход, объединяющий классический поиск по ключевым словам и современный векторный поиск?
Anonymous Quiz
5%
Cross-Encoding
20%
Dense Passage Retrieval (DPR)
67%
Hybrid Search
9%
Re-ranking
👍1
Вы хотите ускорить генерацию текста в 2–3 раза. Для этого вы запускаете одновременно огромную модель (Target) и крошечную быструю модель (Draft).
В чем заключается суть этого метода?
В чем заключается суть этого метода?
Anonymous Quiz
7%
Крошечная модель исправляет ошибки большой модели
65%
Маленькая генерирует несколько слов вперед, а большая проверяет их все и подтверждает или отклоняет
21%
Большая модель учит маленькую в режиме реального времени
7%
Это обычное кеширование
❤1
Кажется, мы окончательно перешли от игрушек к суровому AgentOps
Приглашаем на наш обновлённый курс по разработке ИИ-агентов. Никакой воды про «будущее нейросетей», только инженерный подход.
На курсе мы:
— пошагово строим готовые системы на
— настраиваем кэширование и роутинг, чтобы бот не сожрал токены;
— разбираемся со стейтом, учимся дебажить через time-travel и прикручиваем human-in-the-loop;
— выводим RAG в прод так, чтобы безопасники не завернули архитектуру из-за 152-ФЗ.
В пекло скучные лекции про общую инфраструктуру — сразу фокусируемся на агентных фреймворках и написании кода. Занятия ведут бывалые лиды из Газпромбанка и Альфы, набившие шишки на реальных задачах.
Сегодня последний день, когда можно забрать курс по старым ценам. Базовый тариф сейчас стоит 49 000 ₽ (вместо 62 990 ₽), продвинутый трек — 99 000 ₽ (вместо 124 990 ₽). Если не хочется отдавать всю сумму сразу, есть рассрочка. Торопитесь — на потоке осталось всего 5 мест!
→ Зафиксировать цену и перейти к сборке своих агентов
Приглашаем на наш обновлённый курс по разработке ИИ-агентов. Никакой воды про «будущее нейросетей», только инженерный подход.
На курсе мы:
— пошагово строим готовые системы на
LangGraph, CrewAI и MCP;— настраиваем кэширование и роутинг, чтобы бот не сожрал токены;
— разбираемся со стейтом, учимся дебажить через time-travel и прикручиваем human-in-the-loop;
— выводим RAG в прод так, чтобы безопасники не завернули архитектуру из-за 152-ФЗ.
В пекло скучные лекции про общую инфраструктуру — сразу фокусируемся на агентных фреймворках и написании кода. Занятия ведут бывалые лиды из Газпромбанка и Альфы, набившие шишки на реальных задачах.
Кстати, на днях мы пилили агента в прямом эфире, если пропустили — есть запись вебинара.
Сегодня последний день, когда можно забрать курс по старым ценам. Базовый тариф сейчас стоит 49 000 ₽ (вместо 62 990 ₽), продвинутый трек — 99 000 ₽ (вместо 124 990 ₽). Если не хочется отдавать всю сумму сразу, есть рассрочка. Торопитесь — на потоке осталось всего 5 мест!
→ Зафиксировать цену и перейти к сборке своих агентов
Многие современные модели показывают аномально высокие результаты на бенчмарке MMLU (Massive Multitask Language Understanding). Часто это происходит не потому, что модель стала умнее, а из-за «загрязнения» данных.
Что такое Data Contamination?
Что такое Data Contamination?
Anonymous Quiz
93%
В обучающую выборку модели случайно попали вопросы и ответы из самих тестовых заданий бенчмарка
0%
Данные были повреждены при передаче по сети
4%
Тесты бенчмарка слишком легкие для современных моделей
3%
Модель использует Google для поиска ответов во время теста
❤1
Когда модель не влезает в одну видеокарту, её «режут» на части. Если вы разделяете модель по слоям (например, первые 40 слоев на одной GPU, остальные 40 — на другой), как называется такой тип параллелизма?
Anonymous Quiz
6%
Data Parallelism
54%
Tensor Parallelism
38%
Pipeline Parallelism
2%
Expert Parallelism