🤯 Как работают LLM под капотом #MLSTART

Когда впервые сталкиваешься с большими языковыми моделями, кажется, что внутри какая-то магия. 🪄

Но на деле всё куда проще (и интереснее). Если очень упростить, то можно сказать, что LLM - просто предсказывает следующий символ или слово.

Она “смотрит” на контекст, оценивает вероятности всех возможных продолжений и выбирает наиболее подходящее. То есть, в основе - обычная многоклассовая классификация, только на гигантском масштабе.

🎞 Чтобы наглядно это увидеть, есть два шикарных ресурса:

- 3Blue1Brown - визуально объясняет, как работают нейронные сети. После его видео многие вещи становятся буквально очевидными.

- Андрей Карпатый - бывший разработчик OpenAI, разбирает, как собрать GPT с нуля. Без лишней воды, очень системно. Он шаг за шагом показывает, как строится языковая модель и почему она делает то, что делает.

💬 Эти два плейлиста реально помогают сложить в голове пазл: от нейронок - к трансформерам, а от них - к пониманию LLM.

Вернуться к оглавлению

👩‍💻 Data Flow

⚙️ Поиграться с моделями: Groq, OpenRouter и другие #MLSTART

Когда начинаешь разбираться, как работают LLM, сразу хочется попробовать всё это в деле - “пощупать” модели своими руками, сравнить качество генерации, посмотреть как те или иные параметры влияют на ответ LLM.

Сейчас для этого есть куча удобных площадок и API, где можно тестировать разные модели, не поднимая инфраструктуру.

Вот несколько сервисов 👇

- Groq — классный сервис, но требует VPN. Можно запускать open-source модели бесплатно, лимитов хватает, чтобы спокойно поиграться и потестить идеи.

- OpenRouter - альтернатива без VPN. Там тоже есть бесплатные модели (лимитов чуть меньше), но интерфейс удобный, и можно быстро сравнивать разные LLM.

- Replicate и Together.ai - больше про продакшн и эксперименты. Эти сервисы платные, требуют зарубежную карту, но у них огромный “зоопарк” моделей, не только LLM: есть модели для изображений, аудио и видео

💡 Такие инструменты полезны, чтобы быстро проверить гипотезу, понять, как модель реагирует на разные промпты, и не тратить время на развёртывание локальной среды.

Если хочешь хочется поскорее потестить разные LLM-модельки - эти playground-площадки отличное место, чтобы начать.

Вернуться к оглавлению

👩‍💻 Data Flow

🤗 Hugging Face - кладезь моделей #MLSTART

Если Groq и OpenRouter - это площадки, где можно протестировать модели, то Hugging Face - это уже целая экосистема. Там собрано всё: модели, датасеты, пайплайны, демки и даже туториалы по обучению.

💫 Самое крутое - Hugging Face можно рассматривать как GitHub для ML. Каждый разработчик может выложить туда свою модель, а ты - взять, протестировать или дообучить под свою задачу.

Например, у ребят из Vikhrmodels есть несколько отличных русскоязычных моделей. Я сам использовал Vikhr-Nemo-12B-Instruct-R-21-09-24 - она довольно уверенно справляется с задачами на русском языке. Правда, она может быть тяжеловата для обычного ПК, так что может понадобиться квантизация.

Из других опенсорсных вариантов неплохо себя показывает Qwen - неплохое качество генерации, есть "легкие" версии, так что можно позапускать у себя на компьютере.

Кстати, для локального запуска LLM сразу с интерфейсом чата существует множество сервисов. Мой фаворит - LM Studio.

⚡️ Если хочешь поэкспериментировать с локальными моделями или попробовать свои силы в fine-tuning - welcome to Hugging Face!

Вернуться к оглавлению

👩‍💻 Data Flow

💬 Сила комьюнити #MLSTART

Когда начинаешь изучать ML и LLM, легко почувствовать себя в вакууме - вокруг куча инфы, но непонятно, куда двигаться дальше и с кем обсудить вопросы. Вот тут как раз и выручает комьюнити.

🦜 ODS.ai - отличное русскоязычное сообщество. Там проходят соревнования, курсы, митапы, а главное - всегда можно задать вопрос и получить ответ от практиков. Многие ребята, кто сейчас работают в топовых ML-командах, когда-то начинали именно там.

💬 Вот еще пара сообществ, где можно задать вопросы, обсудить идеи и найти единомышленников:
- Natural Language Processing - большое русскоязычное NLP-сообщество. Там обсуждают всё: от обучения моделей до построение пайплайнов и продакшн-задач.
- LLM under the hood - авторский канал про продукты на базе LLM. Автор делится продакшн-кейсами и идеями вроде SGR-подхода (Schema-Guided Reasoning) для повышения точности работы агентов. Есть также чат, где ребята активно обсуждают свои проекты и делятся опытом.

💡 Если ты только начинаешь - обязательно подключайся к таким сообществам.

Вернуться к оглавлению

👩‍💻 Data Flow

🧰 Как уже сегодня собрать своего первого ИИ-ассистента? #MLSTART

Если не хочется сразу погружаться в код, но хочется что-то сделать руками - тебе подойдут no-code инструменты. С их помощью можно собрать работающего LLM-агента буквально за вечер.

Вот пара сервисов, которые точно заслуживают твоего внимания 👇

- Flowise - визуальный конструктор LLM-агентов. Можно соединять модели, промпты, базы данных и API прямо в браузере. Отличный способ понять логику пайплайнов без кода и собрать своего первого агента уже этим вечером.
- n8n - мощный инструмент для автоматизации. С его помощью можно, например, сделать цепочку: Telegram-бот → LLM → Google Sheets → Telegram-бот = и всё это без единой строчки кода (бесплатный доступ к Enterprise-серверу n8n можно получить здесь).

А если захочется углубиться - обрати внимание на LangChain и LangGraph. Это уже code-фреймворки, но они лежат в основе большинства LLM-продуктов, и понимание их логики сильно прокачивает.

⚡️ No-code инструменты - отличный способ быстро собрать свой первый прототип и "пощупать", как это всё работает "вживую".

Вернуться к оглавлению

👩‍💻 Data Flow

Теперь и ChatGPT стал амбассадором нашего курса. Приятно)

👩‍💻 Data Flow

Друзья развернули Enterprise лицензию n8n на своём сервере и дают бесплатный доступ. Если хочется быстро собрать какую-нибудь автоматизацию под свои задачи и не заморачиваться пока с селфхостингом - welcome. Говорят, что доступы пока ещё есть в наличии.

Сам тоже пользуюсь, кайфово 👍

👩‍💻 Data Flow

🕶 Fine-tuning и RAG: нужно ли дообучать модели? #MLSTART

Когда начинаешь работать с моделями, часто хочется их "допилить под себя" - чтобы понимали контекст проекта, говорили в нужном тоне, лучше решали конкретные задачи. Первое, что приходит в голову - дообучить модель. Но это не всегда лучший (и точно не первый) шаг.

🍭 Fine-tuning - это мощно. Но при этом и сильно дорого: нужны данные, вычислительные ресурсы и время. Поэтому обычно к нему прибегают, когда уже опробованы все другие способы.

А вот что точно стоит попробовать вначале 👇

- Few-shot prompting - когда ты показываешь модели несколько примеров правильных ответов прямо в промпте. Это помогает направить её стиль и логику без дополнительного обучения.
- RAG (Retrieval-Augmented Generation) - подход, при котором модель "обогащается" нужными знаниями из внешних источников (например, базы документов или вики).
- SGR (Schema-Guided Reasoning) - относительно свежий подход: структурировать ответы моделей, чтобы их формат был более детерминированным и предсказуемым.

💡 Иногда даже простая настройка температуры (параметра "творчества") решает половину проблем:
- Меньше температура → более точные и стабильные ответы
- Выше → больше вариативности и креатива

Если же хочется поэкспериментировать с fine-tuning, можно брать лёгкие модели (например, Qwen-8B или Mistral) и обучать их на узких задачах. Большое количество уже готовых датасетов можно найти на HuggingFace.

Но чаще всего бывает достаточно просто поработать с промптами, контекстом и гиперпараметрами.

Вернуться к оглавлению

👩‍💻 Data Flow

💻 Где запускать модели, если дома нет мощного GPU? #MLSTART

Не у всех есть дома RTX 4090 (и это нормально 😄). Но это вообще не повод откладывать эксперименты с ML и LLM. На старте почти всё можно делать в облаке - быстро, дёшево (иногда бесплатно) и без боли с настройкой окружения.

Вот два варианта, которыми я сам пользовался 👇

🏟 Kaggle Notebooks

Kaggle - это не только соревнования, но и удобная среда для запуска ноутбуков с GPU.

Что здесь хорошего:
- Бесплатный доступ к GPU (обычно T4 / P100, с лимитами по времени)
- Уже настроенное окружение: PyTorch, TensorFlow, Hugging Face - всё из коробки
- Огромное количество публичных ноутбуков - можно смотреть, как другие решают задачи

Отличный вариант, если хочется поучиться ML, попробовать fine-tuning лёгких моделей или поиграться с датасетами и baseline-решениями.

🚀 Google Colab

Google Colab - классика, с которой начинали (и продолжают начинать) очень многие.

Плюсы:
- Бесплатные GPU и TPU (сессионно, с ограничениями)
- Легко подключать Google Drive для данных и моделей
- Огромное количество туториалов и примеров

Если захочется больше стабильности и ресурсов - есть платные тарифы (Colab Pro / Pro+), но на старте бесплатной версии более чем достаточно.

💡 Что важно понимать: лимиты есть везде, сессии могут обрываться, GPU могут быть недоступны. Для обучения огромных моделей этого не хватит - но для обучения небольших моделей, экспериментов и прототипов это вообще не проблема.

Большинство задач на старте - это не "обучить 70B модель", а понять пайплайн и механику. Kaggle и Colab закрывают 80% учебных и экспериментальных задач и позволяют спокойно двигаться дальше.

Вернуться к оглавлению

👩‍💻 Data Flow

🤖 ИИ-ассистент на Avito: как заменить менеджера в пиковые часы

Если думаешь, что ИИ-агенты - это что-то далекое и абстрактное, вот реальный кейс с цифрами от одного из наших студентов. Магазин одежды на Avito с оборотом 3 млн рублей в месяц внедрил ИИ-ассистента для обработки заявок - и результаты впечатляют.

💡 Что такое ИИ-агент?
Это программа, которая может самостоятельно думать, принимать решения и выполнять задачи. В отличие от обычной языковой модели, ИИ-агент имеет доступ к вспомогательным инструментам и способен ими осознанно пользоваться.

В этом кейсе ИИ-агент:
- Читает сообщения клиентов
- Понимает их вопросы (размеры, доставка, цена)
- Ищет нужную информацию в базе из ~500 товаров
- Генерирует ответ на основе данных бизнеса
- Отправляет ответ в Авито

🎯 Задача
Менеджер не успевал обрабатывать 30-40 заявок в час в пиковое время. Если не ответить быстро - клиент уходит. Нужно было освободить менеджера от рутины и взять обработку заявок на автоматизацию.

⚙️ Как это работает
Webhook от Авито → Преобразование сообщения → Загрузка данных из БД → Проверка токена → Фильтр (только от клиентов) → AI генерирует ответ → Отправка обратно в Авито.

Но была проблема: клиент пишет 3 сообщения подряд за 10 секунд - ассистент отвечает 3 раза. Выглядит странно + лишние затраты на токены.

Решение: внедрение Redis, который объединяет все сообщения клиента в течение нескольких секунд в единое сообщение - и ассистент отвечает один раз, но сразу на все вопросы.

📊 Результаты

- Время ответа 5-15 минут -> 1-5 секунд
- 5-10 заявок/час -> 30-40+ заявок/час
- Менеджер: 10ч в день -> ИИ-агент: 24/7
- 50.000₽ в месяц -> 10.000₽ в месяц

За 4 недели тестирования заявки "без ответа" исчезли при сохранении конверсии в оплату. Количество оплат даже немного выросло за счет полной переработки спроса.

🔧 Бонус-фича
Когда клиенту пишут с предложением сотрудничества или нестандартными вопросами - ассистент перенаправляет диалог владельцу через уведомление в Telegram.

⚡️ Человек не убирается полностью из процесса - он просто усиливается автоматизацией. Контроль сохраняется, но пиковые нагрузки теперь не проблема.

😎 Хочешь собирать такие же автоматизации? Приходи к нам на курс.

👩‍💻 Data Flow

🧑‍🎓 GPT Week от Яндекса: как обучают и дообучают GPT #MLSTART

Если хочется разобраться, что реально происходит под капотом больших языковых моделей - от pretrain до fine-tuning - у Яндекса был крутой интенсив GPT Week.

Я сам посмотрел примерно половину. Честно скажу - местами довольно сложно. Но зато там много действительно полезного контента, особенно если уже есть база по ML и нейросетям.

💡Что там разбирают:
- Как обучаются большие языковые модели
- Этапы pretrain и fine-tuning
- С какими ограничениями и компромиссами сталкиваются на практике

📺 Записи всех занятий можно найти в плейлисте.

А если хочется не просто смотреть, а разбираться руками - есть ноутбуки к семинарам:
- Семинар 1
- Семинар 2
- Семинар 4

Ещё есть дайджест интенсива - кратко и по делу.

⚡️ GPT Week - это уже следующий уровень после "вката". Когда хочется понять не только как пользоваться моделями, но и что реально происходит внутри - от обучения до дообучения.

Если какие-то лекции покажутся сложными - это нормально. Даже выборочный просмотр даёт хорошее представление о том, насколько LLM - это инженерно сложные системы.

На этом серия про старт в ML и LLM логично завершается. Надеюсь, она поможет вам быстрее выстроить путь и избежать лишней каши в голове 🙂

Вернуться к оглавлению

👩‍💻 Data Flow

🧰 n8n: автоматизация без границ

Если всё ещё вручную копируешь данные между сервисами или пишешь одни и те же скрипты для типовых задач - пора познакомиться с n8n.

Это визуальный конструктор рабочих процессов, который связывает приложения, API и базы данных без необходимости писать длинный код.

💡 Как это работает
В основе n8n - нодовая логика. Каждый узел (node) выполняет отдельное действие: отправляет запрос, парсит файл, фильтрует данные, вызывает API или запускает скрипт.

Соединяя ноды линиями, ты создаёшь целую систему - от простых последовательностей до сложных сценариев с десятками условий и циклов.

Простые задачи? Легко:
- Отправить уведомление в Telegram при поступлении новой заявки из формы
- Каждые сутки собирать данные с сайта и сохранять в Google Sheets

Сложные сценарии? Ещё интереснее:
- Интеграции с REST API
- Управление потоками данных между CRM и ERP
- Работа с Redis, OpenAI, Qdrant или LangChain
- Собственные ИИ-агенты, которые выполняют задачи по цепочке - от получения данных до генерации отчётов

⚡️ Главное - n8n остаётся открытой платформой.

Можешь добавить свои ноды, нормализовать данные и выстраивать гибкую архитектуру автоматизации любого масштаба - от стартапа до корпоративного решения.

Я уже упоминал n8n как no-code инструмент для сборки первого ИИ-ассистента.

Но это только верхушка айсберга - с его помощью можно автоматизировать практически любые рутинные процессы в работе.

👩‍💻 Data Flow

✅ Вот такие результаты года получились

P.s. За сервис спасибо @neural_prosecco, @snimshchikov и @neuraldeep

👩‍💻 Data Flow

Всем отличных выходных!

Поговаривают, что в Москве эти пару дней будет морозно 🥶 Если вы все еще в раздумьях, чем же заняться, то делюсь с вами годным советом, от одного из наших студентов 😉👍