24 мая, Забег.рф

Жара под +30, а мне – норм!

Суббота удалась! Спасибо коллегам за компанию и отличное настроение 🌨

#running@mrtnv_prism

✈️ Telegram и xAI объявили о глобальном партнерстве

Павел Дуров и Илон Маск договорились о сотрудничестве, которое должно кардинально изменить Telegram.
Уже этим летом все миллиард+ пользователей получат доступ к Grok с глубокой интеграцией.

Что обещают для Grok в Telegram:
– Суммаризация чатов, ссылок и файлов
– Помощь в написании сообщений
– Модерация групп и каналов
– Фактчекинг постов
– Создание персональных стикеров

Финансовая составляющая сделки: Telegram получит $300M деньгами и акциями xAI + 50% выручки от подписок, оформленных через мессенджер. За xAI остаются данные взаимодействий пользователей с ИИ.

Звучит уже супер, а потенциал огромный: обещанная интеграция почти точно станет пушкой, но представьте полноценный семантический поиск по чатам, голосовой ввод/вывод в реальном времени и персонального ИИ-секретаря 😍

Пока что доступ к Grok есть через бота [@GrokAI] для подписчиков Telegram Premium – можно тестить

А лето, между прочим, уже через пару дней 🙃

#AI@mrtnv_prism
#Telegram #Grok #xAI

@mrtnv_prism

Microsoft сократил 6000 человек. При этом 20-30% их кода пишет ИИ

Это не совпадение – это новый паттерн в Big Tech. Компании показывают рекордные прибыли и одновременно проводят массовые увольнения

Что происходит прямо сейчас:

🟢Microsoft отчитался о прибыли $25,8 млрд (выше прогнозов) и тут же объявил об увольнении 6000 сотрудников (~3% штата). Сатья Наделла при этом спокойно отмечает: 20-30% кода в компании уже генерирует ИИ.
🟢Booking запустил вторую волну сокращений. Компания объявила о сокращении "сотен" сотрудников, включая лидерские позиции.
🟢Остальные игроки показывают тот же паттерн:
– Meta*: -5% (~3,600 чел.) увольняют "наименее эффективных" сотрудников
– Autodesk: -9% штата при росте выручки
– Hewlett Packard Enterprise (HPE): +16% выручки до $7,9 млрд, но -5% людей (~2500 чел.)
– CrowdStrike: -5% с формулировкой "ИИ трансформирует индустрию"
– Workday: -8.5% (1,750 чел.) – сокращения ради приоритета на ИИ

🔄 Почему рост больше не требует найма
В 2020-2022 деньги были дешёвые (ставка ~0%), был пандемийный бум на digital, и компании нанимали всех подряд. Главное было расти любой ценой.

Сейчас всё изменилось:

– Ставка ФРС 4,25-5,25% = дорогой капитал, инвесторы требуют операционной маржи
– Инвесторы (включая активистов вроде Elliott и Starboard) хотят efficiency, а не growth
– ИИ закрывает рутинные задачи
– Инвестиции идут в GPU-кластеры и AI-инфраструктуру

💡Новая формула успеха:
Раньше (growth): больше людей → больше продуктов → больше выручки
Сейчас (efficiency): умнее ИИ → меньше людей → больше маржи

🎯 Кто в зоне риска и кто останется

Выживают те, кто близок к железу (инфра), к абстракции (архитектура), либо к бизнесу (value ↔ code)

🔴Под угрозой:
– Джуны без уникальных скиллов, которые пока не освоили работу с ИИ-инструментами, I-shape (ИИ пишет шаблонный код лучше)
– Средний менеджмент (отчёты и координацию автоматизируют)
– Специалисты узкого профиля (один домен)

🟢Будут нужны:
– Архитекторы распределённых систем
– ML/AI-инфра инженеры (RAG-пайплайны, оптимизация inference
– Product-инженеры (код + бизнес-контекст)
– Специалисты по безопасности и FinOps

🚀 Что это значит для индустрии
Это не временная оптимизация – это структурная перестройка. Порог входа растёт, джунам будет сложнее найти первую работу. Зарплатные ожидания на старте снизятся. Спрос сместится от количества кода к качеству решений.

Компании внедряют «AI productivity benchmarks» и будут отчитываться, сколько % работы делает ИИ. К 2026 это станет стандартной метрикой.

💀 Memento mori для разработчика

Динозавры тоже думали, что они навсегда. Потом упал метеорит. Наш метеорит умеет писать код, не спит и работает за электричество.

Три закона выживания в эпоху ИИ:
1. Не соревнуйся с машиной там, где она уже лучше
2. Стань незаменимым в том, что машина делать не умеет [пока]
3. Если не можешь победить – возглавь

#AI #BigTech
#FutureOfWork@mrtnv_prism

*Meta признана экстремистской организацией и запрещена в РФ

@mrtnv_prism

Архитектура LLM-приложений: ключевые принципы и лучшие практики

В пятницу был на 🥚 True Tech Day и собрал множество ценных инсайтов от крутых экспертов индустрии.
Буду делиться в канале записями и размышлениями с мероприятия 😉

В ближайшие годы решения на базе LLM станут ключевым элементом бизнес-продуктов: от интеллектуальных помощников до персонализированных рекомендаций.
Но только системный подход к архитектуре и взаимодействию с данными позволит превращать эксперименты в надёжные сервисы.

💡 TL;DR

🟢Начните с архитектурной модели: заранее пропишите, как модули LLM будут взаимодействовать с остальными сервисами
🟢 RAG + структурированный вывод: свежие данные + чёткие схемы (Pydantic-контракты) = меньше сюрпризов в ответах
🟢Контроль качества: метрики + Human-in-the-Loop обеспечат предсказуемость и рост
🟢Оркестрация и автоматизация: гибрид «граф вызовов ↔ автономные агенты» снижает издержки и риски
🟢 Безопасность и непрерывное обучение: red-teaming, этические проверки и обновление моделей под запросы рынка

➡️Архитектура

– Классический граф: каждый шаг (код → LLM → инструменты → код) подробно описан.
Система интентов предварительно классифицирует запросы и выбирает оптимальный путь обработки
Отлично подходит, когда важны SLA-гарантии и возможность чёткого аудита

– Автономные агенты: модель сама планирует цепочку действий, вы лишь даёте инструменты
Пока что идеально для быстрых прототипов, но без контроля растут риски

– Гибридный подход (оптимальное решение на данный момент):
→ Внешний оркестратор следит за таймаутами, логированием и переключает между режимами
→ Инструменты обёрнуты в Pydantic-схемы с идемпотентным API

Эффект: минимизируем операционные риски, ускоряете вывод новых функций и автоматически масштабируете сложность обработки под тип задачи

➡️Свежие данные без компромиссов (RAG)

– Vector Search для семантических совпадений: позволяет находить близкие по смыслу фрагменты текста, например с помощью FAISS, Pinecone или Milvus.
– BM-25, классический статистический алгоритм для точного поиска фраз
– SQL/графовые базы для сложных отчётов
– Гибридные схемы (Vector Search + BM25/phrase queries + SQL/графовые запросы) повышают полноту (recall) и точность (precision), сохраняя актуальность данных.

Эффект: вы поддерживаете актуальность ответов и снижаете стоимость дорогостоящего файнтюна

➡️Структурированный вывод = спокойный продакт-менеджер

– Обязательное соглашение об ответах: JSON-схемы Pydantic, OpenAPI или GraphQL
– Валидация на уровне сервиса: ошибки формата сразу отсекаются

Эффект: быстрее интегрируетесь с frontend/back-office, меньше «неожиданных» падений в проде

➡️Метрики и Human-in-the-Loop

– Классические метрики: Accuracy, BLEU, ROUGE – сравнивают с эталонными ответами
– Нечёткие сценарии: BERTScore, LLM-eval или оценка экспертов
– Автоматические пороги уверенности переключают задачи на операторов
– Обратная связь → дообучение: фиксируете кейсы-ошибки и регулярно обновляете модель

Цель: выстроить цикл «измерили – проанализировали – улучшили»

➡️Оркестрация и дистилляция

– Шаги для агента: Plan → Execute → Review с критериями остановки и дедупликацией задач
– Дистилляция: большие модели обучают компактные, чтобы экономить на инференсе
– Автоматический роутинг запросов: лёгкие модели для простых запросов, тяжёлые – для глубокого анализа

Эффект: баланс между скоростью и качеством при минимальных затратах

Что делать прямо сейчас

➡️Если вы только начинаете – сфокусируйтесь на RAG + структурированном выводе. Это даст быстрый результат и заложит основу для масштабирования.
➡️Если уже есть MVP – внедряйте метрики качества и Human-in-the-Loop. Разница в надёжности будет заметна через 2-3 месяца.
➡️Планируете production на сотни тысяч запросов – инвестируйте в гибридную архитектуру и дистилляцию. Экономия на инференсе окупит разработку за полгода.

#AI #LLM #DataEngineering

@mrtnv_prism

Классификация LLM: как подобрать модель под задачу

Каждый месяц появляются новые языковые модели, обновляются существующие, меняются возможности и ограничения. Как разобраться в этом многообразии и выбрать оптимальное решение?

Погнали разбираться!

TL;DR

➡️Лицензия – proprietary / open-weight / open-source: бюджет, возможность модификации и юридические риски
➡️Размер – 1 B-400 B+ параметров: компромисс качества и скорости инференса
➡️Контекстное окно – считайте не токены «на бумаге», а реальную эффективность
➡️Модальность – text / vision / audio / video: подбирайте под сценарий
➡️Специализация – универсальная или доменная модель: точность vs универсальность

🔐 Уровень открытости
Proprietary (GPT-4o, Claude, Gemini)
– Доступ только через API
– Высокое качество «из коробки»
– Веса закрыты. Ограниченный файнтюн

Open-weight (Llama 3, Mistral 8×22B)
– Веса доступны для скачивания, можно запускать локально
– Лицензия запрещает Llama 3 для сервисов ≥ 700 млн MAU
– Частичный контроль: архитектура закрыта, но инференс у себя

Open-source (Falcon, BLOOM, Mistral 7B)
– Полная свобода: изменения, коммерциализация, аудит кода
– Сильное комьюнити, быстрые патчи и расширения

Многие называют Llama «

open-source

», но формально это

open-weight:

права на модификацию и масштабное коммерческое использование ограничены лицензией

💪 Размер модели
Малые (1–7 B) – можно запускать на ноутбуке; задержка < 100 мс, идеальны для edge и real-time-сценариев.
Средние (13–70 B) – баланс «качество / стоимость»; требуют одного-двух GPU A100/H100; покрывают 80 % production-кейсов.
Гиганты (175 B+) – state-of-the-art; нужны под задачи, где ошибка дороже инфраструктуры (медицина, финансы, R&D).

Аритектурный патерн

Mixture-of-Experts (MoE)

позволяют модели в 8 B параметров вести себя, как классическая 70 B, потому что при каждом запросе включается лишь часть «экспертов». Это резко сокращает требования к памяти и повышает скорость.

🔁 Контекстное окно: заявленное ≠ эффективное
– GPT-4o: заявлено 128 K токенов → эффективно ≈ 64 K
– Claude 3.5: 200 K → ≈ 150 K
– Llama 3: 128 K → ≈ 32 K
Эффективность измеряестя тестами Needle-in-a-Haystack и RULER (2024), где проверяют, находит ли модель «иголку» – факт, спрятанный в длинном документе.

В реальных экспериментах accuracy падает на 30–40 % после ~ 60 % от заявленного окна. Для RAG лучше закладывать запас. Важно: это все эмпирика на опыте :)

🎭 Модальность
Text – классика 90 % задач.
Vision + Text (GPT-4V/o, Claude 3.5 Sonnet, Gemini Pro) – анализ изображений, схем, таблиц; в финтехе заменяют связку «OCR → LLM».
Audio (Whisper-v3, AudioLM) — надёжная транскрипция и генерация речи.
Video (Sora, Lumiere, Google Veo )– уже больше чем R&D. Массового коммерческого внедрения пока нет, но ожидается рост интереса и запуск первых коммерческих сервисов.

🎯 Специализация
Языковая: модели под конкретный язык (Saiga-70B-RU) обычно превосходят универсальные на локальных задачах.
Доменная: Med-PaLM 2, BloombergGPT, CodeLlama-70B обучены на отраслевых корпусах и дают более точные ответы в своей нише.

Например,

для ru-юридических и медицинских кейсов

связка «специализированная модель + RAG» часто дешевле и точнее, чем GPT-4-o без дообучения.

📌 Рекомендации
Стартап / MVP – open-weight 7–13 B; быстрые эксперименты, локальный деплой, квантование до 8-бит.
Enterprise с жёстким compliance – проприетарная модель с SLA или 100 % open-source в своём кластере для контроля данных.
Продукт с миллионами DAU – MoE-архитектура + квантование; оптимизируйте latency и «живое» контекстное окно.

🔮 Взгляд на 2025-2026 гг.
– Контекст >1M токенов станет стандартом к 2026
– Генерация видео выходит в коммерцию уже сейчас
– Ультрамалые модели (<1B) on-device-LLM откроют рынок персональных ассистентов и edge-аналитики без облака

🟢

Рынок LLM растёт экспоненциально: то, что вчера требовало дата-центра, завтра запустится на смартфоне. Не существует «лучшeй» модели в абсолюте – есть задача, бюджет и ограничения.

Выбирайте модель под конкретную задачу и TCO

😉

#LLM #AI #MachineLearning #DataScience
@mrtnv_prism

Open source ≠ “бесплатно и без ограничений”

В прошлых постах обсуждали уровни открытости LLM: proprietary, open-weight и open source. Часто вижу, как путаются в этой теме, поэтому сегодня копнем глубже: что такое open source (глобально), какие бывают лицензии и почему это важно всем нам 🙂

TL;DR

➡️Open source – это не про "бесплатно", а про свободу: запускать, изучать, модифицировать
➡️Есть разница между открытым кодом и настоящим open source
➡️Лицензия решает многое: MIT и Apache дают больше свободы, GPL – больше контроля
➡️Все чаще встречаются гибридные форматы: open-core, source-available, open-weight
➡️Понимайте риски: от supply-chain атак до юридических обязательств

🔐 Что считается настоящим open source?
Если коротко: open source – это когда лицензия разрешает не только читать код, но и
✔️свободно использовать
✔️менять под себя
✔️делиться с другими
✔️даже продавать (при соблюдении условий)

Open Source Initiative (OSI) одобряет лицензии как совместимые с этим определением. Если лицензия не признана OSI – это может быть "source-available", но не open source.

📜 Популярные лицензии и их особенности

MIT / Apache 2.0 – максимально гибкие. Можно использовать даже в закрытых продуктах
GPL – требует, чтобы любые изменения тоже распространялись открыто
AGPL – расширяет GPL на SaaS: если запускаете сервис на базе AGPL-кода, должны открыть все изменения
BSD, MPL, LGPL – промежуточные варианты с разной степенью обязательств

Классический пример путаницы

: Llama 3 – вроде бы «открытая», но лицензионные ограничения не позволяют её использовать в сервисах с аудиторией > 700 млн MAU. Это уже не совсем open source, а open-weight – веса есть, а свободы нет.

⚖️ Зачем бизнесу open source?
Плюсы:
– Прозрачность (можно делать аудит)
– Кастомизация (можно доработать под свои задачи)
– Снижение стоимости владения
– Независимость от вендора
Минусы:
– Нужна своя экспертиза – поддержку придётся выстраивать
– Есть юридические тонкости – нужен review лицензии
– Иногда нет SLA – особенно важно в продакшене

🐧 Linux как пример настоящего open source

Linux начинался как студенческий проект Линуса Торвальдса в 1991 году. "Just a hobby, won't be big and professional" – писал он тогда. Спустя 30+ лет Linux работает на 100% топ-500 суперкомпьютеров мира, большинстве серверов интернета, в каждом Android-смартфоне.
Почему Linux победил? GPL-лицензия создала уникальную экосистему. Компании-конкуренты (IBM, Intel, Google) вкладываются в общий проект, потому что никто не может его "украсть" – все улучшения возвращаются в сообщество. Это win-win: каждый получает надёжную ОС, никто не может монополизировать.
Бизнес-модель вокруг Linux доказала жизнеспособность open source. Red Hat продаёт не Linux, а поддержку и гарантии – и стоит $34 млрд. Canonical, SUSE, множество других компаний зарабатывают на экспертизе, а не на коде.

🟢

Open source

перестал быть "движением энтузиастов".

Это инструмент контроля над технологическим будущим

. Google контролирует мобильный рынок через Android. Microsoft купила GitHub за $7.5 млрд не из любви к опенсорсу.

🟢

Понимать разницу между MIT и GPL, между open source и source-available — это важно.

Даже если вы не пишете код, эти решения влияют на то, какие продукты вы сможете использовать и как

.

📚 Полезное:
➡️ Choosealicense – выбор лицензии за 5 минут
➡️ Open Source Guides – гайды от GitHub
➡️ Software Licenses in Plain English – лицензии простым языком

#OpenSource #TechStrategy #DevTools

@mrtnv_prism

GigaConf 2025

Снова побывал на GigaConf от 🏦– это одно из самых интересных AI-событий года.

🟢Главный вектор: переход от AI-assisted к AI-driven процессам

Сейчас мы на уровне code creation – человек работает, AI помогает и дополняет.
Но дальше этапы, где AI берёт инициативу, а человек лишь валидирует.
А потом и вовсе не участвует.

Уже сегодня строятся агентные системы, где LLM = не просто модель, а полноценный runtime. Они выполняют задачи, управляют пайплайнами и принимают решения.

Вижу, как через 2–3 года это станет стандартом: не просто «AI-помощник в IDE», а автономный контур в продуктах и бизнесе.

Готовлю серию постов: от архитектуры до внедрения и анализа метрик эффективности 😉

#GigaConf2025 #AI #AgentSystems

@mrtnv_prism

Снова ухожу в горы!

Будет интересно – и, скорее всего, непросто…

Постараюсь делиться маршрутом, погодой, бытом и тем, как идется.
Связь не всегда будет, но истории точно.

AI и технологии временно оффлайн, включаюсь в режим high altitude runtime 🔥

#ПикЛенина #expeditionlog