Microsoft выпустил Fara-7B на основе Qwen-2.5 VL 7B. Модель для агентов, самостоятельно работающих на компе. Любопытно

Куда на самом деле движется индустрия LLM (спойлер: вы выбираете не модель - вы выбираете стек).

Пост навеян свежим релизом Opus 4.5, а именно ее доп фичами как Context Editing - нам показывают действительно впечатляющие демки… Но постойте - это же (очередная) не-фича foundation модели. Это не что-то в весах. Это инфраструктурный middleware, который живет между вами и моделью. И если вы проанализируете (особенно глазами разработчика) релизы последнего года, то вы увидите что мы все дальше от бога от LLM как модели, и тем ближе к LLM как infrastructure-as-a-service. Давайте поговорим, куда нас ведет индустрия и что из этого следует, но начнем с начала.

Большинство людей (в том числе многие разработчики) когда говорят про условный ChatGPT не видят весь спектр между "моделью" и "продуктом" - ведь это одновременно и foundation model, и старый добрый completions API, и вполне себе агентный Responses API c Code Interpreter, File Search (RAG прямо в "модельке", ага) и т.д.

Что на самом деле продают вендоры

OpenAI Responses API - это целая инфра, включая NoSQL БД для истории, хранилище файлов и тд. Вы отдали им state management.

Code Interpreter и Code Execution - это PaaS: managed sandbox - $0.03 за сессию платите за инфру, не за "умную модель".

Claude Context Editing - middleware с настраиваемой стратегией pruning (keep last 3 tool uses, clear 5000+ tokens). Оркестрация, а не интеллект.

Google Grounding и Maps tool - dynamic retrieval: модель решает нужен ли поиск, генерит queries, получает доступ к индексу (глубже публичного API), делает reranking, отдает с citations. Вы покупаете gateway к индексу, не модель.

Даже Structured Outputs - это частично заслуга инфры, а не весов - constrained decoding через CFG (конвертит JSON Schema в грамматику, маскирует невалидные токены). Компилятор поверх модели.

Большинство не осознают, как растет пропасть между проприетарными infrastructure-as-a-service от OpenAI/Google/Anthropic и голыми весами open-source моделей. Проприетарные LLM превращаются из inference провайдеров в операционки для intelligence.

Что из этого следует и что следует иметь в виду

1. Понимать уровни зависимости, я выделяю три:
- State (Threads, File API, memory) - критический lock-in, вы не владеете памятью системы
- Execution (Code Interpreter, sandboxes) - средний lock-in, нужна своя инфра для рантайма
- Behavior (Grounding, Computer Use) - средне-высокий, модель часто обучена под "свои" инструменты

Перед использованием любой фичи спрашивайте: "Где живут данные? Кто контролирует логику? Смогу ли я воспроизвести это сам?"

2. Integration Tax vs Migration Tax - ключевая асимметрия. Проприетарные фичи дают быстрый старт, но стоимость выхода растет экспоненциально. Это не обязательно плохо - это trade-off, который нужно делать осознанно.

3. Разделять Core и периферию
Core (ваша уникальная ценность, основа продукта) - инвестируйте в независимость: свой state management, своя оркестрация и тд.
Пример: AI-агент для support как продукт - владение историей диалогов критично, а вот Code Interpreter для внутренней аналитики - это ок.

4. Есть обратная сторона. Чем глубже расходятся продуктовые слои провайдеров, тем сложнее делать model-agnostic продукты, которые работают так же хорошо. Manus поняли это рано - выжали максимум из Anthropic, не пытаясь быть совместимыми со всеми, и сделали продукт-звезду. Возможно, по той же причине Claude Code так хорош?

5. Учитывайте свою стадию. 0→1 (поиск PMF) - максимально используйте проприетарные фичи, скорость важнее. Когда растете - можно строить абстракции: gateway, свой state для core функций. На стадии масштабирования - еще больше контроля и взаимозаменяемости компонентов (interoperability это дорого).

Главное

Проприетарные AI-платформы - это managed infrastructure, как AWS. Вы платите не только деньгами, но и зависимостью. И этот тренд будет расти. Часто это правильный trade-off, особенно на старте. Но это решение нужно принимать с открытыми глазами - понимать, какую часть системы отдаете "в управление", и делать это осознанно для каждого компонента продукта.

Ждем на днях новую модель - лидера в генерации видео по тексту

Кстати, один из лидеров по картинкам - Z-Image от Али-Бабы, опенсорс и работает на машинках с 16Гб памяти. Мне кажется, надо брать

🍌 Awesome Nano Banana - лучшие промпты, стили, приёмы и полезные материалы для визуальных экспериментов.

Всё собрано в одном репозиториит и аккуратно структурировано.

Что внутри
• промпты, которые реально дают сильные и выразительные результаты
• коллекция визуальных стилей для разных задач
• примеры, разборы и ресурсы, помогающие глубже понять механику Nano Banana
• удобный набор ссылок, если хочешь расширять свой набор техник

https://github.com/ZeroLu/awesome-nanobanana-pro

@ai_machinelearning_big_data

Hunyuan 3D Studio версии 1.1 - новинка для тех, кто интересуется 3D моделированием

https://3d.hunyuan.tencent.com/studio

И новоая моделька на 106B параметров - Intellect 3. Честно говоря, пока мало что о ней можно сказать..

Hugging face тут интересное выкладывает. Кстати, народ говорит, что по подписке за 9 баксов в месяц у них можно получить много инференса на открытых моделях. Тем, кому нужна моделька по апи может быть интересно

Кстати, сделали тут с Claude Opus 4.5 файл с основыми инструкциями для Claude Code - попытался прописать туда все основные вопросы, с которыми сталкиваюсь. Как и положено для таких промптов, очень кратко - уложились в 100 строк.

Смотрите, может кому пригодится. Положить этот файл надо в директорию .claude в корень (это для маков) - чтобы открыть доступ к этой скрытой директории в корне директории юзера нажмите Cmnd+Shift+.

Ну и кстати, вчера сделал свой первый публичный репозиторий в GitHub с небольшой программкой, на которую ссылаюсь в правилах - это передача паролей в программы с использованием Bitwarden (я раньше писал важный пост, о том, как выстроить систему работы с паролями, доступ к которым есть только у вас).

Теперь никакие пароли и API нигде не видны в виде теста. Программы все-равно получают к ним доступ, и модели в рамках запущенных процессов тоже, но извлечь их из них будет сложнее. Порадовало, что я не один такой, есть и аналоги.

Если делать совсем ультимативное решение, то надо делать МСР сервер, который передает ключи по требованию - может и займусь этим, но история более геморная, мне пока это не нужно. Вот когда продукты будут как-то активно использоваться, нужно будет озаботиться.

Anthropic выпустил инструменты для экономии контекста: Skills и Commands

Написали тут с Клодом пост про новые инструменты, если вы вдруг еще про них не знаете.

Контекстное окно — главный ресурс при работе с LLM. Чем больше инструкций загружаешь в каждый запрос, тем меньше места для задачи. Anthropic решает это двумя инструментами.

Skills — инструкции "КАК делать"

Папка с файлом SKILL.md, где описаны правила и процессы. Claude сам решает, когда подключить нужный skill — смотрит на описание и контекст разговора.

Работают везде: Claude.ai (веб и десктоп), Claude Code, API.

Экономия контекста: при сканировании ~100 токенов, полная загрузка только когда skill реально нужен (<5000 токенов).

Commands — шаблоны "ЧТО делать"

Markdown-файл с готовым промптом. Вызываешь явно в терминале Claude Code, набирая /command-name.

Работают только в Claude Code.

Пример: создание README

Skill описывает стандарты — какая структура, какие секции, как оформлять. Когда говоришь "напиши readme", Claude автоматически применяет эти правила.

Файл .claude/skills/readme-style/SKILL.md:

---
name: readme-style
description: Стандарты оформления README для проектов
---

# Как писать README

## Структура
1. Название и краткое описание
2. Установка
3. Использование  
4. Конфигурация
5. Лицензия

## Правила
- Примеры кода в code blocks
- Бейджи в начале (CI, coverage, version)
- Не больше 3 уровней заголовков

Command — конкретный сценарий: прочитай конфиги, изучи структуру, сгенерируй файл. Набираешь /readme в терминале — Claude выполняет последовательность.

Файл .claude/commands/readme.md:

Проанализируй текущий проект и создай README.md:

1. Прочитай package.json / pyproject.toml
2. Изучи структуру директорий
3. Найди примеры использования в тестах
4. Сгенерируй README по нашему стандарту

Сохрани результат в README.md

Когда что использовать

Единый стиль во всех проектах → Skill
Быстро выполнить задачу в терминале → Command
Работа в веб-интерфейсе → только Skills
Повторяющиеся dev-задачи → Commands

Итог

Skills = "всегда делай так" (автоматически)
Commands = "сделай это сейчас" (вручную)

Skills доступны для Pro, Max, Team и Enterprise. Commands требуют Claude Code.

Лучшие практики и подходы для RAG
(буду наполнять)


Очередной раз спросили в чате канала что почитать про RAG (https://t.me/neuraldeepchat)

Соберем тут все лучшее присылайте и ваши статьи и разборы

Тут материалы предыдущих ответов

1) https://t.me/neuraldeepchat/3176
2) https://t.me/neuraldeepchat/2953


1) Чанкование (sliding window) можно подглядеть концепты от langchain
https://github.com/langchain-ai/langchain/tree/master/libs/text-splitters

Tired of making your gazillionth chunker? Sick of the overhead of large libraries? Want to chunk your texts quickly and efficiently? Chonkie the mighty hippo is here to help!
https://github.com/chonkie-inc/chonkie



2) Векторные бд от pgvector до qdrant можно начать с chroma (IVF_Flat или HNSW)

3) Векторные модели для ру
ai-forever/FRIDA
BAAI/bge-m3
intfloat/multilingual-e5-large
Qwen3-Embedding-8B

4) Реранкер после KNN сделать доп ранжирование
BAAI/bge-reranker-v2-m3
Qwen3-Reranker-8B


5) LLM + vLMM (база qwen-2.5-7b-instruct)
RefalMachine/RuadaptQwen2.5-14B-Instruct
t-tech/T-lite-it-1.0
t-tech/T-pro-it-2.0

Agentic RAG(Qwen3-30B-A3B-Instruct-2507)
РЕПО(https://github.com/vamplabAI/sgr-agent-core/tree/tool-confluence)

Презентация от Дяди
Построение RAG систем от исследований до индустрии


Хорошо описанные подходы от Богдана
https://t.me/bogdanisssimo/2047

Лучшее решение РАГ по документации от Ильи(@IlyaRice) которое выиграло первое место на ERC2
https://github.com/IlyaRice/RAG-Challenge-2/tree/main


Готовые фреймворки одобренные нашим сообществом
https://github.com/langgenius/dify/
https://github.com/Marker-Inc-Korea/AutoRAG
https://github.com/run-llama/llama_index
https://github.com/mastra-ai/mastra

Кейс red_mad_robot по RAG (DCD) для строительной компании (t-lite)
https://habr.com/ru/companies/redmadrobot/articles/892882/

Серия про file first от Рефата
https://t.me/nobilix/182

Классика (Запись эфира по RAGу без эмбеддингов)
https://t.me/oestick/397

#RAG
#best_rag_practice

Сохраняй в избранное чтобы не потерять

Набор курсов от Hugging Face лежит на huggingface.co/learn