Meet the Foundation Models framework

WWDC прошел и, как обычно, показали много нового и интересного (нет, особенно ужасен новый дизайн Liquid Glass). Для меня самое интересное – это новые AI инструменты и возможности и тут на самом деле было много интересного.

Apple показали фрейморк Foundation Models для работы с llm on-device в приложениях. Из основного:
- полностью нативная реализация и интеграция со swift'ом. Сама модель адаптирована под работу на Apple процессорах
- модель: 3B квантизованная до 2х бит модель: создать полноценного чат бота с ней не выйдет, но с задачами суммаризации, генерацией / понимаем текста и другими несложными llm-based задачами она более чем может справится
- есть возможность не промптом, а с помощью макросов управлять и структурировать формат ответа модели. Этот подход назвали "guided generation". Если кратко, то мы описываем энамы и структуры, и говорим, что хотим от модели в таком формате получать ответ и будем его именно так и получать
- появится новый инструмент отладки и тестирования работы с моделью
- самое важное и крутое на мой взгляд: "Tool calling": мы можем "зарегистрировать" функции приложения и сказать модели, что она может к ним обращаться и получать из них информации. Это крутое новшество, которое тянет на отдельный пост, который мы позже принесем

Отдельным пунктом хочу еще выделить, что наконец-то Xcode получит интеграцию с chatgpt и другими llm, в том числе и локально запущенными 🔥

Если хотите глубже погрузиться в архитектуру, узнать больше про пост/пре-трейн и оптимизации моделей, на каких данных и как обучалась, то вам точно нужно зайти сюда. Еще завезли отдельный HIG, посвященный генеративным AI.

#wwdc2025

Несколько дней читаю "12‑Factor Agents" — понравился инженерный фреймворк из 12 практических пунктов, адаптированный для создания надёжных, масштабируемых и управляемых AI-агентов.

Система предлагает воспринимать LLM-агентов не как магические фреймворки, а как хорошо инженерно спроектированные сервисы с контролируемым потоком, состоянием и надёжным взаимодействием с пользователем.

Кликабельные пункты:
— How We Got Here: A Brief History of Software
— Factor 1: Natural Language to Tool Calls
— Factor 2: Own your prompts
— Factor 3: Own your context window
— Factor 4: Tools are just structured outputs
— Factor 5: Unify execution state and business state
— Factor 6: Launch/Pause/Resume with simple APIs
— Factor 7: Contact humans with tool calls
— Factor 8: Own your control flow
— Factor 9: Compact Errors into Context Window
— Factor 10: Small, Focused Agents
— Factor 11: Trigger from anywhere, meet users where they are
— Factor 12: Make your agent a stateless reducer

Как избежать кризиса архитектуры AI.
Avoiding a Future AI Architecture Crisis; What the 2025 Numbers Mean for Enterprise AI Strategy

Отличная статья про будущие риски корпоративных AI-архитектур. Интересно, что её выводы сильно совпадают с нашими — хотя мы пришли к ним своим путём. Принёс вам краткие тезисы, но рекомендую прочитать статью полностью.

Проблемы:
— Крупнейшие AI-компании не являются устойчивыми бизнесами (например, OpenAI — убытки на 50% выручки).
— Цены на AI-сервисы занижены субсидиями. Пример: Doubao от ByteDance — $0.0001 за 1k токенов (на 99.8% дешевле GPT‑4).
— Потенциальный вендор-лок: архитектура, промпты, пайплайны и данные часто «зашиваются» под конкретную модель.
— Энергопотребление — слон в комнате. Один запрос в ChatGPT ≈ 0.34 Вт*ч. Общий суточный расход — ~340 МВт*ч (как у небольшого государства).

Что делать:
— Архитектурная независимость: Проектируйте с учётом независимости от конкретной модели с самого начала. Тестируйте критичные запросы на разных провайдерах.
— Гибридный подход: используйте open-source модели локально для ключевых функций, а внешние API — для некритичных задач. Это позволяет объединить преимущества обоих подходов и одновременно управлять рисками.
— Инфраструктура контроля: встраивайте гейтвеи для мониторинга нагрузки, затрат и энергопотребления. Это станет важным параметром SLO.