Заместители
2.09K subscribers
122 photos
96 videos
4 files
145 links
Цех ИИ агентов. Здесь я тестирую цифровых заместителей в разных профессиях. По пути обсуждаем актуальные новости про ИИ агентов простым языком.
Добро пожаловать в эру замещения.
Запросы -> aideputies_collab@agentmail.to.
Download Telegram
Как запустить GPT-OSS 120B на любом ноутбуке: Tiiny AI поставил рекорд Гиннеса

Ну если ваш ноут не зверина какая-то, то варианта всего 2 — облако или внешние мощности. Облаков некоторые люди как раз пытаются избежать. Причины на то в основном две:
- безопасность собственных данных
- свободный доступ к AI независимо от всяких подписок и интернета.

Я не так давно рассказывал, как PewDiePie построил дома свой суперкомпьютер и запустил на нем модель на 120 миллиардов параметров. Для этого он собрал блок из 10 видеокарт не последней мощности. Конечно, в итоге его сетап поятнул даже больше нагрузки, но чтобы запустить модель на 120B реально нужно немало мощи. Это лишь пример.

Tiiny AI Pocket Lab

Теперь запустить модель на 120B можно с коробочкой размером с пауэрбанк и одним проводком! Tiiny AI Pocket Lab — это мини компьютер с убойными характеристиками:
- 80 GB RAM (48 зарезервированы под AI)
- 1 TB SSD
- скорость инференса LLM 20-40 токенов в секунду
- и самый разрыв — это энергопотребление. 120 TOPS (триллионов операций в секунду) потребляет всего 60 ватт. То есть от бытового пауэрбанка можно запитать суперкомпьютер — дожили! 😲
- весит всего 300 грамм
- цена будет от 1399$.

Для сравнения, возьмем последний Mac Mini на M4 Pro. Мини компьютер из сравнимой категории. В нем, конечно, меньше оперативы. Но в среднем на нем с похожей скоростью запустится только моделька примерно на 30 миллиардов параметров. А ценник будет такой же.

Tiiny вживую представили на CES 2026. Его там уже потестили, и говорят, что зверюга реально работает. Причем даже не греется.

Кстати, мини суперкомпьютер забацал мировой рекорд Гиннеса как самый маленький компьютер, на котором запустили 100B LLM!

Особенно приятно, что компьютер сделали user friendly. Чтобы воспользоваться всей мощью железяки достаточно просто воткнуть его в ваш ноутбук/ПК, запустить нативную аппку TinyOS и начать юзать опенсорсные LLM и модельки-генераторы картинок. Причем, коробочка позволяет хранить локальный контекст и имеет долгую память. Поэтому она будет помнить все ваши разговоры в общем-то вечно (пока не переполнится).

Еще один наглядный пример мощи коробочки: за 3-5 минут LLM польностью локально на Tiiny вайб-кодит игру "Змейка". А игру "Марио" — за 10 минут.

Есть и SDK для профессионалов, чтобы локально разрабатывать агентов и AI native приложения.

Посмотреть видосик с выставки, где берут интервью у разрабов и тестят вживую можно тут.

В чем же секрет? 🔭

Похоже, что в двух собственных разработках компании:
- TurboSparce — это техника разреженной активации нейронов. То есть из 100B параметров активируются только около 10B!
- PowerInfer — движок для инференса, который распределяет вычисления между CPU и dNPU (discrete Neural Processing Unit). На dNPU отправляются "горячие" (то есть наиболее часто вызываемые) вычисления.

Зачем это обычному юзеру? — спросите вы 🤔

Ну представьте, не важно, где вы: в самолете, у друга, на работе. С вами в кормане всегда персональный, безопасный локальный ИИ, который запустится на ближайшем пейджере!

Никакого интернета, никаких подписок (на минуточку, 25 баксов в месяц в среднем стоят современные ИИ). А уровень "интеллекта" моделек наравне с GPT-4o. Это топовая модель прошлого года. Да и с учетом тренда на уменьшение моделей — возможно сильно больше мощи уже и не понадобится.

В общем, это выглядит как лучшее железо для локального ИИ в 2026! Ждем, когда релизнут в продажу.

Единственное, что не понятно пока — а можно Tiiny подключить к телефону? 😏

Заместители
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥1961🤔11
За выходные анонсировали ChatGPT for Healthcare и Claude for Healthcare. Что за ажиотаж?

Были у всех обычные LLM, а тут все внезапно обучили модели для здравоохранения? Нет, на самом деле все дело в деньгах и инфобезе.

Во-первых, у этих решений ChatGPT и Claude четкий фокус на B2B и B2G.

Во-вторых, нужно понимать, что фокус данных решений на американском рынке здравоохранения.

А как же страны, которым это реально нужно, типа страны третьего мира? Бизнес — есть бизнес. Смотрим на цифры:
- В США на человека тратится больше всего денег в год —почти $15 000. Следующей по величине страной является Швейцария с огромным отрывом — около $10 000 в год.
- При этом страна далекооо не на первом месте по качеству здравоохранения. Низкая продолжительность жизни (для нас все равно кажется высокой, но среди развитых стран низкая — около 78 лет). Высока детская смертность. Массовые проблемы с диабетом, болезнями сердца и ожирением в стране.
- Куда же все деньги уходят? — Админам 💰 Огромные бабки уходят просто на бюрократию, которая выстроилась на этом рынке: страховые компании, клиники, специальные ассоциации, которые объединяют клиники — и каждому нужен свой кусочек.

Поэтому вендоры ИИ хотят рынок здравоохранения США

На нем в первую очередь нужно решать не сложные медицинские проблемы, а неэффективность бюрократии. Ведь именно там и лежит огромная куча денег, которые идут на "обслуживание" этой системы. А значит OpenAI и Anthropic вполне могут откусить свой кусочек, вписавшись в этот процесс.

Если вы прочтете анонсы Claude и ChatGPT для здравоохранения, то увидите, что эти решения на самом деле нацелены не на "вылечить людей", а на "облегчить рабочие процессы":
- провести триаж пациентов, чтобы не допустить дорогую госпитализацию пациентов
- собрать доказательства о наличие заболевания
- подготовить обоснование расходов для страховой
- помочь страховой обработать запрос на компенсацию + сразу проверить, а компенсирует ли самой страховой расходы государство.

Почему же только сейчас стали использовать ИИ в этих областях?

Я уже писал пост про гонку OpenAI и Google. Вкратце, ребята типа OpenAI и Anthropic по природе своей убыточны. На подписках они теряют деньги (расходы на вычисления слишком высоки). Инвестиции тоже не бесконечны. Поэтому они уже давно прицелились на разные перспективные B2B и B2G рынки. Рынок здравоохранения особенно вкусный.

Но вот дурацкий Гугл вечно заставлял всех отвлекаться на доработку своих фундаментальных моделей, чтобы просто не отстать от него. И вот, когда наконец, гонка приутихла — юркие "стартапы" (в сравнении с Гуглом то) быстро решили выкатывать все что есть на самый профитный рынок.

И доработки для этого нужны были не в дообучении самих моделей в основном. Главное, что они сделали — создали подходящую для этого инфраструктуру. Для обработки медицинских данных в США нужно выполнять сложные HIPAA требования по информационной безопасности. А также сделали совместить с международным протоколом обмена данными FHIR.

Дальше дело техники. Делаешь промпты. Выбираешь бенчмарк (или делаешь его с нуля, как OpenAI), на котором твои модели показывают наилучшие результаты — и бежишь продавать налево и направо медицинским организациям.

Но на самом деле не все так плохо ☀️

На первый взгляд может показаться, что это полный мрак. Но на самом деле — это финансовая система мотивации. И она работала, но со временем заржавела — бюрократия стала работать медленно, люди страдать и платить огромные бабки.

При внедрении ИИ же пациенты по идее платить больше не станут, но при этом вернут себе более высокий уровень обслуживания, более высокое качество и скорость диганостики и лечения. Просто за счет того, что "смажут шестеренки".

Весь остальной мир тоже выиграет.
- В первую очередь — за счет положительного примера (как часто с США и бывает).
- Во вторую очередь — за счет того, что фундаментальным моделям скормили много международных медицинских классификаций, рекомендаций и тд. А значит эти модели даже без дообучения могут быть полезны по всему миру.

В общем, работает капитализм, получается.

Заместители
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
10👍7🔥621
Claude получил доступ к вашему компьютеру: Cowork!

Конечно, только по вашему согласию. Вы можете выбрать любую папку на компьютере и Claude начнет использовать ее как свое рабочее пространство.

Дальше даем Клоду любое задание, связанное с прочтением, созданием и редактированием файлов в этой папке.

Суть: в таком сеттинге у Клода развязываются руки гораздо сильнее, чем просто при обычном диалоге в приложеньке.

При этом он все так же может использовать внешние MCP (тулы) и заранее созданные Skills (сценарии/навыки).

А еще этот режим дружит с Claude in Chrome, что позволяет агенту переключаться между выделенной папкой и браузером. 🎧

Как использовать?

Ну тут реально 1000 и один сценарий. Примеры:
- «организуй мне файлы в папке Загрузки (у меня там вечно хаос)»
- «собери в интернете 10 рецептов, по каждому сделай отдельный документ»
- «я положил в папку 20 картинок чеков из командировки. Собери эксель файл со всеми расходами».

Богачи, кто сидит на подписке Макс и побежал тестить — помните о безопасности. Во-первых, это превью-версия, могут быть баги. Во-вторых, даже без багов Клод может словить глюк и безвозвратно удалить что-то ценное. Поэтому всегда выделяйте Клоду отдельное пространство, где нет ничего ценного. Для кодеров опять же знакомо — такой же подход, как создание venv под новый проект 🥂

Мнение

Бомбическая фича. Очень хочется потестить. Но пока доступно только юзерам с тарифом Max.

Если помните, то в официальном приложении ChatGPT есть схожий функционал для маководов — ChatGPT может подключаться к внешним приложениям и там шуршать. Но эта фича получилась мертворожденной в OpenAI. Банально, слишком мало приложений, а те, что есть — заметки и редакторы кода — не нужны. Там уже везде есть встроенный ИИ. А полноценного менеджмента файлами так и не дали. OpenAI в итоге переключились на концепцию Apps in ChatGPT.

А вот Клод научился реально полезно работать с файлами — этот опыт команда наработала в Claude Code. И в Cowork должно быть очень похоже, а значит — хорошечно!

Заместители
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
19🔥631
Media is too big
VIEW IN TELEGRAM
Забудьте про Scopus и Google Scholar! AI агент для вашего диплома, диссертации или научной статьи

Помнится мне, в универе нас учили пользоваться Scopus, Web of Science, Google Scholar. Я смотрел на это с ужасом и задавался вопросом: "как так, что лучшие умы человечества пользуются такими ужасными системами?!". Похоже я был не один такой. Сегодня поделюсь новым подходом к научному исследованию — Consensus!

Но перед тем как углубиться, зададимся вопросом:

🤔 Что мы, как исследователи, хотим от AI помощника в науке?

1. Качественное раскрытие научной области, где описана SOTA ситуация и подсвечены нерешенные вопросы, чтобы найти свою тему диплома/диссера/статьи, но при этом не потратить 2 года только для того, чтобы в конце упереться в тупик.
2. Качественный обзор литературы. В науке это важнейший аспект исследования. Вся соль — построить его так, чтобы тебя не завалило кучей литературы, но при этом не упустить ничего важного.
3. Ссылки на все источники, желательно написанные сразу в научном формате (APA, Harvard, MLA и тд.)
4. Таблички и графики, где релевантно.
5. Ну и чтобы все красивенько, удобненько.

Consensus — доставляет!

Это AI-first сервис, который помогает проводить научное исследование в части работы с научной литературой. Все строится вокруг вашего запроса.

Например, я интересуюсь темой интерпретируемости LLM моделей. Есть много ответвлений этой темы, она находится на передовом крае науки. В общем, отличный запрос для исследовательского ИИ. Так простенько и сформулируем запрос: "LLM mechanistic interpretability". И дальше погружаемся:

1. Есть детальная настройка исследования: систематический обзор/мета-анализ/case study и тд., квартиль и цитируемость журналов, на которые будет ссылаться LLM, и другая настройка источников. Можно и не настраивать — все равно будет топовый результат.

Собственно найти свою исследовательскую нишу в теме помогают разделы:
• Research Gaps
• Open Research Questions.

А убедиться, что это выбранная тема не шляпа поможет Consensus Meter — фишка сервиса — это агент, который отвечает на любой научный вопрос на основании статей. И подсчитывает сколько статей ответило бы на вопрос "да", "возможно", "неоднозначно" и "нет".

2. Систематический обзор литературы по всем канонам. Используется общепринятый фреймворк — PRISMA — воронка в которой постепенно отсеиваются лишние статьи и остаются только самые важные, которые уже рассматриваются в деталях. Это, кстати, дает дополнительную прозрачность работы, проделанной ИИ агентами под капотом.

3. Все ссылки оформлены по всем канонам. И можно самому выбрать формат цитат.

4. Графики в привычном смысле Consensus мне не построил, а вот таблички — легко! Что ж, за графиком будем ходить в Nano Banana 📞

5. Ну про UX/UI тут просто грех не сказать — все очень красиво, нативно, понятно. На русском, кстати, тоже работает. Причем не просто отвечает на русском, а начинает искать литературу на русском и выводить ее выше. Помимо этого все можно экспортировать в ПДФ.

Самое приятно — есть бесплатный тир. Вы легко сможете попробовать все фичи. Да еще и без ВПН, от чего я уже отвык 😁

Что не идеально

• Код писать может, но не сделали даже минимальный хайлайтинг под разные языки программирования. В итоге все в ч/б.
• Графики такая естественная часть науки, что даже странно, что их тут нет. Нужны!
• Мне не хватило какого-то нативного встроенного места писать собственно мою работу/статью. Ради чего все эти обзоры литературы то! Но с другой стороны — избавляет от соблазна тупо копипастить нейроконтент и писать ИИшкой финальный текст.

———

Самое важное — этот AI не для того, чтобы за исследователя "все придумать и написать". Он помогает с самым нудным в науке — поиском, структурированием, систематизацией и частично с визуализацией. А нам остается самая мякотка — включать мозги, задавать правильные вопросы, черпать из бесконечного источника научных статей и двигать фронтиры науки вперед 👨‍🔬

Кому интересно посмотреть тред, который у меня получился по теме LLM Mechanistic Interpretability — ссылочка.

#заместители

Заместители
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥97👍4111
Еще один шаг к светлому будущему с наушным переводом: TranslateGemma

Это семейство опенсорсных моделей-переводчиков. Релиз в первую очередь для разработчиков.

Релизнули сразу 3 версии модели:
• 4B — подойдет для мобильных устройств
• 12B — для обычного ноутбука или ПК
• 27B — рекомендуют запускать на H100

Они, конечно, сильно слабее Gemini 3 Pro или любой другой топовой LLM. Но они были дистилированны из Gemini моделей. А это значит, что перформить должны неплохо.

Акцент сделали именно на эффективности моделей:
• 4B версия TranslateGemma перформит лучше базовой Gemma 12B
• а 12В, соответсвенно, переплюнет базовую Gemma 3 27B

Тренд на эффективность и уменьшение будет продолжаться

И это приведет нас к нормальному наушному переводу! 😈 Я уверен, что будущее наушников с переводом лежит именно в Edge AI (вычислениях прямо на устройствах). И пока функция Live Translation в AirPods выкатывается с кринжовыми задержками и ограничением на несчастные несколько языков — какую-нибудь TranslateGemma 3 через пару лет таки засунут прямо в наушники. И вот тогда скорость перевода станет адекватной и количество языков вырастет кратно!

Так что не за горами время, когда знание иностранного языка станет чисто флексом. А для большинства — будут наушники и очки со встроенным мультимодальным онлайн переводчиком 👀

Заместители
Please open Telegram to view this post
VIEW IN TELEGRAM
115🔥11👍72🙈1
Онбординг на канал

Нас становится все больше и больше. А значит пора выкатить полноценное велком сообщение с навигацией и повесить его в закреп.

Привет! Меня зовут Александр Бирюков

Я технооптимист и AI энтузиаст. Сейчас я консультирую компании, в том числе зарубежные, в сфере AI и MedTech и веду этот канал.

В прошлом я руководил Лабораторией по ИИ в Сеченовском Университете, создал IT команду в Центре по Большим данным МГУ им. Ломоносова и руководил IT командой в группе компаний. А до прихода в IT я пробовал себя в FMCG, консалтинге и даже фотографии и YouTube!

Про канал

Что здесь происходит:
- я тестирую «заместителей» — AI агентов, сервисы и технологии, которые уже готовы брать на себя реальные практические задачи в самых разных сферах
- делюсь тем, что зажигает глаза и помогает с оптимизмом смотреть в технологическое будущее
- рассказываю о самом важном в мире AI простыми словами, отсеивая инфошум.

Начать знакомство с каналом можно с вот этой мякотки:
- Серия постов: мой «кавер» на курс Kaggle&Google по созданию AI агентов с нуля (+ юзайте хештег #ИИученьесвет)
- Обзор всех доступных AI браузеров
- Краш-тест ИИ агентов скреперов, чтобы сэкономить сотни часов на сборе данных
- Вайб-стартаппинг. Серия из 2 постов о сервисах, чтобы превратить идею в продукт, а потом в инвестиции
- Учимся писать промпты не хуже промпт-инженера
- Как писать промпты конкретно для Gemini 3
- Scamlexity — массовый скам, в который нас заведут AI агенты
- Лучший ИИ для записи минуток по встречам
- ИИнфографика —Napkin!
- Топовый AI сервис для создания видео гайдов
- Самый перспективны AI видео-агент
- NotebookLM: лучший AI сервис для работы с документами
- AI для исследований, чтобы написать диплом, диссертацию и научные статьи

А еще ввожу хештеги, чтобы было легче искать по каналу:
#заместители — рассказываю про крутых AI агентов и сервисы
#ИИстатья — разбираем научные статьи и отчеты простым языком
#ИИученьесвет — курсы, обучение, книги и все с этим связанное

Чтобы поддержать канал, можно его забустить — это добавит кастомных эмоджи в реакции на посты 💕

Welcome on board!
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥2423👍136
Заместители pinned «Онбординг на канал Нас становится все больше и больше. А значит пора выкатить полноценное велком сообщение с навигацией и повесить его в закреп. Привет! Меня зовут Александр Бирюков Я технооптимист и AI энтузиаст. Сейчас я консультирую компании, в том…»
Через Ollama теперь можно подключить любую опенсорс LLM в Claude Code

Ollama 0.14.0 поддержала Anthropic Messages API. Это значит, что почти весь функционал Claude Code, теперь можно использовать на локальных опенсорс моделях!

Да, магия Claude Code во многом держится на родных моделях Anthropic. Но! Всем нам знакомо чувство, когда AI выдал «немного не то» и нужно «ещё немного подправить», «а еще вот эту функцию причесать», «а ещё убрать сами следы вайб кода» и тут смотришь: бац, а подписка Max за 200 бачей улетела…

И в такие моменты задумываешься, а нафиг вообще я использовал Opus на этих задачах? Там бы и Квена простенького хватило.

Это не единственный сценарий. Иногда банально сидишь без интернета в самолете, а рука сама тянется промпт написать, а абонент временно недоступен…

Теперь же в обоих сценариях любимую многими разрабами IDE можно подключить к Ollama. А через Ollama можно в свою очередь подключить, например, GPT-OSS 20B или Qwen3-coder.

Делается все в два шага

1. Соединиться с Ollama

export ANTHROPIC_AUTH_TOKEN=ollama
export ANTHROPIC_BASE_URL=http://localhost:11434


2. Запустить Claude Code с нужной моделью:

claude --model gpt-oss:20b


Рекомендуют использовать модельки с контекстным окном не меньше 64К.

Все! Все ключевые фичи Claude Code будут действовать как и раньше. По сути, Claude Code даже не знает, что вы заменили Opus на Квен ☕️

Кстати, это все касается не только Claude Code, но и любых аппов построенных на Anthropic SDK. Там так же в клиенте прописываете вместо ключа ‘ollama’ — и живете в счастье!

Есть нюансы: кое-что не заведется

Работает все, да не все:
- не считаются токены (вместо этого выдаются эстимейты)
- не поддержан принудительный выбор тула или его отключение
- не поддержана выдача метаданных
- не работает кеширование промптов
- не работает асинхронная обработка батчей
- не поддержаны цитаты
- не поддержаны PDF
- во время стриминга не летят ошибки

Все это, в целом, не критично, но начинает мешать, если речь заходит о полноценном агентном пайплайне (если строить его на SDK от Anthropic). Поддержат ли в будущем - не известно 😐

Интересно, что одной рукой Anthropic массово блокировал доступ к своим моделям через Claude Code в сторонних приложениях, чтобы его не абьюзили. А в то же время благодаря Ollama теперь в итоге сам всасывает весь опенсорс. В итоге, и свои модели придержали, и расширился выбор для тех, кому было дорого 😎

Заместители
Please open Telegram to view this post
VIEW IN TELEGRAM
8👍3🔥311
Manus Academy — пример того, что действительно нужно в обучении AI агентам

AI агенты умеют уже очень много всего. Но почему-то всегда сложно подобрать задачу для агента комплекснее, чем дип рисерч какой-то темы или задачки, типа найди информацию и напиши текст. Вот в чем загвоздка: наш мозг не имеет еще подходящих паттернов. И ему проще выполнять действия по накатанной.

Manus Academy пытаются создать новые нейронные связи в наших головах

В Академии не обучают кодингу агентов или сложным техническим аспектам. Там учат юзкейсам! Начиная от простого "что такое Manus AI", до специализированных курсов под профессии:
• Manus for Product Managers
• Manus for Business Analysts
• Manus for Finance
• На подходе для маркетологов

Начал проходить курс (хотя это громкое слово для 7 роликов по 2 минуты) для продактов. Подход внутри такой: берется типовая проблема, с которой сталкивается продакт и предлагается паттерн для ее решения. На скринкасте показывается, как задача решается в Manus. И доступен replay, чтобы вы сами могли воспроизвести диалог с агентом. Один из наиболее интересных примеров (где я сам не подумал бы юзать ИИ) — динамическая приоритизация задач!

Ситуация: Вы продакт менджер. Последние запросы CEO конфликтуют с OKR компании. А еще все меняется каждый день. Знакомо?
Решение: AI агент использует методологию RICE ((Reach x Impact x Confidence) / Effort), чтобы помочь приоритизировать задачи. Причем через коннектор он сам достает таски из Jira.
Паттерн: Всякий раз, когда имеешь дело с взаимозависимыми переменными — такими как бюджет, штат или конкурирующие цели, — строй модель, а не документ. Когда руководство меняет входные параметры, ты просто пересчитываешь результаты, а не переделываешь план с нуля.


Это не реклама Manus

И не только потому, что мне не заплатили за нее 😁 Суть в том, что то, чему учат в "Академии" применимо в общем-то для любого AI агента, будь то ChatGPT, Genspark Superagent или даже агент встроенный в ваш браузер или какой-нибудь опенсорсный агент. Конечно, не все фичи будут одинаковыми: где-то Манус умеет больше, где-то другой агент. Но главное — это менять собственное мышление!

• Не "прочитать рабочий документ", а "получить саммари и сгенерировать табличку" на основе рабочего документа.
• Не "пересмотреть встречу", а "сгенерировать action plan и jira ticket автоматически"
• Не "подготовить отчет", а "настроить агента, который собирает еженедельный отчет"
• Не "накидать мокап", а "навайбкодить MVP приложения"

И для всего этого чаще всего не нужны никакие навыки, кроме как описать детально процесс того, что вам нужно сделать (промпт) и прожмакать соединение AI агента с нужными источниками (Google Workspace, Jira, Slack, Confluence, Figma и тд).

А для любителей сертфикатов — в Академии нужно сделать свой проект (⚠️ он будет публично досутпен, поэтому не слейте реальные рабочие данные). Поэтому небольшая практика в промптинге по сути тоже есть.

Build Club

Сама Академия построена в Build Club — системе, которая позволяет легко создавать подобные обучалки для AI провайдеров типа Мануса. Если провалиться в кроличью нору, то там еще есть отдельная академия Lovable (один из топовых инстурментов для вайб кодинга).

Главная мысль: главное научиться на делать AI агентов, а привыкнуть ими пользоваться. В этом скрыто ваше конкурентное преимущество как специалиста!

А какие у вас есть интересные юзкейсы для AI агентов?

#ИИученьесвет

Заместители
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥105422
This media is not supported in your browser
VIEW IN TELEGRAM
Ramble — этот апдейт заставил меня вернуться в Todoist

Todoist — это достаточно распространенный таск трекер. Я им стал пользоваться только потому, что мой друг в свое время всю свою жизнь там вел. Я и подумал: раз так удобно, попробую. Месяц страдал, тратил какое-то безумное количество времени на расписывание задач, потом стал сокращать, а потом просто забил. Муть какая-то, сидишь ставишь эти лейблы, создаешь проекты, выставляешь таймеры 😱 Проще в заметки записать в одну строчку все! Так я и жил в базовых Apple заметках и горя не знал.

Но тут я вижу письмо от Todoist с апдейом — выкатили Ramble

И я сразу понял, что Ramble все поменяет. Они сделали AI агента, который наконец-то сам создает задачи из вашего потока мыслей и сам проставляет:
• хештеги
• метки проектов
• время выполнения задач
• таймеры
• приоритеты задач

Но больше всего порадовало, что это не игра в одни ворота. Я могу находу проверять, какие таски создает агент и с какими настройками и просить его что-то поменять. То есть это не просто LLM обработка — это настоящий агент, который знает, какие таски уже создал и понимает, что вы от него хотите.

Ах, да, чуть не забыл самое главное — это ГОЛОСОВОЙ агент 😮 То есть вы просто надиктовываете свой план, а Ramble сам все раскидывает и редактирует прямо по ходу вашей диктовки.

Нельзя не упомянуть крутой UX

Как просиходит взаимодействие с агентом? — Одна кнопка! Просто нажал на иконоку диктовки и начинаешь бубнить как попало, а агент накидывает задачи, которые сразу появляются перед глазами. Работает как на компе, так и на телефоне.

TTS + LLM тоже шикарно исполняют

Можно затупить на несколько секунд, подумать, а агент тем временем усидчиво подождет. Можно "эээ-кать", он не будет это записывать. Можно наваливать поток мысли в полном беспорядке — в итоге все неплохо структурируется. Бонусом: шикарно работает на русском языке!

Мнение ☕️

Отличный пример, когда AI агент закрывает реально болевую точку продукта. Вместо того, чтобы заставлять юзера заниматься протыкиванием всех лейблов и флажков — ему дали 1 точку входа для потока мыслей. А на выходе — то, за что мы любим таск трекеры — структурированный план!

Ramble уверенно занимает свое место в рядах Заместителей в качестве личного ассистента-планировщика. А вы можете потестить его совершенно бесплатно уже сейчас! ☀️

#заместители

Заместители
Please open Telegram to view this post
VIEW IN TELEGRAM
314🔥8👍421
Походный AI на вашем iPhone

Пользоваться AI от вендоров типа ChatGPT не всегда получается, да и не все хотят. Я писал об этом вот тут. Вкратце — забота о приватности и экономия на подписке.

Для этого есть локальный AI. На компьютере установить его проще простого — Ollama. Но иногда комп доставать не сподручно. А на телефоне Ollama нет. И когда ты уже готов смириться и написать привычному ChatGPT — обнаруживаешь, что нет сети

Я вот столкнулся с этим в поездке дикарями кататься на коньках на озере Севан. Фотопруфы прилагаю

И вот тут меня выручило годное приложение для локальной установки LLM на iPhone!

Locally AI

Полностью бесплатная приложуха, которая по подобию Ollama в один клик загружает опенсорсные модели прямо на ваш смартфон!

В описании каждой модельки написано:
- что за модель
- что она умеет: текст/вижен/thinking mode
- сколько она весит
- какие модели подходят для какого телефона.

Потестил несколько моделей. Ну и могу сказать, что меньше Gemma 4B — все баловство. А вот Gemma 3n E4B — отвечает шикарно. На простых вопросах вполне сопоставимо с большими моделями!

- Сориентировала меня на каком льду можно кататься, а на каком не стоит.
- Помогла там, где беспомощен обычный гугл транслейт: мне оператор прислал транслитом сообщение на армянском. Gemma его легко перевела!
- А в ресторане помогла разобраться, что там за блюдо подают и какое у него БЖУ. И все это без сети!

Так что теперь это моя походная моделька. Всегда со мной на телефоне 👍

Заместители
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
115👍12🔥511
Не промптом единым богаты: как строить stateful AI агентов

Продолжаем курс про AI агентов. Серия 3.1 Context Engineering, Sessions, Memory

Если вы освоили промпт-инжиниринг, то вы уже большой молодец. Но как только вы хотите сделать сколько-нибудь умного агента, вы столкнетесь с проблемой – просто промпта недостаточно. Вам нужно, чтобы агент запоминал и потом использовал доп информацию. Это называется инжиниринг контекста.

В UI любой современной LLM эта проблема решена за вас в рамках 1 чата, группы чатов (как в "проектах" в ChatGPT) или в целом для вас как юзера (загляните в настройки профиля в вашей LLM в раздел "memories"). Но если вы строите собсвтенного агента — то вам придется нырнуть глубже в кроличью нору. Так что ныряем 👌

Теория

Stateful — означает, что система помнит, что было раньше. По сути, именно к таким агентам мы чаще всего и стремимся. А stateless — это базовое состояние LLM. Она ничего не помнит и не знает за пределами одного своего расчета. То есть ответила на ваш вопрос, а следующий запрос — с чистого листа.

Так вот чтобы построить stateful агента нам понадобятся 3 компонента:
1. Инжиниринг контекста (Context Engineering) — подготовка и управление информацией, которая передается в LLM в рамках ее контекстного окна (=1 запроса)
2. Работа с сессиями (Session) — контейнер, который содержит историю всего диалога с LLM.
3. Работа с памятью (Memory) — механизмом, который позволяет организованно и долгосрочно хранить информацию из нескольких сессий.

Context Engineering

Чтобы помочь агенту добиться воспроизводимого качественного результата, например, для ризонинга мы наполним его контекстное окно:
• Системным промптом
• Определением тулов, которые он может дергать
• Few-Shot примерами ожидаемого результата

Для разных задач наполнение контекстного окна будет разным.

Цикл управления контекстом состоит из трех шагов:
1. Собрать необходимый контекст под конкретный запрос юзера (воспоминания, файлы и тд)
2. Собрать промпт из собранного контекста
3. Дернуть LLM и тулы, чтобы подготовить ответ пользователю
4. Загрузить получившийся контекст во временное харнилище (сессию). А потом и постоянное хранилище — память.

Sessions

Сессии — это фундаментальный блок беседы с агентом. Она состоит из:
Событий — сообщений юзера и агента, вызова тулов, полученных данных и тд.
Состояний — это краткосрочная память агента в рамках одной беседы. По мере развития беседы агент будет дополнять эту память событиями.

За одну сессию можно во много раз переполнить контекстное окно модели. Поэтому приходится выбирать, что оставить, а что обрезать. Для этого есть пара подходов:
• Оставить N последних событий или X токенов в контексте
• Рекурсивная суммаризация — старые части переписки суммаризуются и передаются в контекст в сжатом виде.

Memory

Память очень похожа по устройству на Сессии, но она долгосрочная. Это то, что агент запомнит навсегда (пока не почистят память).

Хранят воспоминания в разных форматах. Распространены два вида:
Векторные БД — в них воспоминания находятся по семантической близости к запросу юзера. Подходит, когда заранее не понятно, какая будет структура воспоминаний.
Графовые БД — из воспоминаний строится граф, где воспоминание это нода, а ребро — это связь между нодами. Подходит для случаев, где нужно больше структуры.

Чтобы менеджить воспоминания могут использоваться как встроенные во фреймворк (типа ADK) инстурменты, так и использовать внешние инструменты (типа Agent Engine Memory Bank, Mem0). А сам асинхронный цикл генерации памяти выглядит так:
Извлечение и фильтрация — менеджер памяти использует LLM, чтобы из предоставленного контекста (истории сообщений) извлечь инфу по выбранному разработчиком топику ("описание юзера").
Консолидация и сохранение — менеджер памяти сравнивает извлеченные знания и обновляет память (создает новые, редактирует или удаляет воспоминания).

Ну и я крайне рекомендую почитать оригинальный whitepaper, на базе которого был сделан этот пост. Ибо я попытался вынести самое важное из документа на 70 страниц... 😁

Теперь покодим!

#ИИученьесвет
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍73111
Практика

Наша задача построить агента, который может запоминать происходящее в рамках сессии и переживать рестарт, возвращаясь к сессии.

1. Как обычно копируем и запускаем поэтапно ноутбук, в котором уже все готово. Как всегда, нужно настроить GOOGLE_API. После чего можно прокликать первую секцию ноутбука — там устанавливается ADK и написаны разные вспомогательные функции. Дальше интересное.
Раньше мы уже импортировали
google.adk.sessions.InMemorySessionService
и
google.adk.runners.Runner
, но сегодня мы делаем это осознанно ☕️
InMemorySessionService — управляет данными в рамках сессии. В ADK несколько вариантов этих сервисов.
Runner — оркестратор, который управляет потоком данных между агентом и юзером и собственно занимается инжинирингом контекста.

2. Запускаем секции 2.4 и 2.5. Там демонстрируется работа обычного InMemorySessionService. Подается два сообщения по порядку. В первом юзер представляется. А во втором спрашивает агента, как его зовут — агент корректно отвечает, потому что InMemorySessionService сохранил сообщение юзера в стейте.
Чтобы увидеть, как работает память внутри сессии (и не работает за ее пределами) можно запустить секцию 2.6 сразу — агент снова скажет как зовут юзера. Но если вы перезапустите ноутбук и пропустите запуск сессии, то естессно голая LLM не скажет как зовут юзера.

3. Переходим к примеру постоянных сессий с использованием баз данных:
google.adk.sessions.DatabaseSessionService
. Так воспоминания переживут перезапуск, тк агент сохранит память в БД (тут — в SQLite). В секции 3 запускаем такого агента.
Все благодаря двум строчкам, которые определяют в рамках сессии БД:

session_service = DatabaseSessionService(db_url=db_url)

Тут БДшка создается сама, но в реальной жизни вам придется ее развернуть своими руками. Запускаем ячейку 3.2 — агент с БД создан.
Тестируем: запускаем ячейку 3.3 — юзер снова представился агенту, это все записалось в сессии под именем
"test-db-session-01"
в БД. Вы можете полностью выключить ноутбук и снова его прокликать, но пропустить шаг 3.3 — и запустить сразу 3.4, где у агента снова спрашивают как зовут юзера и дают указание на сессию
"test-db-session-01"
— агент успешно вытаскивает имя пользователя из БД. Вот в этом сила сохранения в БД!
Соответсвенно, если поменять имя сессии — то агент ничего не вспомнит.
А в ячейке 3.6 можете посмотреть, как данные хранятся в БД.

4. Когда сообщений в БД накапливается слишком много (а происходит это быстро) — мы начинаем сжимать воспоминания. Делаем это банально с помощью суммаризации. В ADK для этого есть отдельный механизм внутри приложения, в котором находится агент:

google.adk.apps.app.EventsCompactionConfig

В ячейке 4.1 показано как создается такой конфиг. Прокликайте до 4.3 включительно: там вы увидите в каком виде саммари создается и заменяет в контексте агента суммаризованную информацию. Вы можете настраивать как часто запускать суммаризацию (каждые N запусков/токенов и тд). В документации ADK описано детальнее как еще можно управлять суммаризацией. Смысл везде будет схожий.

5. В секции 5 демонстрируется, как управлять внутри сессии стейтом (state). Для этого используется объект
google.adk.tools.tool_context.ToolContext
. С помощью функции
save_userinfo
в него записывается инфа, а с помощью функции
retrieve_userinfo
она достается.
Соответсвенно в ячейке 5.2 создается агент, которому в качестве тулов передаются эти две фнукции. И теперь агент может сам решать, когда записывать инфу, например имя и страну пользователя, а когда ее доставать. Потестить это можно в ячейках 5.3-5.5.
А еще можно шарить state между сессиями в рамках одного юзера и аппки. Это показано в ячейке 5.6.

Ну что, вы пережили прямо таки глубокое погружение в агентов — так держать! А в следующей серии разберем долгосрочную память. Stay tuned 😎

#ИИученьесвет

Заместители
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍831🔥11
Media is too big
VIEW IN TELEGRAM
Говорливый AI приближает всевидящих роботов

Когда создаются AI боты для звонков — на бумаге все гладко. Все демки выглядят волшебно. Но в реальной жизни разработчики сталкиваются с банальной проблемой — все эти боты звучат неестественно. Они легко сбиваются, когда юзер их перебивает, делают паузы, чтобы "переварить" речь юзера и наоборот невпопад начинают диалог после странных пауз. В общем звучит это все достаточно очевидно эй-айно.

Исправляют это костылями — в отдельном аудио канале запускают фоновый шум, добавляют паузы в скрипты боту, добавляют междометия типа "эээ", "гм" и тд. Все, чтобы срезать углы и добиться более естественного флоу диалога.

В 2024 году выкатили базовую модель Moshi на 7B параметров. Вот тут можно поговорить с ней, правда говорит она только на инглише. Такие модели называют "full duplex" — они одновременно могут и слушать и говорить, не теряя нить разговора. Собственно, как и человеки!

Дальше по этому пути потянулись и другие. Предположительно в голосовых GPT и Gemini используется нечто похожее — точную архитектуру они не раскрывают. Но на мой взгляд, все равно присутствует это кринжовая пауза. ChatGPT Voice обычно не перебивает и не "забирает микрофон" у юзера, хоть и отвечает с минимальной задержкой. Зашитое ли это правило "вежливости" или ограничение модели — неясно.

Буквально в ноябре 2025 Liquid выпустили свою базовую модель LFM 2 Audio-1.5B. Почему-то по метрикам она выше, чем Moshi. На практике попробуйте сами поболтать. У меня она жестко тупит. Но она опенсорсная — а кто мы такие, чтобы осуждать опенсорсные модели?! В каждом саду нужны разные цветы (кхм, или как там говорят 😈).

И вот на днях Nvidia релизнула свою модельку, которая построена на основе Moshi — PersonaPlex 7B. Поговорить с ней негде. Надо разворачивать для этого. Но можно посмотреть и послушать демки от разработчиков. Ключевое преимущество перед самой Moshi — это жесткое следование "роли". При этом есть вариабельность и самих голосов. И самое приятное — это опенсорс. Поэтому можно забирать ее на HuggingFace и использовать в своем проекте. С точки зрения флоу диалога — звучит она, пожалуй, наиболее естественно из всех имеющихся на рынке (если не обвешивать их свистульками, как я описывал выше, а сравнивать сырые модели). Перебивает, "активно слушает", отбирает реплику у юзера, как это делал бы человек. И при этом отыгрывает свою роль.

Куда это все движется?

Задался я вопросом. И ответил себе: очевидно, сначала к неотличимым от реальных людей AI-собеседникам. Модельки будут не просто звучать естественно, они будут поддерживать естественную для человека динамику разговора.

Дальше интереснее. Параллельно этому будут развиваться мультимодальные модельки, которые генерят и воспринимают видео+аудио по такому же принципу "full duplex". Активный рисерч в этом направлении уже идет. Тогда у вас в зуме будет не просто бот, который замолкает от каждого вашего звука, а полноценный собеседник, который по ощущениям будет иногда "пушить" вам свою реплику, а еще будет одновременно следить за вашими эмоциями на лице, за вашим окружением и моментально на это реагировать. Представьте, вы что-то говорите, к вам в кадр запрыгивает ваш кот — и ИИ собеседник, видя это, перебивает вас и говорит "оуууу, какой пушистик!". Точно, как сделал бы ваш друг.

Тут же можно прикинуть, что будет дальше. А дальше это все дополниться аналогичными моделями для данных с сенсоров и загрузится на роботов.

Так сейчас неуклюжие роботы, в будущем получат инструменты для взаимодействия с миром скорее всего лучше, чем у человека, т.к. не будут ограничены "вниманием", как человек. Мозг человека, как вы знаете, намеренно не обрабатывает большую часть информации, поступающей через органы восприятия, чтобы не перегреть котелок. А у робота такого ограничения не будет. Всеобъемлющее восприятие + моментальный учет всего и реакция на опережение.

На практике: робот который все видит, слышит, чувствует, знает и предсказывает ваши движения, желания и намерения.

Во, как меня занесло с простого релиза модельки Nvidia 😁

Заместители
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍66🤔5221