Tool Building Ape × Gleb Kalinin
2.22K subscribers
233 photos
18 videos
3 files
146 links
@glebkalinin пишет о технологиях, ИИ и жизни в будущем. @Experimentally @mentalhealthtech

Without philosophical examination, builders inherit their answers from the defaults of their environment.
Download Telegram
Свято верю, что агентов и ИИ надо в первую очередь применять к самым неприятным проблемам лично вашего мира. Я это регулярно пытаюсь делать с теми областями, которые больше всего прокрастинирую.

Позавчера я поставил новый агентный браузер OpenAI Atlas. После первой волны разочарования (то же самое, что и все остальные — Comet, Fellou, Dia, сколько можно?), решил попробовать на реальной задаче — найти себе стоматолога. Я наблюдаю, как агент ходит по ссылкам клиник и делает всё то, что делал бы я сам, только гораздо тщательнее и быстрее. Мой главный критерий был — возможность записаться быстро.

Всего в пару-тройку интераций ChatGPT находит мне несколько опций. Я сам читаю отзывы, выбираю и бронирую через сервис Doctolib — Атласу я это пока не доверяю. Но с поиском он справился прекрасно — все варианты были с доступностью в течение недели.

И — о чудо — уже на следующий день я попадаю в прекрасную клинику и уже хожу со временной пломбой.

Следующий оплот — налоговая. Я живу в стране с одной из самых ебанутых налоговых систем в мире, без экзоскелета в виде ИИ совладать с ней сложно даже самим немцкам — при этом бухгалтеры в той или иной степени здесь всё ранво обязательно, как минимум, чтобы выдавать обязательные справки.

Но понимать закон и регулирование агенты потенциально могут (хотя, естественно, всё нужно проверять), поэтому, Finanzamt станет следующим клиентом моих агентов. Посмотрим, как встроится сюда Атлас.

#OpenAIAtlas@toolusing #aibrowsers@toolusing
👍144🔥1
Claude Skills — для меня один из самых важных апдейтов Антропиков после Claude Code.

MCP — популярный протокол. Но работает не очень хорошо. Самый важный и моментально заметный минус MCP — он может вернуть сколько угодно контента, который по умолчанию попадёт в контекстное окно LLM.

Один только список инструментов и их описание, возвращаемое MCP, может занимать несколько тысяч токенов.

А значит вы быстро столкнётесь либо с его переполнением контекстного окна, либо просто с деградацией перфоманса LLM (context rot).

К примеру, я запускаю всего один поиск по своему Обсидиану через MCP, MCP ищет не самым эффективным способом, вываливает в ответ полный контент десятка транскриптов, и всё, контекстное окно заполнено, десктопный Клод предлагает заводить новый чат.

Agent Skills предоставляет важное расширение и дополнение MCP.

Каждый Skill — это набор инструкций, готового кода и артефактов (например, шаблонов, графики).

Собрал и опубликовал свой первый навык для Claude Code — Deep Research через API OpenAI.

https://github.com/glebis/claude-skills/tree/main/deep-research

Этот навык делает запрос к модели o4-mini-deep-research. Нужен ключ и, увы, OpenAI требует верификацию организации — то есть нужно показать им документ, чтобы пользоваться этой моделью через АПИ.

Чтобы навык заработал с декстопным Клодом, нужно в настройках Capabilities добавить домен api.openai.com

Пример использования навыка на картинке:

запустил навык deep research, в качестве входных данных дал со своими фокусами из Obsidian, на выходе получил markdown файл с рекомендациями.

В одной команде можно использовать сразу несколько навыков, результаты одного навыка можно передать другому — например, сконвертировать в пдф, или превратить в презентацию, или опубликовать в вебе, или закинуть в Notion.
🔥6👌1🙈1
Cursor выпустили апдейт, который показывали на OpenAI Dev Day.

Новый агентский интерфейс сфокусирован не на коде, а на управлении множеством агентов — агент-ориентированный рабочий процесс.

Главная часть обновления — выпустили свою быструю модель Composer. Composer, позиционируемый как передовая модель, работает в четыре раза быстрее аналогичных по эффективности моделей и оптимизирован для низкой задержки и внесения правок во множество файлов.

Курсор теперь поддерживает рабочие деревья Git — можно запускать до восьми агентов или моделей параллельно в изолированных средах, так, чтобы агенты не мешали друг другу. Можно запросить несколько вариантов реализации задачи и выбрать лучшее решения.

В Cursor теперь встроен браузер (Chrome), позволяющий агентам самостоятельно тестировать, просматривать и исправлять ошибки в коде. По результатам моего небольшого тестирования, для разных задач на фронтэнде Cursor использует и Playwright.

Покодить с новой моделью можно и бесплатно — мне хватило токенов на час размеренного улучшения сложного фронта с управлением браузером.

Свою быструю модель выпустили и Windsurf — они запартнёрились с Cerebras и обещают до 950 токенов в секунду. SWE-1.5 — не просто кодинг-модель, а часть интегрированной системы (модель—инференс—агент).

Утверждают, что инженеры Cognition (компания-разработик Devin, купившая Windsurf) используют SWE-1.5 ежедневно: чтобы разбираться с большими кодовыми базами, редактирования конфигураций и разработки full stack приложений.
👍2🔥2
Agent Skills (агентские навыки) появились всего 3 недели назад, но уже меняют, как мы взаимодействуем с агентами. Саймон Виллисон в своём посте написал, что Skills — возможно, более важное обновление, чем MCP.

Навыки — это просто набор из промтов, исполняемого кода и других файлов (например, шаблонов, графики, шрифтов). Работает как в Claude Code, так и с десктопным Клодом (но с существенными ограничениями по доступу к сети).

Поскольку в навыках нет почти ничего специфичного для Клода, умельцы уже нашли способы запускать их в Codex-cli, кодинг-агенте OpenAI, входящим в любую платную подписку. Для этого нужно просто добавить небольшой скрипт, который перечисляет доступные скрипты и делает и доступными Кодексу.

Про skills можно думать, как про реальные человеческие навыки. Навык — «умение выполнять целенаправленные действия, доведённые до автоматизма в результате сознательного многократного повторения одних и тех же действий или решения типовых задач» (gramota). Чтобы что-либо автоматизировать при помощи skills, нужно описание процесса в духе standard operating procedure.

Как начать пользоваться Skills?

Для меня самым эффективным способом было установить несколько готовых навыков из официального репозитория Anthropic. Можно скачать их c гитхаба и установить все вместе, а можно попросить claude code добавлять их поштучно — достаточно скинуть ссылку на репозиторий навыков и перечислить только нужные.

Поэкспериментировав с готовыми навыками, можно создать свой собственный, запустив навык skill-creator — он поможет и написать промты, и создать нужный для работы навыка код.

Что я уже завернул в навыки:

→ часть операций по работе со своей базой в Obsidian: перелинковка заметок, выгрузка событий из календаря, копирование и перелинковка транскриптов из Fathom

→ работу с контентом: загрузку видео на Ютуб, генерацию транскриптов через whisper на groq, создание описаний и категорий и генерацию обложек

→ обернул в навык llm-cli, позволяющую через единый интерфейс пользоваться любыми llm (взять можно у меня на гитхабе) — теперь Claude code может для обработки текстов и мультимедийного контента использовать Groq или любую модель через OpenRouter.

Теперь в одном предложении внутри Клод кода я могу выполнять сложные операции, например: «Загрузи последнее видео в папке downloads, переведи описание на английский с помощью навыка llm groq и добавь в отдельную заметку в Obsidian. Добавь ссылку на неё в daily note в Obsidian.»

Pro tip: запускать навыки можно из командной строки в неинтерактивном режиме. Например, чтобы запустить синхронизацию календаря, я выполняю команду claude -p "Sync calendar"

———

В ноябре провожу лабораторию по Claude code для неразработчиков, конечно же, будем много экспериментировать со skills.

#agentskills@toolusing #claude@toolusing #claudecode@toolusing
👍1311🔥2
В это воскресенье в 13:00 CET зову на первое онлайн-событие своего обновленного коммьюнити AGENCY.

Аудиовизуальный семинар проведёт Егор Крафт, междисциплинарный художник и исследователь, работающий в области искусства, теории, философии и исследований современного технологического проекта.

Насыщенный аудиовизуальными материалами кейноут-семинар об исследуемых автором темах искусственной памяти, эстетики автоматизации, синтетического производства и потребления знаний, новой сетевой когнитивной инфраструктуры, дихотомии между синтетическим или «естественным», реальным или виртуальным, институциональным или облачным и других стремительно размывающихся понятий в условиях технологической обусловленности.

Егор крут, редко публично выступает по-русски, приходите. И с нейросетями Егор начал работать гораздо раньше, чем это стало мейнстримом.

Зарегистрироваться (free)
https://luma.com/4rfyfyjh
🔥85👏1
This media is not supported in your browser
VIEW IN TELEGRAM
Из моих лабораторий по Obsidian и Claude Code (следующая — в январе) у меня рождаются проекты, большие и малые.

В начале последней лаборатории я решил, что сделаю себе наконец ассистента, который будет мощный, как Claude Code, и сможет хорошо работать с моим немалым контектом. Оказалось, что Claude Code — отличный RAG, Claude Code SDK позволяет строить приложения вокруг топовых агентных возможностей Claude Code.

В результате я строю полу-локальную агентную архитектуру для работы продукта, одно из взаимодействий с которым (по-английски) вы можете посмотреть на видео.

Я просто болтаю с быстрой и лёгкой моделью, а она иногда вызывает инструменты, внутри которых может быть простой поиск по файлам или базе данных, а может быть запуск дип-рисёрча, деплой или запуск рассылки.

Я постепенно подключаю в свою системы основные свои персональные данные — уже собираю базу из данных Apple Health, истори базы в Хроме, все фотографии из iCloud. У агента есть бот в телеграме, который умеет слать сообщения и сохранять контент, я могу созваниваться и на естественном языке запускать Agent Skills и выполнять любые операции с файлами, включая работу над исходным кодом интерфейса, через который я работаю с системой.

Читать научную фантастику в детстве было полезно — легче заметить, что я в ней уже живу.

И, к счастью, не только в антиутопичной части, а в той, где ты можешь построить под себя свой полезный и человечный ИИ, который станет настоящим партнером, даже кофаундером, а через пару-тройку лет всё это вполне сможет даже локально.
🔥25👍11😱43
Когда-то, в самом начале использования Obsidian, я решил, что буду делать все заметки максимально персонализированными. Если уж это мой «второй мозг» (считаю это плохой метафорой), то почему там должны быть чьи-то чужие мысли?

Зачем мне внутри своего компьютера повторять Википедию? Пусть это будет Википедия, где каждая страница написана для меня. И если раньше страницу такую мог написать только я сам, то теперь, конечно, могут и агенты.

Например, если это страница про лекарства, которые мне сейчас нужно принимать, то помимо общего действия и результатов исследований там будет информация про то, какие лично у меня, исходя из моих генетических особенностей, могут быть противопоказания, побочные реакции и взаимодействия.

Для одной карточки лекарства Клоду не хватало контекста — я ему скормил только часть генетического отчета. Я уже пошёл запрашивать полный в 23andme, а Клод в это время пошуршал по дропбоксу и сам нашел лежащий там много лет raw файл.

И вот, мой отчёт обновлен — Claude Code перелопатил исследования, и даже предложил сгенерировать Pharmogenomics Card — список всех.

23andme оказалось классным вложением, хоть там и не весь геном. Думаю теперь у Dante labs или какой-то другой компании полный геном расшифровать, это хорошая инвестиция в персональные данные, которая уже сейчас оказывается полезной.
🔥102👍1
Tool Building Ape × Gleb Kalinin
Когда-то, в самом начале использования Obsidian, я решил, что буду делать все заметки максимально персонализированными. Если уж это мой «второй мозг» (считаю это плохой метафорой), то почему там должны быть чьи-то чужие мысли? Зачем мне внутри своего компьютера…
Собрал тулкит, который превращает сырые генетические данные (23andMe, AncestryDNA, Genotek и др.) в структурированное хранилище знаний в Obsidian.

Импортирует геном, задаёт вопросы о ваших целях (безопасность лекарств, ментальное здоровье, сон), генерирует персональные заметки о генах и клинические отчёты, проверяет утверждения через AI-пайплайн из Claude Code + Codex + Gemini (через NotebookLM), отслеживает биомаркеры и помогает расширить данные через импутацию до 3–40 млн вариантов.

Есть heartbeat, который ищет апдейты по вашим SNPs в академических источниках вроде Pubmed. Это имеет смысл, так как данные постоянно меняются — у меня, например, некоторые риски, которые 10 лет назад идентифицировал 23andme, были полностью опровергнуты.

В тулките есть веб-приложение на Agent SDK, которое позволяет задавать вопросы о своём геноме в AI-чате, в том числе с голосовым интерфейсом. Например, можно выделить сразу несколько SNP и задать вопрос Клоду про их значение. Клод также умеет фильтровать контент на странице и всегда в курсе контекста, из которого его вызвали.

Например, можно попросить показать все гены, связанные с тем или иным состоянием или болезнью.

Есть чек-лист интервенций, который вы можете пополнять самостоятельно, и TUI-тулкит для триажа интервенций.

Отличие от большинства коммерческих продуктов заключается в том, что есть отдельные панели по ментальному здоровью и зависимостям, помимо стандартных рисков.

Почти что угодно можно экспортировать в Markdown или распечатать в виде симпатичной PDF, чтобы показывать врачу.

Мне, например, было супер полезно сделать карманную памятку по лекарственным взаимодействиям и ограничениям.

Можно просто отправить Клод коду эту ссылку и попросить установить:
https://github.com/glebis/genome-toolkit

Для того, чтобы работал Agent SDK по подписке, нужно сделать unset ANTHROPIC_API_KEY — если ключ установлен, Клод всегда будет использовать именно его, а не подписку.
20🔥14😁3👍1🤯1
Сразу несколько новостей. Во-первых, я официально стал Apple-разработчиком и запустил 2 MacOS приложения, оба open source.

Как перфекционист, помариновал их, прежде чем рассказать о них в канале, зато и некоторые очевидные баги успел убрать, и, что не менее важно, успел достаточно попользоваться сам.

Cull — это как Obsidian, но для картинок. Отбирать, просматривать, публиковать, показывать в реальном времени. Любые действия можно делать вручную, а можно с помощью агентов. Программа умеет открывать большинство распространенных форматов, включая RAW (изначально писал для работы с фото из моего среднеформатного Fuji GFX). Как Preview + FastRaw, но с поддержкой агентов, локальных сеток для работы с изображениями, с Agent SDK прямо внутри.

Естественно, есть MCP, cli, скилл для вашего Клода, Кодекса, Гермеса, OpenClaw, который может делать всё то же, что и вы внутри приложения: создавать коллекции, одобрять и отбраковывать, оценивать, работать с мета-данными, экспортировать и публиковать в интернете, и просто выводить картинки на отдельный экран (Preview Window, как в Capture One). Open source, MIT

Чтобы разрабатывать эту штуку пришлось сделать несколько скиллов для релиза, билды MacOS-приложений — это вам не веб. Разрабатывал, как и бОльшую часть приложение, Кодексом, с новым Sol 5.6 High. И это была самая длинная задача в моей жизни с агентами — Sol High работал почти 48 часов.

Программу можно скачать на сайте, можно установить через brew:

brew install --cask glebis/tap/cull

А скиллы посмотреть в основном репозитории со скиллами, они начинаются с cull-
🔥189👏3
Вторая программа — cenno (читается как «ченно»). Это простой инструмент, который даёт вашему агенту ещё один интерфейс для взаимодействия с вами — всплывающее окно на вашем Маке или iOS устройстве с определенным набором элементов управления.

На Маке сообщения можно зачитать через шуструю text to speech-модель Supertonic. В сочетании со Spokenly MCP, можно получить полностью голосовое — или гибридное, текстово-голосовое, взаимодействие с агентом.

Он вам вопрос голосом и текстом, вы отвечаете, нажимая на кнопки, и/или диктуя уточнения голосом.

Анализирую свои данные, я понял, что у агентов их совершенно недостаточно, что некоторые вещи, кажущиеся мне очевидными, агенту неизвестны, поэтому вместе с cenno я собираю побольше информации о себе, а это никогда не обходится без того, чтобы что-то заодно поменять в наблюдаемом.

Есть несколько интересных технических моментов, которые я попробовал проектируя это приложение. Во-первых, использовал дизайн-токены как стандарт, как оцифрованный «источник правды» о бренде, на основе которого построил уже три носителя:
- сайт
- десктопное приложение
- нативные iOS-приложения (iPhone + Apple Watch)

Во-вторых, использовал стандарт AU2UI.

Agent-to-UI — это открытый стандарт, предложенный Гуглом, который позволяет ИИ-агентам не просто отвечать текстом, а динамически описывать интерфейс (формы, карточки, графики и т.д.) в виде JSON, который затем нативно отображается приложением.

Поскольку я сразу же думал о мультиплатформенности, было супер-логично работать с этим стандартом, эксперимент считаю удачным, стандарт — рабочим.
🔥62
На следующей неделе запускаю новую лабораторию по работе с ии-дизайном.

Впервые делаю лабу не для начинающих, а продолжающих — нужно уже хотя бы минимально пользоваться агентами (Claude Code / Cowork, Codex, Hermes и др). Совсем базовый онбординг будет, но не такой подробный, как на полноценных лабах по Клод коду.

Мы пройдемся по немалому стеку — скиллы, MCP, новые редакторы вроде Pencil, инструменты визуальной коммуникации с агентами, затронем анимацию, лендинги и сколлителинг, посмотрим на готовые фреймворки вроде свежего Astryx.

Это пространство для тех, кто хочет прокачать свои навыки работы с визуальной частью ии-проектов. Мы бысро развиваем насмотренность, и сгенерированный дизайн становится моментально узнаваемым. на

За 5 недель вы:

— Научитесь начинать работу над дизайна с постановки целей, формулирования Jobs To Be Done и делать их важнейшей основной спецификации

— Превратите свои предпочтения или существующий бренд в дизайн-токен — подробное описание параметров бренда, с которым работает любой агент

— Соберёте работающий брендированный интерфейс приложения, сайта, лендинга из одного файла-источника, используя Figma MCP, Pencil, Claude Design, Open Design, скиллы и готовые раброчие процессы

— Настроите контроль качества: автоматические аудиты, adversarial-ревью, итерации до достижения результата
— Запустите проект с живым демо

2 занятия в неделю (вт и чт, 18:00 CET) + 3–5 часов практики. Небольшая живая группа.

Для дизайнеров, переходящие в агентный дизайн, продактов, фаундеров, соло-разработчиков, стремящихся прокачать дизайн своих продуктов.

Для подписчиков — скидка -20% по промокоду NO-SLOP. Есть командный тариф, возможна оплата от компании.

Заходите посмотреть лендинг — его я делал, как и свой софт, начиная с дизайн-токена, и естественно по процессу, которым буду делиться на лабе.
4🔥4👍2💩1