Транскрибация на телефоне своими руками

Казалось бы, что сложного: запись аудио → транскрибация → копирование в буфер обмена

Но ни одно из приложений, которое пробовал, не дает нормального UX

В итоге с подачи друга (спасибо, Паша), настроил себе нативный shortcut и повесил на Action Button / Double Tap

Инструкция, как сделать в домашних условиях

Создаем новый Shortcut (Команда). Добавляем:

1. Record Audio:
- start: Immediately
- finish: On Tap

2. Get Contents of URL:
- URL: https://api.openai.com/v1/audio/transcriptions
- method: POST
- headers:
Authorization = Bearer <сюда вставляем OPENAI_API_KEY с platform.openai.com>
- body: Form
- file = Recorded Audio, тип File
- model = gpt-4o-mini-transcribe
- response_format = text

3. Copy to clipboard

4. (Опционально) Show notification

———

Можно любой другой api использовать. Можно парсить json из ответа через Get Dictionary from Input. Можно поднять свою проксю на vps чтобы работало в рф без квн

@ai_grably

Вы тоже успели подсесть на Fable?

Что ж, ждем фронтир модели, которые будут сосать на бенчмарках, чтобы их не заблочили

Раньше был "бенчмаксинг", теперь будет "бенчмининг"

Удивляют люди, который ухмыляются над Антропиками. Мол, довыпендривались, теперь расхлебывайте

Кмк, Антропики на данный момент получили топовый пиар – признание государства о том, что их модель слишком опасна из-за своей крутости. То есть, буквально валидация их собственной позиции

Я думаю, закончится все тем, что они поправят джейлбрейки, отыграют публично послушание перед правительством, за что с них в какой-то момент снимут экспортные ограничения. И вот тогда то адопш мифоса/фэйбл взлетит до небес – все кому не лень захотят потыкать, что это тут у нас было под запретом

Где я не прав?

Вчера жестко прокрастинировал делать рабочие задачи. А что делает человек в 2026ом, когда отлынивает от работы?

Я вот увидел картинку, где fable помог разобраться с NSEvent.pressure в MacOS 26 и использует тачпад для взвешивания порошка (картинка в комментах). Короче, картинка оказалась сгенерированная, нет там публичной апишки, которая граммы возвращает

Но оказалось, что есть приватная😉

Спустя час дебага и экспериментов, мы находим правильное поле в структурке

там буквально был момент, когда агент пишет скрипт, который выводит разные значения, я давлю на тачпад с разной силой, а агент по 16 графикам – пытается понять, какое из этих 16 чисел отвечает за давление

В целом, на этом бы и остановиться – весы готовы. Но в процессе дебага я случайно решил вывести на экран все касания с учетом силы нажатия в реальном времени. Получилась красота на видео выше. Сразу стал думать, для чего можно было бы такое применить – это же супер детализированный инпут

Первая мысль, что можно в геймдеве прикольные механики делать. А вторая – midi контроллер – играть музыку. руками. на тачпаде

Проходит еще два часа

Добавлены отображение волны и спектра, триггер на улавливание фазы (чтобы она стоячая была по возможности), пространственный звук, кучу настроек и пресеты. Ну и блокировка тачпада до кучи – чтобы пока музицируешь случайно не кликать куда ни попадя

Скинул нескольким друзьям – оказалось жестко залипательной штукой

Ощущения от обратной связи визуала на нажатие – офигенное. Наверное, самая крутая моя экспериментальная поделка за очень долго

Залипнуть самому (только на Mac):

brew trust toolittlecakes/tremor
brew install toolittlecakes/tremor/tremor
tremor

@ai_grably

Лечим Dictation

Мой Wispr Flow чет совсем испортился, а вот встроенный диктейшн в Codex App – очень хорош. Но сделать нормально, чтобы он работал по всей системе (пост) у openai так и не получилось – у меня стабильно теряет результат

Психанул, раздебажил Codex App (благо написан на электроне), нашел internal url и параметры запроса, и воткнул его как новую модель в Handy – опенсорсный аналог Wispr Flow

Кастомные эндпоинты в Handy прописывать нельзя, так что он был быстренько клонирован и запатчен

Промпт для повторения:

Сделай кастомный Handy с моделью `Codex Dictation`.

Важно знать заранее:

Endpoint:
POST https://chatgpt.com/backend-api/transcribe

Auth читать кодом из локального Codex:
~/.codex/auth.json

Поля:
- tokens.access_token → `Authorization: Bearer ...`
- tokens.account_id → `ChatGPT-Account-Id: ...`, если есть
- refresh_token и id_token не использовать

Headers:
- originator: codex_desktop
- User-Agent: Codex Desktop/26.611.62324

Body:
multipart/form-data
- file: audio bytes, audio/wav, filename handy.wav
- language: optional; `auto` не отправлять; `zh-Hans/zh-Hant` → `zh`

Response:
```json
{ "text": "..." }
```

Склонируй github.com/cjpais/handy, найди, что в нем поменять, чтобы нативно встроить Codex Dictation в список моделей, собери приложение и установи

Так Handy будет мимикрировать под вызов из Codex App
Для работы нужен аутентифицированный codex (берем его секреты)

Disclaimer: это может являться нарушением ToS OpenAI, хотя мы тут просто получаем сервис, который нам обещают (если используем локально)

@ai_grably

Только сейчас узнал про флаг, который включает в codex'е request_user_question. Он и раньше был, но работал только в режима планирования, которым я не пользуюсь

[features]
default_mode_request_user_input = true

С чем особенно хорошо работает (в AGENTS.md):

Ты сам автономно идешь до результата, пока путь ожидаемый. Если уперся в неожиданную проблему – не нужно скрытно костылить воркэраунд. Правильно – объяснить проблему и дать варианты ее решения (и обхода). Иначе – будем ходить костыльными путями, а пользователь даже не будет в курсе

Бтв, узнал про флажок в чатике курса от @the_ai_architect, мб вы тоже не знали

Чем CC на самом деле круче Codex с точки зрения бизнеса?

В целом, будем честны, они уже плюс-минус одинаковые. Да, Claude лучше делает UI, а Codex педантичнее следует правилам. Обгоняют друг друга по разным фичам, но в основном в мелочах

Но есть одна особенность, которая может быть критической при выборе Codex vs Claude Code для компании. По крайней мере, для тех компаний, где разрешен гитхаб

Это automations (codex) vs routines (cc)

Просто один из самых частых запросов у бизнеса сейчас:

1. Научите наших доменных экспертов автоматизировать себе задачки
2. А потом сделайте, чтобы часть задачек запускалась в фоне, чтобы не тратить на них фокус (и не продалбываться)

Переход из первого во второе можно сделать с помощью Automations в кодексе

Но они работают только когда устройство включено. Так еще и хочется запускать их не только по таймеру, но и по какому-то событию (aka вебхук)

И честный переход в автономный режим означает деплой собственной системы, а это сразу приседания с CI/CD, Docker, Cron и кучей других слов, которые доменные эксперты учить не будут

Так вот, Routines в Claude Code берут это на себя – там вы пушите проект с AGENTS.md и скиллами на гитхаб (проверено, с этим справляются вообще все) и антропик сможет разворачивать его в своей песочнице, отправляя прописанный промпт

Можно по таймеру, можно по событию (вебхуки)

Главный вопрос – а че там с секретами для коннекторов: достаточно просто скопировать .env с нужными токенами прям в окне настройки

Короче, вся сложность по деплою, триггерам, и т.д. антропики берут на себя

И для компаний, где не достаточно разрабов на создание такой инфраструктуры, либо просто не хочется собирать велосипед – это прям киллер фича

@ai_grably

Астрологи объявили неделю fable 5, количество упоминаний Антропик в ИИ каналах увеличилось втрое (а сна – уменьшилось вдвое)

А если по сути, то гоняем в хвост и гриву до 7 июля на все 50% подписки и ждем GPT-5.6

Как человек, который успел провести в обнимку с ней двое суток, гонять советую на задачах, где нужно много неявного контекста, а старые модели не улавливают "вайба". Это либо архитектура core компонентов и либ, либо сложные рефакторинги, либо дизайн экспериментов

Короче, задачки, где нужно понимание "на кончиках пальцев". В остальных разницу скорее всего не заметите, не тратьте токены

UPD: reddit для вдохновения

Байки с полей

Сгонял в конце прошлой недели на Conversations, сейчас расскажу, что было интересного, а что полезного

Ну во первых, был очень рад контингенту на конфе – развиртуализовался с кучей селеб нашего ИИ-пузыря – от Ромы Куцева из llmarena и vsellm до Ярослава Шмулева из R77, попил пива с шашлыками у Валеры Ковальского и покатался на тачке Глеба Кудрявцева

Но мы же на такие конфы не за этим ездим? Вернее не только за этим

Если прям честно, я очень хотел пообщаться с ребятами из реального сектора (всегда говорю, что там гораздо больше простор для оптимизаций и гораздо меньше экспертизы как ее делать)

И они там были. Я смог добраться до КМЗ (Кенгиссепский Машиностроительный Завод), Московского Метро и еще кое-каких нефтянников. Ну все, похвастался, теперь расскажу, какие сейчас запросы нарыл:

- голосовой ввод для инспекторов ОТК (которые руками проверяют изделия)
- контроль рабочего времени конструктора (по камерами и записи экрана)
- сравнение цен/условий закупок у поставщиков
- и поиск у них просрочек + оформление претензий
- автоматизация ввода первички и номенклатур + регистрация чертежей в их системе
- семантическая аналитика 500 млн чат бот сессий в месяц
- ну и конечно, q&a боты по базе знаний компании (нормативка, поставщики, рынок и т.д.)

Еще из любопытного, узнал в кулуарах про схему, когда на тендер залетает компания однодневка, жестко демпингует, а потом требует откупные, чтобы выйти из тендера. А если не дать, то они выиграют тендер и потом ничего не будут делать, только жрать месяцы простоя, пока не получиться их выпнуть через юристов.

Из решений – нанять нормального тендерного специалиста, который поможет так составить тендер под конкретную компанию, что такие паразиты в него не пролезут

Ну и еще есть всратая история, как одна девушка смогла без опыта устроиться дата аналитиком не скажу куда, чтобы клеить CEO. И наняла себе реального аналитика за часть зп, чтобы он закрывал её таски. Эффективный менеджмент, получается. И такое бывает, вау

P.s. короче, конфа – огонь, теперь еду в мск на Agentic Dev Conf, приходите слушать доклад, зовите пить пиво

Нужен GUI агент для опенсорсных моделей?

Пока нет ничего лучше OpenCode. Шутка.

Z.ai сделали не только топовую опенсорсную модель, но и свой гуи агент ZCode – клон Codex App

Но codex работает по дефолту только с Responses API (который никто кроме OpenAI нормально не поддерживает). А ZCode нативно поддерживает кастомные эндпоинты всех трех типов (chat.completions, responses, anthropic)

Управление с мобилки тоже есть, правда не через аппку, а через веб (зато не заблочат в сторах)

P.s. можно и к codex подключать разные модели через отдельный враппер (cliproxyapi), но такое не всем подходит

Хз как люди пользуются OpenRouter

По дурости тестили на нем систему, которая на локалках должна будет работать в контуре клиента, и это такая боль:

- низкие лимиты у провайдеров
- хрен пойми у кого реально есть поддержка structured output, даже если заявлено
- а у кого есть, часто некорректная – натолкнулся на имплементацию с сортировкой ключей в алфавитном порядке 🥴
- нет моделей в целевом кванте
- в какой-то момент провайдер просто лег на два часа (а другие не поддерживают норм SO для нужной модели, ага)

Да, можно сразу тестить на целевой системе, но а) это нужно получать доступ в контур клиента и б) ждать пока одна его карточка все обработает

А у нас autoresearch-like флоу, где агенты в 4 потока эксперименты крутят, нам такое не подходит

Короче, надо было сразу арендовать GPU и поднимать там, а не страдать херней. Благо это делается в один промпт (если настроено управление браузером):

Codex, сходи через мой браузер на hf и подними мне vLLM на h200 с <model-name> на <context-len> токенов максимального контекста с <concurrency-num> параллельных запросов. Посмотри в документации и на реддите рекомендации по конфигам и проверь, что мои требования вообще выполнимы или предложи трейдоф

P.s. если нужно часто, установите huggingface_hub и дайте токен админский, чтобы агент через браузер не мучался

P.p.s. не забываем потом остановить ноду, а то можно без штанов остаться (если хочется автоматически, юзаем scale_to_zero_timeout=20)

Альтернативы: runpod.io, vast.ai, modal.com, cloud.ru (не реклама, а зря)

Хз, для кого-то это очевидно, но у нас это первый проект, на котором сошлись локальные модели, отсутствие доступа к железу клиента, и огромный трафик autoresearch подхода