Из мира вайбкодинга всё по-прежнему ок — каждую неделю по несколько ненужных фич

Пишу сюда редко. Хотелось бы чаще, но причина отсутствия довольно понятная — лень и большая часть нишевой информации успевает пройти несколько кругов обсуждения ещё до официального выхода новости. В итоге остаётся либо соревноваться в скорости публикации, либо подключить модель к написанию постов и клепать их каждый день. 

В общем, немного подытожу о проектах, который вайбкожу для себя & ради интереса & бесплатно для всех: 

– MacCleaner, (не)уникальное декстопное приложение для macOS на swift для аналитики устройства и его контроля.
– BrowserMonitor, расширение для браузера (пока только chrome). Анти-реклама, аналитика, инструменты – все для комфортной работы в браузере.
– Aishny, уже рассказывал про него ранее. В какой-то момент забросил, потому что решил, что тг читать всё-таки удобнее, но недавно снова продолжил вносить изменения.
– books-ai тоже никуда не делся. Идея всё ещё нравится и со временем к нему вернусь. Недавно начал поглядывать за приложением Language Model Builder (от билдера из антропиков). Очень понравилась реализация, от чего "появился" интерес к ковырянии в books.

BrowserMonitor до сих пор активно поддерживаю и использую сам. Там уже есть блокировка разного рода рекламы, контроль активности сайтов, инструменты, которые лично мне постоянно нужны — работа с cookies, сворачивание видео, удаление css элементов со страницы и т.д. + аналитика блокировок и статистика посещений сайтов — хотя бы можно наконец увидеть, где именно я трачу 90% времени впустую. Само расширение уже доступно в Chrome Web Store и на GitHub, плюс есть .dmg для macOS.

С MacCleaner решил немного усложнить себе жизнь и добавить небольшую локальную модель, которую отдельно адаптирую под задачи приложения. За основу взял Needle на 45M параметров, заточенную под выбор нужного действия и передачу ему корректных параметров.
Например, пользователь спрашивает о температуре компонентов, модель определяет, что ей нужен check_thermal_state, вызывает его и дальше уже работает с полученными данными. Заранее готовится датасет и после провожу дообучение через lora на cpu мака.
Под это отдельно готовлю датасет с пользовательскими запросами, затем дообучаю модель через LoRA прямо на CPU своего Mac. Что из этого получится, расскажу позже.

Это как раз те проекты, на которые мне не жалко тратить лимиты, пробуя разные подходы к работе с агентами и постепенно усложняя себе задачи.

Возможно, отдельно сделаю пост про маленькие локальные модели для узких задач. Сейчас их становится довольно много: модели для работы с офисными приложениями, мобильных устройств, tool calling, классификации и других сценариев, где тащить модель на несколько миллиардов параметров вообще не обязательно.

Недавно написал довольно большую статью про a/b-тестирование агента с инструментами и без них. Пока выложил только в LinkedIn.
Возможно, сюда тоже перенесу позднее.

Увлёкся немного с меню-баром для прилки

Особо не собирался ничего делать, кроме добавления локальной модели ориентированную на системные команды, но вот для меню выделил силы кодекса. Съело примерно несколько недельных лимитов у базовой версии. Спасибо Тибо за постоянные сбросы

Пришлось немного покумекать над понятием пространственной интерполяцией 🙂‍↕️ Но вышло неплохо для базовой версии, хотя уверен что можно сделать лучше.

На гитхаб залил.

Увлёкся немного с меню-баром для прилки

Особо не собирался ничего делать, кроме добавления локальной модели ориентированную на системные команды, но вот для меню выделил силы кодекса. Съело примерно несколько недельных лимитов у базовой версии. Спасибо Тибо за постоянные сбросы

Пришлось немного покумекать над понятием пространственной интерполяцией 🙂‍↕️ Но вышло неплохо для базовой версии, хотя уверен что можно сделать лучше.

На гитхаб залил.

miniface

Бесплатная система захвата движений лица и пальцев для VTuber и стримеров. Работает в браузере

• рилтайм трекинг лица - 52 blendshapes ARKit
• трекинг пальцев рук
• аватары Ready Player Me с Three.js
• запись анимации и экспорт в .glb (2-5 МБ) с костями и blendshapes
• физика волос и одежды на пружинах без движка

Гитхаб

#mocap #realtime #streaming

MAX