Таким должен быть ИИ-ассистент.

Чувак из твиттера собрал ассистента, который видит ваш экран, может разговаривать и даже показывать "куда жмать"

Можно поставить как обычное приложение на мак, есть опенсорс-версия с установкой через Claude Code или ручной настройкой.

Я быстренько потестил, в приложухе есть выбор между Sonnet/Opus, 0 настроек, говорит только на английском, всё бесплатно.

Ощущается реально волшебно, но в таком сетапе работать страшновато. Все скрины экрана и записи голоса хотелось бы гонять на своих ключах или локальных моделях, всё-таки много приватной инфы может улететь. Был бы это крупный сервис - можно было бы подумать, а так большого доверия нет.

Причем, раз проект опенсорсный и с лицензией MIT, то любой может сделать свой форк, и уже есть несколько интересных:

Версия для винды
Версия для работы с локальными моделями

Дежурно напоминаю: используйте чужие проекты с гитхаба на свой страх и риск.

Полтора года я кидал вам сервисы, а вы кидали мне бананы 🍌. Но всё меняется, и нам пора поговорить. Думаю, вы заметили, что постов стало меньше.

Причины две:
1. Раньше новых сервисов было много, и они были прикольные. А сейчас новые сервисы в 99.9% случаев повторяют друг друга. Что-то достойное появляется редко, а щитпостить в вас одним и тем же или засыпать рерайтами новостей я не хочу.
2. Канал создавался для тех, кто хочет использовать ИИ в реальной жизни, а для этого сейчас мало просто "что-то использовать". Нейронками в каком-то виде пользуются все, и на первый план выходит не "что", а "как использовать".

И мне есть что вам рассказать, но чтобы это было реально полезно, хочу познакомиться поближе. Поэтому для начала три вопроса(анонимно, конечно):

Ребята, спасибо за обратную связь!

Для меня откровение, что больше 30% из вас разработчики. Сам я вхожу в самую меньшую группу - всего 5% из вас маркетологи, только аналитиков тут также мало. К продактам я тоже мог бы себя приписать, но душа лежит к другому. Круто, что нет разгромного доминирования в одной профессии. Значит, мы все тут можем делиться компетенциями и становиться лучше! Но главный вывод не в этом.

Главный вывод в том, что из опросов я ничего не понял! Вопросов Встало только больше.

Поэтому, у меня к вам банановое предложение 🍌:
Вы заполняете небольшую анкету за пару минут, а я подготовлю лично для каждого файлик, который поможет решить конкретно ВАШИ проблемы. В файле будут полезные инструменты и советы из личного опыта. Разработчики, не спрашивайте меня нужна ли встроенная в код документация! Я не знаю! (Нужна, но только актуальная, с короткими комментариями, прижатыми к коду, на английском, с описанием почему функция архитектурно сделана именно так, как сделана)

Анкета

Учитесь.

Я недолюбливаю Higgsfield за их отношение к пользователям и мутные механики, но у них есть чему поучиться, если вы делаете свои продукты вокруг ИИ или занимаетесь маркетингом.

Higgsfield живёт в режиме жёсткого перебора УТП и релизит по несколько продуктов в месяц внутри своей площадки. В большинстве случаев там нет ничего интересного - шаблонные обёртки вокруг опенсорсных решений. Громкие, яркие заголовки, посты у блогеров, но полная невозможность встроить новый инструмент в реальную работу и извлечь существенную пользу. Люди, которые ничего в этом не понимают, хавают, но ребята с нормальных продакшнов такое не едят. Однако, иногда они релизят что-то реально годное.

Сейчас у них вышла Marketing Studio - это обёртка вокруг Seedance 2, которая нужна для быстро создания большого количества коротких рекламных роликов. Я дежурно потестил: можно загрузить фотки своего продукта, описание, подгрузить своего персонажа созданного по 1 фотке/описанию или выбрать готового, добавить сценарий и другие референсы в промпт и всё! Готовый видос о вашем продукте, хрон до 15 секунд.

Можно ли сделать это в Seedance 2 напрямую, за пределами Хиггса? Если вручную накидать рефы и написать достаточно точный промпт, да. Это не какая-то невероятно сложная задача, если вы знаете что должно получиться.

Но в Marketing Studio это работает по принципу "Нажми три кнопки и сразу выйдет хорошо", создание ролика занимает всего пару минут. Так можно создавать черновики креативов десятками, тестить, и полноценно докручивать только те, что работают. Конечно, подойдёт не всем и не на все случаи жизни. Но если будут добавлять новые пресеты, то инструмент будет закрывать всё больше кейсов.

Ценность создана на ровном месте. Несколько пресетов, удобный интерфейс, заточенный под одну функцию, Seedance API, и продукт готов.

Многие почему-то переживают, что с помощью нейронок можно делать фейки, нюдсы и прочие ужасные(или нет) вещи. Потому что кто-то плохой якобы сможет с их помощью кого-то хорошего обмануть и подставить.

Аргументы обычно такие:

Вот живёт условная Мария Ивановна в своём провинциальном городке, учит детей в школе №33, а какой-то Саша из 8 "Г" обижается на неё за двойку и после уроков идёт генерить видео, где Марию Ивановну ебут прямо на парте, а потом рассылает это всем возможным контактам. Мария Ивановна попадает в ужасную ситуацию, может вылететь с работы и прославиться на весь город. Потом, конечно, вскроется что это был фейк, но всем уже будет насрать. Люди-то помнят.

Я бы, ребята, не переживал. Ведь меняется не только производство фейков, но и защита от них. В первую очередь психологическая. Например, вчера в твиттере набрал 2.2млн просмотров очередной фейковый слив будущих мстителей. И что произошло?

Фанбаза, которой прям важно и не насрать, поверила? Нет, там бредовые детали и при ближайшем рассмотрении видны артефакты генерации.

А кто-то поверил? Да, те кто мельком это увидел. Те же люди, что не читают новость дальше заголовка. Те же люди, что понимают содержание всей книги по названию. Их не спасти. Они забудут о том что видели через пару минут и переключат внимание на следующую шокирующую новость, потому что эта стала слишком скучной.

Студия как-то пострадала от этого? Нет, она наоборот получила дополнительное цитирование!

Вы можете возразить: "Да, но в случае Марии Ивановной всё совсем наоборот!" И будете правы. Давайте представим, что в сеть слили реальный кусок из будущего фильма. Что делать студии, как отрабатывать ущерб?

Чтобы спастись от спойлеров, нужно просто наклепать кучу своих фейков и вернуть массам неопределённость! 20 разных сливов, угадаете какой настоящий? Не думаю.

Похожим путём всё пойдёт и у Марии Ивановной. Через несколько лет, когда фейков будет больше, чем способен переварить человеческий мозг, когда тысячи человек уже пройдут через такие кейсы и всё это вскроется(быстро), Саша из 8 "Г" просто не сможет отомстить за двойку. Даже если он сделает целый фильм с её участием, это будет выглядеть как "да она мне сосала!" за гаражами. Смешно, неправда, родителей в школу.

Причем, технически защиты от такого тоже станет больше. У нас уже есть верификация и скрытые метки, но пока это всё делается на отъебись. Но пока. В будущем творить дичь будет проблематично.

Нет времени на ИИ.

Изучил ваши ответы на анкеты, и вижу забавное противоречие: У большинства не хватает времени, чтобы изучить как ИИ поможет им сэкономить время.

То есть мы:
- Имеем проблему с дефицитом времени
- Понимаем, что ИИ в состоянии её решить
- Не находим время на то чтобы понять как именно

Почему так?
Основная причина, и я уже о ней писал, это чувство упущенных возможностей, которое нам наваливают в медиа. Типа, вот, есть нейронки, и они могут всё, надо только захотеть и правильно попросить. "Вчера первоклассник стал долларовым миллионером, последовав совету Claude", "Новый Deepseek взломал Пентагон" "OpenAI снова лидер, да ещё какой! Уххх!" А потом начинается практика.

На деле оказывается, что для реальной экономии будущего времени нужно потратить КРАТНО больше времени здесь и сейчас, чтобы разобраться в решении своей конкретной задачи, перебрать все возможные костыли, и попытаться в процессе не обанкротиться. Сделать по-старинке часто быстрее и проще, но уже не приносит столько удовольствия. Можно же было одним промтом!

Например, я вчера делал обложку для ютуб-видео. Всё стандартно: Nano Banana Pro, референсы, промпт. Сижу, делаю разные варианты. И получается, что у меня в одном идеальная композиция, но человек в центре кадра не очень смотрится, а в другом человек в кадре смотрится идеально, но композиция поплыла. Такое часто бывает, когда много разных переменных в промте, модели не хватает внимания чтобы удержать всё сразу. И что я сделал?

Начал, как еблан, сидеть и тыкаться, пытаясь добиться от модели нужного результата: перебором генераций, сменой промпта, комбинацией нескольких вариантов, использовал многоступенчатый подход. Она ведь должна СМОЧЬ! Проебал минут 40. Потом проснулся, расчехлил фотошоп. За 2 минуты перенёс удачную генерацию человека на удачную композицию и добавил свечение, чтобы смотрелось приятнее. Всё, готово.

Вывод какой? Не делайте себе мозги ребята! Лучше нормальный результат, чем идеальный план.

Приложение изучает что вы пишите в рамках сессии, видит контекст на экране и предлагает следующее слово или часть предложения. Есть много мелких настроек под себя. Под капотом локальные модели, поэтому работает без интернета. Только на MacOS

Cotypist