Видел недавно интересный тейк, мол, все только хвастаются как внедряют ИИ, но конкретных успешных кейсов никто не показывает. Да и вообще, большая часть ИИ пилотов в компаниях – провалилась
Ну во-первых, большая часть пилотов и должны проваливаться по определению – это проверка гипотез
А во-вторых, я вижу, что реально успешные внедрения идут не от разработки кастомного решения, а от правильного онбординга уже готовых универсальных агентов (codex/cc) внутри компаний
Даже своих клиентов я сейчас отговариваю от кастома – вместо этого мы стали настраивать им агентную инфру с управлением скиллами, трейсиноом сессий и управлением доступами
Но это для среднего и малого бизнеса. Про крупняк я очень скептично настроен. Но на конфе от Community Sprints ребята обещают кейсы успешных применений в нетехнических командах известных компаний. Ну, посмотрим
Участие бесплатное и без подписок на спикеров (🫢)
Я там тоже как-то затесался – покажу один из своих любимых кейсов:
Продуктовый/маркетинговый рисерч агентами по одному из самых богатых, но наименее индексируемых хранилищ информации – ютубу
Еще будут крутые ребята из известных компаний (круто, что и РФ и международка). Весьма no-bullshit состав, на мой взгляд - многих знаю лично
8-10 сентября со стартом в 18:00 по мск
Бесплатная регистрация и подробности по темам – у ребят на сайте
Ну во-первых, большая часть пилотов и должны проваливаться по определению – это проверка гипотез
А во-вторых, я вижу, что реально успешные внедрения идут не от разработки кастомного решения, а от правильного онбординга уже готовых универсальных агентов (codex/cc) внутри компаний
Даже своих клиентов я сейчас отговариваю от кастома – вместо этого мы стали настраивать им агентную инфру с управлением скиллами, трейсиноом сессий и управлением доступами
Но это для среднего и малого бизнеса. Про крупняк я очень скептично настроен. Но на конфе от Community Sprints ребята обещают кейсы успешных применений в нетехнических командах известных компаний. Ну, посмотрим
Участие бесплатное и без подписок на спикеров (🫢)
Я там тоже как-то затесался – покажу один из своих любимых кейсов:
Продуктовый/маркетинговый рисерч агентами по одному из самых богатых, но наименее индексируемых хранилищ информации – ютубу
Еще будут крутые ребята из известных компаний (круто, что и РФ и международка). Весьма no-bullshit состав, на мой взгляд - многих знаю лично
8-10 сентября со стартом в 18:00 по мск
Бесплатная регистрация и подробности по темам – у ребят на сайте
🔥25❤10🤣9👍6🤡3😁1
↑ Cейчас разбирал с Фейблом system card gpt-6-astra и чет опять такими вайбами ai-2027.com повеяло, ух
Полтора года назад, когда она жестко зафорсилась в ИИ пузыре, ее мало кто реально прочитал, зато много кто высмеивал в нереалистичности (classic).
В целом не удивительно – тогда более-менее в теме актуальных возможностей ИИ были единицы, да и то скорее аккуратные скептики. Да и английский в статье не самый простой. Если кто пропустил, но хочет прочитать – напоминаю, что я тогда выложил перевод на хабр. Даже обе концовски сделал – можно выбрать свою
Перевод, кстати, уже тогда был полностью сделан нейронкой (даже картинки), хотя и с кучей хаков, чтобы это было комфортно читать
Время чтения – пару часов, ощущения – бесценны
https://habr.com/ru/articles/898622
Полтора года назад, когда она жестко зафорсилась в ИИ пузыре, ее мало кто реально прочитал, зато много кто высмеивал в нереалистичности (classic).
В целом не удивительно – тогда более-менее в теме актуальных возможностей ИИ были единицы, да и то скорее аккуратные скептики. Да и английский в статье не самый простой. Если кто пропустил, но хочет прочитать – напоминаю, что я тогда выложил перевод на хабр. Даже обе концовски сделал – можно выбрать свою
Перевод, кстати, уже тогда был полностью сделан нейронкой (даже картинки), хотя и с кучей хаков, чтобы это было комфортно читать
Есть всё-таки что-то ироничное в том, что текст про опасности ИИ полностью переведен самим ИИ
Время чтения – пару часов, ощущения – бесценны
https://habr.com/ru/articles/898622
1❤26🔥13👍5💩1🤡1🤣1
Разбор аудиорежима в кодексе
Короче, я тут на днях делал себе компрессы для глаз (*звуки деда*), а они прям полностью глаза закрывают, там такая маска, типа как для сна
Ну и вместо того, чтобы спокойно посидеть и подумать о вечном, я врубил диалоговый режим кодекса и проболтал с ним пол часа вместо положенных мне 15 минут
Стало интересно, че это он такой умный, и я полез реверсить билд кодекс аппа – реализация оказалась одновременно и простой, и глубокой. А сам подход можно использовать не только для аудио (но об этом в конце поста)
В общих чертах – вы общаетесь не с самой gpt-5.6-sol в полноценном кодекс агенте, а с тупенькой моделькой gpt-realtime-1. Тупенькой, но быстрой. И заточенной под диалоговый формат с переживаниями – без этого естественности не добиться и любое общение будет мучением.
Так вот, пока у этой модельки хватает сил самой с вами общаться - она будет. Но как только нужно будет сделать что-то сложное, она побежит к кодекс агенту и даст ему задачку. В этот момент сразу же скажет вам что-то вроде «ну-ка дай подумаю» или «так, разбираюсь». Это важно, чтобы мы чувствовали непрерывность общения – как с людьми
Такой типа эффект Джарвис. И это реально работает!
Получается интересная система, очень похожая на ту, которая бывает в обычных айти командах:
- есть менеджер, который всегда онлайн и быстро отвечает, и который общается с заказчиком
- есть исполнитель (например, разработчик), который пилит фичу и отвечает по несколько часов в перерывах между сфокусированной работой
А менеджер ему еще по ходу докидывает задачки, если у заказчика появились новые хотелки
Что интересного из этого следует для нас как для пользователей:
1. Если в процессе выполнения слишком много докидывать новые хотелки, то результат получится плохим: если вы когда то пробовали отправлять steer сообщения в чат работающему агенту, то вы скорее всего замечали – они часто его слишком сбивают с начального пути (ну реально, все как с человеками)
2. Как и в реальных командах, если хотите рулить через одного менеджера несколькими процессами – нужен еще тимлид для команды. Поэтому можно просить выступать в этой роли и ничего не делать самому, а для всех задач на исполнение создавать либо отдельные чаты, либо субагентов. Тогда получится:
Менеджер
⬇️
Тимлид
↙️⬇️↘️
Исполнитель1, Исполнитель2, ..., ИсполнительN
Тогда выполнение одной задачи не будет блочить главного думающего агента и будет наш привычный опыт, когда в параллель работают несколько чатов, но только с голосом в качестве канала передачи инфы
Что тут полезного для тех, кто сам делает AI продукты/фичи
Мне кажется, можно забрать сам подход с тем, что сессия основного агента не видна пользователю напрямую, а есть какой-то прокси уровень коммуникации. И это не обязательно должен быть голос. Это может быть какой-то визуальный слой (скоро поделюсь своими экспериментами с Liquid UI), или даже обычный текстовый, но в привычном интерфейсе условного Slack, с быстро отвечающей моделью, которая подтягивает контекст из сессии умного, но долгого агента
Ну и если вы делаете голосовых роботов, то советую отправить агента посмотреть, в чем отличие вашей системы от кодекса – мб захотите что-то к себе перетащить
И последнее – если вы хотите лучше разбираться в том, как сейчас строить ИИ продукты, но еще почему-то не реверсите реализацию топовых кодинговых агентов – очень советую начать. Это прям кладезь лучших практик
@ai_grably
Будет особенно интересно тем, кто сам разрабатывает что-то подобное.
Но и просто пользователям тоже постарался сделать полезным – чтобы понимать ограничения таких систем и лучшие практики взаимодействия с ними
Короче, я тут на днях делал себе компрессы для глаз (*звуки деда*), а они прям полностью глаза закрывают, там такая маска, типа как для сна
Ну и вместо того, чтобы спокойно посидеть и подумать о вечном, я врубил диалоговый режим кодекса и проболтал с ним пол часа вместо положенных мне 15 минут
Стало интересно, че это он такой умный, и я полез реверсить билд кодекс аппа – реализация оказалась одновременно и простой, и глубокой. А сам подход можно использовать не только для аудио (но об этом в конце поста)
В общих чертах – вы общаетесь не с самой gpt-5.6-sol в полноценном кодекс агенте, а с тупенькой моделькой gpt-realtime-1. Тупенькой, но быстрой. И заточенной под диалоговый формат с переживаниями – без этого естественности не добиться и любое общение будет мучением.
Так вот, пока у этой модельки хватает сил самой с вами общаться - она будет. Но как только нужно будет сделать что-то сложное, она побежит к кодекс агенту и даст ему задачку. В этот момент сразу же скажет вам что-то вроде «ну-ка дай подумаю» или «так, разбираюсь». Это важно, чтобы мы чувствовали непрерывность общения – как с людьми
Такой типа эффект Джарвис. И это реально работает!
Получается интересная система, очень похожая на ту, которая бывает в обычных айти командах:
- есть менеджер, который всегда онлайн и быстро отвечает, и который общается с заказчиком
- есть исполнитель (например, разработчик), который пилит фичу и отвечает по несколько часов в перерывах между сфокусированной работой
А менеджер ему еще по ходу докидывает задачки, если у заказчика появились новые хотелки
Что интересного из этого следует для нас как для пользователей:
1. Если в процессе выполнения слишком много докидывать новые хотелки, то результат получится плохим: если вы когда то пробовали отправлять steer сообщения в чат работающему агенту, то вы скорее всего замечали – они часто его слишком сбивают с начального пути (ну реально, все как с человеками)
2. Как и в реальных командах, если хотите рулить через одного менеджера несколькими процессами – нужен еще тимлид для команды. Поэтому можно просить выступать в этой роли и ничего не делать самому, а для всех задач на исполнение создавать либо отдельные чаты, либо субагентов. Тогда получится:
Менеджер
⬇️
Тимлид
↙️⬇️↘️
Исполнитель1, Исполнитель2, ..., ИсполнительN
Тогда выполнение одной задачи не будет блочить главного думающего агента и будет наш привычный опыт, когда в параллель работают несколько чатов, но только с голосом в качестве канала передачи инфы
Что тут полезного для тех, кто сам делает AI продукты/фичи
Мне кажется, можно забрать сам подход с тем, что сессия основного агента не видна пользователю напрямую, а есть какой-то прокси уровень коммуникации. И это не обязательно должен быть голос. Это может быть какой-то визуальный слой (скоро поделюсь своими экспериментами с Liquid UI), или даже обычный текстовый, но в привычном интерфейсе условного Slack, с быстро отвечающей моделью, которая подтягивает контекст из сессии умного, но долгого агента
Ну и если вы делаете голосовых роботов, то советую отправить агента посмотреть, в чем отличие вашей системы от кодекса – мб захотите что-то к себе перетащить
И последнее – если вы хотите лучше разбираться в том, как сейчас строить ИИ продукты, но еще почему-то не реверсите реализацию топовых кодинговых агентов – очень советую начать. Это прям кладезь лучших практик
P.s. я, конечно, очень сильно упростил работу менеджеров – на самом деле они делают гораздо больше, чем gpt-realtime-1. Это просто самая близкая и наглядная аналогия, которую я придумал. Если у вас есть лучше, прошу в комменты
@ai_grably
❤32🔥16👍10🤔3👎1
Поспорил я тут на днях в баре с одной дизейнеркой интерьеров
Говорит, что ваши эти ИИшки не держат геометрию и помещают в комнату объекты, которые там физически не могут находиться. А я ей – что ИИшки могут 🤷♂️
Говорит, кто проиграет пари – оплачивает весь банкет. А я человек азартный, мне часто вообще пофиг на что именно спорить, да и выпендриваться я люблю. А тут еще и такая возможность Астру потестить в ее родных задачах, чего я до сих пор нормально не сделал
Входные условия достаточно неприятные – чертеж и 4 плохих фотки. Но у меня настроен remote коннект на ноут, который в апартах на столе стоит включенным и пару ресетов в запасе
В целом то она права – если просто сгрузить все в кодекс и сказать наложить дизайн, то он тупо вызовет imagegen и геометрия точно поедет
Но мы уже решали похожие задачи и знаем, что вся соль – в создании промежуточной детерминированной модели. В нашем случае – просто 3д сцены квартиры. Можно в каком-нибудь CAD'е или blender'е, но тут с этим даже не заморачиваюсь
Взяв чертеж и загуглив проектную документацию здания (чтобы найти высоту потолков), агент строит базовую модель. Тут все ок
Дальше осталось расставить 3д объекты мебели, подогнать виртуальные ракурсы под камеру и уже по 3д сценам запустить генерацию секси картинок в нужном стиле
Пока агент работает, я попиваю джин-тоник и рассказываю всратые истории про Таиланд
Подгонка камер оказалась сложнее чем я думал и важнее, чем я думал. Я то хотел просто красивые картиночки со слайдерами сделать (см выше), чтобы наглядно показать корректную геометрию комнат. А на самом деле это важно, чтобы определять точные размеры и положение других объектов в помещении
Например вон тот радиатор у окна сильно влиял на ширину "спальни" и было не понятно, влезет ли кровать – нужно было точно знать его расположение
Поэтому я немного упоролся и отправил агента сначала сделать детектирование углов и линий стен, а потом накинуть немного матмоделирования – по сути итеративную подгонку положения и углов обзора камеры, пока линии виртуального мира не сойдутся с линиями на фото
Получается такая цепочка:
Где-то в этот момент мы тоже занимаемся определением локации – локации следующего бара, так как предыдущий закрылся
Как только локация камер и бара установлена, мы делаем уже обратную процедуру по локализации батарей: зная положение стен относительно камеры и видя на ней радиаторы, можно точно определить их координаты на этих стенах
Не все проходит гладно: агент использует классический CV для определения линий стен и где-то он триггерится на пятна краски вместо реального угла, а из-за кривого освещения в 3d сцене imagegen не правильно распознает границы стен у потолка на паре кадров
Где-то в этот момент параллельная экспериментальная задача из другого проекта убивает мой ноут и коннекшн теряется. Через 20 минут и этот бар закрывается, я по-джентльменски закрываю счет, и заказываю такси до дома. К утру все готово, но у меня не сохранился ее контакт, так что делюсь ссылкой с вами:
→ Ссылка с интерактивными штуками
(история выше – художественный вымысел, а все совпадения с реальными людьми – случайность)
Говорит, что ваши эти ИИшки не держат геометрию и помещают в комнату объекты, которые там физически не могут находиться. А я ей – что ИИшки могут 🤷♂️
Говорит, кто проиграет пари – оплачивает весь банкет. А я человек азартный, мне часто вообще пофиг на что именно спорить, да и выпендриваться я люблю. А тут еще и такая возможность Астру потестить в ее родных задачах, чего я до сих пор нормально не сделал
Входные условия достаточно неприятные – чертеж и 4 плохих фотки. Но у меня настроен remote коннект на ноут, который в апартах на столе стоит включенным и пару ресетов в запасе
В целом то она права – если просто сгрузить все в кодекс и сказать наложить дизайн, то он тупо вызовет imagegen и геометрия точно поедет
Но мы уже решали похожие задачи и знаем, что вся соль – в создании промежуточной детерминированной модели. В нашем случае – просто 3д сцены квартиры. Можно в каком-нибудь CAD'е или blender'е, но тут с этим даже не заморачиваюсь
Взяв чертеж и загуглив проектную документацию здания (чтобы найти высоту потолков), агент строит базовую модель. Тут все ок
Дальше осталось расставить 3д объекты мебели, подогнать виртуальные ракурсы под камеру и уже по 3д сценам запустить генерацию секси картинок в нужном стиле
Пока агент работает, я попиваю джин-тоник и рассказываю всратые истории про Таиланд
Подгонка камер оказалась сложнее чем я думал и важнее, чем я думал. Я то хотел просто красивые картиночки со слайдерами сделать (см выше), чтобы наглядно показать корректную геометрию комнат. А на самом деле это важно, чтобы определять точные размеры и положение других объектов в помещении
Например вон тот радиатор у окна сильно влиял на ширину "спальни" и было не понятно, влезет ли кровать – нужно было точно знать его расположение
Поэтому я немного упоролся и отправил агента сначала сделать детектирование углов и линий стен, а потом накинуть немного матмоделирования – по сути итеративную подгонку положения и углов обзора камеры, пока линии виртуального мира не сойдутся с линиями на фото
Получается такая цепочка:
чертеж
→ 3d сцена
+ детектирование линий стен
→ локация камер
+ детектирование контуров батарей
→ 3d сцена с батареями
Где-то в этот момент мы тоже занимаемся определением локации – локации следующего бара, так как предыдущий закрылся
Как только локация камер и бара установлена, мы делаем уже обратную процедуру по локализации батарей: зная положение стен относительно камеры и видя на ней радиаторы, можно точно определить их координаты на этих стенах
Не все проходит гладно: агент использует классический CV для определения линий стен и где-то он триггерится на пятна краски вместо реального угла, а из-за кривого освещения в 3d сцене imagegen не правильно распознает границы стен у потолка на паре кадров
Где-то в этот момент параллельная экспериментальная задача из другого проекта убивает мой ноут и коннекшн теряется. Через 20 минут и этот бар закрывается, я по-джентльменски закрываю счет, и заказываю такси до дома. К утру все готово, но у меня не сохранился ее контакт, так что делюсь ссылкой с вами:
→ Ссылка с интерактивными штуками
(история выше – художественный вымысел, а все совпадения с реальными людьми – случайность)
1🔥68😁30❤19🥱7👍6🤡3🤔2
Forwarded from Константин Доронин
Что вы знаете про bb?
Они называют себя "AI IDE that builds itself".
Достаточно молодой проект, который из коробки закрывает целый спектр задач, где раньше приходилось велосипедить всем колхозом.
В текстовом варианте можете почитать отличный обзор у Рефата.
Я же хочу предложить вам совместно изучить bb в формате практического стрима.
Вместе со мной разбираться в особенностях этой IDE будут:
1. Рефат, автор канала "Refat Talks: Tech & AI" (кстати, у нас с Рефатом есть классный стрим про фреймворк Mastra)
2. Коля, автор канала "AI и грабли"
Проходить стрим будет на моём YouTube-канале.
Дата и время: 21 сентября, 19:00 GTM+3
Ссылка для добавления события в календарь
p.s.: Почему парень из Сингапура назвал проект так, будто забыл переключить раскладку на русский язык, чтобы написать "ИИ"?
Они называют себя "AI IDE that builds itself".
Достаточно молодой проект, который из коробки закрывает целый спектр задач, где раньше приходилось велосипедить всем колхозом.
В текстовом варианте можете почитать отличный обзор у Рефата.
Я же хочу предложить вам совместно изучить bb в формате практического стрима.
Вместе со мной разбираться в особенностях этой IDE будут:
1. Рефат, автор канала "Refat Talks: Tech & AI" (кстати, у нас с Рефатом есть классный стрим про фреймворк Mastra)
2. Коля, автор канала "AI и грабли"
Проходить стрим будет на моём YouTube-канале.
Дата и время: 21 сентября, 19:00 GTM+3
Ссылка для добавления события в календарь
p.s.: Почему парень из Сингапура назвал проект так, будто забыл переключить раскладку на русский язык, чтобы написать "ИИ"?
1❤9👍2
Константин Доронин
Что вы знаете про bb? Они называют себя "AI IDE that builds itself". Достаточно молодой проект, который из коробки закрывает целый спектр задач, где раньше приходилось велосипедить всем колхозом. В текстовом варианте можете почитать отличный обзор у Рефата.…
⬆️ Расскажу про vscode moment для агентов и нативный способ дать клод коду оркестрировать кодекс агентов и наоборот
1👍19