Чистый кайф история

Уборщиками за нейросетью нас еще не нанимали, но сотня баксов есть сотня баксов.
Особенно в час.

https://habr.com/ru/articles/993904/

Реклама, которую мы заслужили 🤷‍♀️
Интересно, а в домене chence потому что навайбкодили или просто все chance- уже разобрали 🤔

Немного о том, как ИИ заменяет человека: предназначенный для написания кода ИИ в Amazon удалил почти весь код, чтобы переписать его с нуля, и спровоцировал масштабный сбой сервисов.

Речь про автономного ИИ-агента Kiro, которому разработчики дали внести изменения в ИТ-инфраструктуре. Система решила, что лучший способ починить сервис – под ноль снести рабочую среду и заново пересоздать ее, избавившись от всех человеческих костылей. На восстановление ушло около 13 часов, а разруливать инцидент пришлось с привлечением большого числа тестировщиков из других подразделений.

Разработчики говорят, что за последние месяцы было как минимум два подобных инцидента, но сбои были незначительными – Kiro запрашивает авторизацию на любые действия. Масштабный же сбой произошел из-за того, что у бота оказались более широкие права доступа, чем ожидалось.

В сердечко💘

ИИ-инструменты не спасут лоу-перформеров.

В последнее время, с развитием больших моделей, все чаще наблюдаю дискурс о том, что применение ИИ-тулов будет размывать границу между лоу-перформерами и топ-перформерами и сопряженные с этим общественные опасения. Чуть другим боком, но фактически тот же дискурс идет и в области искусства: "творчество моделей вытесняет творчество людей". И самое забавное, что ситуация, которую я наблюдаю в своей работе, показывает скорее совершенно обратное. Лоу-перформеры, обложенные ИИ-тулами, не то что не приближаются к топ-перформерам, но наличие ИИ-тулов у тех и других скорее работает как лупа и болезненно выкристаллизовывает пропасть между первыми и вторыми.

Питер Уоттс в своем рассказе Test 4 Echo подкинул классную метафору, которая помогает мне объяснить себе, почему так получается. В этом рассказе один из персонажей упоминает метрику Ф(phi) из интегрированной теории информации, разработанной Джулио Тонони. Ф измеряет собственно количество интегрированной информации в системе, если проще, то насколько система как целое знает больше, чем знает сумма ее частей. По мнению Тонони, этот параметр является измеримой характеристикой наличия у системы сознания. Высокое значение Ф требует интеграции информации через рекуррентные обратные связи, именно такие петли позволяют системе быть больше суммы своих частей. Наш мозг ими пронизан, например, именно так работает зрительная кора: фактически наши высшие слои обработки постоянно посылают обратную связь нижним, к источнику сигнала, корректируя поток входящей информации (что-то типа "кажется, я вижу собаку, поправь чувствительность здесь и контраст здесь"). Такую постоянную замкнутую цепь обработки Тонони ассоциирует с наличием сознания. А теперь к нейросетям: те инструменты, которые мы используем в повседневной жизни и работе, в большинстве своем под капотом - это трансформеры, трансформеры при инференсе строго последовательны, это так называемая feedforward-архитектура, то есть данные идут через слои обработки вперед без рекуррентности (ну упрощенно при одном прогоне). Такие инструменты позволяют очень эффективно собирать вместе и последовательно обрабатывать ОЧЕНЬ много информации, однако общая сумма информации в системе (хоть и гигантская) не превышает ее слагаемых.

Соответственно, чтобы действительно получить какую-то информационную дельту и произвести что-то новое, нам нужно встроить в систему человека с его бесконечными петлями обратной связи и саму систему замкнуть. И вот эта самая характеристика лоу- и топ-перформера как раз сводится к интеграционной способности каждого конкретного человека, к тому, насколько хорошо он дает обратную связь и насколько много новой информации привносит. Да, Ф фактически характеризует наличие сознания, а не его качество, но сам принцип, что ценность системы определяется не количеством данных, а способностью их интегрировать, здесь применим. Мы с коллегами проводим много собеседований на позиции ML-продактов и, учитывая специфику позиции, имеем маленький, но стабильный поток кандидатов, которые пытаются пройти эти интервью при помощи AI-ассистентов. Так вот, кроме того, что это всегда очевидно, это всегда плохо при оценке, даже если отбросить факт читинга. Дело в том, что вся информация в наших кейсах уже есть, не нужно ничего гуглить или исследовать, они проверяют ровно интеграционную способность мозга кандидата структурировать эту информацию, сделать из нее правильные выводы и синтезировать новое решение. Ключевые преимущества, которые дает AI-ассистент, здесь не будут каким-либо дифференциатором. И вот здесь получается, что топ-перформер с AI-тулами дает несколько иксов к своей производительности, потому что он становится способен работать с кратно бОльшим потоком информации, тогда как лоу-перформер выдает неструктурированный дамп старой информации. Теперь можете брать это утверждение и масштабировать на все сферы, которые топит AI-слоп. О чем это говорит? О применимости ИИ в конкретных сферах или все же о способности людей производить долю интегрированной информации?

Кстати Codex чуть лучше месит, а Claude чуть лучше рубит)

Как выясняется, сбои в Amazon связаны не только с ракетными атаками, но и с вайб-кодингом.

О дивный новый мир, где обитают такие люди! Как херачащие по дата-центрам ракетами, так и пишущие код в прод с помощью ИИ, не особо проверяя за этими умниками.

Урежут теперь, наверное, у Клода зарплату...

@anti_agi

Какой у вас AI-стек?)

Круто как. Хоть и не про вайбкод

Товарищ Netflix

В 1930-е в СССР научились ретушировать фотографии. Попал нарком в опалу, его аккуратно стирали с групповых снимков: Ежов, Троцкий, кто-то ещё. Работали кисточкой, работали аэрографом. С фото вопрос решили.

С кино было сложнее. Фильмы приходилось класть на полку целиком или кромсать ножницами, получалось грубо, заметно, с дырами в монтаже. Инструмента не было.

Прошло 90 лет. Netflix Research опубликовал Video Object and Interaction Deletion (VOID). Фреймворк, который удаляет объекты из видео вместе со всеми физическими последствиями их присутствия в сцене.

Существующие методы умеют стирать объект и закрашивать фон за ним. Тени убрать, отражения подчистить. Но если удаленный объект с чем-то взаимодействовал (толкал, держал, ронял), результат разваливается. VOID решает именно эту задачу.

Работает так: пользователь кликает на объект. VLM (в данном случае Gemini) анализирует сцену и определяет, какие области будут затронуты удалением. Что упадет, что перестанет двигаться, что изменит траекторию. Все это кодируется в четырехзначную маску (quadmask), которая расширяет бинарную логику инпейнтинга оставить-удалить. Маска уходит в дообученную CogVideoX (открытая диффузионка от Z.ai). Та генерирует альтернативную версию событий, в которой удаленного объекта никогда не существовало.

Удалили человека, который держал гитару. Гитара естественно падает. Убрали шар из боулинга. Кегли стоят нетронутые. Стерли кота, который играл с клубком. Клубок лежит на месте.

Для обучения собрали синтетический датасет парных примеров: сцена с объектом и сцена без него с корректной физикой. Использовали Kubric от Google и HUMOTO с motion capture в Blender. Тренировали на 8 штуках A100 80GB.

Файнтюн CogVideoX на HuggingFace, статья на архиве.

Камрады плачут от зависти.

@anti_agi

ИИ не понимает правил UX/UI-дизайна

Refero Styles решили эту проблему и собрали 2000 правил из популярных сервисов в одном файле. В нём поместились техники для работы с цветами, шрифтами, полями и макетами.

Подключаешь его к Claude и говоришь: «Сделай классный сайт» — всё!

Тестим

https://styles.refero.design/