Data Science by ODS.ai 🦜

Ув. подписчик поделился ресурсом, который аггрегирует случаи ущерба от вайбкодинга.
Среди них - потерям Амазоном 6 млн заказов, Zero-click RCE на устройствах пользователей vibe-coding площадки, и закрытие одного стартапа, полностью написанного ИИ из-за доступа к платным фичам через смену одного параметра в куках.
Что интересно, что сделал его стартап, продукт которого - AI интервьюер, который тренирует тебя к собеседованиям.
Поговорка про стеклянный инструмент и дурака обретает новые смыслы.

crackr.dev

Vibe Coding Failures: Documented AI Code Incidents

A curated directory of real-world incidents where AI-generated code failed in production.

🔥3😁3🙏1

1.93K views13:54

Data Science by ODS.ai 🦜

Forwarded from AI VK Hub

⚙️

AutoResearchClaw — попытка автоматизировать исследовательский пайплайн

В последнее время заметен сдвиг от отдельных моделей к агентным системам, способным решать сложные многошаговые задачи. Репозиторий AutoResearchClaw предлагает подход к частичной автоматизации научного процесса: исследователь задаёт идею, а система берёт на себя значительную часть рутинной работы — от экспериментов до оформления результатов.

1️⃣

Основной результат

Система реализует итеративный исследовательский цикл. На вход подаётся идея (например, в виде короткого описания задачи), после чего система:
🟣формализует постановку;
🟣собирает контекст и related work;
🟣предлагает метод;
🟣проводит эксперименты;
🟣анализирует результаты и оформляет текст.

Ключевая особенность — это не линейный pipeline, а замкнутый цикл с возвратами, где результаты экспериментов используются для улучшения гипотезы.

2️⃣

Техническая реализация (как устроен цикл)

AutoResearchClaw представляет собой иерархическую агентную систему с оркестратором.

На верхнем уровне находится контроллер, который хранит состояние исследования (гипотеза, код, результаты, текст) и управляет переходами между шагами. Ниже — специализированные агенты: генерация метода, код, запуск экспериментов, анализ и написание текста. Все они взаимодействуют через общее состояние (shared memory).

Цикл работы системы можно описать так:
гипотеза → код → эксперимент → анализ → обновление гипотезы → ...

При этом важна именно стадия обновления гипотезы. После каждого эксперимента система формирует контекст (метрики, ошибки, сравнение с baseline) и с помощью LLM предлагает модификации:
🟣изменение архитектуры или pipeline;
🟣добавление регуляризации или новых признаков;
🟣корректировку training-стратегии.

Эти изменения применяются к коду, после чего цикл повторяется. Таким образом реализуется итеративный поиск в пространстве решений, где гипотеза постепенно уточняется.

3️⃣

Условие выхода из цикла

Остановка процесса задаётся эвристически. Обычно используется комбинация:
🟣достижение приемлемого качества (по метрикам),
🟣отсутствие значимого улучшения на нескольких итерациях,
🟣ограничение по числу запусков или времени.

После этого система переходит к финальному этапу — сборке текста статьи на основе накопленных результатов.

4️⃣

Заключительные замечания

Сильная сторона подхода — в том, что он делает явным исследовательский цикл и переносит рутинные этапы (эксперименты, код, текст) на агентную систему. Это может существенно ускорить проверку гипотез и построение baseline-решений.

Ограничения при этом остаются: качество сильно зависит от прокси-метрик, новизна часто носит композиционный характер, а интерпретация результатов по-прежнему требует участия исследователя. В этом смысле система выступает скорее как инструмент-ассистент, чем автономный «учёный».

Как вы думаете, если такие системы станут зрелыми, как изменится роль исследователя — и где пройдёт граница между идеей и её реализацией?

Обзор инструмента подготовлен командой AI VK
#обзоринструмента

Please open Telegram to view this post