Исследователи построили IT-компанию из нейросетей, и это очень угарная история — Carnegie Mellon University собрали ChatGPT, Claude, Gemini, LLaMa, Amazon Nova и Qwen в виртуальном офисе и распределили роли: кто-то был менеджером, кто-то кодером, аналитиком и так далее.
Агентам накинули «реальных» задачек: 175 заданий, рассчитанных на 3000 часов труда 20 кожаныхмешков людей. Задания были на уровне: посидеть в браузере, что-то написать в терминале, скинуть мем коллеге в мессенджере, пользоваться GitLab и Jira и тому подобное.
Результаты убили: самым продуктивным оказался Claude 3.5 Sonnet, который справился с 24% всех задач, Gemini 2.0 Flash осилил 11,4%, а Nova Pro v1 от Amazon получил звание «работника месяца» — аж 1,7%, так держать.
Хуже всего модели справлялись с социальными задачами: Claude не смог найти человека в RocketChat, поэтому... переименовал другой контакт под нужное имя и написал свою задачу ему😂
Выводы: дорого (6$ за самую простую задачу), коряво, без работы пока не остаемся💃
Агентам накинули «реальных» задачек: 175 заданий, рассчитанных на 3000 часов труда 20 кожаных
Результаты убили: самым продуктивным оказался Claude 3.5 Sonnet, который справился с 24% всех задач, Gemini 2.0 Flash осилил 11,4%, а Nova Pro v1 от Amazon получил звание «работника месяца» — аж 1,7%, так держать.
Хуже всего модели справлялись с социальными задачами: Claude не смог найти человека в RocketChat, поэтому... переименовал другой контакт под нужное имя и написал свою задачу ему
Выводы: дорого (6$ за самую простую задачу), коряво, без работы пока не остаемся
Please open Telegram to view this post
VIEW IN TELEGRAM
The-Agent-Company
The Agent Company
Benchmarking LLM Agents on Consequential Real World Tasks
This media is not supported in your browser
VIEW IN TELEGRAM
Автоматический распределитель лекарств в больнице китайского города Мяньчжу
https://www.krea.ai/login?redirect=%2Fenhancer
Улучшаем ЛЮБОЕ видео до 8К (!) и 120 FPS — в редактор KREA завезли мощный апскейлер голливудского уровня от Topaz.
Тулза не только улучшает качество картинки, но и добавляет кадров — мыльное слайдшоу будет выглядеть, как нормальный видос.
Улучшаем ЛЮБОЕ видео до 8К (!) и 120 FPS — в редактор KREA завезли мощный апскейлер голливудского уровня от Topaz.
Тулза не только улучшает качество картинки, но и добавляет кадров — мыльное слайдшоу будет выглядеть, как нормальный видос.
www.krea.ai
Log in or Sign up | Krea
Log in or sign up to Krea.
This media is not supported in your browser
VIEW IN TELEGRAM
В Калифорнии заработал ресторан Burger Bot’s
В нём роботы собирают бургеры за рекордные 27 секунд!
В нём роботы собирают бургеры за рекордные 27 секунд!
⚡️ Видеокарты будут отключать в странах под санкциями — в Конгрессе США разрабатывают закон, который заставит Nvidia отслеживать ВСЕ проданные карточки и банить их в случае нарушений.
Для того в видяхи хотят внедрить системы геолокации — если карточку включить в подсанкционной стране, она МОМЕНТАЛЬНО улетит в бан.
В первую очередь мера направлена против Китая — так конгрессмены хотят замедлить развитие ИИ в стране, но Россию тоже может задеть.
Для того в видяхи хотят внедрить системы геолокации — если карточку включить в подсанкционной стране, она МОМЕНТАЛЬНО улетит в бан.
В первую очередь мера направлена против Китая — так конгрессмены хотят замедлить развитие ИИ в стране, но Россию тоже может задеть.
Tom's Hardware
U.S. inks bill to force geo-tracking tech for high-end gaming and AI GPUs
Senator Tom Cotton's legislation seeks to "prevent advanced American chips from falling into the hands of adversaries like Communist China."
Sakana AI продолжает свой путь в развитии bio inspired архитектур нейронных сетей. Свежий утренний релиз нового типа моделей - Continuous Thought Machine
Ключевой особенностью новой архитектуры - механизм синхронизации нейронов, где каждый нейрон - это набор весов или мини-нейронка со своей памятью состояний. Как результат - говорят о росте способности к рассуждениям или reasoning, что сейчас является очень важным направлением развития фундаментальных моделей.
Ключевой особенностью новой архитектуры - механизм синхронизации нейронов, где каждый нейрон - это набор весов или мини-нейронка со своей памятью состояний. Как результат - говорят о росте способности к рассуждениям или reasoning, что сейчас является очень важным направлением развития фундаментальных моделей.