Небольшой апдейт по тому человеку, от которого был исходный твит.

Я эту историю хорошо помнил, но по картинке сразу не понял, что автор исходного твита и есть тот самый Мэтт Шумер.

Когда трава была зеленее, а агенты тупее, топом опенсорса была Meta Llama 3. Шумер заявил, что дообучил её до качества фронтира каким-то очень странным методом под названием Reflection-Tuning. Тогда все начали активно это обсуждать, но через пару дней оказалось, что веса «обученной им модели» хуже оригинала, результаты бенчмарков не воспроизводятся, а его приватный API на самом деле проксирует фронтирный тогда Sonnet 3.5, на котором к тому же быстро кончились деньги.

Так что вполне возможно, что история с удалением файлов была таким же способом похайпиться. Слишком уж умны современные модели, чтобы настолько глупо ошибиться. Но это не повод забивать на безопасность: права агентов всё равно надо ограничивать, а сами процессы запускать в sandbox.

Я не могу понять, почему все так лихо обсуждают суд Apple против open ai. Всё это дело держится на показаниях двух свидетелей, а у Сэмa есть проверенные способы решать такие вопросы.

Год назад Андрей Карпаты назвал LLM новым компьютером, который программируется на английском: промпты становятся программами. Илон Маск позже пошёл дальше и предположил, что ИИ будет сразу создавать готовые бинарники. Тогда это звучало как прогноз об исчезновении привычных программ. Кажется, мы уже близко.

Раньше я автоматизировал личные рутины через n8n и Python: выставление инвойсов, простую бухгалтерию, умный дом и ведение списка задач в GTD. Сейчас я использую Hermes Agent, аналог OpenClaw, сделанный без AI-слопа. Я описываю ему задачу, а регулярные процессы прошу запускать по расписанию. Например, агент сам готовит инвойсы, отправляет их компаниям и загружает данные в грузинскую налоговую.

Раньше разработка автоматизации часто стоила дороже её пользы. Агенты резко снижают стоимость запуска: сформулировал задачу, проверил результат, запустил. Особенно сильно агенты изменят малый и средний бизнес, которому дорого нанимать сотрудников и разрабатывать отдельные системы: закупки, управление остатками, поиск тендеров, мониторинг конкурентов и оптимизация расписания. Возможно, эпоха программ-промптов уже наступила. Просто наступила неравномерно.

Пост про децентрализованный инференс

В прошлом году я писал про Cocoon, децентрализованный инференс для LLM на NVIDIA TEE. TEE это технология NVIDIA, которая гарантирует, что вычисления идут приватно. Владелец видеокарты не может прочитать ваш запрос, а вы можете проверить, что он действительно запустил нужную модель. Поэтому покупатель токенов знает две вещи: он получает модель, за которую заплатил, и никто не читает его запросы. Это гарантирует криптография, сервису не нужно верить на слово.

GPU confidential computing появился начиная с NVIDIA H100. H100 стоит десятки тысяч долларов, это совсем не потребительская видеокарта. Поставщиками в таких сетях в основном становятся дата-центры, и децентрализация получается ограниченной.

А хотелось бы, чтобы любой человек в любой точке мира мог подключить обычную видеокарту и генерировать токены (где-то мы это уже видели) для разных AI-моделей. Такая сеть могла бы задействовать огромный парк дешёвого простаивающего железа по всему миру: люди подключают свои видеокарты на ночь, предложение compute растёт, цена инференса падает относительно дата-центров.

Но тут возникает проблема: как гарантировать, что инференс-провайдер выполняет нужные операции и запускает нужную модель? В сеть могут войти аферисты, которые запустят заквантованную до лоботомии версию модели, модель сильно меньше исходной или вообще будут выдавать константный текст, получая деньги за токены.

Проверяют это через logprobs. Исполнитель вместе со сгенерированным текстом отдаёт распределение вероятностей следующих токенов. Валидаторы случайным образом выбирают позиции, повторно вычисляют их на заявленной модели с теми же параметрами и сравнивают распределения. Значимое расхождение выдаёт подмену: мошенника исключают из сети и лишают вознаграждения. Достаточно проверить малую случайную долю позиций. Logprob-проверка подтверждает честность инференса, но приватность запроса сама по себе не обеспечивает.

На этом подходе строится Gonka, сеть децентрализованного инференса, которую развивают братья Давид и Даниил Либерманы. Сеть рассчитана на распределённое железо, включая потребительские GPU.

Openai agent kit Забыт.

Gpt store Забыт

Gpt tasks Забыты.

Rabbit r1 Забыт.

Bolt.new Забыт.

Jasper AI забыт (не уверен, что хотя бы 10% от подписчиков хотя бы знают, что это, а это первый chat gpt wrapper юникорн полностью уничтожен через 43 дня после релиза )

Stable diffusion забыта

Devin забыт

Pause AI letter забыто