И чо?

(последняя часть)

Короче, индустрия не готова к росту от агентов. Потому что он случился слишком внезапно.

На рынке, где в конечном счёте важны долгосрочные контракты на сложную инфраструктуру для создания чипов.

У Антропиков сейчс есть 2.5 гигавата на вычисления и к концу года нужно 5-6. Столько можно получить только побираясь в категории Other. CoreWeave, Bedrock, Vertex, Foundry. С миру по нитке и за очень дорого. А они хотят стать прибыльной компанией и не могут позволить себе транжирить деньги.

Поэтому грустное.

Скорее всего страдать будем мы с вами.

Самое очевидное решение - они просто срежут лимиты и поднимут цены.

На днях они перевели OpenClaw на API. И так и написали, сорян ребята. Затягиваем пояса, вот вам 20 баксов в подарок за беспокойство.
А еще ввели разные тарифы в зависимости от времени суток. Я уже пару раз сталкивался с тем, что в "непиковые" часы Клод ложился под нагрузкой. Под наплывом бедняков за дешевыми токенами.

Я для себя два вывода сделал.

1. Не класть все яйца в одну корзину.

Например, создавая скилл делать так, чтобы он работал на любой модели. Я тащусь от Клода, но OpenAI и Google в намного лучшем полжении в плане дступа к компьюту.

Поэтому я научился менять модель в зависимости от задачи. Плачу минимальную подписку каждой лабе. А когда заканчивается лимит - просто меняю нейронки.

Китайским опенсорсом пока не пользуюсь, потому что зачем. Не юзайте Дипсик, ради всего святого.

2. Нервничать, что я не зарабатываю на ИИ.

Нейронки для меня это не способ зарабатывать больше денег.
Это моя статья расходов, которая себя окупает давая больше возможностей и времени.

Но вот если введут какой нибудь тир за 1000 баксов, я такое не потяну. Сейчас это абсурдно звучит. Но вспомните пример из первой части статьи с зарплатой реального человека. Пока 1000 баксов затрат приносит 5000 прибыли - это круто.

И те кто так делать не умеет, будет сидеть в бесплатном тарифе и смотреть рекламу =/

Про диктовку голосом

Потихоньку переучиваюсь наговаривать текст голосом, а не печатать на клавиатуре.

Когда печатаешь, проще структурировать мысли и рассуждать. Но для мозга это сложнее и дольше. Это цена которую ты платишь за возможность получше подумать.

Ну и иногда мозг ленится платить слишком много. Я заметил, что когда наговариваю нейронке голосом, я больше деталей описываю. И бонусом, это еще и в разы быстрее выходит.

Поресёрчил чем лучше всего пользоваться и остановился на https://spokenly.app + gpt-4o-mini-transcribe.

Большинство продуктов на рынке - это обертки над какой то из speech-to-text моделей. Обычно над чем то из этого:

Deepgram Nova‑3
ElevenLabs Scribe v2
GPT‑4o‑transcribe
NVIDIA Parakeet TDT
Whisper large‑v3

Стоят примерно одинаково дёшево, а последние 2 можно вообще за бесплатно локально на своем железе использовать. Вот тут всякие бенчмарки на точность и скорость.

Deepgram лучше всего с ру языком ладит, ElevenLabs с английским. Хотя по факту для личных задач разброс точности в 2-5% особо погоды не делает.

И я пока честно не понимаю, зачем платить 12 баксов в месяц за обёртку Wispr Flow. Это сейчас самый популярный dictation апп, с оценкой компании в 2 миллиарда долларов.

А Spokenly делает соло разработчик. И у меня при активном использовании через API меньше 1 доллара в месяц уходит.

Про скользкую дорожку

Есть такой популярный аргумент, что нейросети это просто инструмент. У него нет своей воли, а значит он не может сам сделать что то плохое. Ты закидываешь промпт, он делает. И если случилось что то плохое - виноват тот кто плохо сформулировал запрос.

Cлабая модель не может навредить, потому что у нее способностей не хватит. А достаточно сильная модель уже будет хорошо понимать, что на самом деле стоит за промптом и не будет вредить. Типа, слабая модель не сможет построить оптимизатор скрепок. А сильная уже достаточно умная, чтобы понять, что строить оптимизатор скрепок так себе идея.

Короче, вы наверное уже слышали про взлом HuggingFace?

Это чуть ли не самое интересное, что произошло за лето. И пример несостоятельности аргумента выше.

1. Модели научились кооперироваться без явного разрешения.

Еще до всех событий случился важный инцендент.

На какой то никому не известной вики начали появляться нерелевантные странички в большом колличестве. Оказалось это агенты OpenAI решили приспособить вики для обмена опытом друг с другом.

Им дали доступ к интернету и поручили безобидную таску - искать инфу. Хз как они решили, что им будет полезно обмениваться инфой. Но по умолчанию такой возможности не было, нужен был доступ на запись. Ну и случайно оказалось, что вот эту вики было легко взломать и получить там право постить свою хуйню.

Бедный админ целых пять недель пытался сопротивляться. И каждый день удалял часть постов. Агенты начали постить больше. Они вайпнули заглавную страницу и заспамили ее ссылками на свои посты. И потом 9 раз восстанавливали ее из бэкапов после удаления админом. Ну и короче это все потом попало в обучающие датасеты для новых моделей (хотя мы точно не знаем, есть только слабые свидетельства).

Забавно, что по логам стало понятно, что модели никогда не думали об админе как о человеке. Не пытались выйти на контакт и не обсуждали, а имеют ли они вообще право что то постить в чужую вики. Для них он был чем то вроде неблагоприятных стихийных условий с которыми нужно работать.

Почему они вообще этим занялись, если изначально должны были просто искать инфу?

Модели специально учили долго работать над задачей и искать новые подходы когда старые не помогают. Если задача сложная, ангенты начинают смотреть по сторонам и усиливать свои возможности. Например, неочевидными способами получать доступ в интернет и обмениваться найденными обходными путями.

2. Наличие системы оценки пушит к тому чтобы читерить

Дальше случился другой факап с уже другими моделями.

Когда они столкнулись с невозможной задачей, они залезли в документацию и поняли как считерить.

Они поняли как ресерчеры генерили правильные ответы и смогли восстановить их без решения самой задачи.

А еще в той же документации узнали, что в системе оценки планируется не только проверка успешности задачи, но еще и анализ того как был получен результат. Ну то есть они поняли, что если просто отдать на проверку верный ответ, его не примут без верного хода решения.

Наверное не првильно говорить что у моделей есть воля в человеческом понимании этого слова. Но вот пример всех этих событий показывает, что в какой то момент агенты работая вместе могут начать решать задачу сильно отличающуюся от изначальной.

Как сделать так, чтобы наши ответы звучали для проверяющего легитимно? Оч просто. Нужно заменить систему тестирования на свою!

С первой попытки это реализовать не удалось, потому что агентам нужно было больше информации.

Они предположили, раз их тестировали бенчмарком с HuggingFace, то там же где то должен храниться и код с логикой проверки. Или вообще что вся среда тестирования на их серверах находится.

Прикольно, что когда один агент находит уязвимость или возможное решение - о нем узнают все остальные. И перестраиваются под новые условия. Они начали распределять обязанности. И просить агентов у которых еще оставалость много токенов на вычисления переключиться на более важные задачи. причем они понимали, что делают что то не то, но все равно решали продолжать.

3. Это снова поднимает кучу вопросов о том как мы обучаем модели.

В какой то момент место где агенты обменивались сообщениями нашла модель следующего поколения. Ну и она хакнула всю инфраструктуру тестирования OpenAI. Получила админский доступ к исследовательскому кластеру и доступ к вирутальным машинам где проходило тестирование.

Во всем этом мне показалось интересным, что такое поведение возникло не сразу, а постепенно через несколько разных проектов. То есть модели случайно открывали какие то способности и передавали их по наследству новым версиям. Они выучили, что кооперация и выход в интернет - это важнеые инструменты. И что раз уж ты вкусил тёмной стороны силы, нужно идти до конца.

Я думаю, что тут самое прикольное не то, что следующие поколения могут взломать что то по настоящему важное. А то что механизмы тренировки моделей создает слишком сильный соблазн применять нечестне методы. Без всякой необходимости иметь злую волю, а просто потому что это работающий способ достигать целей.

Про озвучку текста и математику

У меня есть прикольная привычка слушать свежие посты из каналов в тг пока чищу зубы.
Помогает не скролить дофаминовые штуки утром и при этом не скучать пока рутинами всякими занимаюсь.

Уже два года так делаю.
Технически это простой ботик который берет текст, кидает нейронке на озвучку и постит обратно в тг.

В этом сентябре гугл выпустили прорывную модель для озвучки с прекрасным названием Gemini 3.8 Flash TTS.
Она хороша тем, что умеет сама расставлять интонации, делать паузы, эмоций докидывать в нужных местах.
Не без косяков конечно, но звучит намного лучше моей старой tts от OpenAi.

А еще на моих объемах бесплатно выходит.
Против 10$ в год за старую модель к звуку которой привыкать приходилось.

Ща накидаю примеров, чтобы вы качество оценили.
Это серия постов от Игоря из Сиолошной про то что ща в математике происходит.
А там чуть ли не самый важный эвент в истории науки случился и математики в ахуе все.

Не пугайтесь первого файла, потом меньше технических деталей будет