Gaperton's Tech Corner
373 subscribers
645 photos
47 videos
1 file
443 links
Технология, жизнь, и немного классической философии

https://gaperton.substack.com
Download Telegram
Тем временем я немного расслабился на тему агентской памяти, посмотрев на то, как работают разные системы на реальных данных.

Они работают очень плохо. И интеллект моделей им не помогает. Вот, посмотрите свежий тест моделей в Хинсайт.

Особое внимание обратите на то, как глубина размышлений помогает одному и тому же квену. Как говорили в старой рекламе, иногда лучше жевать, чем говорить.

Кроме того, результаты бенчмарков показывают, что навороченность системы памяти в целом не очень сильно ей помогает. Тупенький Mem0 выступает на равных с hindsight. И они оба рвут в тряпки более сложные системы.

Почему? Да потому что языковая модель обладает совершенно другой раскладкой сильных и слабых сторон в сравнении с человеком. И память для нее должна быть устроена совсем по-другому, не так для человека.

—-

Но я все равно провожу эксперимент. Прямо сейчас закачивая реальную историю из Microsoft Teams в память, чтоб посмотреть что получится.

И уже вижу, что Хинсайт неправильно извлекает время в большинстве случаев. То есть его продвинутые фичи попросту не работают. Поэтому на деле его аккуратность и не отличается от mem0, в котором никаких наворотов нет.
❤6
Квен выпустил модель, которая делает синхронный перевод.

https://qwen.ai/blog?id=qwen3.8-livetranslate

С иностранными языками такое. Совершенно нет смысла изучать, например, испанский для того, чтобы разговаривать с барменом в туристической поездке. Пока вы будете учить, синхронный перевод будет решен.

Имеет смысл изучать тот язык, на котором сказано что-то достаточно интересное и стоящее, к чему вы хотите прикоснуться в оригинале. Это, конечно, не меню в ресторане. И в этом смысле, например, латынь бьет испанский.
❤12
Как вы, наверное, знаете, я использую OpenWhispr для преобразования речи в текст. Он работает одинаково на всех платформах. И качество у него выше, чем распознавание речи, встроенное в Макос. Денег я им не плачу. Я использую локальное преобразование. Это бесплатно.

Если вы хотите это делать, вариантов у вас на самом деле три штуки.
1. Parakeet TDT 0.6B
2. OpenAI Large (не забудьте enable GPU) — это немного быстрее и качественнее. Все остальное хуже и (без GPU) медленнее чем Parakeet.
3. поднять свой собственный сервер распознавание речи и перенаправить его туда.

Как вы понимаете, я это делаю на своем антикварном Макпро (Linux Mint) две тысячи десятого года (ну а хули? макбук м5 макс купленный Максом придет неизвестно когда). Он с большим трудом тянет опцию один. А опция два там попросту не работает.

Ну я что? Я по-быстрому собрал локальный сервер NeMo-Speech.cpp, скомпилировал его под старый Xeon с поддержкой Vulkan, запустил на нем тот же самый паракит, но через вулкан, чтоб он сработал на моем RX 580 в четыре раза быстрее.

После чего направил на него ОпенВиспр. Он не заработал, потому что Немо Спич не умеет webm аудио. Я пожал плечами и за одну минуту агентом наговнокодил поддержку webm, даже не гядя, что он там делает.

И все — теперь антикварный мак умеет делать распознавание речи. Все это делается довольно вяло и на расслабоне, указывая агенту пальцем, что делать и как.

А вы говорите — выкинуть, выкинуть. Не. В этом MacPro одного ценного алюминия килограмм на пять.

P.S.: Linux прям засиял новыми красками с появлением ИИ агентов. Если им управлять через агента — то он круче чем Windows и MacOS. Не надо знать никаких команд вообще. И на форумах красноглазых сидеть.
🎉5❤4👍2👏2
Оптимизирую подписки для работы с Hermes.

ChatGPT/Codex для сложных задач и просто чата - 20 USD/mo

OpenCode Go 10 USD/mo
Для ситуаций вылета по лимиту у Codex. Лимиты у Go независимы по моделям — так что это в сумме очень много за 10 USD. В целом модели в этой подписке стоят полтора раза дешевле, чем покупать на опенраутер.

Ну и если совсем туго станет, то надо включить Deepseek V4.1 Flash у Nous Research, авторов Hermes. Там цена тупо за вызовы как у Openrouter. Подписка не нужна.

Но это не понадобится — есть бесплатные Qwen 27B и Flash. Их мы включим раньше.

В любом случае, времена такие, что от провайдера зависеть нельзя.
👍5❤1
Gaperton's Tech Corner
Оптимизирую подписки для работы с Hermes. ChatGPT/Codex для сложных задач и просто чата - 20 USD/mo OpenCode Go 10 USD/mo Для ситуаций вылета по лимиту у Codex. Лимиты у Go независимы по моделям — так что это в сумме очень много за 10 USD. В целом модели…
PS: Вообще, надо отдавать себе отчет, что с опен код Гоу мы экономим жалкие пять баксов — и только в том случае, если мы выбираем эту подписку целиком. А если мы ее не выбираем, то мы наоборот всегда тратим лишние десять баксов.

И если мы работаем с гермес, то бабла Ноусу все равно лучше занести. Для того, чтобы платный поиск работал. А поиск все равно платный.

Так что по здравому размышлению опен код Гоу не нужен. Ну разве что нужен чтобы пускать там gpt5.6-luna со скидкой. Что я лично и попробую.
❤1
Gaperton's Tech Corner
Как вы, наверное, знаете, я использую OpenWhispr для преобразования речи в текст. Он работает одинаково на всех платформах. И качество у него выше, чем распознавание речи, встроенное в Макос. Денег я им не плачу. Я использую локальное преобразование. Это бесплатно.…
Немного помучившись, я решил пойти другим путем. У меня есть старый компьютер с RTX 2070 8GB. Так вот, я посмотрел, какие есть опции для распознавания речи, и выяснил, что LlamaCPP умеет запускать ASR от Qwen. Который очень крутой.

Я попробовал это сделать и выяснил, что работает это невероятно быстро, а качество на деле гораздо лучше, чем у whisper и parakeet. Так что теперь у меня этот компьютер будет раздавать распознавание речи на весь дом.

Готовлю проект к публикации. Это очень просто.

Если у вас есть старый компьютер c RTX 2070, не выбрасывайте. :) А вот RX 580 — можно. Хлам.
🔥6
Тем временем Xiaomi выпустила новую модель.

Карпатым Амадеям пиздец.
Gaperton's Tech Corner
Тем временем Xiaomi выпустила новую модель. Карпатым Амадеям пиздец.
Вот их анонс.

Интересно не только полноценная модель, но и флэш. Потому что в Opencode Go она получается почти бесплатной. А на Pro лимит выше чем на Luna (10K/mo).

Не знаю, может быть, Open Code Go и не такая плохая идея. Модель уровня Sol, с лимитом в полтора раза выше чем у Luna, по цене 10 USD в месяц... Это целиком меняет экономику. В этом случае подписка на кодекс нужна только ради Astra. Да и то.

В общем, я перевел Hermes на MiMo-V2.6-Pro как основную модель.

MiMo-V2.6-Flash 30,100 75,200 150,400
GLM-5.3-Flash 6,320 15,790 31,580
MiMo-V2.6-Pro 3,250 8,150 16,300
GPT 5.6 Luna 2,050 5,100 10,250

Что там Амадей, говорите, делать собирался? Войти в картельный сговор, чтобы сдержать прогресс в области ИИ? :) Ну-ну.
Gaperton's Tech Corner
Вот их анонс. Интересно не только полноценная модель, но и флэш. Потому что в Opencode Go она получается почти бесплатной. А на Pro лимит выше чем на Luna (10K/mo). Не знаю, может быть, Open Code Go и не такая плохая идея. Модель уровня Sol, с лимитом в…
Вот еще раз внимательно посмотрите, что именно сделала Xiaomi с новой MiMo. Если это не промо цена, а настоящая цена, то это прям напалм.

И учтите, что Qwen Flash next на самом деле может быть бесплатным. А 27B просто обязан.

Если вы посмотрите на это, то вы увидите, что китайцы уже сожрали все, кроме топового фронтира.

И я гоняю мимо 2.6 pro уже четвертый час в Hermes, она очень хороша. Прям очень. Это то, ради чего стоит иметь подписку на OpenCode Go как основной движок Hermes, а не как backup.
🔥1
Forwarded from IF News
🇷🇺 Яндекс выложил в опенсорс суверенную ИИ-модель, обученную с нуля на данных компании

Alice AI Foundation LLM обучена без использования сторонних разработок и заточена под русский язык. В ней 80 млрд параметров, из которых одновременно активны только 3 млрд. По данным Яндекса, ИИ-модель обходит более крупные модели — DeepSeek на запросах на знание фактов, а решение от NVIDIA в написании кода. 

Alice AI Foundation LLM используют для тестирования архитектуры будущей единой рассуждающей модели Яндекса. Вместе с ней компания открыла два бенчмарка для оценки знаний, актуальных для русскоязычных пользователей. Модель доступна по лицензии для коммерческого и исследовательского использования.

При этом Яндекс параллелит два подхода к развитию ИИ: продолжает самостоятельно обучать модели с нуля, на собственной инфраструктуре и данных, и использует лучшие открытые решения с рынка там, где это помогает быстрее развивать продукты. Такой подход позволяет одновременно наращивать собственную экспертизу и проверять технологии на реальных продуктах.

#Технологии 
Telegram | Max | Дзен | VK
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔3
Тем временем Квен объявил о скором выходе моделей Квен четыре, среди которых будет флэш и 27B.

Я думаю, Компартия Китая поставила промышленности задачу убить американские AI лабы к концу этого года.

Китаю, собственно, все равно — пока Уолл-стрит лелеет мечту уволить этих умников, заменив их языковыми моделями, Китай работает над моделями для роботики, которые он вовсе не спешит делать открытыми.

Да, администрация Трампа может закрыть доступ к онлайн-сервисам в Китае, но и на это Китаю плевать. Им не нужен американский рынок. Им нужен мировой рынок. И они готовы отдать модель бесплатно американским хостерам.

Кстати, этот пост я надиктовал при помощи распознавания речи Квен с минимальными правками. OpenWhispr, и модель Qwen3-ASR-1.7B Q8. 4GB VRAM, работает на полном хламе, включая RTX 2070. Завести ее, правда, не так просто. Надо допиливать по месту.
🔥4❤1
Cледующая штука, с которой я еще не разбирался, — это Visual Reasoning Model.

У того же Квен есть набор моделей, предназначенных для visual reasoning. Они берут видео или фото и в сочетании с текстом, делают выводы, или анализируют это в паре.

Нужны эти модели, конечно же, в первую очередь для робототехники. Робот смотрит на мир камерой, и в эту же модель поступает инструкция, например, "где находится красный кубик" или "сгенеруй последовательность шагов, чтобы прийти на кухню".

Квен предлагает двухступенчатую архитектуру управления роботом. Модель Visual Reasoning используется для выполнения плана, в то время как большая языковая модель используется для генерации плана и рассуждений.

Я тем временем думаю, как можно это интегрировать в десктоп-агента Гермес, например. Может ли агент Гермес смотреть на вас камерой, и извлекать из этого что-то полезное? Может ли он подобным образом анализировать картинки в сумме с текстом? Со всем этим надо будет разобраться.
🔥4
OpenAI выпустила GPT-6 и понизила цены.

Антропик выпустил Opus 5.5, который тоже вполне имеет смысл.

Из китайских моделей, которые доступны на OpenCode Go, я бы выделил новую MiMo 2.6 Pro, GLM 5.3 Flash и DeepSeek 4.1 Flash.

DeepSeek самая быстрая, GPT-6 Luna лучше всего подходит для Гермес.

А квен 27B вообще бесплатен. И мы ждем Qwen4 27B.
Gaperton's Tech Corner
OpenAI выпустила GPT-6 и понизила цены. Антропик выпустил Opus 5.5, который тоже вполне имеет смысл. Из китайских моделей, которые доступны на OpenCode Go, я бы выделил новую MiMo 2.6 Pro, GLM 5.3 Flash и DeepSeek 4.1 Flash. DeepSeek самая быстрая, GPT…
Но есть нюанс: пользователи замечают деградацию качества на реальных задачах.

С другой стороны, модели GPT все равно опережают открытые модели в этом тесте.
https://x.com/Alibaba_Qwen/status/2101659302792679789

Представляем Qwen-Image-2.1 — самую сбалансированную и экономичную модель генерации изображений в серии Qwen-Image! Теперь доступны открытые веса! 🎨


Надо попробовать.
🇨🇳 То, что кажется американским компаниям китайской стратегией борьбы с ИИ, является просто нормальной внутренней конкуренцией. А то, что американским компаниям от нее так больно, — это просто побочный эффект. На самом деле китайцы об американских компаниях вообще не думают как о конкурентах. И это понимание гораздо более унизительно для американских компаний, чем все остальное.

👲 Это, конечно, не мешает Си подливать масла в огонь, используя результаты своих компаний в политических целях. Но это далеко не секрет, что в Китае внутренняя конкуренция гораздо сильнее, чем с компаниями из США.
«Если бы я мог убрать из американского дискурса одну-единственную вещь, это было бы выражение „китайская стратегия в области ИИ“.

На каждой встрече — будь то с представителями лабораторий, инвесторами или СМИ — люди совершенно независимо друг от друга и без каких-либо наводящих вопросов с моей стороны говорили, что внутренняя конкуренция в Китае куда жестче, чем конкуренция с американскими лабораториями.

Когда я рассказывал, что в США китайский ИИ воспринимают как скоординированный блок, действующий по указанию государства, люди смеялись. Не из защитной реакции. Им это просто казалось смешным. Меня не раз называли тупым ABC (American-born Chinese — китайцем, родившимся в США) именно за это.

На самом деле эти лаборатории координируют свои действия между собой гораздо меньше, чем американские лаборатории. И это должно было быть очевидно любому, кто следил за предыдущими циклами развития китайской технологической отрасли.

Я обещал не проводить аналогий, но одну всё-таки позволю себе, потому что это их собственная аналогия. У предыдущего цикла было название: 百团大战 — „Война ста Groupon’ов“ (на самом деле их было около 5000). Сотни сервисов групповых покупок привлекали инвестиции, сбивали цены друг у друга до полного уничтожения конкурентов, и в итоге победителем вышла Meituan.

У нынешнего цикла уже тоже есть своё название: 百模大战 — „Война ста моделей“.

То, что существует в действительности, — это экосистема лабораторий, которые безжалостно сбивают цены друг другу, переманивают исследователей, конкурируют между собой за инвестиции и пытаются победить в локальной гонке вооружений. Сотни лабораторий и новых ИИ-компаний привлекали финансирование, умирали, а на их месте непрерывно появлялись новые.

То, что в США воспринимается как враждебные действия, по большей части является просто побочным продуктом этой внутренней борьбы.

Атаки с использованием дистилляции и обрушение цен на токены — это не стратегия, направленная против ведущих американских игроков. Это просто то, что сотня компаний делает друг с другом, когда ни одна из них не может победить и ни одна не может остановиться».

https://x.com/Chengdavid923/status/2100950217722118544?s=20
🔥4👏1
Да, но только это они reckless, а не их софт. Софт посадить в тюрьму невозможно, правильно?
💯2
Американские инновации. Мир теперь не будет прежним.

Самое интересное, эти долбоебы даже не осознают, насколько комично они выглядят.
👏4