Для тех, кто размышляет о своем железе для локальных моделей - видосик от моего любимого железячника. В частности, о том, почему M3 Ultra в Mac Studio лучше чем M4 Max. Впрочем, уже M5 не за горами, будет ли только там в линейке Ultra? Я же пока наслаждаюсь минимальным M4 в Mac mini - тоже очень достойная машинка )) Доволен

Нет такого теста, на котором Qwen не уделывал бы Claude, только есть ли такие люди, которые реально в. своих задачка используют Квен вмето Клода? Я пока не видел. Но вот в части локальной модельки от Квена ожиданий много..

Пишу мало, потому что путешествую в отпуске по загнивающим Европам. Времени на занятия ИИ нет, но зато пользуюсь Claude каждый день, чтобы спланировать путешествие и заказать отель. Визы мы получили за три дня до вылета (французы - молодцы, справились за три недели и дали на год), билеты и гостиницы я заранее не заказывал и даже не смотрел. Так что теперь каждый вечер сидим с Клодом и смотрим, где остановиться завтра. Впечатления такие: во-первых, полезно. Во-вторых, контекст заканчивается буквально за три-четыре запроса - видимо, в поиске много информации потребляется. Когда поставил research, Клод изучил 289(!) источников. Поэтому сделал проект с общим описанием задачи и каждый раз запускаю новый поиск.

При этом цены на отели пишет неправильные, доступность номеров на 3 человек - тоже та еще проблема. Когда совсем беда - бросаю интеллект и бучу сам. Правда, как показала практика, в половине отелей на их сайтах заказывать гораздо дешевле )) Можно было бы, конечно, заморочиться всякими агентами и пр., но лень - это просто выбор пути и отелей (задачка комбинаторной сложности..)

В общем, есть еще куда совершенствоваться

Инсайдеры говорят, что память для Клода близка к выходу - сначала будет поиск по старым сообщения, а там, глядишь и пошире раскатают. Но это браузерная версия.

А текущий хит - Claude Code. Тут хорошие и плохие новости. Хорошие - появились субагенты, каждый может специализироваться на своем. А плохая - вводят недельные лимиты против тех, кто юзает его 24/7. А таких, говорят, много. Вот для него память тоже можно делать, но пока кастомно, тоже ждем официального продукта.

Прикольно. По ссылочке в гитхаб инструкция по модификации системного промпта для ChatGPT. Может бы и занялся, но в последнее время плотно пересел на Claude и Gemini. Но может кому пригодится

https://github.com/DenisSergeevitch/chatgpt-custom-instructions

https://t.me/denissexy/10529

Очередные мини-модели от китайцев для установки на свои мощности. Конечно, пока все это достаточно спорно, но через год-полтора модели уровня сегодняшних топ вполне смогут размещаться на домашних серверах..

Плюс открытая моделька для генерации изображений от Qwen..

Пожалуй, самые интересные новости сегодняшнего утра - GitHub выкатил формат, позволяющий запускать модели из кода или командной строки, причем это универсальный формат, совместимый с OpenAI SDK (т.е. все будет работать с большинством агентов). API от ChatGPT, Anthropic и пр. не нужны, достаточно API от GitHub с бесплатной подпиской. По ней будут работать бесплатные модели, по платной - работают модели покруче с контекстом побольше. Бонус в том, что над кодом можно работать не тратя деньги на подписки и установку собственных моделей, при этом можно практически мгновенно переключиться на собственные или проплаченные модели.

И тут же похожая новость от HuggingFace, которые дают возможность запускать автоматизированные задачи из терминала и скриптов. Как это работает, пока мне менее понятно, и подписка нужна платная, но тренд понятен - в связи с ростом популярности Claude Code и других аналогичных инструментов, работающих в терминале, для них создается все больше и больше инструментов, дающих доступ ко всему и вся. То, что доктор прописал, очень круто

Ну и, кстати, новость поменьше Claude Opus обновили до 4.1, уже доступен в Claude Code и на платных подписках. Ждем chstGPT-5 и новостей от Gemini.

И бонусом промпт в одно предложение, который существенно ограничивает фантазию Клода, если вы понимаете о чем я

В целом тренд на маленькие модели набирает обороты и новые модельки от OpenAI грозят стать отраслевым стандартом надолго, как llama 3. Для многих это будут первые модели к себя на компах. Посмотрим, как будет в жизни, но выглядит релиз очень многообещающе

OpenAI выложили инструкцию по файнтьюнингу открытых моделек. Молодцы

И еще нюансы - для работы с моделью надо использовать Harmony формат, который OpenAI выложили на GitHub. С чем это едят, до конца не понял, но есть ощущение, что без этого нормально не заработает - как я понял, это форматирование сообщений, передаваемых модели, и правильная разбивка их на токены

Попользовался немного Opus 4.1 - тема бытовая: что лучше поставить - кластер из 4 mac mini или один mac studio с 64 Гб для работы с моделями. В целом неплохо (но оно и раньше хорошо было), расскажу чуть позже, но тут такая тема. Пока Клод отвечал на вопросы и изучал интернет, у него кончились бесплатные токены по подписке. Я не успел задать и 10 вопросов, контекст даже одного диалога не выбран.. Видимо, цена модели такая, что лишний раз трогать ее не нужно, когда достаточно и Соннета.

С выходом открытой модели от OpenAI, думаю, многие задумались - а можно ли ее запустить дома, и сколько это стоит. Вариант очевидный - Mac studio. В силу организации памяти, на нем такие модели работают во многих случаях быстрее, чем на видеокартах, а про объем памяти я и не говорю (основное ограничение здесь - память). Проблема здесь в том, что с ростом памяти стоимость компьютера растет в разы. Если базовая версия с 36Гб стоит около 200 т.р., то с 64Гб - уже более 300. В принципе, самый дешевый способ набрать памяти - купить себе стопку минимальных Mac mini c 16Гб каждый, по 45 тыс. руб. И, самое главное, в этом кластере модель работать будет - надо использовать пакет Exo Labs. Проблема в том, что из-за сетевых задержек модель будет работать сильно медленнее при одиночном запросе, так как токен проходит через все машины, используемые в системе. А вот при множественных работа будет распараллеливаться, и общее количество токенов в секунду будет больше. Так что, если к модели запросов много, стойка мини не только дешевле, но и быстрее. Вопрос в том, что скорость по отдельному запросу в 10-12 токенов слишком низка. Подожду, когда появятся видосики и комментарии от умельцев, которые погоняли все на практике. Уже близко к тому, чтобы разворачивать сетку дома, но цена в 300 тыс. руб. (и то пока не уверен, что машина потянет) колется. И да, это все на основе анализа от Клода, надо проверять

И если кто-то соберется покупать под нейронку Mac Studio, имейте ввиду, m3 ultra рулит по сравнению с m4 max. Неожиданно, но это и количество камней, и, главное - организация памяти. Видосик на эту тему

Ну что, похоже революция отменяется. Народ модельки попробовал, и в целом в сетях царит скорее разочарование - прорыва по сравнению с сущетвующим зоопарком открытых моделей не случилочь. Kimi, GLM, Qwen, devstral и пр. - вполне достойные альтернативы. Ну что же, ждем теперь когда наконец сделает свой релиз DeepSeek. Тем не менее, верю, что модельки таких размеров скоро будут очень и очень хороши, в конце концом мозг человека - это всего 80B нейронов...

а вот тут и контекст для Квена расширили...