Плюс открытая моделька для генерации изображений от Qwen..

Пожалуй, самые интересные новости сегодняшнего утра - GitHub выкатил формат, позволяющий запускать модели из кода или командной строки, причем это универсальный формат, совместимый с OpenAI SDK (т.е. все будет работать с большинством агентов). API от ChatGPT, Anthropic и пр. не нужны, достаточно API от GitHub с бесплатной подпиской. По ней будут работать бесплатные модели, по платной - работают модели покруче с контекстом побольше. Бонус в том, что над кодом можно работать не тратя деньги на подписки и установку собственных моделей, при этом можно практически мгновенно переключиться на собственные или проплаченные модели.

И тут же похожая новость от HuggingFace, которые дают возможность запускать автоматизированные задачи из терминала и скриптов. Как это работает, пока мне менее понятно, и подписка нужна платная, но тренд понятен - в связи с ростом популярности Claude Code и других аналогичных инструментов, работающих в терминале, для них создается все больше и больше инструментов, дающих доступ ко всему и вся. То, что доктор прописал, очень круто

Ну и, кстати, новость поменьше Claude Opus обновили до 4.1, уже доступен в Claude Code и на платных подписках. Ждем chstGPT-5 и новостей от Gemini.

И бонусом промпт в одно предложение, который существенно ограничивает фантазию Клода, если вы понимаете о чем я

В целом тренд на маленькие модели набирает обороты и новые модельки от OpenAI грозят стать отраслевым стандартом надолго, как llama 3. Для многих это будут первые модели к себя на компах. Посмотрим, как будет в жизни, но выглядит релиз очень многообещающе

OpenAI выложили инструкцию по файнтьюнингу открытых моделек. Молодцы

И еще нюансы - для работы с моделью надо использовать Harmony формат, который OpenAI выложили на GitHub. С чем это едят, до конца не понял, но есть ощущение, что без этого нормально не заработает - как я понял, это форматирование сообщений, передаваемых модели, и правильная разбивка их на токены

Попользовался немного Opus 4.1 - тема бытовая: что лучше поставить - кластер из 4 mac mini или один mac studio с 64 Гб для работы с моделями. В целом неплохо (но оно и раньше хорошо было), расскажу чуть позже, но тут такая тема. Пока Клод отвечал на вопросы и изучал интернет, у него кончились бесплатные токены по подписке. Я не успел задать и 10 вопросов, контекст даже одного диалога не выбран.. Видимо, цена модели такая, что лишний раз трогать ее не нужно, когда достаточно и Соннета.

С выходом открытой модели от OpenAI, думаю, многие задумались - а можно ли ее запустить дома, и сколько это стоит. Вариант очевидный - Mac studio. В силу организации памяти, на нем такие модели работают во многих случаях быстрее, чем на видеокартах, а про объем памяти я и не говорю (основное ограничение здесь - память). Проблема здесь в том, что с ростом памяти стоимость компьютера растет в разы. Если базовая версия с 36Гб стоит около 200 т.р., то с 64Гб - уже более 300. В принципе, самый дешевый способ набрать памяти - купить себе стопку минимальных Mac mini c 16Гб каждый, по 45 тыс. руб. И, самое главное, в этом кластере модель работать будет - надо использовать пакет Exo Labs. Проблема в том, что из-за сетевых задержек модель будет работать сильно медленнее при одиночном запросе, так как токен проходит через все машины, используемые в системе. А вот при множественных работа будет распараллеливаться, и общее количество токенов в секунду будет больше. Так что, если к модели запросов много, стойка мини не только дешевле, но и быстрее. Вопрос в том, что скорость по отдельному запросу в 10-12 токенов слишком низка. Подожду, когда появятся видосики и комментарии от умельцев, которые погоняли все на практике. Уже близко к тому, чтобы разворачивать сетку дома, но цена в 300 тыс. руб. (и то пока не уверен, что машина потянет) колется. И да, это все на основе анализа от Клода, надо проверять

И если кто-то соберется покупать под нейронку Mac Studio, имейте ввиду, m3 ultra рулит по сравнению с m4 max. Неожиданно, но это и количество камней, и, главное - организация памяти. Видосик на эту тему

Ну что, похоже революция отменяется. Народ модельки попробовал, и в целом в сетях царит скорее разочарование - прорыва по сравнению с сущетвующим зоопарком открытых моделей не случилочь. Kimi, GLM, Qwen, devstral и пр. - вполне достойные альтернативы. Ну что же, ждем теперь когда наконец сделает свой релиз DeepSeek. Тем не менее, верю, что модельки таких размеров скоро будут очень и очень хороши, в конце концом мозг человека - это всего 80B нейронов...

а вот тут и контекст для Квена расширили...

Любопытная статистика. Claude Code догоняет Cursor, но на пятки наступает Gemini code assist, о котором вообще мало говорят - это такой же помощник, работающий с командной строкой, как и Claude Code. Правда, мне надо платить за апи при его использовании (подписки платной на Google у меня нет), а Claude code можно пользоваться в рамках платной подписки, не тратясь на апи. В общем, есть повод задуматься. И заметьте - codex от OpenAI отсутствует здесь как класс…

Для тех, кто работает со своими моделями и обучением нейронок - агент, который дообучает нейронки при работе с МСР серверами. Звучит очень перспективно

Маленькая локальная модель, оптимизированная для поиска - может быть интересно для тех, кто использует n8n и другие автоматизации

Курс по использованию Claude Code со звездным составом преподавателей

💾 Awesome-Efficient-LLM — коллекция методов оптимизации больших языковых моделей. Этот репозиторий объединяет последние исследования по ускорению и сжатию LLM: от квантования и sparse-методов до архитектурных оптимизаций. Особенно полезны разделы про speculative inference и mixture-of-experts — ключевые направления для реального развертывания моделей.

Проект полезен инженерам, которые хотят внедрить LLM в production с минимальными затратами ресурсов. Все работы отсортированы по дате публикации и области применения.

🤖 GitHub

@machinelearning_interview

Говорят, новая GPT-5 чудо как хороша а кодинге..

И вот еще нашел прикольную штуку - программулина позволяет в одном интерфейсе общаться с разными моделями. Я это практикую очень часто. Шутят, что с такими ценами на ChatGPT-5 (а они низкие!!) скоро его будут вызывать из Clyde Code вместо Opus.