very vibe coding
120 subscribers
463 photos
126 videos
13 files
994 links
Канал Алексея Макрушина об экспериментах в области vibe coding и всего интересного, что есть в области AI, ML и тому подобного
Download Telegram
Любопытная история, для тех, у кого есть автоматизация. Текущая проблема в том, что вызов tools у больших моделей жрет много токенов. Вместо этого берем микро-модель, зафайнтьюненную на конкретные tools. Звучит интересно, хотя танцев с бубном для такой реализации надо будет выше крыши..

https://t.me/mishin_learning/1869
Давно не было новостей от Qwen, а тут такая любопытная моделька - разбивает картинку на отдельные слои. Прикольно, и может быть полезно, когда работаешь с генераторами изображений
Есть такая штука Exo Labs, под которую я купил 3 мак мини и сделал кластер. Все работало, но мое главное разочарование было в том, что можно установить только ограниченный набор не самых новых моделей. И второй момент - из 16 гигабайт памяти операционка съедала 6. Это к тому, что 2 машины по 24 дадут больше памяти, чем 3 по 16.

Так вот, сейчас ребята запустили новый механизм распараллеливания вычислений, который не только объединяет память машин, но и ускоряет вычисления. 2 машины - скорость растет в 1,8 раз (не для каждой модели, но все же).

Моделей все еще мало, но это наживное. Вижу как у народа растет интерес - на 4 мак студио по 1 млн каждый можно с нормальной скоростью запустить ЛЮБОЙ опенсорс.

Да, важное дополнение - для коннекта машин нужно использовать thunderbolt 5, который на MacOS Tahoe 26.2 стал в РАЗЫ быстрее. Я, кстати, использую такие провода для внешних дисков, и это удивительно, как сотни гигабайт копируются за считанные минуты.
❤1
Установил себе такую штуковину, должна сильно экономить память Claude-code при использовании tools, гибко управлять контекстом, в том числе, подгружая результаты работы прошлых сессий. Что-то подобное пытался делать своими руками, посмотрим как работает более промышленное решение. Естественно, opensource
Forwarded from Data Secrets
Ученые из Google обнаружили, что если повторять промпт два раза, качество ответов моделей существенно возрастает

На архиве опубликовали коротенькую статью, в которой исследователи делятся занятным хаком:

если повторять запрос, то есть отправлять промпт в LLM не в виде «<QUERY>», а в виде «<QUERY><QUERY>», качество ответов модели в ~67% случаев статистически значимо улучшается


Важно: это работает только для Non-Reasoning. С ризонингом эффект нейтральный или слегка положительный, так что применять смысла особо нет.

Но вот для Non-Reasoning лайфхак должен быть рабочий, и к тому же очень простой и (почти) бесплатный. Авторы показывают, что количество генерируемых токенов от повтора промпта не растет, как и задержка ответа.

Почему вообще это работает?

Все мы уже выучили, что порядок токенов в промте важен. И это потому, что большинство моделей обучаются каузально, то есть предыдущие токены не получают доступа к следующим. Тут в основе та же логика. Грубо говоря, получается, что какие-то токены в промпте никогда не видят другие, а повторяя запрос, мы эту ассиметрию устраняем -> качество растет.

Почему тогда для ризонеров не канает?

Тут тоже есть объяснение. Просто ризонеры уже самостоятельно научились повторять промпт сами себе (вы точно это замечали). То есть здесь еще одно повторение уже не дает такого импакта, а в случае с не-ризонерами этот эффект мы просто выносим в prefill.

Пользуйтесь: arxiv.org/pdf/2512.14982
❤1
Вышла опенсорсная модель GLM-4.7. Она большая, для кодинга, лучше, чем 4.6 (очевидно), обещают, что лучше Sonnet 4.5 и GPT 5.2.

Что интересно, тарифы начинаются от $3 в месяц, и ее можно встраивать в Claude code как субагента и в кучу других подобных агентов.

Скажем так, вайбкодинг для экономных
А между тем опенсорсным лидером в больших текстовых моделях становится Ernie 5.0 от Baidu.

Бонусом - модель омнимодальная, работает и с аудио, и с видео.
Обновилась моделька редактирования картинок Qwen Image Edit (доступна на сайте Qwen) и Qwen Coder - конкурент GLM-4.7. Вот его можно скачать, но это 480B…

А, вру, первая модель тоже доступна, причем есть много квантованных вариантов, но надо иметь 24-32 гб памяти на маках..
Посмотрел метрики text-to-speech модели Qwen по клонированию голоса - и там на русском в среднем максимум ошибок среди всех языков и у всех моделей. Тяжело говорить по-русски..
Google предлагает новым подписчикам на pro версию Gemini скидку 50% по годовой подписке

http://one.google.com/ai-nye
Forwarded from Machinelearning
📌 Тренируем FunctionGemma самостоятельно.

LM Studio в коллаборации с Unsloth опубликовали подробный туториал по файнтюнингу недавно выпущенной Google модели FunctionGemma.

FunctionGemma - уменьшенная версия Gemma (всего 270Ь параметров) для агентских сценариев и работы в качестве бэкенда приложений, которую можно запускать практически на любом устройстве.


Гайд состоит из подробного описания всего процесса от обучения модели вызову инструментов до преобразования в GGUF-формат и последующего запуска его в LM Studio

Туториал подойдет для локального трейна (Unsloth работает на NVIDIA, AMD и Intel), но есть и готовый Collab Notebook для тренировки в облаке.


⚠️ FunctionGemma не предназначена для использования в качестве прямой диалоговой модели.


@ai_machinelearning_big_data

#AI #ML #LLM #Tutorial #Unsloth #LMStudio
Please open Telegram to view this post
VIEW IN TELEGRAM
Когда у меня возникнет потребность пофайнтьюнить (а она возникнет), я не буду читать книгу. Спрошу Клода. Но все-таки, может и книжка пригодится. Особенно если попросить того же Клода учитывать ее при ответах..

https://github.com/dvgodoy/FineTuningLLMs/

https://t.me/data_analysis_ml/4554
Столкнулся с такой проблемой вайбкодинга - поскольку сам не вштыриваешь, что там модель пишет, не сильно запоминаешь, как программа работает. В итоге через месяц ты ее видишь как в первый раз.

Немного помогает подробная документация, но вывод такой - нельзя оставлять полуфабрикаты, надо все доводить до блеска и очень подробно документировать.

Иначе твой комп превращается в кладбище полупроектов
Жалко, что праздники у них не до 12го..
Forwarded from Data Secrets
Приятно: Anthropic удвоили все лимиты в платных тарифах на время праздников 🎁
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
Роботы-доставщики проходят суровый тест в Питтсбурге 🤖❄️

Автономный робот от rivr_tech тестируют в условиях снега, льда, подъёмов и лестниц — местами людям было выходить на улицу по-настоящему опасно.

И именно такие среды — идеальные стресс-тесты:
• скользкие поверхности
• сложный рельеф
• непредсказуемые препятствия
Forwarded from Data Secrets
OpenAI вслед за Anthropic удвоили лимиты на Codex до конца года!

Собираемся с силами и работаем, пока аттракцион щедрости не закончился 🎄
Please open Telegram to view this post
VIEW IN TELEGRAM