Сравнение RAG, xRAG и SARA на SQuAD-v2.

Про настройку линукса

Ушел в отпуск, отдыхаю. В рамках отпуска добыл два мини-пк на N100/N97, чтобы повесить за телевизоры и настроить там тонкие клиенты для Sunshine+Moonlight. У N100 и N97 есть хардварный декодер AV1, да и железо там помощнее, чем у моих андроид телевизоров, так что для снижения задержки при стриминге с компа они идеальны.

Заодно хочется сделать из них медиасервер на основе Kodi, чтобы зря не пропадали ссд, которые стоят внутри. Да и в принципе, железо сравнительно мощное, памяти много, это вполне себе нормальные варианты для двух хоумлаб. Поэтому я решил поставить туда убунту сервер и настроить киоски, чтобы при загрузке оно сразу входило в Kodi/Moonlight и начинало работать максимально seamless.

Когда-то я уже поработал сисадмином, копаться в кишках линукса мне в целом нравится, но конкретно в этот раз мне было очень лень это делать. Поэтому я с помощью гемини набросал небольшой скрипт, который выдает Gemini 2.5 Flash с опенроутера доступ к терминалу и задачу для решения — а она сама там все настраивает как личный сисадмин.

Я это сделал с ожиданием того, что я просто сокращу количество пересылок из вебчата в терминал и обратно и что большую часть задачи я решу своими руками, но, на удивление, 75% работы гемини сделала сама.

Сам по себе киоск на мунлайте она организовала довольно быстро. Чуть дольше времени она чинила то, что мунлайт запускался не во весь экран, а только в четверть — но моего ручного вклада там тоже было минимум. Сложнее всего модели далась задача настройки звука через HDMI — победить пульсу не смогла ни Gemini 2.5 Flash, ни Gemini 2.5 Pro. Смогла только o3, но спустя 10-15-20 суммарных часов настройки. Мб 2.5 Pro бы тоже смогла, но о3 в вебморде бесплатная, а 2.5 Pro в апи нет :P

Я посмотрел, что она там наворотила — вроде бы выглядит вменяемо. Всё держится на systemd-сервисе с автостартом, который дёргает скрипт с запуском всего, что мне надо. Наверное, было бы оптимальнее разнести это на несколько сервисов, но ну его нафиг, я снова в это лезть не хочу.

Выводы:

- Для каких-то несложных задач типа настройки окружения на пустом пк даже 2.5 Flash за 60 центов за лям токенов отлично подходит.
- Для более сложных задач не подходит ни одна модель — либо страшно дорого, либо слабовато.
- Мб стоит сдистиллить в какую-нибудь мелкую модель (типа 7б квен кодера) трейсы таких настроек линукса от больших моделей (типа 2.5 flash/pro), чтобы стало дёшево?
- Стриминг видеоигр по локалке отличная альтернатива HDMI. Проводов нет, а картинка абсолютно неотличима от нативной.
- Call of Duty: Modern Warfare II (2022) полная фигня, я прошёл, но мне не понравилось.

Gist со скриптом на гитхабе

Метаразмышление по поводу серии постов где я что-то опять навайбкодил

Где-то на HackerNews недавно прочитал интересную мысль: самое главное, что поменялось с приходом чатгпт — написание текстов стало очень дешёвым, а вот чтение так и осталось дорогим. Отличить AI slop от нормального текста всё ещё можно, но это ж надо вчитаться. Хорошие AI-assisted или AI-generated тексты всё ещё бывают, читать их приятно и легко, но проблема, очевидно, не в них.

В изначальной формулировке сказанное относилось только к текстам, но я её расширю и скажу, что с кодом это работает так же. Генерить рабочий или полурабочий код стало очень дёшево — расценки всем известны и доступны на опенроутере. Качество кода может разниться, оно может быть как идеально вылизанным, так и отвратительным месивом. Сгенерированный код может быть как лучше натурального, свежеиспечённого, руками написанного кода, так и проигрывать ему в изяществе/продуманности/эффективности.

Каждый раз, когда я писал подобные посты с отчётом о том, как я что-то навайбкодил, меня начинала терзать мысль, что это недостойно публикации, потому что любой дурак может запромптить гемини написать тетрис, написать свой код для решения задачи было бы гораздо круче. Повторить это быстро и легко и особых скиллов для этого не надо.

С другой стороны, запромптить гемини это половина дела — причём, вторая половина дела. Если бы я не придумал свою модификацию тетриса, если бы я не плейтестил её на скучных созвонах в течение нескольких недель, если бы не отлаживал руками дурацкие баги, я бы её не доделал. Да, мой вклад в кодинг был в районе 1%, но без идеи он бы вообще не запустился.

Пост про подпивасов, на который я сослался в начале, тоже такой. Наверное, его можно вообще ваншотнуть, потому что идея достаточно остроумная, чтобы, будучи завёрнутой в приятный и лёгкий стиль от чатгпт, она мне запомнилась. Поэтому, даже если аидер будет писать 100% кода в каждом релизе, а не по 70-80%, как сейчас, всё равно профессия айтишника не вымрет, а редуцируется до тимлида.

Хорошо это или плохо? Имхо, если любая домохозяйка сможет получить написанный под нее уникальный софт по достаточно внятному запросу, это будет хорошо. Или если я смогу навайбкодить универсально полезную и переиспользуемую вещь -- например, как вот такой визуализатор остатка баланса на ключе с опенроутера, который у нас в аири активно используется -- это тоже будет хорошо. Но тенденция увеличения количества поставленных на поток генераций текстов*, пулл реквестов, картинок сомнительной ценности** заставляет тратить время и силы на более тщательный анализ как контента, так и источников, которые этот контент публикуют.

*Со всем уважением к Григорию Сапунову и к его труду признаюсь: на гонзомл я подписался из-за авторских разборов статей (и, собственно, вдохновлялся тоже им, когда создавал этот канал), а закончилось все ссылками на авторазборы в подкастах. Это ну совсем не то.

**Людям дали лучший на свете генератор картинок, идеальную кисть, проектор из сознания творца в png-картинки разрешением в 768 пикселей по горизонтали, а они все стали генерить одинаковые аватарки в стиле студии Ghibli. Humanity is doomed.

Время идёт, а тот самый промпт про посуду всё ещё остаётся непобедимым...

Кто пропустил: https://huggingface.co/openai/gpt-oss-120b

Но кстати вайбы приятные, посттрейнинг у модели явно шёл по тому же пути, что и у 4о/о4. Модель пишет не сухой текст как от квена, так что в принципе прикольно. Русский у 20б отвратительный, с постоянными ошибками, но 120б уже вполне себе приемлемо работает.

Надо ещё в агентном локальном кодинге попробовать.

PSA: Groq сломан, у остальных провайдеров всё получше. Но 20б везде на русском плохая :(

GPT5 лайвстрим пост

Учитесь делать графики

Учитесь делать графики 2

А самое смешное, что демка эффекта бернулли, которую они с помпой показали на презентации, кажется, некорректная. Вот вам и пхд левел интеллидженс.

Жаль, что за вайбкодингом пришел вайбпрезенташнинг. "Модель лучше потому что она лучше, вот она багу пофиксила в зерошоте, вот тут сайтик красивый нарисовала, а тут смогла аж буквы доктора прочитать с картинки, во могет". И не важно, что по метрикам она стала лучше не слишком радикально, что степень сложности баги не объяснили и сайтик кривой. Главное -- звучать уверенно.

Хотя юзерам, вроде, нравится. Будем посмотреть.

Интересное

Хороший тред про GPT-OSS. tl;dr - товарищ сгенриеовал 10 миллионов примеров с пустым промтом. Модель в основном генерировала ризонинг данные и практически ничего больше. Выглядит, будто модель не обучали ни под что, кроме ризонинг бенчмарков, а в целом в обучающих данных была одна синтетика + распознанные через OCR книги (вероятно, учебники и научная литература).

Кстати, если попробовать сделать что-то такое с Gemma3, то вы получите много семплов по креативному письму, "general" чатингу и немного программирования.

Про стабильность промптов

Модели достаточно неустойчивы к разным вариациям форматирования промптов. К примеру, если во фью шоте вставить лишний пробел или изменить буллетпоинты в списках с дефиса на номера, то качество работы одной и той же модели может отличаться на 10, 20 и даже 80%. Мои коллеги из команды в AIRI решили это исследовать и узнать, какие у нас есть способы улучшить робастность моделей и влияет ли размер модели на их робастность.

Основные эксперименты проводились с небольшими опенсорсными модельками (Qwen-2.5-1.5B/3B/7B, Gemma 2 2B/9B и Llama-3.2-1B/3B/8B). Авторы взяли сабсет из 52 задач Natural Instructions и стали их менять с помощью следующих пермутаций:

- .uppercase()/.lowercase()/.title() — меняя весь запрос
- Менять сепараторы между вопросом и примерами
- Меняя знаки вариантов ответа (ABC или 123)
- Опционально добавляя или убирая скобки того или иного вида вокруг промпта

и так далее.

В качестве методов улучшения робастности использовали Few-Shot (тут всё понятно), Template Ensembles (среднее по ответам с разными шаблонами), Batch Calibration (вычитаем из вероятности каждого класса, предсказанной моделью среднюю вероятность класса в батче), Sensitivity-Aware Decoding (рандомно заменяем токены в выходе модели, считаем чувствительность к замене, уменьшаем вероятность классов, которые чувствительны к замене), LoRA c аугментациями форматов и LoRA с Consistency Loss между разными форматами.

Выводы:

1. Batch Calibration, внезапно, показал себя лучше всего — но применяется только к классификации.
2. В Template Ensambles гораздо более робастным является Majority Voting, чем усреднение вероятностей.
3. LoRA вообще не влияет на робастность, только на качество.

При этом, если есть covariate distribution shift (то есть, поменялось соотношение в количестве задач), Batch Calibration теряет возможность здраво оценить сдвиг вероятностей и сильно падает в качестве. LoRA тоже просаживается в качестве, потому что при обучении распределение задач было иным. При смене домена качество LoRA падает даже хуже Few-Shot, что, в целом, предсказуемо.

При этом, большие модели типа GPT-4.1 и Deepseek V3 уязвимы к подобным пертурбациям в меньшей степени, но даже там бывают задачи, на которых разница между форматами достигает 8-10 процентов.

Мои выводы:

1. Очень интересно, как себя в подобном сетапе покажут ризонеры...
2. ...и гибридные ризонеры! Это было бы особенно интересно, потому что модель будет замеряться одна и та же, а не несколько разных, так что мы сможем отделить влияние ризонинга на стабильность.
3. Волшебной таблетки "как сделать лучше" нет, надо подбирать под каждую модель свой лучший промпт.

Обязательно поддержите лайком статью на хф!

Ссылка на архив
Репозиторий с кодом
Ставить лайки на хф тут

Про анекдоты и бесплатный апи

Когда-то была memearena, в которой я в силу лени загруза по работе не поучаствовал. Потом я был на радио у Пушного и рассказывал всем, как хорошо (или плохо) умеют шутить ллмки. Но руками я серьёзно эту тему не особо трогал, потому что было не до этого (и было очень жалко денег на апи).

В это воскресенье я проснулся, потянулся и с удивлением обнаружил, что в cloud.ru проводится акция, где апи к ллмкам до конца октября раздают бесплатно. Из моделек есть примерно всё популярно-опенсорсное — в том числе и Qwen-Coder-480B, GLM-4.5, Qwen-235B-A22B-Instruct-2507, T-Pro, руадапты и даже Gigachat 2 Max. Вчитался -- там рпс аж 15, то есть подойдёт не только для того, чтобы к вскоду подрубить квен кодера, но и чтобы использовать их в каких-то своих проектах. Всё это, как водится, реклама. Но не совсем.

В вскоде я не пишу (I use vim btw), но само предложение мне показалось интересным — поэтому я решил совместить приятное с полезным и по быстрому накидал бота, который использует qdrant и первый попавшийся эмбеддер с хф, чтобы находить релевантные запросу юзера анекдоты из Анекдотов Категории Б и подсовывать их в инструктивный квен. Примерно в 7 из 10 анекдотов получается бред, но то ли я слишком высоко поднялся по уровню иронии, то ли ещё что-то, но с оставшихся трёх черрипикнутых анекдотов меня разносит в щепки. И всё это, повторюсь, с бесплатным апи!

Кроме того, в боте можно голосовать за шутки — смешные они получились или не особо. Анекдоты, которые отмечены пальцами вверх (или вниз (или не размечены, по ним отдельно пройдусь)) аккуратненько складываются в жсон — и в будущем можно будет попробовать завести какой-нибудь KTO/DPO/SimPO, чтобы шутить модельки начинали лучше. Когда наберётся критическая масса сгенерированных анекдотов, датасет выложу.

К концу следующей недели в сервис обещали добавить ещё и околосота мультилингвал энкодеры (FRIDA нет, но я попросил захостить), но пока что этого не сделали. Добавят — можно будет вообще без железа (чисто на цпу) пилить свои петпроекты или даже нормальные, продовые продукты, пользуясь только апи. И это круто.

Ничто не продлевает жизнь так же сильно, как смех (и доступ к бесплатному апи ллмок).

Ссылка на бота: @buckwheat_joker_bot
Репозиторий с кодом: https://github.com/chameleon-lizard/JokerBot
Ссылка на акцию: https://cloud.ru/offers/aktsiya-evolution-foundation-models

Я нашел более ядреное сокращение, чем БЯМ