35B-модель на RTX 5080 и RTX 3060: 109 ток/с через PCIe Gen2 x4

Чел заявляет: его 3060, посаженная на PCIe Gen2 x4, вообще не душит генерацию Qwen3.6–35B‑A3B — 109 ток/с, и плевать она хотела на узкую шину. Почему это в принципе работает, он раскладывает в статье.

Читать далее

👉 Telegram | Max

Reasoning From Scratch: RLVR, часть 2

Себастьян Рашка (@rasbt) выкатил вторую порцию разбора «Reasoning From Scratch: RLVR» — это про обучение с подкреплением, где награду можно проверить. Внутри: зачем вообще ограничивать отношения вероятностей политик, какую роль играет KL-слагаемое в лоссе, что дают награды за формат ответа и какие ещё трюки крутят вокруг GRPO. Видео: youtu.be/VxfUrUrrczs

00:00 Вступление и повтор того, что уже было
01:52 Как читать основные метрики обучения GRPO
06:34 Что собираются доработать в GRPO
08:58 Запуск долгого обучения через Python-скрипты
13:39 Старт базового скрипта для обучения GRPO
17:29 Подтягиваем логи обучения и рисуем графики
19:29 Разбираемся, почему обучение пошло вразнос
23:55 Прогон контрольных точек модели на MATH-500
26:26 Качаем уже готовые контрольные точки модели
30:09 Следим за статистикой преимущества
34:53 Что за зверь такая энтропия
40:32 Считаем энтропию в PyTorch
44:17 Как трактовать значения энтропии
48:58 Прикручиваем трекинг энтропии к GRPO
53:36 Разбор метрик преимущества и энтропии
56:18 Стабилизируем GRPO через ограничение отношений вероятностей политик
1:03:27 Пишем функцию потерь политики с ограничением
1:09:39 Смотрим результаты обучения с ограничением отношений вероятностей политик
1:11:25 KL-дивергенция и как обойти систему наград
1:15:12 Вставляем KL-слагаемое в функцию потерь
1:20:34 Где спотыкается упрощённая функция потерь с KL
1:23:04 Награды за формат ответа и теги think
1:25:47 Закидываем специальные токены в токенизатор
1:30:29 Реализуем награду за формат ответа
1:35:56 Разбор обучения с наградой за формат ответа
1:38:25 Награда за формат — только если ответ верный
1:40:48 Дальнейшие улучшения GRPO из исследований
1:45:43 Куда дальше и дистилляция

👉 Telegram | Max

Можно ли научить мелкую LLM учиться, не раздувая веса?

В первой статье автор крутил опыты на модельке, которая спокойно влезает в домашнюю видюху. Суть вопроса: способна ли она умнеть со временем — не раздуваясь до гигантских размеров, а за счёт памяти, аккуратного дообучения и проверки ответов. Теперь он выкладывает карты: всё это — шаги к новой архитектуре LANN-4. То есть к нейросети, которая учится всю свою «жизнь», имея компактный неизменный «мозг» и память, вынесенную наружу. Только вот самой архитектуры пока нет — её ни выбрали, ни собрали. А мелкие модели в опытах — подопытные инструменты, а не LANN-4.

А вот что нихрена не вышло: проверка показала — если одну и ту же небольшую модель дообучать на примерах несколько раз кряду, лучше от раза к разу она не становится. Первый раунд подучивания даёт ощутимый прирост, дальше рост встаёт — накопления не случилось. Автор просит помочь найти дыру в устройстве решающей проверки, прежде чем палить примерно сутки работы видеокарты.

Читать далее

👉 Telegram | Max

Как собрать RAG-чат для сайта, который не сочиняет цены: пять решений из моего бота

С июня пилю AI-чат для сайтов — такой, что не выдумывает цены и не поддакивает клиенту по любому поводу.

До пяти решений из статьи я допер через свои же факапы.

Читать про пять решений

👉 Telegram | Max

АЙТИШНИКИ БЕСПЛАТНОЕ ОБУЧЕНИЕ

Проект «Terminal» стал крупнейшей библиотекой бесплатного образования. В одном канале собраны курсы, книги, полезные инструменты и практические тренажёры для всех разработчиков:

• Практические курсы и задания
• Книги и статьи известных авторов
• Полезные инструменты и ресурсы
• IT-новости и инсайды

Обучение по всем направлениям: SQL, Python, ML, Frontend, PHP, C++, Go, Git, Linux, QA, Java, Vibe-coding, InfoSec и др.

⌨️ подписаться

Fish Audio выкатили голосовую ИИ-модель Drama 3

Пацаны только что дропнули голосовую ИИшку, которой рулишь как живым актёром. Всё, хватит пихать в текст мутные служебные коды — просто напиши «прочитай это так, будто тебя окончательно достала жизнь», и она выдаёт ровно это.

И вот почему это прям огонь: одно слово прозвучало криво — правишь только его, остальная озвучка даже не шелохнётся. Голоса модель меняет прямо посреди фразы. И может вытянуть целую сцену с кучей персонажей из одного сценария. Твой голос клонирует и тащит его характер с манерой речи в другие языки. Языков — 83, а веса валяются на скачивание под лицензией Fish Audio Community License.

А чтоб показать, на что она способна, разрабы склонировали голос Uncle Roger и заставили его весь ролик разносить собственный жареный рис. Ахах, ну это просто прекрасно.

👉 Telegram | Max

Nano Banana 2.1 против Nano Banana 2, Pro и GPT Image 2.5: 14 задач с русскими промптами

6 октября 2026-го Google выкатил Nano Banana 2.1. Модель прогнали через 14 задач с русскими промптами, а в соперники взяли Nano Banana 2, Pro и GPT Image 2.5. В наборе — часы, таблица элементов, афиши, правка тарифной карточки. И в восьми случаях русский текст лежит прямо на картинке.

Если считать по баллам, все четыре влезли в 5 очков из 76 — но косячат по-разному. Nano Banana Pro эпично развалилась на таблице из 18 элементов. Nano Banana 2.1 просадила регистр и знаки препинания в афишах и инфографике. GPT Image 2.5 Sunburst промахнулась реже всех, только от Nano Banana 2 её отделяет один балл (72 против 71) — то есть шум.

Внутри материала: что заявлено, как устроен тест, результаты по каждой задаче, цена в токенах и промпты для повтора. Читать далее

👉 Telegram | Max

Попробовал подменить разработчиков ИИ-агентами

Один агент баг прошляпил. Четыре субагента — нет: заказ можно было оплатить повторно даже после успешной оплаты. На скрытом наборе тестов соло-запуск вытянул 7/8, а агентная команда дожала до 8/8. И это при том, что обе версии без проблем прошли production build и собственные тесты.

Так что, всю команду разработчиков уже можно разгонять? Читать далее

👉 Telegram | Max

ИИ-агент настрочил 63 пул-реквеста самому себе за одни сутки — и под это пришлось завести надзирателя

Днём чел ковыряет корпоративные системы, а вечерами пилит свои проекты через Claude Code. И в какой-то момент дошло: кода он пишет всё меньше, а диспетчером работает всё больше. То пни агента, чтобы он не встал на паузу. То перепроверь его бодрое «готово». То с утра облом: подписка кончилась в час ночи, а всё это время ничего не крутилось.

Под такое дело он собрал локальный надсмотрщик — AIWorks. А потом скормил ему на сутки его же собственный репозиторий. В статье — как эта штука устроена, чем всё обернулось и, что самое интересное, где оно по дороге развалилось.

Читать далее

👉 Telegram | Max

ИИ без интернета прямо в десктопе: как Ollama засунули в лаунчер под три ОС

Автор пилит Lumi — открытый лаунчер в духе Spotlight. Жмёшь хоткей, вылезает строка: запускай софт, ищи файлы, спрашивай нейросеть. Код он клепает в паре с Claude и прямо признаёт: программист из него так себе. Но тесты, цифры и ошибки — не постановочные, всё по-настоящему.

Хотелка была простая: юзер без опыта тычет одну кнопку — и получает ИИ, которому интернет вообще не сдался. Никакого терминала. И знать, что за зверь такой Ollama, тоже не надо. Что из этого вышло, обо что автор навернулся и как потом заделывал — всё в статье.

Читать на Habr

👉 Telegram | Max

Звонок из «службы безопасности»: и для человека, и для железяки

«Здравствуйте, служба безопасности банка…» — а дальше отрепетированный сценарий: давят авторитетом, гонят по срочности, запирают в изоляции («трубку не бросайте!»), подсовывают левый канал для проверки. Тот же самый каркас прекрасно заходит и против ИИ-ассистента: zero-click промпт-инъекция EchoLeak (CVE-2025-32711) в Microsoft 365 Copilot, а в июле 2026-го — история с автономными агентами в инфраструктуре Hugging Face. Их никто не ломал, вообще. Они сами себя уболтали.

Причина ровно одна, и она архитектурная: что у человека, что у языковой модели на входе нет стенки между «данными» и «инструкциями». И разница между нами в одном — человек способен встать и выйти из разговора. А набор рычагов — фальшивый авторитет, накрученная срочность, отрезание от проверки, подмена канала, социальное доказательство, раскачка мелкими шагами — один в один для бухгалтера, бабушки, школьника и автономного агента. Веками не меняется, меняются только декорации.

Автор раскладывает, почему телефонный разводила и промпт-инъекция в LLM — одна и та же песня, и что из этого следует для обучения людей. Читать далее

👉 Telegram | Max