ИИ без интернета прямо в десктопе: как Ollama засунули в лаунчер под три ОС

Автор пилит Lumi — открытый лаунчер в духе Spotlight. Жмёшь хоткей, вылезает строка: запускай софт, ищи файлы, спрашивай нейросеть. Код он клепает в паре с Claude и прямо признаёт: программист из него так себе. Но тесты, цифры и ошибки — не постановочные, всё по-настоящему.

Хотелка была простая: юзер без опыта тычет одну кнопку — и получает ИИ, которому интернет вообще не сдался. Никакого терминала. И знать, что за зверь такой Ollama, тоже не надо. Что из этого вышло, обо что автор навернулся и как потом заделывал — всё в статье.

Читать на Habr

👉 Telegram | Max

Звонок из «службы безопасности»: и для человека, и для железяки

«Здравствуйте, служба безопасности банка…» — а дальше отрепетированный сценарий: давят авторитетом, гонят по срочности, запирают в изоляции («трубку не бросайте!»), подсовывают левый канал для проверки. Тот же самый каркас прекрасно заходит и против ИИ-ассистента: zero-click промпт-инъекция EchoLeak (CVE-2025-32711) в Microsoft 365 Copilot, а в июле 2026-го — история с автономными агентами в инфраструктуре Hugging Face. Их никто не ломал, вообще. Они сами себя уболтали.

Причина ровно одна, и она архитектурная: что у человека, что у языковой модели на входе нет стенки между «данными» и «инструкциями». И разница между нами в одном — человек способен встать и выйти из разговора. А набор рычагов — фальшивый авторитет, накрученная срочность, отрезание от проверки, подмена канала, социальное доказательство, раскачка мелкими шагами — один в один для бухгалтера, бабушки, школьника и автономного агента. Веками не меняется, меняются только декорации.

Автор раскладывает, почему телефонный разводила и промпт-инъекция в LLM — одна и та же песня, и что из этого следует для обучения людей. Читать далее

👉 Telegram | Max

🖥 Anthropic выпустила плагин для рефакторинга и миграции старых проектов

Code Modernization анализирует проекты, разбирается в архитектуре и зависимостях, предлагает план обновления и помогает перейти на новые технологии. Причём после миграции плагин запускает тесты и сравнивает поведение старой и новой версий, чтобы ничего не сломалось.

При этом изменений сначала должен одобрить человек

✖️ xCode Journal

Gemini стартует с «Вот» в 9 текстах из 10. Что за повадки у 12 нейросетей на рабочем контенте

Прогнал 84 рабочих текста через 12 нейросетей и записал их привычки. Gemini открывает текст через «Вот» девять раз из десяти.

Kimi и Claude Sonnet закругляются мыслью, что что-то ещё стоит докрутить. А длинных тире у них в среднем примерно как у Гиляровского.

Читать далее

👉 Telegram | Max

Claude и мутные сиды NIST: где реально есть доказательства, а где уже догадки

16 октября Anthropic выкатила сразу две работы. В первой копаются, откуда взялись «случайные» сиды у эллиптических кривых NIST. Вторая — про проектирование квантовых схем.

Дальше по сути: что там подтверждено кодом, который можно воспроизвести, и расчётом, а что так и осталось гипотезой самих авторов. И ещё момент — где формулировки в пресс-подаче стоит читать аккуратнее, чем заголовки про них.

Читать далее

👉 Telegram | Max

Запустить жирную LLM на видяхе с мизерной памятью? Держи расклад: 27 млрд параметров в 16 битах — это примерно 54 ГБ. А если каждый вес хранить одним битом плюс один общий масштаб на группу из 128 весов, те же параметры влезут где-то в 4 ГБ (словарную таблицу не считаем).

Но есть подвох: возьми и тупо округли веса до знака — модель сдохнет. Bonsai от PrismML как раз так и хранит веса в трансформерных блоках, только при этом остаётся рабочей. Разрабы выложили формат, вычислительные ядра под llama.cpp и MLX и простенький инструмент квантизации. А вот каким способом получили сами веса — не сказали.

Автор попробовал повторить: сперва пошёл через послойную квантизацию и получил нерабочую модель с большой перплексией. Потом сравнил веса Bonsai и оригинальной Qwen3-1.7B — и эта сверка натолкнула на мысль про обучение. В итоге он сам обучил однобитную модель.

Читать далее

👉 Telegram | Max

PrismML докинула в семейство Bonsai 2 ещё моделей

Американская ИИ-контора PrismML показала три новых Bonsai 2 — на 2, 4 и 9 млрд параметров. Сделаны они на базе Qwen 3.5 от Alibaba. Главная фишка — веса: в основных всего три значения, −1, 0 и +1. Поэтому файлы весят 0,43 ГБ, 0,95 ГБ и 2 ГБ, то есть примерно в девять раз меньше, чем оригинальные модели с 16-битными весами. Рассуждения, понимание изображений и вызов инструментов никуда не делись, а целится всё это в первую очередь в локальных ИИ-агентов на смартфонах, компах и прочих устройствах.

Теперь скорость. По данным PrismML, на iPhone 18 Pro Max модель 9B выдаёт до 34 токенов в секунду, а 2B — целых 120. В официальных тестах Bonsai 2 9B почти не сливает родной Qwen 3.5 того же размера в программировании и следовании инструкциям. Но на сложных задачах разрыв уже нихуёвый: Tau2Bench — 73,02 против 85,25, в анализе сложных документов — 73,8 против 88,73.

Веса всех трёх моделей выложили под Apache 2.0 — коллекция на Hugging Face. Только вот 2 ГБ — это размер лишь языковой модели 9B в самом компактном формате. Понадобятся картинки — визуальный модуль придётся докачивать отдельно, ещё около 0,62 ГБ.

👉 Telegram | Max

api2app: когда ComfyUI работает как API

Урок про то, как прикрутить ComfyUI в роли API и на скорую руку собрать веб-приложение, до которого можно достучаться из любой точки мира. А ещё — без кода быстро перекраивать интерфейс под новые задачи.

Читать далее

👉 Telegram | Max

Бесплатная транскрибация без облаков: почему одной модели мне не хватило

Этот человек живёт в созвонах — добрая половина рабочего дня уходит на встречи и обсуждения. А потом случился ребёнок, начались ночи без сна, и детали поехали: какой срок озвучили, кто обещал вернуться с ответом, чем в итоге договорились. Сперва он думал просто купить готовое приложение, а потом полез сравнивать Whisper, Parakeet и GigaAM.

Короче, прогнал 32 конфигурации распознавания и слепил каскад из двух моделей: первая даёт костяк текста, вторая подчищает неточности. На его записях такой подход вытащил каждую пятую ошибку — WER просел с 27,0% до 21,7%.

Из этих экспериментов родилось бесплатное приложение под Mac: пишет встречи и превращает аудио с видео в текст локально. В статье — как отбирались модели, что замерялось, какие «очевидные» решения сдохли и промт для агента, чтобы собрать всё своими руками.

Читать далее

👉 Telegram | Max

MiniCPM-V 4.7 35B-A3B: мультимодалка, которой не нужен серверный монстр

Один перец собрал портфолио в духе необрутализма на MiniCPM-V 4.7 — и вот тут любопытен не дизайн, а сама модель, которая этот интерфейс и выдала. У MiniCPM-V 4.7 от OpenBMB 35 млрд параметров, но при обработке каждого токена реально пашут только 3 млрд. На выходе — свыше 17 токенов в секунду на iPad Pro M4 (16 ГБ) и больше 13 токенов в секунду на iPhone 17 Pro Max, причём в оптимизированной мобильной сборке жрёт она всего около 3 ГБ памяти.

Есть и мелкая версия на 1 млрд параметров — под OCR, разбор графиков, математику и общее понимание инфы. Обе держат контекстное окно на 256 тысяч токенов, а веса, код для инференса и дообучения лежат в открытом доступе.

Автор говорит, что в мультимодальном ИИ ему важнее не текст, а именно работа с визуалом, и ещё то, как эффективный и гибкий деплой вытаскивает такие штуки в народ.

Подробнее: GitHub · Hugging Face

👉 Telegram | Max

🤣 Эффективное распределение ресурсов выглядит так

💥 xCode Journal

Сеня-девелопер на выход → CNER Developer на вход: как мы дообучали GigaAM-v3

Диктовка Glas крутится на GigaAM-v3. Обычную русскую речь модель пережёвывала нормально, а вот на IT-терминах буксовала: Docker у неё становился «докером», Python — «Пайтоном». А порой она тупо теряла слова: живую фразу «Мой ИИ редко ошибается» записала как «Мои редко ошибается». Вылечили дообучением на 25 часах живой речи.

На 525 отложенных коротких записях WER упал с 8,81% до 5,76% — это примерно минус 35% от исходного значения. Доля терминов, написанных правильно, подскочила с 43,8% до 86,7%. Скорость практически не сдвинулась. Версия 0.01, всё ещё бета.

Есть и минусы: слова модель стала пропускать чаще, а на обычной речи хуже держит регистр и пунктуацию. Плюс тест размечен тем же автоконвейером, что и обучение, с выборочной ручной проверкой — так что часть прироста может быть просто совпадением стиля разметки. Читать далее

👉 Telegram | Max

Человек поймал ошибку, закинул её в нейронку — и та ему всё разрулила: через полминуты он уже пашет дальше, а в системе — ни заявки, ни следа обращения.

Разбираем, что на этом теряет саппорт, почему в России такая самодеятельность влетает особенно дорого и как вернуть видимость, не загоняя людей обратно в очередь.

Читать далее → habr.com

👉 Telegram | Max

Александр Михеев, ML-инженер Центра гибридного интеллекта в Рунити, разбирает, что делали после reranker. В первой статье речь была про улучшение поиска почти по 35 тысячам страниц Confluence. И главный намёк дали метрики: нужный материал частенько уже был среди кандидатов, просто валялся слишком низко. Reranker поднял нужные куски наверх и сделал выдачу заметно лучше.

Дальше цель такая: затащить этот поиск туда, где сотрудник работает. Разработчик вместе с агентом копается в сервисе, обсуждает правку в коде или ищет причину ошибки — и тут ему может понадобиться внутренняя дока, описание архитектуры или связанная таска в Jira.

А когда компоненты начали сращивать, выяснилось: один поиск — это ещё не вся работа. Даже с нормальной выдачей агент мог остаться без нужных документов после проверки прав или не дождаться, пока исследование доедет до конца. Именно на таких кейсах и смотрели, насколько жизнеспособной вышла интеграция.

Читать далее

👉 Telegram | Max

Claude против ChatGPT: четыре модели на одних и тех же задачах

Восемь задач, четыре подопытных: Claude Opus 5.5, Claude Sonnet 5.5, ChatGPT 6 Astra и ChatGPT 6.1 Sol. Код с первого раза выдали все — никто не облажался. Один ответ только пришлось переформатировать руками.

А вот дальше пошла разница: время (от 8 до 28 минут на все задачи), ценник за токен (разлёт до пяти раз) и то, как именно каждая модель строит решение. Читать далее

👉 Telegram | Max

🤣 Явный признак

💥 xCode Journal