⚡️ Sentient OS делает из Mac персонального ассистента

LLM на вашем устройстве знает о вас все и предлагает выполнять работу с помощью ПК.
Приложение для macOS, которое собирает контекст из файлов, скриншотов и переписок, формирует локальную базу знаний и каждый день готовит подборку заметок с напоминаниями.

Ассистента можно вызвать в любой момент — он поможет с текущими задачами. Персональные данные не покидают устройство: ИИ работает только с обезличенными сводками.

У любого искусственного интеллекта, которым вы пользуетесь сегодня, есть две проблемы: он ничего не знает о вас (никто не может выложить всю свою жизнь в чат) и помогает только тогда, когда его об этом просят. Чтобы решить обе проблемы, нужно каждый день читать всю вашу жизнь. В облаке такой объем данных — это целое состояние и кошмар с точки зрения конфиденциальности. На вашем собственном чипе это бесплатно и никого не касается.

Таким образом, каждую ночь локальная языковая модель Sentient на вашем устройстве считывает все новое (ваши файлы, скриншоты, сообщения в WhatsApp, iMessage, «Заметках», электронную почту) и преобразует их в базу знаний в формате чистого маркера — самую глубокую память о вас, которая когда-либо была у искусственного интеллекта. Последние 10% вычислений выполняются на передовой модели через вашу собственную подписку на ChatGPT. Ничто не обращается к ключу API Sentient, потому что его нет.

К утру Sentient предлагает вам выполнить рутинную работу в один клик: тот самый ответ, который вы забыли, составлен с учетом вашего богатого личного опыта. Подписка, которую вы хотели отменить, продлена накануне.

И в любом месте на вашем Mac нажмите на выемку и скажите Sidekick: «Закончи это за меня». Он использует ваши приложения так же, как и вы, даже в фоновом режиме, пока вы занимаетесь своими делами.

Никаких учетных записей, а ваши личные данные никогда не покидают ваш Mac. Бесплатно навсегда.
🔗 https://sentient-os.ai
🔗 https://github.com/Sentient-OS-Labs/sentient-os - тут подробно!
#SentientOS #MacOS #SoftAi #AiSoft #AiAgent #AgentAi #LocalAi #AiLocal

ℹ Модель: MobileWan WAN2.2 5B адаптировали для генерации видео на смартфоне

📱 Модель создаёт 5-секундные ролики в разрешении 480×832 px с частотой 16 кадров в секунду. Генерация занимает 20 секунд.

По бенчмарку VBench модель набрала 83.79 балла — лучший результат среди мобильных решений. Это означает, что качество видео приближается к десктопным генераторам, но работает всё локально на телефоне.
🔗 https://github.com/Qualcomm-AI-research/mobilewan
🔗 https://huggingface.co/Qualcomm-AI-Research/mobilewan
#MobileWan #WAN225B #AiVideo #AiModel #ModelAi #LocalAi #AiLocal

🙂 https://localmaxxing.com/ru - все про локальные LLM!
Прогоните бенчмарки на своей локальной LLM-сборке.
Сравните её со всем миром.
Бенчмарки локального инференса LLM от сообщества.
Отслеживайте скорость, сравнивайте оборудование и находите оптимальную конфигурацию.
(Обсуждение)
=======
🔗 https://llmrequirements.com - С чего начать?
Локальное оборудование для ИИ.
Восемь точек входа, охватывающих весь путь — от «что мне купить» до «что работает на том, что у меня уже есть». Каждая страница использует один и тот же эталонный набор данных и обновляется с той же периодичностью.
#LLM #LocalAi #AiLocal

📱 BigMoeOnEdge - Запустите MoE с 120B-параметрами (60 ГБ) на телефоне с 12 ГБ памяти.
Только для процессора, без потерь, на стандартном llama.cpp

Запускайте модели Mixture-of-Experts, размер которых намного превышает объем оперативной памяти вашего смартфона.

Результат: модель размером ~60 ГБ на телефоне с 12 ГБ памяти: 1,3 ток/с без потерь, идентично работе с оперативной памятью, 2,2 ток/с при использовании одной ручки регулировки скорости. Только для процессора, через публичный API llama.cpp.

Модель Mixture-of-Experts (MoE) состоит из множества небольших «экспертов», и каждый сгенерированный токен использует лишь некоторые из них. BigMoeOnEdge следует этому принципу буквально: он хранит под рукой небольшие, но всегда необходимые части модели и считывает только тех экспертов, которые нужны каждому токену, прямо из флэш-памяти в момент, когда они требуются. Остальная часть модели остается на диске. Именно поэтому большие открытые модели (Qwen3.6, Gemma, gpt-oss и большинство их аналогов) можно запускать на смартфонах, объем оперативной памяти которых в несколько раз превышает объем их собственных. Сегодня основное внимание уделяется телефонам, где с памятью сложнее всего.

Флагманский кейс: gpt-oss-120b, модель на ~60 ГБ (Q4_K_M), на телефоне с 12 ГБ оперативной памяти. Это примерно в пять раз больше, чем объем памяти, поэтому удерживать ее в оперативной памяти просто невозможно. В любом случае он работает со скоростью 1,3 токена в секунду с настройками модели (2,2 токена в секунду с одной ручкой регулировки скорости) по сравнению с 0,09 токена в секунду для того же файла, загруженного обычным способом (mmap).

🔗 https://github.com/Helldez/BigMoeOnEdge
⬇️ Скачать тут: https://github.com/Helldez/BigMoeOnEdge/releases/latest (app-dev-release.apk)

📖 Пост про создание игры "Змейка" локально на телефоне с Qwen3.6-35B-A3B на Q4_K_M,
(Всегда необходимые части остаются в оперативной памяти, а эксперты считываются из флэш-памяти. На каждый токен приходится всего несколько миллиардов параметров, так что оперативная память перестает быть ограничивающим фактором.)

🙂 Запуск Qwen 3.6 35B MoE (Q4_K_M) на Xiaomi 12 Pro (12 ГБ ОЗУ)
(Видео и Обсуждение)
#BigMoeOnEdge #App #Android #LLM #LocalAi #AiLocal

ℹ Модель: KAT-Coder-V2.5-Dev
После выхода KAT-Coder-V2.5 в июле рады представить облегченную версию KAT-Coder-V2.5-Dev, модель с общим количеством параметров 35 миллиардов и 3 миллиардами активированных параметров.

Основные особенности KAT-Coder-V2.5-Dev
- Повышение производительности. Благодаря обучению с подкреплением и обучением с учителем KAT-Coder-V2.5-Dev достигает лучших результатов в области агентного кодирования среди моделей с аналогичными масштабами параметров.

- Оптимизация аномального поведения. Благодаря обучению с подкреплением удалось значительно оптимизировать некоторые аномальные модели поведения, такие как: аномальные метки инструментов — 9 пунктов (9,34 % -> 0,28 %), непрерывное повторение в одном направлении — 0,34 пункта (0,34 % -> 0 %).

🔗 https://huggingface.co/Kwaipilot/KAT-Coder-V2.5-Dev
(Обсуждение)
============
⚡️ Тест Kat Coder 2.5 (создание игры) с помощью этой подсказки:
Create a spaceship game inspired by Star Fox using vanilla Three.js and HTML. It should have at least five levels, keyboard and mouse controls, enemies, and a fully functional gameplay system.

Результат автора удивил (На видео). Он сгенерировал по-настоящему играбельную игру с управлением кораблем, несколькими типами врагов, разнообразным оружием, боссами, прохождением уровней, интерфейсом, визуальными эффектами и довольно хорошо организованной кодовой базой — и все это в одном HTML-файле.

Kat Coder 2.5 создан на основе Qwen 3.6 35B A3B, но в ходе тестов он стабильно показывал гораздо лучшие результаты. Также протестировали его на 3D-сценах, информационных панелях и задачах, требующих сложного логического программирования, и он отлично справился со всеми ними.

Разница стала очевидной в тесте Star Fox. Ни одна из других моделей с открытым исходным кодом, которые я тестировал, не смогла реализовать эту идею должным образом. Даже такие модели, как Gemini 3.6 Flash Extended, с трудом выдавали что-то связное и действительно играбельное.

Еще более впечатляющим является то, что запускали Kat Coder 2.5 с квантованием Q4_K_M.
Код на Plunker: https://plnkr.co/plunk/Sc7yFCPPdrBWvkA7
(Обсуждение)

#KATCoderV25 #KATCoderV25Dev #AiModel #ModelAi #LocalAi #AiLocal