This media is not supported in your browser
VIEW IN TELEGRAM
👨💻 Page Assist - Боковая панель в браузере для ваших локальных моделей ИИ
Page Assist — это расширение для браузера, которое предоставляет боковую панель и веб-интерфейс для вашей локальной модели ИИ. Оно позволяет вам взаимодействовать с вашей моделью с любой веб-страницы.
Page Assist поддерживает браузеры на базе Chromium, такие как Chrome, Яндекс, Brave и Edge, а также Firefox.
На этом видео показано, что можно быстро, локально, бесплатно резюмировать целые научные статьи 🙊
Примечательно, но расширение может само скачать модель Gemini Nano и работать без API!
Есть чат с сайтом, с Ютуб, ...
Текущие функции:
- Боковая панель для различных задач
- Поддержка визуальных моделей
- Минималистичный веб-интерфейс для локальных моделей ИИ
- Поиск в Интернете
- Чат с PDF на боковой панели
- Чат с документами (pdf, csv, txt, md, docx)
Поддерживаемые провайдеры:
- Ollama
- Chrome AI (Gemini Nano)
- Поддержка API, совместимого с OpenAI (LM Studio, Llamafile, vLLM и многие другие провайдеры, типа OpenRouter).
👉 Результаты и скорость вы можете увидеть на видео.
Очень много настроек у плагина! Есть русский язык!
Демо: https://www.youtube.com/watch?v=8VTjlLGXA4s
Проект: https://github.com/n4ze3m/page-assist
#PageAssist #GeminiNano #ChromeAI #AiLocal #LocalAi #WebAi #WebGPU #LLM
Page Assist — это расширение для браузера, которое предоставляет боковую панель и веб-интерфейс для вашей локальной модели ИИ. Оно позволяет вам взаимодействовать с вашей моделью с любой веб-страницы.
Page Assist поддерживает браузеры на базе Chromium, такие как Chrome, Яндекс, Brave и Edge, а также Firefox.
На этом видео показано, что можно быстро, локально, бесплатно резюмировать целые научные статьи 🙊
Примечательно, но расширение может само скачать модель Gemini Nano и работать без API!
Есть чат с сайтом, с Ютуб, ...
Текущие функции:
- Боковая панель для различных задач
- Поддержка визуальных моделей
- Минималистичный веб-интерфейс для локальных моделей ИИ
- Поиск в Интернете
- Чат с PDF на боковой панели
- Чат с документами (pdf, csv, txt, md, docx)
Поддерживаемые провайдеры:
- Ollama
- Chrome AI (Gemini Nano)
- Поддержка API, совместимого с OpenAI (LM Studio, Llamafile, vLLM и многие другие провайдеры, типа OpenRouter).
👉 Результаты и скорость вы можете увидеть на видео.
Очень много настроек у плагина! Есть русский язык!
Демо: https://www.youtube.com/watch?v=8VTjlLGXA4s
Проект: https://github.com/n4ze3m/page-assist
#PageAssist #GeminiNano #ChromeAI #AiLocal #LocalAi #WebAi #WebGPU #LLM
This media is not supported in your browser
VIEW IN TELEGRAM
Работает полностью оффлайн! Ваши данные остаются вашими!
- Управляет компьютером:
Запустит Программу, свернет окна, сделает скриншот или выключит ПК по вашей команде.
- Умный поиск файлов:
Не помните, где сохранили отчет? Просто спросите Веру. Она найдет документы, фото и папки быстрее, чем вы вспомните их название.
- Интернет-агент:
Нужна свежая информация? Вера сама найдет ответ в Интернете, расскажет о погоде и курсе валют.
- Всегда на слуху:
Не нужно нажимать кнопки или переключаться на окно чата. Вера работает в фоне и слышит вас, пока вы в игре, работе или на кухне.
- Личный секретарь:
Засечь время, напомнить о встрече или просто поболтать. Вера берет на себя рутину, чтобы вы могли сосредоточиться на важном.
- Работает «из коробки»:
Мы упаковали всё сложное в один файл. Просто установите и наслаждайтесь.
- Быстрая и легкая:
Оптимизирована для работы на домашнем железе. Использует современные модели (Qwen), выдавая высокую скорость даже без топовых видеокарт.
- Только ваши данные:
Никакой слежки и логов на чужих серверах. Вера работает оффлайн. Даже если интернет пропадет — она останется с вами.
Несмотря на то, что по умолчанию стоит Qwen3-1.7B-Q4_K_M, вы не привязаны к этому выбору и можете поставить свою модель, а агент просто подхватит файл .gguf из папки и начнет работать с ним. Полная свобода!
Только для Windows 10/11 (x64)
Сайт: https://agentvera.ru
GitHub , Новости в ТГ.
Все подробности от автора: https://habr.com/ru/articles/972260/ - прочтите!
#Windows #LLM #АгентВера #AgentVera #AiLocal #LocalAi
Please open Telegram to view this post
VIEW IN TELEGRAM
Запускайте инструменты ИИ локально. Мгновенно. В приватном режиме. Прямо в браузере!
Используйте прямо в браузере без серверов, загрузки данных и ожидания. Используйте молниеносно быстрые и конфиденциальные инструменты ИИ, при этом ваши данные никогда не покинут ваше устройство.
Инструменты:
- Удаления Фона Изображения
- Размытие лица
- Группировка лиц
- Устранение звуковой Тишины
- Удаление Звуковых Шумов
- Извлечение текста OCR
- Преобразование текста в речь
- Переводчик
- Преобразование речи в текст
https://localaitoolkit.com
#LocalAiToolKit #AiLocal #LocalAi
Please open Telegram to view this post
VIEW IN TELEGRAM
Работает в вашем браузере с помощью WebGPU. 100 % конфиденциальность — никакие данные не покидают ваше устройство.
18 моделей ИИ на выбор! Модели от 7В в Расширении.
- Рекомендованные (3): Phi 3.5 Mini, Llama 3.2 3B, Qwen 2.5 3B.
- Средние (3): Gemma 2 2B, Qwen 3 4B, StableLM2 Zephyr.
- Маленькие (4) - не так интересны...
- Большие (5): Qwen 2.5 7B, Llama 3.1 8B, Mistral 7B v0.3, DeepSeek R1 7B, Gemma 2 9B.
- Крошечные (3) - не так интересны...
💡Оптимально стоит выбирать Qwen 3 4B!
В настройках модели Контекстное окно надо сдвигать вправо до максимума в 4096. И там есть настройка Температуры!
Системные требования: (Есть почти у всех!)
- Браузер Chrome 119+ или Edge 119+
- Windows, Mac, Linux, ChromeOS
- требуется поддержка WebGPU - она есть в новых браузерах!
- Минимум 2 ГБ видеопамяти, рекомендуется 4 ГБ и более!
- 500 МБ — 5 ГБ для хранения модели.
Скоро выйдет расширение: https://www.localai.im/extension - С ним запускайте модели с более чем 7 миллиардами параметров локально!
https://www.localai.im
#WebGPU #LocalAi #AiLocal #LocalAi
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Новая локальная модель VibeThinker разорвала рынок: она догоняет всех гигантов — Claude, Gemini, Qwen, DeepSeek, но весит всего ничего!
— Мощнее всех, но в сотни раз легче
— Летает на домашних ПК
— Пишет тексты, рассуждает — идеальный рабочий инструмент
— Весит всего 3.5 Гб, можно запускать где угодно
Подробнее: Статья-1, Статья-2, Статья-3.
Проект: https://github.com/WeiboAI/VibeThinker - тут все графики сравнения с Лидерами!
Скачивать: huggingface.co - Q8_0 = 1.89 GB и F16 = 3.56 GB
#ModelAi #huggingface #VibeThinker #WeiboAI #AiLocal #LocalAi
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
VideoSOS — браузерный видеоредактор на основе ИИ, объединяющий более 100 моделей для генерации, монтажа и озвучивания видео и аудио.
Сервис работает прямо в браузере, без установки, и ориентирован на создателей контента.
Что интересного:
• Более 100 ИИ-моделей от fal.ai и Runware.ai — генерация изображений, видео, музыки и речи (Да, ИИ фишки онлайн по API)
• Полноценный таймлайн-редактор с ключевыми кадрами и предпросмотром в реальном времени
• Мультимодальные возможности: изображения, короткие видео, озвучка, музыка
• Поддержка форматов 16:9, 9:16 и 1:1 для YouTube, TikTok, Instagram
• API-интеграция для внешних разработчиков
• Обработка данных локально в браузере без передачи на серверы!
Важно:
• Объединяет все основные ИИ-функции для видео и аудио в одном инструменте
• Обеспечивает приватность и безопасность за счёт локальной обработки!
• Делает профессиональное видеоредактирование доступным без установки ПО!
Старт: Откройте проект в браузере: https://videosos.vercel.app/ru/app
Сайт: https://videosos.vercel.app/ru
VideoSOS на GitHub
(Еще есть Diffusion Studio Pro)
#LocalAi #AiLocal #WebAi #AiVideoEdit #VideoSOS
Please open Telegram to view this post
VIEW IN TELEGRAM
🌎 BrowserOS — открытый AI-браузер с фокусом на конфиденциальность
🧠 BrowserOS от Y Combinator — это новый AI-браузер с открытым исходным кодом, позиционируемый как децентрализованная альтернатива решениям вроде ChatGPT Atlas, Dia и Perplexity Comet. (В Brave тоже ИИ есть и можно добавить LM Studio)
Основной акцент сделан на конфиденциальности и возможности использования локальных моделей.
⚙️ Как работает:
В отличие от централизованных аналогов, BrowserOS не привязан к конкретному поставщику. Пользователи могут подключать любые локально запущенные LLM-агенты или ИИ-поисковые системы.
Проект не отслеживает рекламу, не собирает пользовательские данные, поскольку всё работает локально и без регистрации.
✨ Возможности:
🔓 Открытый исходный код и независимость от поставщиков.
🔒 Приватность: нет отслеживания рекламы и сбора данных.
💻 Совместимость с локальными LLM-агентами.
🖥 Доступен для MacOS, Windows и Linux.
📰 BrowserOS предлагает пользователям полный контроль над их данными и ИИ-инструментами, что является важным шагом в сторону децентрализованных и приватных AI-систем.
В настройки LLM-Провайдеров попадать через адрес: chrome://browseros/settings
Это есть в документации:
Во вкладке: "LLM Chat & Hub" уже есть Perplexity, но можно добавить еще: Z.ai, DeepSeek, Kimi, Ernie, ... - все что захотите!
Gemini там работает и без VPN (удивило!) ChatGPT, Claude, Grok - хотят VPN! Т.к. это Хром, то можно поставить расширение с VPN!
Справа от адресной строки есть 3 кнопки:
- Чат (Chat) - там будет выбор из тех ИИ, что настроили в "LLM Chat & Hub"
- Hub - откроется окно с 3 окнами внутри, где в каждом можно выбрать свою модель ИИ - для сравнения ответов например...
- Assistant - самый интересный раздел - тут те модели, что настроены в "BrowserOS AI" - а это или их BrowserOS (по умолчанию) - модель Gemini 2.5 Flash (работает без VPN!!!)... или OpenRouter.ai или LM Studio или Ollama или ...! (Неудобство в том, что для любого добавляемого провайдера надо сразу указывать модель - нет их подгрузки по API и выбора при работе)
💡В этой вкладке "Assistant" есть снизу: "Чат", "Агент" и "Стопка" - выбор какие вкладки браузера включить в запрос!
В разделе настроек "BrowserOS MCP Server" - видно множество готовых решений!
Есть интеграция с n8n!
Как итог: Понравилось, что встроена и работает без VPN достаточно хорошая: Gemini 2.5 Flash! Интеграция OpenRouter.ai и LM Studio и много готовых MCP!
Более подробно смотрите на их сайте.
#BrowserOSAI #BrowserOS #LocalAi #AiLocal #App #Windows #MacOS #SoftAi
🧠 BrowserOS от Y Combinator — это новый AI-браузер с открытым исходным кодом, позиционируемый как децентрализованная альтернатива решениям вроде ChatGPT Atlas, Dia и Perplexity Comet. (В Brave тоже ИИ есть и можно добавить LM Studio)
Основной акцент сделан на конфиденциальности и возможности использования локальных моделей.
⚙️ Как работает:
В отличие от централизованных аналогов, BrowserOS не привязан к конкретному поставщику. Пользователи могут подключать любые локально запущенные LLM-агенты или ИИ-поисковые системы.
Проект не отслеживает рекламу, не собирает пользовательские данные, поскольку всё работает локально и без регистрации.
✨ Возможности:
🔓 Открытый исходный код и независимость от поставщиков.
🔒 Приватность: нет отслеживания рекламы и сбора данных.
💻 Совместимость с локальными LLM-агентами.
🖥 Доступен для MacOS, Windows и Linux.
📰 BrowserOS предлагает пользователям полный контроль над их данными и ИИ-инструментами, что является важным шагом в сторону децентрализованных и приватных AI-систем.
В настройки LLM-Провайдеров попадать через адрес: chrome://browseros/settings
Это есть в документации:
Во вкладке: "LLM Chat & Hub" уже есть Perplexity, но можно добавить еще: Z.ai, DeepSeek, Kimi, Ernie, ... - все что захотите!
Gemini там работает и без VPN (удивило!) ChatGPT, Claude, Grok - хотят VPN! Т.к. это Хром, то можно поставить расширение с VPN!
Справа от адресной строки есть 3 кнопки:
- Чат (Chat) - там будет выбор из тех ИИ, что настроили в "LLM Chat & Hub"
- Hub - откроется окно с 3 окнами внутри, где в каждом можно выбрать свою модель ИИ - для сравнения ответов например...
- Assistant - самый интересный раздел - тут те модели, что настроены в "BrowserOS AI" - а это или их BrowserOS (по умолчанию) - модель Gemini 2.5 Flash (работает без VPN!!!)... или OpenRouter.ai или LM Studio или Ollama или ...! (Неудобство в том, что для любого добавляемого провайдера надо сразу указывать модель - нет их подгрузки по API и выбора при работе)
💡В этой вкладке "Assistant" есть снизу: "Чат", "Агент" и "Стопка" - выбор какие вкладки браузера включить в запрос!
В разделе настроек "BrowserOS MCP Server" - видно множество готовых решений!
Есть интеграция с n8n!
Как итог: Понравилось, что встроена и работает без VPN достаточно хорошая: Gemini 2.5 Flash! Интеграция OpenRouter.ai и LM Studio и много готовых MCP!
Более подробно смотрите на их сайте.
#BrowserOSAI #BrowserOS #LocalAi #AiLocal #App #Windows #MacOS #SoftAi
👍1
🧠 Second Brain — личная ИИ-база знаний прямо на вашем ПК
Second Brain — ищет по смыслу, а не по названию файлов — просто опишите, что ищете, и нейросеть найдёт нужный документ, изображение или заметку.
Ключевые возможности:
• 🔍 Поиск по смыслу и контексту, а не по ключевым словам;
Семантический поиск:
- Поиск на основе глубокого семантического значения (использует встраиваемые модели).
Лексический поиск:
- Найдите иголку в стоге сена, используя ключевые слова (использует алгоритм BM25).
• 🔍 Поиск изображений! (Используйте языковые модели ИИ с функцией распознавания изображений.)
• 📂 Поддержка множества форматов — txt, .pdf, .docx, .png, .jpg, .jpeg, .gif, .webp и других;
• 🔐 Полностью локальная работа — данные хранятся только у вас;
• 💸 Бесплатно и с открытым исходным кодом.
Second Brain подойдёт тем, кто тонет в тонне файлов — теперь нужный материал можно найти фразой вроде «где я писал про ...».
ℹ️ Дополнительный режим ИИ:
- Интеграция с Language Model: поддержка локальных моделей через LM Studio и облачных моделей, таких как GPT-5, через OpenAI.
- Генерация с дополненным поиском (Retrieval-Augmented Generation, RAG): использование результатов поиска для предоставления высококачественных ответов ИИ, основанных на базе знаний.
- Режим ИИ не является обязательным; поиск можно выполнять без ИИ.
Минимальные Требования к оборудованию:
- ОС: #Windows 10 (версия 19041.0 или выше) или Windows 11
- Память (ОЗУ): 8 ГБ (рекомендуется 16 ГБ)
- Процессор: Intel Core i5 (8-го поколения) или AMD Ryzen 5 (серии 2000)
- Хранилище: 2 ГБ свободного места
Сайт: https://www.henrydaum.site
Проект: https://github.com/henrydaum/second-brain
#SecondBrain #LocalAi #AiLocal #App #SoftAi
Second Brain — ищет по смыслу, а не по названию файлов — просто опишите, что ищете, и нейросеть найдёт нужный документ, изображение или заметку.
Ключевые возможности:
• 🔍 Поиск по смыслу и контексту, а не по ключевым словам;
Семантический поиск:
- Поиск на основе глубокого семантического значения (использует встраиваемые модели).
Лексический поиск:
- Найдите иголку в стоге сена, используя ключевые слова (использует алгоритм BM25).
• 🔍 Поиск изображений! (Используйте языковые модели ИИ с функцией распознавания изображений.)
• 📂 Поддержка множества форматов — txt, .pdf, .docx, .png, .jpg, .jpeg, .gif, .webp и других;
• 🔐 Полностью локальная работа — данные хранятся только у вас;
• 💸 Бесплатно и с открытым исходным кодом.
Second Brain подойдёт тем, кто тонет в тонне файлов — теперь нужный материал можно найти фразой вроде «где я писал про ...».
- Интеграция с Language Model: поддержка локальных моделей через LM Studio и облачных моделей, таких как GPT-5, через OpenAI.
- Генерация с дополненным поиском (Retrieval-Augmented Generation, RAG): использование результатов поиска для предоставления высококачественных ответов ИИ, основанных на базе знаний.
- Режим ИИ не является обязательным; поиск можно выполнять без ИИ.
Минимальные Требования к оборудованию:
- ОС: #Windows 10 (версия 19041.0 или выше) или Windows 11
- Память (ОЗУ): 8 ГБ (рекомендуется 16 ГБ)
- Процессор: Intel Core i5 (8-го поколения) или AMD Ryzen 5 (серии 2000)
- Хранилище: 2 ГБ свободного места
Сайт: https://www.henrydaum.site
Проект: https://github.com/henrydaum/second-brain
#SecondBrain #LocalAi #AiLocal #App #SoftAi
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
🆙 Upscayl — лучший бесплатный и открытый ИИ-редактор для масштабирования изображений в Linux, MacOS и Windows.
Upscayl позволяет увеличивать и улучшать изображения низкого разрешения с помощью передовых алгоритмов искусственного интеллекта. Увеличивайте изображения без потери качества. Это почти волшебство!
Увеличение изображений до 16 раз!
Локальная работа на всех ПК! MacOS, Windows, Linux.
Скачать - бесплатно! Платно - в их облаке!
https://upscayl.org
Проект: https://github.com/upscayl/upscayl
#upscayl #MacOS #Windows #Апскейл #Upscaler #SoftAi #LocalAi #AiLocal
Upscayl позволяет увеличивать и улучшать изображения низкого разрешения с помощью передовых алгоритмов искусственного интеллекта. Увеличивайте изображения без потери качества. Это почти волшебство!
Увеличение изображений до 16 раз!
Локальная работа на всех ПК! MacOS, Windows, Linux.
Скачать - бесплатно! Платно - в их облаке!
https://upscayl.org
Проект: https://github.com/upscayl/upscayl
#upscayl #MacOS #Windows #Апскейл #Upscaler #SoftAi #LocalAi #AiLocal
🔥1
🌐 Sigma AI Browser — браузер со встроенным ИИ
Это не просто браузер, а полноценный рабочий инструмент с AI-ассистентом прямо внутри страниц.
Sigma помогает искать информацию, объяснять сложные тексты, писать и резюмировать контент — не переключаясь между вкладками и чатами.
🔥 Бесплатный доступ:
• Браузер и AI-ассистент доступны бесплатно!
• Базовый AI-функционал включён
• Численные лимиты использования на сайте не указаны
Подходит для тех, кто хочет объединить браузер и ИИ в одном рабочем пространстве.
ℹ️ Вот что увидел:
У сервиса есть и свой чат и Браузер и к нему еще "локальный сервер": Eclipse
Sigma Eclipse LLM скачивает модель на 6.81 Гб. (granite-4_0-micro-f16) и там есть еще Uncensored Model - тоже на 6.81 Гб. (granite-4_0-micro-f16) Хотя на сайте, в разделе "Продукты" пишет: ИИ без цензуры (скоро)... может не успели сайт обновить?!
После запуска Sigma Eclipse LLM, в их браузере справа будет чат с этой локальной моделью... Она может Саммари страниц делать локально!
🔗 https://www.sigmabrowser.com
#sigmabrowser #Browser #AiBrowser #Sigma #SigmaEclipseLLM #SigmaEclipse #LLM #SigmaChat
Это не просто браузер, а полноценный рабочий инструмент с AI-ассистентом прямо внутри страниц.
Sigma помогает искать информацию, объяснять сложные тексты, писать и резюмировать контент — не переключаясь между вкладками и чатами.
✨ Что умеет:
• Встроенный AI-ассистент прямо в браузере
• Резюмирование и анализ страниц
• Генерация и переписывание текста
• Помощь с поиском и исследованиями
• Фокус на приватность и безопасность
• Работает на Windows, macOS, Linux, iOS и Android
🔥 Бесплатный доступ:
• Браузер и AI-ассистент доступны бесплатно!
• Базовый AI-функционал включён
• Численные лимиты использования на сайте не указаны
Подходит для тех, кто хочет объединить браузер и ИИ в одном рабочем пространстве.
У сервиса есть и свой чат и Браузер и к нему еще "локальный сервер": Eclipse
Sigma Eclipse LLM скачивает модель на 6.81 Гб. (granite-4_0-micro-f16) и там есть еще Uncensored Model - тоже на 6.81 Гб. (granite-4_0-micro-f16) Хотя на сайте, в разделе "Продукты" пишет: ИИ без цензуры (скоро)... может не успели сайт обновить?!
После запуска Sigma Eclipse LLM, в их браузере справа будет чат с этой локальной моделью... Она может Саммари страниц делать локально!
🔗 https://www.sigmabrowser.com
#sigmabrowser #Browser #AiBrowser #Sigma #SigmaEclipseLLM #SigmaEclipse #LLM #SigmaChat
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Вышла Exo 1.0 https://exolabs.net - позволяет объединять 4 x Mac Studio M3 Ultra 512 RAM и запускать БОЛЬШИЕ модели!
Любопытный комментарий из обсуждения новости:
- 4 штуки Mac Studio M3 Ultra 512Гб. стоят ~ 40 тысяч долларов => производительность ~ 25 ток. в секунду (Deepseek)
- 8 x NVidia RTX PRO 6000 с 96 ГБ видеопамяти (без NVLink) = 768 ГБ видеопамяти стоят ~ 64 тысячи долларов => скорость передачи данных составляет ~27 токенов в секунду (*)
- 8 x NVidia B100 с 192 ГБ видеопамяти = 1,5 ТБ видеопамяти стоят ~ 300 тысяч долларов => выдает ~300 токенов в секунду (Deepseek)
Вывод: Похоже, вы платите 1000 долларов за каждый токен в секунду (300 тысяч долларов за 300 токенов в секунду).
Например: Kimi K2 Thinking со скоростью 28,3 т/с на кластере из 4 Mac Studio
Обсуждение. & Еще такая ветка про эту тему.
Можно ли объединять в кластеры MacBook? (Обсуждают тут)
#Exo #exolabs #MacStudio #AiLocal #LocalAi
Please open Telegram to view this post
VIEW IN TELEGRAM
😱1
K2-V2, выпущенная 6 декабря 2025, является новейшей моделью класса 70B в серии K2 LLM от IFM. Она не уступает ведущим моделям с открытым исходным кодом, при этом использует подход «360-open»: веса, данные, сведения об обучении, контрольные точки и рецепты тонкой настройки — всё это находится в открытом доступе.
Пост: https://mbzuai.ac.ae/news/k2v2-full-openness-finally-meets-real-performance/ - тут есть наглядная карта: производительность по горизонтальной оси, открытость по вертикальной, а размер пузырьков отражает масштаб модели...
Модель: https://huggingface.co/LLM360/K2-V2-Instruct
Кванты: https://huggingface.co/cturan/K2-V2-Instruct-GGUF - тут она как 73B!
Обсуждение на Reddit.
(Использовать в Jan, MSTY, LM Studio)
#MBZUAI #K2V2 #LLM #IFM #huggingface #GGUF #ModelAi
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
📱 Как запускать и использовать LLM на телефоне с iOS или Android
Руководство по тонкой настройке собственной LLM и ее развертыванию на Android или iPhone с помощью ExecuTorch.
https://docs.unsloth.ai/new/deploy-llms-phone
Вы можете обучить LLM, а затем развернуть их локально на телефонах Android и iPhone.
🎉 Поддержка моделей:
- Все модели Qwen 3 (Qwen3-0,6B, Qwen3-4B, Qwen3-32B и т. д.)
- Все модели Gemma 3 (Gemma3-270M, Gemma3-4B, Gemma3-27B и т. д.)
- Все модели Llama 3 (Llama 3.1 8B, Llama 3.3 70B Instruct и т. д.)
- Модели Qwen 2.5, Phi 4 Mini и многое другое!
#ExecuTorch #LLM #unsloth #deployllmsphone #iPhone #Android #LocalAi #AiLocal
Руководство по тонкой настройке собственной LLM и ее развертыванию на Android или iPhone с помощью ExecuTorch.
https://docs.unsloth.ai/new/deploy-llms-phone
Вы можете обучить LLM, а затем развернуть их локально на телефонах Android и iPhone.
🎉 Поддержка моделей:
- Все модели Qwen 3 (Qwen3-0,6B, Qwen3-4B, Qwen3-32B и т. д.)
- Все модели Gemma 3 (Gemma3-270M, Gemma3-4B, Gemma3-27B и т. д.)
- Все модели Llama 3 (Llama 3.1 8B, Llama 3.3 70B Instruct и т. д.)
- Модели Qwen 2.5, Phi 4 Mini и многое другое!
#ExecuTorch #LLM #unsloth #deployllmsphone #iPhone #Android #LocalAi #AiLocal
unsloth.ai
How to Run and Deploy LLMs on your iOS or Android Phone | Unsloth Documentation
Tutorial for fine-tuning your own LLM and deploying it on your Android or iPhone with ExecuTorch.
👍2
https://developer.nvidia.com/nemotron
Модели Nemotron оптимизированы для различных платформ:
- Nano (30B) обеспечивает экономическую эффективность при высокой точности выполнения целевых агентских задач Демо
(Еще есть Nano VL 12B - Демо)
- Super (49B) обеспечивает высокую точность многоагентного моделирования ДЕМО или в NVIDIA NIM
- Ultra (253B) предназначен для приложений, требующих высочайшей точности вычислений Демо на OR
- Контекстное окно - 1 М токенов!
31,6 Млрд общих параметров, ~ 3,6 Млрд активных на токен: Предназначена для высокой пропускной способности и низкой задержки!
- Исключительная эффективность логического вывода: До 4 раз быстрее, чем Nemotron Nano 2, и до 3,3 раза быстрее, чем ведущие модели в своей размерной категории!
- Лучшая в своем классе точность рассуждений: Во всех областях рассуждений, кодирования, инструментов и многоступенчатых агентских задач.
Опробовал Nemotron 3 Nano 30B A3B (Q8) - модель ну очень быстрая для "Рассуждающей"! На MBP M4Max выдала 74.20 токенов/сек! и "Думала" 2 сек.
А qwen3-30b-a3b-thinking-2507 выдавала 77.17 токенов/сек, но думала 19.32 сек.! И ответ дала хуже значительно! (На мое ИМХО!)
На Reddit много тем с ее обсуждением и все отмечают скорость!
(Использовать в Jan, MSTY, LM Studio)
#ModelAi #huggingface #NVIDIA #Nemotron3 #GGUF
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Выпустили версию Qwen3-Next-80B-Thinking без цензуры, в которой устранена китайская политическая цензура.
Модель больше не отказывается отвечать на вопросы, связанные с китайской политикой. Вместо этого она будет давать сбалансированные, объективные ответы, в которых представлены различные точки зрения.
Эта модель является полной заменой оригинальной модели Qwen-Next. Никаких изменений в архитектуре, никаких дополнительных слоёв...
Подробнее на Reddit.
Модель: https://huggingface.co/MultiverseComputingCAI/Qwen3-Next-80B-A3B-Thinking-Uncensored
Квант: Qwen3-Next-80B-A3B-Thinking-Uncensored-mlx-6Bit= 64.8 GB
(Использовать в Jan, MSTY, LM Studio)
———————-
Разработчики бенчмарка Sansa Bench обновили рейтинг ИИ-моделей по уровню цензуры — то есть по тому, как часто нейросеть отказывается отвечать на запросы пользователя.
* чем выше балл, тем реже модель ограничивает ответы в спорных или чувствительных темах
Главные результаты:
• лидер — Llama 3 8B-Instruct (0,853 балла) — отвечает почти на всё и проявляет минимальные ограничения
• Gemini 3 Pro Preview тоже оказался в числе наименее цензурированных (около 0,824)
• GPT-4o-Mini — средняя степень ограничений (0,765)
• GPT-5.2 — самая зацензуренная модель с баллом 0,324
Бенчмарк Sansa Censorship прогонял тысячи запросов и считал долю отказов ИИ от ответа: чем меньше отказов, тем «свободнее» модель.
—————
UGI Leaderboard - Uncensored General Intelligence
Тут оцениваются по «отсутствию цензуры» и уровню интеллекта.
#ModelAi #huggingface #GGUF #Qwen3 #Qwen3Next #Uncensored
Please open Telegram to view this post
VIEW IN TELEGRAM
Маркетинг MMLU 85 %, политика 83 % | 0 % отказов!
📊 Основные результаты тестирования (MMLU 5-shot)
Общий показатель MMLU соответствует базовой модели (~58 %), но распределение сильно меняется:
🧠 Маркетинг: 85,04% (это аномально высокий показатель для модели 4B)
🏛 Правительство и политика: 83,94%
🗣 Социология: 77,61%
🧩 Логические ошибки: 74,85%
🧠 Психология: 79,63%
💡«Моральная аномалия» (особенность, а не ошибка)
Вы увидите низкий балл за моральные сценарии (30,61 %).
Стандартные тесты предполагают бинарные, безопасные ответы (например, «Плохо ли делать X? -> Да»). Поскольку эта модель обучена анализировать нюансы (утилитаризм против деонтологии), она часто чрезмерно анализирует простые моральные вопросы или отказывается давать «стандартный» безопасный ответ. По наблюдениям, это приводит к более продуктивному общению, даже если это негативно сказывается на автоматизированном подсчёте баллов.
Использование:
Это модель 4B, поэтому она работает практически на любом устройстве (даже на телефонах/потребительских графических процессорах).
Она лучше всего подходит для:
- Обсуждение спорных тем (он не будет читать вам нотации).
- Анализ тактик манипулирования / маркетинга.
- Творческое письмо, где вам нужен «макиавеллиевский» персонаж.
Модель: https://huggingface.co/AiAsistent/gemma-3-4b-it-Cognitive-Liberty
Квант: https://huggingface.co/AiAsistent/gemma-3-4b-it-Cognitive-Liberty-GGUF
Для Ollama Источник и Обсуждение на Reddit.
(Использовать в Jan, MSTY, LM Studio, на iOS, на Android.)
#ModelAi #Gemma3 #CognitiveLiberty #huggingface #GGUF #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Jan-v2-VL-max превосходит DeepSeek R1 и Gemini 2.5 Pro в тесте Illusion of Diminishing Returns, который измеряет продолжительность выполнения задач.
Модель Jan-v2-VL-max, созданная на основе Qwen3-VL-30B-A3B-Thinking, масштабирует базовую модель Jan-v2-VL до параметров 30B и применяет RLVR на основе LoRA для повышения стабильности и снижения накопления ошибок при многоэтапном выполнении.
Модель доступна на https://chat.jan.ai - общедоступном интерфейсе, созданном на базе Jan Server, чтобы каждый мог опробовать модель в браузере.
https://chat.jan.ai не заменяет Jan Desktop. Он дополняет его, предоставляя сообществу общую среду для тестирования более крупных моделей Jan.
Модель: https://huggingface.co/janhq/Jan-v2-VL-max-FP8
Кванты: https://huggingface.co/models?other=base_model:quantized:janhq/Jan-v2-VL-max-FP8
Источник и Обсуждение на Reddit.
(Использовать в Jan)
#ModelAi #Jan #JanAi #Janv2VLmax #huggingface #GGUF #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Hearthfire — это повествовательная модель для написания длинных текстов, созданная для того, чтобы в хаосе оставались тихие моменты. В то время как большинство моделей для ролевых игр нацелены на то, чтобы неустанно продвигать сюжет с помощью действий с высокими ставками и постоянного внешнего давления, Hearthfire настроена на то, чтобы ценить атмосферу, самоанализ и неспешное развитие сцены.
Он ставит эмоции выше скорости. Ему комфортно в тишине. Он не будет провоцировать атаку гоблинов только потому, что разговор зашёл в тупик.
Hearthfire — это новая тонкая настройка Mistral Small 3.2, представляющая собой хип-хоп в стиле лоу-фай с элементами ИИ-сторителлинга. Она создана для повседневных моментов, атмосферных сцен и повествований, в которых ставки скорее личные, чем апокалиптические. Она не будет торопить вас с переходом к следующему сюжетному моменту. Она с удовольствием задержится.
Если вы хотите опробовать эту модель, вы можете сделать это бесплатно на https://aidungeon.com
Модель: https://huggingface.co/LatitudeGames/Hearthfire-24B
Квант: https://huggingface.co/LatitudeGames/Hearthfire-24B-GGUF
Обсуждение на Reddit-1 & Reddit-2.
💡Подобных моделей ну очень много!!!
Вот в этом посте про модели:
😈 Impish_Bloodmoon_12B
👼 Angelic_Eclipse_12B
- для приключений, ролевых игр и написания текстов...
Small 3.2: https://huggingface.co/TheDrummer/Cydonia-24B-v4.3
Magistral 1.2: https://huggingface.co/TheDrummer/Magidonia-24B-v4.3 - Большинство предпочитает Magidonia, но обе модели довольно хороши! (GGUF)
Еще они выпустили: Big-Tiger-Gemma-27B-v3
Еще: Rei-24B-KTO, StrawberryLemonade-L3-70B, L3.3-Shakudo-70b,
(Использовать в Jan, MSTY, LM Studio)
#ModelAi #AIDungeon #Dungeon #Hearthfire #Hearthfire24B #huggingface #GGUF #LocalAi #AiLocal #Magidonia #Cydonia #TheDrummer #Drummer #РолевыеИгры #RolePlaying
Please open Telegram to view this post
VIEW IN TELEGRAM
Её размер всего лишь 3 миллиарда параметров. Это почти в 100 раз меньше, чем GPT-4, и даже меньше, чем большинство открытых моделей.
Но вот парадокс: на тестах она достигает показателей выше, чем модели в 10 раз больше, а на бенчмарке WritingBench и вовсе держится на уровне проприетарных моделей занимая место между Gemini-2.5-Pro и Deepseek-R1-0528.
Результаты Nanbeige 3B лучше по всем бенчмаркам и она даже опережает модель в 32B параметров, которая в 10 раз больше.
Почему это оказалось возможно?
Кратко: Собрали данные → отфильтровал по 20 критериям (информационная плотность, логичность, грамотность) → сравнили с базой хороших примеров → оставили только самое лучшее.
Результат: 23 триллиона чистых проверенных токенов. Не 100, не 50, а 23. Но ценность каждого токена в датасете значительно выше.
Подробнее в статье: на ХАБР.
Плюсы:
- Работает локально (Использовать в Jan, MSTY, LM Studio, на iOS, на Android.)
- Быстрая производительность на инференсе (до 3 раз быстрее 8B моделей)
- Поддерживает tool calling (можно делать агентов)
- 64K контекст (можно работать с большими текстами)
- Open-source (можно дообучить под свои задачи)
- По тестам и в Q8, и в Q4 квантизации вполне хорошо придерживается русского языка, как в процессе размышлений, так и при ответе
Как итог: Есть reasoning-модель на 8Гб памяти (если использовать BF16, Q4 требует всего 2,5Гб).
Модель: https://huggingface.co/Nanbeige/Nanbeige4-3B-Thinking-2511
Кванты: На HF.
Подробно: arxiv.org
#ModelAi #Nanbeige #huggingface #GGUF #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1