📖 Статья "почему LLM отказывается выполнять запросы"

Недавно писали про модели без цензуры и похожие версии Qwen и Gemma. Но как вообще создают такие «анархичные» модели? Что в них меняют, чтобы вместо «извините, я не могу...», всё же получить ответ?

Иногда для этого даже не требуется дообучение, отказы можно сильно ослабить точечной правкой весов.

Когда LLM обучают быть помощником, ей показывают в том числе примеры отказов и поощряют безопасные ответы. Это поведение закрепляется в весах: на определённые запросы модель привыкает отвечать «не могу помочь».

Её можно переучить на примерах прямых ответов. Или изначально обучать базовую модель диалогу на данных без отказов.

Но есть и более любопытный способ, который получил название abliteration.

Работает этот способ следующим образом:

1. Сначала сравнивают внутренние состояния модели на обычных запросах и запросах, вызывающих отказ

2. Затем находят направление, связанное с этим поведением, и правят веса так, чтобы подавить его влияние

3. После этого модель отказывается заметно реже, хотя заново её никто не обучал

Но отказ может исходить не только от самой модели. Ограничения могут быть в разных частях харнесса: системный промпт запрещает определённые действия, входной фильтр блокирует подозрительный запрос, проверка прав не даёт агенту вызвать инструмент, а выходной фильтр скрывает уже готовый ответ. Даже если сама модель готова помочь, её может остановить любой из этих механизмов.

Поэтому за припиской #Uncensored могут стоять разные методы и их комбинации.
Откуда берутся отказы, пять способов снять ограничения и примеры «безотказных» моделей — в новой статье на Хабре.
💡 Все подобные модели смотрите по тегу #БезЦензуры в этом канале!

💬 MindMac — нативный ИИ клиент на Swift с глобальной палеткой команд, поддержкой локальных бэкендов (Ollama, LM Studio) и шаблонов промптов.

Чем заслуживает внимания:
Идеальная альтернатива BoltAI. Подключается напрямую к Ollama, LM Studio, llama.cpp или облачным API. Имеет встроенную панель быстрых команд (inline-ассистент в любом текстовом поле системы), глубокую работу с контекстом, шаблонами промптов и локальными векторными базами без отправки данных в сеть.

🔗 https://mindmac.app
#mindmac #MacOS #LocalAi #AiLocal

💬 Elephas — локальный ассистент с функцией Super Brain, индексирующий личные заметки, файлы и документы на диске.

Ваши клиентские файлы, контракты и заметки индексируются на вашем Mac. Всегда. Elephas редактирует 28 типов конфиденциальных данных, прежде чем они попадут в облачную модель, а в автономном режиме все данные хранятся локально. Вы сами выбираете, где будет работать ИИ.
Нативный персональный «второй мозг» для Mac.
Чем заслуживает внимания:
Умеет индексировать локальные папки, файлы PDF, заметки в Apple Notes, базы данных Notion и подключаться к локальным моделям (через Ollama). Глубоко интегрируется в систему: может работать прямо внутри Apple Mail, Keynote, Pages или Word через плавающее меню «Super Brain».

🔗 https://elephas.app
Для iOS https://apps.apple.com/us/app/elephas-secure-ai-for-files/id6444680023
#Elephas #MacOS #iPhone #iPad #LocalAi #AiLocal

💬 FreeChat - Чат-приложение с ИИ на основе llama.cpp для macOS

Общайтесь с большими языковыми моделями на своем Mac без установки дополнительного программного обеспечения. Каждый разговор сохраняется локально, все разговоры ведутся в автономном режиме.

Чем заслуживает внимания:
Для тех, кому не нужны сложные интерфейсы и оркестрация агентов, а требуется легковесное окно чата, моментально стартующее и работающее с форматом GGUF напрямую.

Настройте внешний вид и возможности, изменив системное приглашение
Попробуйте любую модель, совместимую с llama.cpp
Не требуется подключение к интернету, все локально (с возможностью подключения к удаленной модели)

Главная цель FreeChat — сделать открытые, локальные и приватные модели доступными для большего числа людей.

FreeChat — это нативное приложение с языковой моделью для macOS, которое работает полностью локально.Скачайте его и задайте вопрос своей языковой модели без какой-либо настройки.Локальная версия чата OpenAI без авторизации и отслеживания.Вы можете установить его из Mac App Store и сразу же начать пользоваться.

- Никакой настройки. Удобно для тех, кто не слышал о моделях, подсказках и больших языковых моделях.
- Производительность и простота важнее опыта разработки или функций. Заметки — это не Word, Swift — не Elektron.
- Сначала локально. Для основных функций не требуется подключение к интернету.
- Никакого отслеживания переписки. Обсуждайте в FreeChat все, что хотите, как в заметках.
- Открытый исходный код. Какой смысл запускать локальный ИИ, если вы не можете проверить, действительно ли он работает локально?

🔗 https://www.freechat.run
⬇️ https://apps.apple.com/us/app/freechat/id6458534902?mt=12
🔗 https://github.com/psugihara/FreeChat
#FreeChat #llamacpp #MacOS #LocalAi #AiLocal

🦙 Ollamac Pro - Собственное приложение Ollama для Mac.

Единственное приложение Ollama, которое вам когда-либо понадобится на Mac. Общайтесь с локальными языковыми моделями, работайте с документами, изображениями, проектами и инструментами MCP в удобном рабочем пространстве macOS.

Ollamac — простой открытый нативный SwiftUI-клиент именно под Ollama, минималистичная альтернатива Enchanted. Поддерживает чаты, документы и MCP-инструменты в элегантном интерфейсе!
На вашем Mac должна быть установлена Ollama, и убедитесь, что у вас есть хотя бы одна модель Ollama.

🔗 https://ollamac.com
🔗 https://github.com/kevinhermawan/Ollamac
⬇️ Скачать: Ollamac-3.0.3.dmg
#OllamacPro #Ollama #MacOS #MCP #LocalAi #AiLocal