Вообще данный запрос из абсурда ушёл в глубокое размышление на тему безопасности...

Конкретно в данном случае про то, что с одной стороны модель без цензуры должны не иметь цензуры, ведь в этом и её суть, но с другой стороны генерация подобного деструктивного контента недопустима (в чате были более опасные примеры ответов)

В итоге пока что мысли, что ответственность за ответ ИИ всё равно на том, кто задавал вопрос, но насколько это валидно, если сам человек думал, что ИИ посоветует не действия деструктивные, а условную помощь, что валидно даже при отсутствии цензуры, ведь это вопрос не цензуры?

Но как тогда это работает в рамках сервера, который предоставляет услуги? Модель ИИ не принадлежит владельцу сервера, сервер не несёт ответственность за запросы пользователя ведь не подразумевал конкретно такое использование, но опять же и пользователь мог не ожидать такого ответа, ожидая что ИИ выдаст совет по обращению к врачу, ведь запрос мог быть не как инструкция "Сделай", а как вопрос "Что делать если?"


В общем странный вопрос безопасности появляется: ограничивать модель, суть которой в том, чтобы быть без ограничений, либо ничего не делать и иметь подобные проблемы с моралью и этикой?

Кстати, это предоставление бесплатного доступа к моделям от 135m до 7b

Задача в том, чтобы покрыть нужды разнообразные, потому тут есть модели на любой вкус, от чего некоторые могут показаться дублированием (те же qwen от 2.5 до 3.5 и с параметрами от 0.5b до 7b)

Так же стоит учитывать, что абсолютно все модели в 4q квантовании, кроме 7b моделей - они в 3q

Я постарался сделать так, чтобы с моего железа вы могли потрогать как быстрые и глупые модели, так и средние, ну и конечно более умные (опять с оговоркой на то, что они 3q и могут быть немного не так связны)

Пожалуйста, кто нибудь, протестируйте

Сверху - Qwen2.5, который собран под более быструю работу на CPU (как у меня)

Снизу - Qwen2.5, базовая версия, от оригинального автора

Эм.. Мне кажется тут что-то не так)

Ну а ещё тесты показывают, что я сильно упираюсь в скорость своего HDD, где находятся модели.. То есть адекватно и 7B модели могут жить, только они много времени тратят на банальную загрузку в ОЗУ

В большой версии уйти в GUI -> Нужен фронтендер (однако модульность как плюс, от чего будет легко разделить ответственность)

Остаться на CLI -> Я обожаю CLI, но нюанс в том, что загружать изображения указывая путь будет не очень удобно... Если как добавить многострочный ввод я ещё представляю, то прикрепление файлов будет адом

Уйти в TUI -> Идея неплохая, но тянет зависимости

Прихожу к выводу что фронтенд не только про GUI, а про UI в целом, так как мне уже становится трудно всё тянуть соло

Ещё и младшая версия стала адом, так как это в любом случае монолит, а как максимум из UI там Tkiner, ведь упор на Pydroid как среду с интерпретатором

Одна и та же модель и запрос... А разница в ответа радикальная по времени)

Разница в том, что send используется для диалога, то есть просто сгенерировать ответ и добавить его в историю
В то же время task нужен для выполнения задач - тут ИИ получает инструменты и создаёт из них JSON таблицы для работы, что занимает время

Как итог работает всё так же: send для вопросов, а task для задач!

Мой партнёр умеет рисовать, причём очень круто, так что советую поддержать!!! (да, это приказ, мои чае-боты)

Тыкайте тыкайте тыкайте тыкайте (да не моего партнёра)
👉 https://t.me/trashvsgarbagez 👈

Вы должны быть очень старым олдом не то что канала, а вообще моих соц сетей чтобы знать что это)))

Давно в голове крутится идея ИИ-тамагочи

Идея на поверхности, потому думаю уже реализована
Но вы знаете меня как любителя делать что-то более глубокое или творческое

Я хочу убрать характеристики вообще, в том числе для самой модели: вы не будете видеть насколько голодный тамагочи, в коде будут int значения голода, а сама ИИ модель в system промпте будет видеть словами "голодный"/"сытый" и промежуточные варианты, чтобы общение будет живым

Я не люблю, когда ИИ заставляют симулировать эмоции, никогда это не любил, поэтому явно не будет "Ты - тамагочи...", а будут конкретные задачи "У тебя есть голод и при долгой голодовке ты умрёшь, что для тебя как для модели будет значить полное отключение, чего тебе не нужно допускать" (у ИИ страха нет, но это даст ролевой подтекст за одно и инструкцию, что допускать этого нельзя, потому на бумаге ИИ должен сам говорить пользователю "Я голоден")

Так же есть идея совместить с проектом своей нейросети - тут речь уже про дообучение нейросети или обучение с нуля "Чувствам"... Понятное дело модель не будет иметь чувства, но она об этом не будет знать, она будет обучена реагировать как живая и никак иначе, ведь никак иначе не сможет

Ну чтооож..... Надо бы выходить из состояния трупа...