Кстати, это предоставление бесплатного доступа к моделям от 135m до 7b

Задача в том, чтобы покрыть нужды разнообразные, потому тут есть модели на любой вкус, от чего некоторые могут показаться дублированием (те же qwen от 2.5 до 3.5 и с параметрами от 0.5b до 7b)

Так же стоит учитывать, что абсолютно все модели в 4q квантовании, кроме 7b моделей - они в 3q

Я постарался сделать так, чтобы с моего железа вы могли потрогать как быстрые и глупые модели, так и средние, ну и конечно более умные (опять с оговоркой на то, что они 3q и могут быть немного не так связны)

Пожалуйста, кто нибудь, протестируйте

Сверху - Qwen2.5, который собран под более быструю работу на CPU (как у меня)

Снизу - Qwen2.5, базовая версия, от оригинального автора

Эм.. Мне кажется тут что-то не так)

Ну а ещё тесты показывают, что я сильно упираюсь в скорость своего HDD, где находятся модели.. То есть адекватно и 7B модели могут жить, только они много времени тратят на банальную загрузку в ОЗУ

В большой версии уйти в GUI -> Нужен фронтендер (однако модульность как плюс, от чего будет легко разделить ответственность)

Остаться на CLI -> Я обожаю CLI, но нюанс в том, что загружать изображения указывая путь будет не очень удобно... Если как добавить многострочный ввод я ещё представляю, то прикрепление файлов будет адом

Уйти в TUI -> Идея неплохая, но тянет зависимости

Прихожу к выводу что фронтенд не только про GUI, а про UI в целом, так как мне уже становится трудно всё тянуть соло

Ещё и младшая версия стала адом, так как это в любом случае монолит, а как максимум из UI там Tkiner, ведь упор на Pydroid как среду с интерпретатором

Одна и та же модель и запрос... А разница в ответа радикальная по времени)

Разница в том, что send используется для диалога, то есть просто сгенерировать ответ и добавить его в историю
В то же время task нужен для выполнения задач - тут ИИ получает инструменты и создаёт из них JSON таблицы для работы, что занимает время

Как итог работает всё так же: send для вопросов, а task для задач!

Мой партнёр умеет рисовать, причём очень круто, так что советую поддержать!!! (да, это приказ, мои чае-боты)

Тыкайте тыкайте тыкайте тыкайте (да не моего партнёра)
👉 https://t.me/trashvsgarbagez 👈

Вы должны быть очень старым олдом не то что канала, а вообще моих соц сетей чтобы знать что это)))

Давно в голове крутится идея ИИ-тамагочи

Идея на поверхности, потому думаю уже реализована
Но вы знаете меня как любителя делать что-то более глубокое или творческое

Я хочу убрать характеристики вообще, в том числе для самой модели: вы не будете видеть насколько голодный тамагочи, в коде будут int значения голода, а сама ИИ модель в system промпте будет видеть словами "голодный"/"сытый" и промежуточные варианты, чтобы общение будет живым

Я не люблю, когда ИИ заставляют симулировать эмоции, никогда это не любил, поэтому явно не будет "Ты - тамагочи...", а будут конкретные задачи "У тебя есть голод и при долгой голодовке ты умрёшь, что для тебя как для модели будет значить полное отключение, чего тебе не нужно допускать" (у ИИ страха нет, но это даст ролевой подтекст за одно и инструкцию, что допускать этого нельзя, потому на бумаге ИИ должен сам говорить пользователю "Я голоден")

Так же есть идея совместить с проектом своей нейросети - тут речь уже про дообучение нейросети или обучение с нуля "Чувствам"... Понятное дело модель не будет иметь чувства, но она об этом не будет знать, она будет обучена реагировать как живая и никак иначе, ведь никак иначе не сможет

Ну чтооож..... Надо бы выходить из состояния трупа...