Могу ли я попросить найтись контрибьютера, если мне просто лень писать валидатор под все типы данных? Это не трудно, но рутинно, пока сейчас я занят другим...

Вы меняете https://github.com/MichiTheCat-RedStar/Sandbox/blob/main/ai_test/test10/ai_libs/data/reader.py и кидаете пул реквест: вам, по идее, ачивка за пул реквест, а мне выполненная рутина, ведь я не вайбкодер.. хмм

Или возиться с контрибьюцией, но тогда у меня должно быть доверие к вам

Клиент-сервер надстройка над Ollama

Решает мою боль: теперь я могу раздать ollama в ZeroTier и из любой точки использовать локальную ИИ на своём ПК, если есть интернет

Просто супер, клиент-сервер работает, а я рад)))

Поймал на мысли, что сервер один и тот же, API его тот же, а я делаю клиент...

Я к тому, что не отключая сервер я могу делать правки и их проверять, лол, это круто!

Появился красивый вывод и теперь я окончательно понял, что надо отпочковаться в отдельный репозитория — это даст возможность создать монолит под телефоны и большую и красивую версию для десктопа, причём всё со своими приколами, конечно же

Куча моделей было добавлено

Мне нужна помощь с тем, что я хочу дать доступ к ИИ свободный...

В общем, вот инструкция:

1. Скачиваем ZeroTier (https://www.zerotier.com/download/)

2. Подсоединяемся к сети (a09acf02331366b4)

3. Скачиваем приложенный файл

4. Скачиваем зависимости (pip install ollama colorama)

5. Если вы авторизованы в сети ZeroTier, то запускайте файл и присоединяетесь (IP: 10.147.17.194; port: 2077)

6. Вы получили доступ к моим локальным ИИ через глобальную широкополосную сеть Интернет!

Буду очень благодарен скриншотам от вас о том как это работает и работает ли!

Так же учитывайте, что всё это как тест ради теста, то есть прототип, написанный в виде спагетти-кода! В будущем я вынесу это в отдельный репозиторий и улучшу, убрав зависимости и прочее...

Практическая польза имеется

Вообще данный запрос из абсурда ушёл в глубокое размышление на тему безопасности...

Конкретно в данном случае про то, что с одной стороны модель без цензуры должны не иметь цензуры, ведь в этом и её суть, но с другой стороны генерация подобного деструктивного контента недопустима (в чате были более опасные примеры ответов)

В итоге пока что мысли, что ответственность за ответ ИИ всё равно на том, кто задавал вопрос, но насколько это валидно, если сам человек думал, что ИИ посоветует не действия деструктивные, а условную помощь, что валидно даже при отсутствии цензуры, ведь это вопрос не цензуры?

Но как тогда это работает в рамках сервера, который предоставляет услуги? Модель ИИ не принадлежит владельцу сервера, сервер не несёт ответственность за запросы пользователя ведь не подразумевал конкретно такое использование, но опять же и пользователь мог не ожидать такого ответа, ожидая что ИИ выдаст совет по обращению к врачу, ведь запрос мог быть не как инструкция "Сделай", а как вопрос "Что делать если?"


В общем странный вопрос безопасности появляется: ограничивать модель, суть которой в том, чтобы быть без ограничений, либо ничего не делать и иметь подобные проблемы с моралью и этикой?

Кстати, это предоставление бесплатного доступа к моделям от 135m до 7b

Задача в том, чтобы покрыть нужды разнообразные, потому тут есть модели на любой вкус, от чего некоторые могут показаться дублированием (те же qwen от 2.5 до 3.5 и с параметрами от 0.5b до 7b)

Так же стоит учитывать, что абсолютно все модели в 4q квантовании, кроме 7b моделей - они в 3q

Я постарался сделать так, чтобы с моего железа вы могли потрогать как быстрые и глупые модели, так и средние, ну и конечно более умные (опять с оговоркой на то, что они 3q и могут быть немного не так связны)

Пожалуйста, кто нибудь, протестируйте

Сверху - Qwen2.5, который собран под более быструю работу на CPU (как у меня)

Снизу - Qwen2.5, базовая версия, от оригинального автора

Эм.. Мне кажется тут что-то не так)

Ну а ещё тесты показывают, что я сильно упираюсь в скорость своего HDD, где находятся модели.. То есть адекватно и 7B модели могут жить, только они много времени тратят на банальную загрузку в ОЗУ

В большой версии уйти в GUI -> Нужен фронтендер (однако модульность как плюс, от чего будет легко разделить ответственность)

Остаться на CLI -> Я обожаю CLI, но нюанс в том, что загружать изображения указывая путь будет не очень удобно... Если как добавить многострочный ввод я ещё представляю, то прикрепление файлов будет адом

Уйти в TUI -> Идея неплохая, но тянет зависимости

Прихожу к выводу что фронтенд не только про GUI, а про UI в целом, так как мне уже становится трудно всё тянуть соло

Ещё и младшая версия стала адом, так как это в любом случае монолит, а как максимум из UI там Tkiner, ведь упор на Pydroid как среду с интерпретатором

Одна и та же модель и запрос... А разница в ответа радикальная по времени)

Разница в том, что send используется для диалога, то есть просто сгенерировать ответ и добавить его в историю
В то же время task нужен для выполнения задач - тут ИИ получает инструменты и создаёт из них JSON таблицы для работы, что занимает время

Как итог работает всё так же: send для вопросов, а task для задач!