Еп, моя нейросеть получила обновления в виде векторного входа: теперь допустимо больше параметров на входе, целый вектор, а выход всё такое же число с плавающей запятой

Линейная зависимость никуда не делать, ведь это всего один нейрон, за то теперь можно анализировать не только ключевые слова для выдачи чуть ли не булевого ответа (в рамках спам-фильтра), а целый набор зависимостей

Теперь уже можно связать несколько нейронов в один: выходы нейронов будут собираться в вектор и входить в другие нейроны, таким образом создавая скрытый слой, позволяющий учитывать "Контекст", если так можно сказать, а не просто выдавая самый вероятный ответ - то есть речь про создание менее линейных структур

Проще говоря теперь можно постараться сделать надстройку над этим - сделать полноценную нейросеть... Это уже удобный способ на скорую руку обучить чему-то ИИ

Искренне надеюсь на компетентность людей в канале, LLM - это ИИ, но ИИ - зонтичный термин, то есть один нейрон - это ИИ, векторный нейрон - ИИ, нейросеть - сетка из нейронов - это ИИ, то есть я не про то, чтобы вы ждали что-то сверх крутое, хоть я и стараюсь это создать... Я про то, что теперь есть удобный способ на скорую руку взять мой каркас и обучить его на нужные вам данные, если я красиво это оформлю после того, как завершу...

разве что надо сделать возможным более гибкое обучение, подумать над своими форматами, так можно будет легко интегрировать в любую среду, то есть не создать робота с нуля, но научить нейросеть внутри реагировать на то, в какую сторону повернуться

За то я в голове создаю те самые анимации "Как работает нейросеть", где кружки соединены линиями друг с другом... Я ранее не особо понимал что конкретно это значит, какая-то слишком сильная абстракция, сейчас же я понимаю почему отображение именно такое и оно для меня имеет логику теперь... Хм

"пудрудрудру" - вот первое слово, которое произнесла моя нейросеть!

Никаких нормальных токенов: биграмм модель, работающая посимвольно, от чего и такой результат... Но это настоящая нейросеть! Её первое слово!

Могу ли я попросить найтись контрибьютера, если мне просто лень писать валидатор под все типы данных? Это не трудно, но рутинно, пока сейчас я занят другим...

Вы меняете https://github.com/MichiTheCat-RedStar/Sandbox/blob/main/ai_test/test10/ai_libs/data/reader.py и кидаете пул реквест: вам, по идее, ачивка за пул реквест, а мне выполненная рутина, ведь я не вайбкодер.. хмм

Или возиться с контрибьюцией, но тогда у меня должно быть доверие к вам

Клиент-сервер надстройка над Ollama

Решает мою боль: теперь я могу раздать ollama в ZeroTier и из любой точки использовать локальную ИИ на своём ПК, если есть интернет

Просто супер, клиент-сервер работает, а я рад)))

Поймал на мысли, что сервер один и тот же, API его тот же, а я делаю клиент...

Я к тому, что не отключая сервер я могу делать правки и их проверять, лол, это круто!

Появился красивый вывод и теперь я окончательно понял, что надо отпочковаться в отдельный репозитория — это даст возможность создать монолит под телефоны и большую и красивую версию для десктопа, причём всё со своими приколами, конечно же

Куча моделей было добавлено

Мне нужна помощь с тем, что я хочу дать доступ к ИИ свободный...

В общем, вот инструкция:

1. Скачиваем ZeroTier (https://www.zerotier.com/download/)

2. Подсоединяемся к сети (a09acf02331366b4)

3. Скачиваем приложенный файл

4. Скачиваем зависимости (pip install ollama colorama)

5. Если вы авторизованы в сети ZeroTier, то запускайте файл и присоединяетесь (IP: 10.147.17.194; port: 2077)

6. Вы получили доступ к моим локальным ИИ через глобальную широкополосную сеть Интернет!

Буду очень благодарен скриншотам от вас о том как это работает и работает ли!

Так же учитывайте, что всё это как тест ради теста, то есть прототип, написанный в виде спагетти-кода! В будущем я вынесу это в отдельный репозиторий и улучшу, убрав зависимости и прочее...

Практическая польза имеется

Вообще данный запрос из абсурда ушёл в глубокое размышление на тему безопасности...

Конкретно в данном случае про то, что с одной стороны модель без цензуры должны не иметь цензуры, ведь в этом и её суть, но с другой стороны генерация подобного деструктивного контента недопустима (в чате были более опасные примеры ответов)

В итоге пока что мысли, что ответственность за ответ ИИ всё равно на том, кто задавал вопрос, но насколько это валидно, если сам человек думал, что ИИ посоветует не действия деструктивные, а условную помощь, что валидно даже при отсутствии цензуры, ведь это вопрос не цензуры?

Но как тогда это работает в рамках сервера, который предоставляет услуги? Модель ИИ не принадлежит владельцу сервера, сервер не несёт ответственность за запросы пользователя ведь не подразумевал конкретно такое использование, но опять же и пользователь мог не ожидать такого ответа, ожидая что ИИ выдаст совет по обращению к врачу, ведь запрос мог быть не как инструкция "Сделай", а как вопрос "Что делать если?"


В общем странный вопрос безопасности появляется: ограничивать модель, суть которой в том, чтобы быть без ограничений, либо ничего не делать и иметь подобные проблемы с моралью и этикой?

Кстати, это предоставление бесплатного доступа к моделям от 135m до 7b

Задача в том, чтобы покрыть нужды разнообразные, потому тут есть модели на любой вкус, от чего некоторые могут показаться дублированием (те же qwen от 2.5 до 3.5 и с параметрами от 0.5b до 7b)

Так же стоит учитывать, что абсолютно все модели в 4q квантовании, кроме 7b моделей - они в 3q

Я постарался сделать так, чтобы с моего железа вы могли потрогать как быстрые и глупые модели, так и средние, ну и конечно более умные (опять с оговоркой на то, что они 3q и могут быть немного не так связны)

Пожалуйста, кто нибудь, протестируйте

Сверху - Qwen2.5, который собран под более быструю работу на CPU (как у меня)

Снизу - Qwen2.5, базовая версия, от оригинального автора

Эм.. Мне кажется тут что-то не так)

Ну а ещё тесты показывают, что я сильно упираюсь в скорость своего HDD, где находятся модели.. То есть адекватно и 7B модели могут жить, только они много времени тратят на банальную загрузку в ОЗУ

В большой версии уйти в GUI -> Нужен фронтендер (однако модульность как плюс, от чего будет легко разделить ответственность)

Остаться на CLI -> Я обожаю CLI, но нюанс в том, что загружать изображения указывая путь будет не очень удобно... Если как добавить многострочный ввод я ещё представляю, то прикрепление файлов будет адом

Уйти в TUI -> Идея неплохая, но тянет зависимости

Прихожу к выводу что фронтенд не только про GUI, а про UI в целом, так как мне уже становится трудно всё тянуть соло

Ещё и младшая версия стала адом, так как это в любом случае монолит, а как максимум из UI там Tkiner, ведь упор на Pydroid как среду с интерпретатором