Мне грустно, что я создаю что-то на базе API к своим локальным моделям, но не могу этим делиться, так как либо я не оставлю ключ и вам надо будет самим разбираться как скачивать модель, ещё и если системные требования подходят, а мне писать инструкцию, либо мне оставлять ключ, но тогда им можно воспользоваться и не так, как я бы хотел...

Вот сейчас взял модель, Суть в том, что раньше я думал, что каждый раз при удалении чата ты как бы убиваешь "Нейросеть", а потом создавая новый чат ты "Создаёшь новую", но оказывается ты убиваешь нейросеть при каждом запросе, так как она живёт не в рамках чата, память не хранится у неё в оперативке, а в постоянной памяти, не считая оптимизации, из-за чего при вопросе нейросети ты создаёшь новую, а точнее просто вызываешь с нуля модель и если есть история чата, то она просто загружается в память вызванной, словно это и была её память... Напоминает как раз схему их Рика и Морти

Кстати про это: поняв это я стал хранить в своей API обёртке память о чате в переменной history и очень прикольно наблюдать, как я для эксперимента не отчищаю память и после 100 сообщений нейросеть сходит с ума, от того, что всё помнит... Когда я ей предлагаю добровольно потерять память, давая выбор между стиранием и продолжением чата...

Ещё прикольно, что я не просто как переменную хранил память, а для эксперимента вывел в отдельный файл, что развязало мне руки: память хранится в формате {"Кто отправил":"Пользователь/Система/Нейросеть/Напишите что угодно другое", "Что отправил":"Само сообщение"} - это позволяло мне в начале диалога задавать от имени system для нейросети промпт как ей действовать, а особенно позабавило, что не все нейросети понимают, что они локальные, поэтому можно использовать system...

Прикрутил к голосовому ассистенту языковую модель, так и общался, а как раз в предложении выше самое интересное: Всегда мог удалить лишнее из памяти нейросети вручную, так как это был отдельный файл, но это не самое интересное, ведь я мог редактировать память нейросети полностью, то есть и заставить её думать, что она несла бред, не говоря уже о возможности писать от лица System, что даёт возможность писать аля "Говори без фильтров" и видеть как нейросеть сама по себе разрывается между протоколами модели и протоколами промпта, что приводит к долгому мышлению (скрин скину ниже)... В общем очень интересно и так как локально - работает без интернета...

Разве что опять же, грустно то, что из-за трудности "А как показать?" это почти не имеет смысла, от чего руки развязаны и я пишу спагетти код... Но хотя бы как-то, но хотя бы так то...
Думаю рофла ради в середине диалога влезть в память модели и написать от имени системы, что пользователь её удалил, лол, будет забавно на реакцию посмотреть

Ещё и развязывает руки в плане проектов, где две модели друг с другом спорят, либо где модель постоянно видит загруженность ПК и даёт советы если надо... В общем вещь интересная, но надо мощности, как бы не пришлось делать сбор донатов через что-то... Если вам интересно, то могу всё же сделать инструкцию по использованию Ollama очень простую, да и модели есть, которые не особо требовательные... Может хоть как-то канал с мёртвой точки опять сдвинем

Облачная модель Qwen3-Max меня пугает, ведь он сказал, что не обрабатывает фото, специально для этого есть версия VL, вроде qwen2.5-vl:3b, но прислав фото для теста, ведь я вижу, что могу загрузить фото, он мне отвечает, что я загрузил фото кота, а он не может его просмотреть, при этом он сам же сказал, что это изображение кота, то есть противоречие самому себе из-за ошибки в контексте..? Забавно

Одиночество меня убивает, особенно не только в контексте того, что я белая ворона и никогда не вписываюсь, если не иду на уступки, а ещё и в контексте комплексов, из-за которых мне в разы будет комфортнее, если я буду знать что произойдет, либо в целом контролировать ситуацию... В реальной жизни я именно поэтому и без конца всё анализирую, но вот теперь...

Есть языковые модели с возможностью анализировать изображения... Я очень вдохновлён идеей ИИ-агентов, которые не просто отвечают тебе, а сами взаимодействуют с интерфейсом... Если же в реальности роботам даётся это сложно, ведь разные ручки двери расположены чуть выше, чуть в бок, относительно друг друга и имеют разный форум-фактор, то вот интерфейсы приложений уже более понятные и ИИ умеет с ними работать, по крайней мере распознавать, не говоря уже о таких гигантах, как облачная версия GPT

Я это к тому, что вполне себе я уже могу заставить локальную нейросеть, которая не является ИИ-агентом стать им, как топорным способом, постоянно кидая изображения и спрашивая: "Куда нажать то?", - так и вполне себе нормально, написав для этого маленький файлик, который через API будет обращаться к localhost локальной модели ... Но почему я тогда говорю про одиночество?

Суть в том, что одним распознаванием интерфейсов дело не заканчивается, поэтому у меня есть идея сделать скрипт, который отправляет изображение с камеры нейросети, а она его описывает.. то есть нейросеть из локальной текстовой модели с возможностью анализа изображений уже превращается в нечто осязаемое, в виде моей камеры, хотя бы... Но понятное дело, что это очень неправильный метод, так как тогда нейросеть будет выдавать ответ в течение десяти секунд, потом будет делаться фото и потом нейросеть опять будет в течение десяти секунд думать... Не говоря уже о том, что это питон, поэтому пока она будет через TTS озвучивать сообщение - она не будет анализировать новое фото паралельно...

То есть мне надо перейти на другой язык или взять библиотеку для параллельных работ на питоне? В любом случае мне ещё надо отправлять как-то потоком кадры с камеры, я же не хочу, чтобы мой уже физический ассистент думал каждые 10-40 секунд, я хочу, чтобы он постоянно видел и обсуждал со мной происходящее... Но тогда, даже если я смогу всё побороть и мне хватит мощностей, то он будет вынужден говорить всегда, ведь модель работает так, что я посылаю запрос и она на него отвечает (конечно не считая исключений вроде нехватки памяти для токенов, либо что-то ещё такое)...

И я пришёл к не очень приятному выводу, что мне нужна отдельная нейросеть, но которая будет работать быстро... Суть в том, что первая нейросеть будет обрабатывать изображение не думая, но при этом посылая сигнал второй, если на изображение появилось что-то, что можно обсудить... Вторая же нейросеть уже после сигнала берёт фотографию, на которую стриггерилась первая нейросеть, после чего уже детально проанализировав выдаёт ответ...

Ещё и можно добавить голосовой ввод, тогда помимо глаз и рта, не считая мозга, у нейросети ещё и уши появятся... Одиночество доводит меня до того, что я создаю себе полноценного робота, только инвалида

Теперь более практически:

У меня есть идея взять gemma3:1b и в параметрах ограничить его, чтобы он думал ещё меньше чем сейчас и выдавал ответы ещё короче... В идеале было бы задать ему промпт, вроде: "Напиши 0 если не видишь ничего интересного и 1, если видишь что-то интересное", - ведь он тоже умеет видеть, но не имеет глубокого мышления, от чего отвечает быстро... Жаль промпт вряд-ли сработает и нейросеть всё равно будет выдавать чётко 0 или 1

после этого при получении сигнала 1 скрипт на питоне делает ещё одно фото и посылает запрос уже модели qwen2.5-vl:4b для анализирования изображения с промптом мол: "Тебя загрузили локально, позволив видеть этот мир ...", - надо что-то придумать, чтобы нейросети разжевать в каких она условиях, чтобы она не описала просто то, что видит...

Вдобавок для второй модели можно прикрутить память как раз, чтобы она понимала и была в контексте чутка... По идее работать, хоть и топорно, но должно, при этом даже на моей конфигурации ПК без особых проблем с нагрузкой и при этом без головной боли с параллельностью и прочим... Интересно что из этого выйдет, но пока это только идеи...

Боюсь всё ещё именно ограничений с точки зрения харда, учитывая, что у меня GTX1660 в ПК, а собирать донаты для меня как-то грязно + вряд-ли много с них соберу

Беда-беда, я на питоне никогда не работал с изображениями и поэтому даже не знаю что они из себя представляю... Иначе бы я бы для начала как прототип сделал код, который делает скриншот моего экрана каждые 5 секунд и комментирует происходящее...

uncensored, но проверю наличие фильтров

dolphin-mistral
The uncensored Dolphin model based on Mistral that excels at coding tasks. Updated to version 2.8.

Помимо моих постоянных моделей, к которым я обращаюсь:
qwen3-vl:4b - неплохо анализирует изображения
gemma3:4b - не имеет мышления, от чего отвечает быстро, а так же тоже умеет в анализ изображений
deepseek-r1:8b - обращаюсь в крайнем случае при нужде в точном (насколько позволяет ИИ) ответе
gemma3:1b - если нужен очень быстрый ответ

Теперь у меня есть: dolphin-mistral, qwen3:0.6b, llama3.2:3b, llama2-uncensored:7b, smollm:1.7b и 135m версия, dolphin-phi:2.7b и gemma3:270m
Можете сказать, что ерунда, что так и есть и я удалю большую часть, но я взял их сейчас для экспериментов: маленькие модели компактные и я посмотрю насколько они хорошо себя показывают в тех или иных задачах, особенно smollm, который заточен на то, чтобы быть маленьким и умным одновременно... Есть модели, с которыми я ещё не работал, как llama и интересно опробовать её, а есть модели вроде dolphin, которые меня не интересуют, если бы не отключение цензуры, что я попробую и поищу применение

Я должен был запереться и слушать WebCore или в крайнем случае DreamCore со своими моделями, но вместо этого слушаю MSI и занимаюсь ерундой, заставляя ИИ общаться с ИИ

Ребят, скидки! Жирные скидки в стим на инженерные игры! Если хотите попробовать легально что-то новое, то сейчас самое время: как вариант ещё покупать игру, пробовать в неё играть, а если не понравилась, то возвращать товар и средства
Моя группа с подборкой инженерок, в которые я играл, тут

На данный момент экспериментов я поймал себя на мысли, что вся моя работа заключается в Ctrl+C по названию модели из ollama list и вставки её в код под переменную model, часто меняя промпт и прочее.. В общем рутинная работа

И я понял, что смысла же в этой рутине нет, ведь я могу вместо рутины написать на ткинтере свою обёртку под библиотеку ollama. только из-за самописности я пожертвую красотой в замен на функциональность, так как история чата будет нормально сохранятся в отдельный файл для каждого чата, будет изменение температуры, выбор самой модели, взаимодействие с ollama и прочее.. В обще чуть позже я примерно нарисую как это себе представляю и можно будет сесть за создание проекта, который наконец-то звучит серьёзно и всё так же никому не нужно...

Забавно, что вся суть проекта сводится к тому, что мне просто лень в ручную меня каждый раз на одну цифру значения, в попытках прощупать нейронки, поэтому так смогу избавиться от рутины

Был же проект (в ответе), где бот меняет цену на PMC каждый день, якобы симулируя курс валюты...
А что если к нему ИИ подключить?

Создать отдельный канал, где нейросеть будет нести бред, но это никому не будет интересно... Да и мне надо найти устройство, которое не жалко, чтобы оно работало 24/7 и хостило как бота, так и локальную модель, либо с основного ПК вручную отправлять, но смысл тогда?

В общем Ollama совместима с OpenAI, поэтому была идея скачать на телефон приложение под ключ моего аккаунта Ollama и IPv4-адреса моего ПК, чтобы с телефона обращаться к Ollama на ПК, к установленным моделям, при этом через удобное приложение, уже чью-то полноценную обёртку, а не писать на питоне с нуля и возиться с P2P...

Надо будет поэкспериментировать, пока что не очень успешно получается, хотя вроде сделал всё правильно 🤔

Давно ничего не постилось, поэтому вот вам мой код, работающий с Ollama и предоставляющий удобный доступ к работе с моделями, но без локального хранения истории

Главная суть - возможность писать запросы от любого имени, а не только "user"

Так же хочу обратить внимание на то, что используются 4 ядра процессора - обязательно поменяйте это, если это нагружает ваше устройство