Пока только скелет, но вас скоро что-то ждёт

PocketPal - это способ запускать локальные модели на телефоне... Но у него нет API о котором все давно просят

Но теперь можно обращаться напрямую после ollama serve к Ollama с Pydroid... Точно можно через localhost+requests, но возможно можно и через официальный модуль ollama

Грубо говоря я нашёл способ работать со своими проектами и нейросетями точно так же, как и на ПК, только менее удобно и с меньшей в разы мощностью... Однако сама такая возможность поражает и развязывает руки для маленьких проектов

Конечно не без проблем:

~ $ ollama run gemma3:1b
Error: 500 Internal Server Error: error starting runner: exec: "serve": executable file not found in $PATH
~ $ ollama serve
Error: listen tcp 127.0.0.1:11434: bind: address already in use

Суть в том, что ollama serve запущен, но не может к нему подключится или найти в $PATH, сейчас буду ковыряться...

Окей, он просто в конкретной папке создаётся, а не в PATH, поэтому займусь этим позже, банально пытаясь портировать его в PATH, чтобы всё работало 🤔

Поддержка Markdown через rich

- У меня нет друзей

GitHub Copilot представлен здесь, но как я понимаю, то Copilot от Microsoft - это другое? Он имеет другую иконку...

Я пообщался с ним в Xbox и он заточен не под код... Мне очень понравилась идея того, что Copilot имеет интеграцию Xbox API и буквально подсказывает зная что да как, а не притворяясь...

А ещё мне очень понравилось, что в играх в Xbox или от Microsoft, некоторых, есть поддержка Copilot через Game Bar:
Если точнее, то это возможность игры давать Copilot конкретную информацию, например о позиции игрокам смерти и прочем, там нет Visual Language модели, но при этом на основе данных Copilot может либо подсказывать, либо быть как зритель и партнёр по игре (ну, в плане ка вдруг в дискорде, а не как второй игрок)

Как буду дома, то надо будет попробовать, ведь это вроде бесплатно... Надеюсь у меня найдутся игры с интеграцией Copilot, ведь я всегда хотел такое пощупать, а тут сразу готовое решение для примера с готовым ответом как оно работает...

Очень душно и жарко, писал проект с этим всем в голове.. Очень получилось некачественно.. НО! Идея и была в том, чтобы показать суть, которая, в отличие от предыдущего проекта, уже запускаема... Уже на основе этого можно будет сверху менять всю структуру, делая её как безопаснее, так и правильнее в принципе... Пока что это просто кусок кода, который в будущем я банально постараюсь исправить

Прочитал принципы работы современных агентов, которые конкретно выполняют задачи, а не как думал я "Ну, сделать друга, который будет раз в минуту скринить монитор и подсказывать что-то".. Я про то, что теперь есть идея помимо Visual Language модели для описания фото, добавить ещё третью: которая заточена под написание кода, ведь она чётко понимает последовательности и как раз заточена под код с меньшими в разы галлюцинациями, но в разы хуже в словесном ответе.. В итоге я прихожу к изначальной идее, которая была ещё до проекта AI-Friend: Это сделать подобие MoE модели, только если MoE используют разные веса, но у меня модель в рамках архитектуры выбирает путь:

LLM как ядро: LLM получает запрос и дальше понимает какой вызвать инструент, словно как сейчас агенты обращаются к API программ, только у меня вместо API просто функции в самом main файле
VL как глаза: анализирует происходящее, точнее фото, которые присылает пользователь, что особенно полезно в гибридном режиме, когда с помощью OCR модель получает информацию, а с помощью VL - то, как она расположена
Code Model как руки: написать код, чтобы что-то выполнить на ПК или составить трудный запрос к API - это делается через отдельную модель

Фактически же можно иметь просто современную и мощную модель, которая может совмещать в себе эти параметры, а так же являться MoE, дабы понимать когда ей надо быть умной, а когда более живой, когда понимать последовательности, а когда допускать шутки с пользователем... Однако модели под 500+ миллиардов параметров требовательны к железу очень сильно... Я думал, что мои мысли помогут как раз это разгрузить, используя маленькие модели, но в итоге это так же долго, просто слегка страдает качество, но можно при этом запустить на слабом устройстве... Хотя тот же Qwen ранее так и работал, по крайней мере в плане VL... Тут уже не до мыслей об добавлении физических рук, рта и прочего в v2 версии


Фактически это всё уже существует раньше меня и называется NLU (Natural Language Understanding), как я понял это модели, а точнее их понимание текста, способ извлекать из текста именно суть и работать с ней, уже как раз понимая что хочет пользователь и посылая дальше.. Хмм

Прикрутить к GPT-OSS:20B доступ к WinAPI и вот вам ассистент...

Даже лучше в pyw

from random import choice; from time import sleep; money = 100
while True:
 user = input(f'\nУ вас {money}∆\nКакую сумму вы поставите?\n> ')
 try: user = int(user)
 except: print('Введите число!'); continue
 if user > money: print("Недостаточно средстсв!"); continue
 money -= user; print('Крутим...', end='', flush=True); sleep(2.5); x = choice([0.1, 0.5, 0.75, 1, 1.25, 1.50, 2, 3, 5]); money += int(user * x); print('\b'*10, f'Вам выпало: {x}X ({user}∆*{x}->{user*x}∆)\nТеперь ваш счёт: {money}∆')

От скуки сделал гемблинг игру про ∆, суть которой в том, что она занимает всего шесть строк, но уже позволяет делать ставки в минус!

Не знаю, меня привлекает игра в минус как отсутствие ограничения.. какой смысл это менять, если делается добавлением одной строки или и вовсе изменением 'if user>money' на 'if user>money and user>0'?

Улучшенная версия кода

Берём большой большой долг и выигрываем боль 1X -> профит

Нужно тогда в файле сохранения сохранение хотя бы как-то шифровать, например в base64 любимый, тут хотя бы так просто не изменишь цифры..

Ещё и надо сделать шансы меньше, чтобы было более усреднённое, а не уходящее в вечный выигрыш чаще всего...

Ещё и есть идеи, по типу создания магазина, но это уже совсем бы усложнило архитектуру суть которой в том, чтобы разбираться в коде, когда он написан даже в одну строку

А так же есть возможность не писать "Сохранение" и просто выйти при проигрыше и открыть файл вновь, чтобы загрузить предыдущие сохранение и откатиться на один шаг