Если уж заниматься чем-то, сидя дома, то, конечно, модной штукой вроде ИИ. С видеокартами от NVIDIA у меня всё плохо — среди хлама нашёл карту лишь пятнадцатилетней давности (ещё даже без CUDA-ядер, но с гигабайтом памяти). Комп с Линуксом у меня есть (я на нём режу иногда видео и смотрю фотки), но там из вычислительной мощности всего 16 ядер процессора. Нет мощностей — значит, программно компенсируем, следовательно — никакого Python'а (только не надо рассказывать мне про оптимизацию NumPy).

Покопался я значит в интернете и нашёл идеальную вещь под такое вычислительное чудо: llama.cpp. Во-первых, бинарник, во-вторых, веса и слои принимает одним файлом в формате GGUF. Для тех, кто боится, что ЦРУ и ФСБ во главе с рептилоидами хотят подсунуть вирус, можно собрать из 👩‍💻исходников.
Но я лентяй использую порт менеджера пакетов с макоси ( родной apt на убунте не находит пакет с llama.cpp) . Ставиться homebrew просто , но надо иметь возможность сделать sudo:

sudo adduser linuxbrew

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

По окончанию установки внимательно читает как сделать так что brew работал из консоли без полного пути.

Затем ставим llama.cpp:

brew install llama.cpp

brew подтянет все зависимости сам.

Модели.
Во первых GPT-OSS - халява от OpenAI . Импортозамещение представляено GigaChat. Я не стал выпендриваться и попробовал модели размером 20b
1. gpt-oss-20b
2. GigaChat-20B-A3B-Instruct

Запускается это так:

llama-server -m [gguf файл с моделью] 

и затем браузером идем на 👩‍💻 http://127.0.0.1:8080 - там уже все готово для чата с моделью.

Количество мозгов и производительность у моделей
GPT-OSS на тему медицины врет совсем как если бы я начитался умных слов и мне срочно надо было бы сдать экзамен, может неправильно ставить окончания. Выдает 2.8 токена в секунду на моем железе, получается читать быстрее чем модель выдает результат.

GigaChat 20B в версии Q5-O уже приличнее , на вопрос отвечает почти правильно - но тоже сочиняет. Но по мне мне после беглого чтения википедии ответ сошел за истину. Думает уже 1.8 токена в секунду.

Вышел сейчас на улицу, а там звёзды. Уже который вечер пытаюсь найти пояс Ориона, но безуспешно. Весной пояс Ориона так хорошо виден на юге. Сегодня подумал об этом деле, и всплыла в голове картина сегодняшнего сна. Мне приснилось что Бетельгейзе взорвалась. Мозг создал визуализацию данного события. По моей версии получится следующее: яркая звезда в центре, вокруг неё сфера из газа размером процентов на 20 поменьше Луны, а по сторонам расходятся два газовых облака вроде гантели с концами величиной примерно две Луны. Всё это выглядит ярким, словно млечный путь, который хотя и светится, но остаётся прозрачным. Никаких цветов, как на фотографиях NASA, не будет — лишь ярко-белый цвет. Я пылался вспомнить где я видел такую картинку так и не вспомнил ... так что уникальный креатив моего мозга.

Спутники Starlink, выглядят как звезды, которые легко спутать с МКС. Так что если жирная звезде ползет по нему это может быть не МКС. Конечно, я не определяю на глаз, а пользуюсь программой Stellarium. Она доступна 🪟 для всех операционных систем, в 🌎 веб и на 📞 мобильных. С нее на смартфоне я смотрю, какие объекты пролетают. ( и это не реклама )

В веб-версии проверил: пояс Ориона взойдёт с востока примерно в половине первого ночи по московскому времени.

🗣 История LangSwap.app

Продолжаем рассказывать о крутых фаундерах из комьюнити SPB Founders! Илья Шигабеев - основатель международного voicetech-стартапа LangSwap.app. В подкасте Илья рассказал Виталию Янко о подводных камнях запуска продукта в США, роли знакомств в продажах и планах на будущее.

👉 Смотрите подкаст на YouTube или RuTube и подписывайтесь на @spbfounders 🦄