Awesome local LLM

Если хочешь развернуть большую языковую модель локально, легко утонуть в куче инструментов и гайдов. То Ollama, то vLLM, плюс десятки фреймворков для дообучения. В итоге сложно понять, за что браться и какой стек вообще рабочий.

Случайно наткнулся на GitHub-проект Awesome local LLM. По сути, это энциклопедия по запуску LLM локально. Подборка очень полная и при этом хорошо структурирована, помогает быстро разложить весь стек по полочкам.

Внутри есть разделы по inference-платформам, inference-движкам, UI, самим языковым моделям, инструментам для разработки и ещё с десяток категорий. Плюс советы по выбору железа и полезные туториалы.

У каждого проекта указано количество GitHub Stars и короткое описание, так что можно быстро оценить популярность и понять, для чего он нужен. Также собраны обучающие ресурсы, включая YouTube-гайды и обзоры железа.

Если планируешь собирать локальное окружение под LLM или ищешь open source инструменты под конкретные задачи, эту подборку точно стоит сохранить.

⭐️ Stars: 613

➡️ Cсылка на GitHub

📱 @git_developer

nexa-sdk

Если хочется запустить быстрый, полностью офлайн и бесплатный AI-модель прямо на своём компе или телефоне, можно посмотреть в сторону Nexa SDK. Это open-source проект.

По сути, сейчас это одно из самых интегрированных и полноценных решений на рынке среди опенсорса, с нормальной экосистемой и инструментарием.

За счёт собственной технологии сжатия моделей он спокойно работает без интернета и за миллисекунды прогоняет поиск по тысячам локальных фотографий.

С обработкой десятков тысяч чувствительных документов тоже проблем нет. Все данные остаются на устройстве, так что по безопасности и приватности это сильно выигрывает у облачных API.

Есть полная совместимость с OpenAI API, поэтому его можно без боли встраивать в уже существующие дев-воркфлоу.

Плюс в комплекте идёт готовый CLI. Одна команда — и модель скачана и запущена. Вкатиться можно буквально за пару минут.

📁 Language: #Go 50.8%

⭐️ Stars: 6.5k

➡️ Cсылка на GitHub

📱 @git_developer