Если дома есть два-три Mac и вы хотите локально запустить большую ИИ-модель, памяти одного компьютера может не хватить.

exo позволяет объединить несколько устройств в один ИИ-кластер. Модель, которая не помещается в память одного компьютера, можно распределить между несколькими устройствами и запускать совместно. Проект уже набрал более 48 тысяч звёзд на GitHub.

Устройства автоматически обнаруживают друг друга без ручной настройки. exo анализирует объём памяти и скорость сети каждого компьютера, самостоятельно определяя, как распределить модель между ними.

Чем больше устройств, тем выше скорость работы. По данным разработчиков, два компьютера обеспечивают ускорение в 1,8 раза, а четыре — в 3,2 раза.

В README представлены результаты реального тестирования DeepSeek V3.1 с 671 миллиардом параметров на кластере из четырёх Mac Studio. Зрелище нескольких компьютеров, совместно запускающих такую модель, действительно впечатляет.

Для macOS уже есть готовое приложение, которое работает в фоновом режиме. Встроенная панель управления позволяет отслеживать состояние кластера и напрямую общаться с моделью.

API совместим с форматами OpenAI, Claude и Ollama, поэтому к кластеру можно подключать уже используемые инструменты.

https://github.com/exo-explore/exo

📱 @git_developer