✨ Arandu — приложение, помогающее использовать Llama.cpp.
Arandu — приложение с открытым исходным кодом для простого запуска моделей с помощью llama.cpp. Оно объединяет все в одном месте, предлагая простое управление несколькими версиями llama.cpp, поиск и загрузку моделей HuggingFace, интуитивно понятные аргументы с предустановками и многое другое.
Идея состоит в том, чтобы создать небольшую систему вокруг llama-server без необходимости подключаться к DLL-файлам.
- Управление моделями
- Интеграция с HuggingFace
- Интеграция Llama.cpp с GitHub и управление релизами
- Запуск терминала Llama-server с простой настройкой аргументов и предустановками, внутренними и внешними
- Встроенный интерфейс чата Llama-server
- Аппаратный монитор
- Цветовые темы
🔗 https://github.com/fredconex/Arandu
(Обсуждение)
#Arandu #llamacpp #SoftAi #AiSoft #Windows #LocalAi #AiLocal
Arandu — приложение с открытым исходным кодом для простого запуска моделей с помощью llama.cpp. Оно объединяет все в одном месте, предлагая простое управление несколькими версиями llama.cpp, поиск и загрузку моделей HuggingFace, интуитивно понятные аргументы с предустановками и многое другое.
Идея состоит в том, чтобы создать небольшую систему вокруг llama-server без необходимости подключаться к DLL-файлам.
- Управление моделями
- Интеграция с HuggingFace
- Интеграция Llama.cpp с GitHub и управление релизами
- Запуск терминала Llama-server с простой настройкой аргументов и предустановками, внутренними и внешними
- Встроенный интерфейс чата Llama-server
- Аппаратный монитор
- Цветовые темы
(Обсуждение)
#Arandu #llamacpp #SoftAi #AiSoft #Windows #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Модель содержит 118 млрд параметров, из которых 8 млрд активны, поддерживает контекст до 262 тысяч токенов. В Terminal-Bench 2.1 набрала 70,2%, показав результат на уровне сильных коммерческих моделей. Laguna S 2.1 уже доступна бесплатно через OpenRouter: Poolside: Laguna S 2.1 (бесплатно)
Laguna S 2.1 — это новейшая модель кодирующего агента от Poolside. Laguna S 2.1 — это модель с общим количеством параметров 118 млрд и 8 млрд активных параметров, набравшая 70,2 % баллов на Terminal-Bench 2.1 и 40,4 % баллов на DeepSWE, что делает ее одной из самых сильных кодирующих моделей в своей категории. Модель с открытым исходным кодом под лицензией OpenMDW-1.1.
Laguna S 2.1 предназначена для разработки программного обеспечения и агентного программирования, и вы несете ответственность за то, чтобы убедиться, что она подходит для ваших целей.
Скачать: https://poolside.ai/get-started
Пишут: Laguna S 2.1 Released: Cheaper than Deepseek v4 Flash, Better than V4 Pro! (Перебила результаты DeepSeek v4 Pro, Gemini 3.6 Flash, Inkling при своём втрое меньшем объёме. Может работать на DGX Spark.)
(Обсуждение)
HF: https://huggingface.co/poolside/Laguna-S-2.1
GGUFs available for use with llama.cpp custom fork: https://huggingface.co/poolside/Laguna-S-2.1-GGUF
Posted on X: https://x.com/poolsideai/status/2079613777343848465?s=20
(Обсуждение)
#Laguna #LagunaS #LagunaS21 #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Релиз Kimi-K3, хоть и впечатляет, все же на несколько месяцев отстает от разработок с закрытым исходным кодом, так что разговоры о том, что «Anthropic обречен», кажутся преувеличенными. Однако, по данным Artificial Analysis, Kimi-K3 всего на 1,5 месяца отстает от моделей с закрытым исходным кодом, следуя сразу за OpenAI и Anthropic.
Также стоит обратить внимание на график: где была компания Google с момента выхода Gemini 3 Pro в ноябре прошлого года? Лучшие модели с открытым исходным кодом продолжают расти, доказывая, что законы масштабирования по-прежнему работают. А учитывая, что Kimi-K3 приближается к 3 триллионам параметров, она точно не работает на вашем MacBook, но уж очень интересный график!
(Обсуждение)
#ArtificialAnalysis #Kimi #KimiK3 #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
⚡️ Sentient OS делает из Mac персонального ассистента
LLM на вашем устройстве знает о вас все и предлагает выполнять работу с помощью ПК.
Приложение для macOS, которое собирает контекст из файлов, скриншотов и переписок, формирует локальную базу знаний и каждый день готовит подборку заметок с напоминаниями.
Ассистента можно вызвать в любой момент — он поможет с текущими задачами. Персональные данные не покидают устройство: ИИ работает только с обезличенными сводками.
Никаких учетных записей, а ваши личные данные никогда не покидают ваш Mac. Бесплатно навсегда.
🔗 https://sentient-os.ai
🔗 https://github.com/Sentient-OS-Labs/sentient-os - тут подробно!
#SentientOS #MacOS #SoftAi #AiSoft #AiAgent #AgentAi #LocalAi #AiLocal
LLM на вашем устройстве знает о вас все и предлагает выполнять работу с помощью ПК.
Приложение для macOS, которое собирает контекст из файлов, скриншотов и переписок, формирует локальную базу знаний и каждый день готовит подборку заметок с напоминаниями.
Ассистента можно вызвать в любой момент — он поможет с текущими задачами. Персональные данные не покидают устройство: ИИ работает только с обезличенными сводками.
У любого искусственного интеллекта, которым вы пользуетесь сегодня, есть две проблемы: он ничего не знает о вас (никто не может выложить всю свою жизнь в чат) и помогает только тогда, когда его об этом просят. Чтобы решить обе проблемы, нужно каждый день читать всю вашу жизнь. В облаке такой объем данных — это целое состояние и кошмар с точки зрения конфиденциальности. На вашем собственном чипе это бесплатно и никого не касается.
Таким образом, каждую ночь локальная языковая модель Sentient на вашем устройстве считывает все новое (ваши файлы, скриншоты, сообщения в WhatsApp, iMessage, «Заметках», электронную почту) и преобразует их в базу знаний в формате чистого маркера — самую глубокую память о вас, которая когда-либо была у искусственного интеллекта. Последние 10% вычислений выполняются на передовой модели через вашу собственную подписку на ChatGPT. Ничто не обращается к ключу API Sentient, потому что его нет.
К утру Sentient предлагает вам выполнить рутинную работу в один клик: тот самый ответ, который вы забыли, составлен с учетом вашего богатого личного опыта. Подписка, которую вы хотели отменить, продлена накануне.
И в любом месте на вашем Mac нажмите на выемку и скажите Sidekick: «Закончи это за меня». Он использует ваши приложения так же, как и вы, даже в фоновом режиме, пока вы занимаетесь своими делами.
Никаких учетных записей, а ваши личные данные никогда не покидают ваш Mac. Бесплатно навсегда.
#SentientOS #MacOS #SoftAi #AiSoft #AiAgent #AgentAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
📱 Модель создаёт 5-секундные ролики в разрешении 480×832 px с частотой 16 кадров в секунду. Генерация занимает 20 секунд.
По бенчмарку VBench модель набрала 83.79 балла — лучший результат среди мобильных решений. Это означает, что качество видео приближается к десктопным генераторам, но работает всё локально на телефоне.
#MobileWan #WAN225B #AiVideo #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
С сайта: "При использовании настроек по умолчанию вы получите модель, которая будет писать связный, грамматически правильный многоабзацный текст всего за день. На MacBook Pro M5 Max вы могли бы обучить модель GPT-2-small-class (~100–150 миллионов параметров на нескольких миллиардах токенов) примерно за неделю. Это может показаться очевидным, но во избежание разочарований: вы не сможете собрать Claude Fable 5 или ChatGPT 5.6 Sol у себя в гараже.
Твит: https://x.com/felixrieseberg/status/2079624265528475975
(Обсуждение)
============
📚 Вышел интерактивный учебник по созданию LLM с нуля — Language Model Builder шаг за шагом объясняет основы и устройство нейронок.
После теории сразу начинается практика — вы создадите своего нейропомощника типа GPT-2-Small, с которым можно будет пообщаться.
#LanguageModelBuilder #LLM #MacOS #SoftAi #AiSoft #AiAgent #AgentAi
Please open Telegram to view this post
VIEW IN TELEGRAM
💡 Обновленный шаблон чата Gemma-4: Gemma-4-26B-a4B демонстрирует превосходство над Qwen3.6-MoE и Qwen3.5-MoE (режим инструкций и эффективность рассуждений)
Тем не менее Qwen3.6 почему-то всё равно лучше справляется с Hermes, чем Gemma-4.
(Обсуждение)
#Gemma4 #Qwen36 #AiModel #ModelAi #LocalAi #AiLocal
Тем не менее Qwen3.6 почему-то всё равно лучше справляется с Hermes, чем Gemma-4.
(Обсуждение)
#Gemma4 #Qwen36 #AiModel #ModelAi #LocalAi #AiLocal
🚀 TurboFieldfare - запускает мощную Gemma 4 26B-A4B на любом (!) Mac с чипом M — требуется всего 2 ГБ оперативной памяти вместо 16 ГБ.
• Модель занимает лишь 15 ГБ на SSD и подгружает только 2 ГБ данных в RAM, а не всё целиком.
• Работает быстро: на MacBook Air M2 - 5 токенов в секунду, а на M5 Pro — 35 т/с (вместо 0,5 т/с в Colibri).
• После установки консоль не нужна: есть удобное юзер-френдли приложение, похожее на ChatGPT.
Установить локально на MacOS https://github.com/drumih/turbo-fieldfare
#TurboFieldfare #Gemma4 #MLX #llamacpp #LocalAi #AiLocal
• Модель занимает лишь 15 ГБ на SSD и подгружает только 2 ГБ данных в RAM, а не всё целиком.
• Работает быстро: на MacBook Air M2 - 5 токенов в секунду, а на M5 Pro — 35 т/с (вместо 0,5 т/с в Colibri).
• После установки консоль не нужна: есть удобное юзер-френдли приложение, похожее на ChatGPT.
TurboFieldfare использует оптимизированную под инструкции Gemma 4 26B-A4B модель, не загружая в память всю модель размером 14,3 ГБ. Она сохраняет в памяти общее ядро размером 1,35 ГБ и кэш FP16 KV, а затем считывает с SSD только экспертов, необходимых для каждого токена. Именно это позволяет использовать модель на компьютерах Mac с 8 ГБ оперативной памяти.
Среда выполнения, потоковый установщик, интерфейс командной строки и нативное приложение для Mac написаны на Swift и Metal. TurboFieldfare — это не просто оболочка для MLX или llama.cpp, а продукт, ориентированный на конкретную модель. В тщательно отобранных экспериментальных данных обобщены 102 измеренных показателя для ядер, кэширования, ввода-вывода, предварительного заполнения и декодирования.
Установить локально на MacOS https://github.com/drumih/turbo-fieldfare
#TurboFieldfare #Gemma4 #MLX #llamacpp #LocalAi #AiLocal