Развертывание Marco o1: языковая модель для логики и математики на вашем PC 💡🖥

Недавно я тестировал Marco o1 — опенсорсную LLM с продвинутыми алгоритмами рассуждений: Chain-of-Thoughts и поиском по дереву Монте-Карло (MCTS). Это позволяет модели решать задачи по логике, математике и программированию эффективнее.

Что интересного:
• Вес модели — всего 7B параметров, можно запустить даже на RTX 4060.
• Поддержка квантизации (bitsandbytes) ускоряет инференс на локальном PC.
• Готовые решения для LLM-сервера на TGI и ollama.

🚀 Запуск в Docker с Text Generation Inference

docker run --gpus all --shm-size 1g -p 8080:80 -v $path_to_volume:/data \
ghcr.io/huggingface/text-generation-inference:2.4.1 --model-id AIDC-AI/Marco-o1 --quantize bitsandbytes-nf4

🔥 Если нужен сервер попроще — попробуйте ollama

ollama pull marco-o1  
ollama serve  

⚡️ Почему immers.cloud?
Если вашей машине не хватает мощности, запускайте Marco o1 в облаке immers.cloud на GPU-серверах. Это удобно и быстро!

Операционная система AI-агентов

Недавно на Reddit обсуждалась вакансия, открытая в OpenAI. В ее описании упоминается «Операционная система AI-агентов», которую лаборатория искусственного интеллекта, судя по всему, разрабатывает. Но зачем нужна такая система?

На самом деле, OpenAI упоминала о таком проекте и ранее, да и не только она. Microsoft, например, активно развивает глубокую интеграцию генеративного AI с операционной системой Windows — взять хотя бы Copilot. Интерфейс, подобный ChatGPT, может быть удобным инструментом для инференса zero-shot (в один проход), но он явно не раскрывает весь потенциал агентов. А ведь именно агенты сейчас выходят на первый план в AI-индустрии.

Соответственно, разработчикам предстоит не только обучать модели, но и создавать среды, в которых эти модели смогут нативно интегрироваться со всеми необходимыми программными компонентами для рабочих процессов.

В бизнесе такая среда, как правило, облачная. Наличие инфраструктуры, обеспечивающей развертывание, масштабирование, инференс и, в ряде случаев, дообучение моделей, становится критически важным. Для разработчиков я рекомендую мои публикации, где приведены примеры того, как решать эти задачи в облаке immers.cloud.

В то же время для пользователей, которые работают с AI на локальном компьютере, не менее важно наличие операционной системы с аналогичными функциями. Такая ОС должна обеспечивать удобный локальный деплой автономных агентов. Именно этим сейчас и занимается OpenAI.

@ruslandevlive — мысли о современных AI/ML-технологиях

Отличные новости!

Мы подготовили обновленный образ Windows Server Gaming, и он стал значительно лучше! Вот полный список изменений, которые мы внесли:

🔹 Обновление операционной системы. Перешли на Windows Server 2025. Это значит еще больше возможностей, стабильности и поддержки современных технологий.

🔹 Технические обновления. Установили все актуальные обновления для системы, чтобы исключить любые проблемы с безопасностью и совместимостью.

Обновили драйверы:
Virtio — для оптимальной виртуализации.
Nvidia GameReady — для лучшей графической производительности и поддержки новейших игр.

🔹 Расширенная функциональность. Добавили поддержку геймпадов — теперь играть станет еще удобнее. Также, интегрировали Sunshine — инструмент для стриминга, обеспечивающий минимальные задержки и высокое качество передачи изображения.

🔹Исправления. Устранили проблемы с запуском Parsec. Теперь подключение к серверу проходит без сбоев.

Наслаждайтесь играми на новом уровне! 🎮

👉 Запустить Windows Server Gaming 👈

🎄 Поздравляем с наступающим Новым годом! 🎄

Благодарим вас за то, что выбрали immers.cloud для реализации своих проектов в 2024 году. Мы гордимся тем, что наши технологии стали частью ваших достижений, идей и решений.

✨ Новый год — это время для новых вызовов и возможностей!
В 2025 году мы продолжим развивать наш сервис, чтобы он оставался максимально удобным, мощным и надежным для ваших задач.

🎯 Пусть наступающий год принесет вам вдохновение, новые свершения и множество ярких моментов!

Посмотрите свои итоги года на immers.cloud

С праздником, друзья! Спасибо, что вы с нами! 🎉

Дорогие друзья! Мы рады приветствовать вас в новом 2025 году! 🌟

Надеемся, что вы отлично отдохнули и полны сил для новых проектов. Наши мощности уже ждут ваших задач и идей! В этом году вас ждет много интересного и полезного контента на нашем Telegram канале. Не забывайте проверять наши посты регулярно, чтобы быть в курсе всех новостей и акций.

🖥 А еще, не забудьте заглянуть на наш сайт immers.cloud, где вы можете арендовать высокопроизводительные видеокарты по выгодным условиям! 🚀

Приготовьтесь к потрясающему году вместе с нами!

📊 Мы хотим, чтобы контент на нашем канале был максимально полезным и интересным для вас. Пожалуйста, ответьте на эти простые вопросы: