Новый AI-чип от AMD

Во вторник на прошлой неделе AMD объявила о создании нового AI-чипа Instinct MI325X и о планах запустить его производство в конце 2024 года.

По словам представителей AMD, чип MI325X быстрее, чем H200 от NVIDIA, как в инференсе, так и в обучении ИИ-моделей. Решение от AMD включает 256 ГБ VRAM с большей пропускной способностью — 8 ТБ/с. Это больше, чем у последней NVIDIA H200, у которой 141 ГБ и 4,8 ТБ/с соответственно. Это позволяет чипу MI325X выполнять операции с числовыми типами fp16 и fp8 примерно в 1,3 раза быстрее. Карта, в первую очередь, предназначена для работы в специализированной серверной инфраструктуре OCP (цепи питания чипа — 54 В!), и в AMD надеются, что компании-поставщики облачных услуг, а также крупные AI-разработчики с собственными дата-центрами будут покупать у них эти чипы. В AMD сообщили, что OpenAI, Microsoft и некоторые другие крупные клиенты уже используют их GPU для своих приложений.

Сильным преимуществом главного конкурента AMD, NVIDIA, является наличие развитого и популярного программного стека (CUDA и других библиотек), ставшего стандартом в AI-разработке. Например, в облаке immers.cloud все серверы с видеокартами NVIDIA, и доступен выбор образов с предустановленным CUDA-стеком, что упрощает настройку рабочего окружения. AMD предлагает разработчикам переходить с CUDA на ROCm для того, чтобы использовать их GPU.

На главной странице вы можете подписаться на нашу рассылку, и если эта видеокарта появится у нас, вы узнаете об этом одними из первых.

Отличные новости! 

С радостью сообщаем вам о расширении нашего интернет-канала провайдера Westcall с 2 до 20 Гбит/с!

🔹 Обратите внимание: в рамках одного соединения доступно до 10 Гбит/с. Это связано с тем, что канал подключен через два интерфейса по 10 Гбит/с. Балансировка нагрузки настроена так, что один поток (от исходного до конечного IP) всегда проходит через один и тот же линк.

🔔 NVIDIA сначала закрыла доступ к обновлениям драйверов в РФ, но доступ снова открыт. Что дальше?

Вчера интернет всколыхнула новость: NVIDIA ограничила пользователям из РФ доступ к обновлениям драйверов видеокарт. Утром стало известно, что доступ восстановлен. Но кто знает, надолго ли? Риски повторной блокировки остаются, и это может поставить под угрозу стабильную работу как геймеров, так и профессионалов, работающих с 3D-графикой, искусственным интеллектом и другими вычислительными задачами.

Что это значит для вас?

Если вы используете GPU в своих проектах, завязанных на вычислительных мощностях, отсутствие доступа к драйверам и обновлениям может привести к снижению производительности, проблемам с совместимостью и даже полному простою.

🚀 Почему аренда GPU RTX & Tesla в immers.cloud — это выход?

Мы понимаем, как важен стабильный доступ к актуальному железу и обновлениям. В immers.cloud вы получаете доступ к мощным GPU на базе RTX с гарантией того, что драйверы и все необходимые обновления будут всегда на месте.

🔹 Всегда в актуальном состоянии — наши серверы обновляются своевременно, чтобы обеспечить наилучшую производительность.
🔹 Гибкость использования — арендуйте мощные GPU на сколько нужно для ваших задач.
🔹 Посекундная тарификация - платите только за использованные ресурсы. Цены стартуют от 23 руб в час
🔹 Наши серверы обновляются своевременно, содержат предустановленные драйвера и CUDA Toolkit, чтобы обеспечить актуальный функционал и не тратить ваше время

Не дайте внешним факторам повлиять на ваши проекты — переходите на аренду мощностей в immers.cloud и оставайтесь уверенными в завтрашнем дне!

🚀 HUGS - Инфраструктура для автоматизации AI-систем

На днях HuggingFace анонсировала HUGS — Hugging Face Generative AI Services. Эта платформа предназначена для автоматизации AI-приложений и ориентирована на использование открытых моделей, таких как Llama и Gemma.

Несмотря на то что HUGS построен на опенсорсных технологиях, таких как сервер TGI и библиотека Transformers, сама платформа платная с тарификацией за использование ресурсов. HUGS может работать в облаке — AWS, GCP, Azure, Digital Ocean — и оптимизирован под графические процессоры NVIDIA и AMD.

С HUGS инструменты для работы с открытыми AI-моделями пополнились новым мощным средством автоматизации бизнес-систем. Для разработчиков важно, что HUGS предлагает API в OpenAI-совместимом формате, взаимодействовать с которым можно с помощью знакомых библиотек — huggingface_hub или openai.

Тем не менее, HUGS ограничивает клиентов в выборе облачного провайдера, что может стать минусом в вопросе цены. Построение собственной инфраструктуры на immers.cloud потребует вложений в разработку, но может оказаться более эффективным по стоимости использования самой системы.

@ruslandevlive — мысли о современных AI/ML технологиях