Домашняя нейронка. Какое «железо» выбрать для Stable Diffusion?

Нейросетями теперь пользуются почти все мои знакомые. Чат-боты с искусственным интеллектом в плане сбора информации намного удобнее поисковых систем, а нейросети, генерирующие картинки по запросу, нашли свое применение в рекламе и иллюстрировании контента. Однако как раз с ними не все столь гладко, как хотелось бы. Доступ к одним без плясок с бубном и нервотрепки невозможно оплатить из России, другие не радуют качеством изображений, путаясь в количестве пальцев, изгибая конечности персонажей невообразимым образом или выдавая в ответ на запрос совсем не то, что требовалось. Тут у меня и возникла идея развернуть Stable Diffusion на локальной машине, чтобы не мучиться с оплатой и токенами. А для этого сначала следует разобраться, какое железо потребуется для реализации подобной задумки.

Читать дальше →

#stable_diffusion #sdxl #stability_ai #automatic1111 #vladmandic #fooocus #shark #nvidia #amd #directml #openvino #tensor #diffusionbee | @habr_ai

Непреодолимая легкость повышения утилизации GPU

Привет, Хабр! Я Антон, DevOps-инженер в Selectel. В апреле у нас проходил ML-митап, где я и мой коллега, ML-Ops инженер Ефим Головин, рассказали, как подбираем конфигурацию ML-инфраструктуры и повышаем утилизацию GPU. Запись нашего выступления можно посмотреть на YouTube. Материал вышел интересным, поэтому мы решили оформить пересказ в текстовый формат.

В этой статье вы узнаете, как перенести лучшие практики из мира производства в сферу машинного обучения, подобрать конфигурацию вычислительной инфраструктуры под ML-нагрузки и максимально эффективно ее использовать. Впереди много интересного, так что давайте начнем! Читать дальше →

#selectel #ml #gpu #nvidia #tensor #машинное_обучение #ml_системы #ml_задачи #производство #утилизация_gpu #завод | @habr_ai

Будущее дата-центров — ИИ и ядерные реакторы

Малый ядерный реактор NuScale Power

Сейчас ЦОДы потребляют примерно 2% электроэнергии в мире, но в будущем их доля значительно возрастёт: по некоторым прогнозам, превысит 20% к 2030 году, а в отдельных странах вроде Ирландии превысит 30%.

Идея питания ЦОДов от малых ядерных реакторов кажется вполне здравой. В конце концов, это экологически чистый источник энергии, который не загрязняет окрестности дымом, шумом и вредными газами.

Читать дальше →

#ruvds_статьи #xai #xai_colossus #илон_маск #дата_центр #цод #ядерный_реактор #microsoft #apple #meta #атомная_энергетика #tensor_processing_units #tpu #baltra #voltagrid #small_modular_nuclear #smr #nuscale #малый_модульный_реактор #асмм #атомная_станция #ммр #экология #патэс #oklo #bwx_technologies #rolls_royce #triso | @habr_ai

Как мы разрабатываем отечественный AI-процессор. Часть 1. Почему GPGPU?

«We have a phrase inside Intel. We are supposed to be a data driven company and the phrase is, "Don't argue with the emotions, argue with the data."»

Andrew S. Grove, Chairman of the Board, Intel Corporation, August 9, 1998

В июле 2023-го года в «Байкал Электроникс» стартовал проект по разработке собственного AI-процессора. В данной публикации мы хотим рассказать, почему мы выбрали именно архитектуру GPGPU, какими данными при решении мы руководствовались, а во второй части немного рассказать о ходе разработки и поделиться полученным опытом. Читать далее

#gpgpu #ai #hardware #tensor_processing_units | @habr_ai

[Перевод] Что же такое TPU

В последнее время я много работал с TPU и мне было интересно наблюдать такие сильные различия в их философии дизайна по сравнению с GPU.

Главная сильная сторона TPU — это их масштабируемость. Она достигается благодаря и аппаратной (энергоэффективности и модульности), и программной стороне (компилятору XLA).

Общая информация

Если вкратце, то TPU — это ASIC компании Google, делающий упор на два фактора: огромную производительность перемножения матриц + энергоэффективность.

Их история началась в Google в 2006 году, когда компания впервые начала размышлять о том, что же ей стоит реализовывать: GPU, FPGA или специализированные ASIC. В те времена было лишь несколько областей применения, в которых требовалось специализированное оборудование, поэтому было решено, что потребности компании можно удовлетворить при помощи незадействованных вычислительных ресурсов (compute) CPU её крупных датацентров. Но в 2013 году ситуация изменилась: функция голосового поиска Google начала использовать нейросети, и по расчётам для её реализации потребовалось бы гораздо больше compute.

Перенесёмся в настоящее: сегодня TPU лежат в основе большинства ИИ-сервисов Google. Разумеется, сюда включены обучение и инференс Gemini и Veo, а также развёртывание моделей рекомендаций (DLRM).

Давайте начнём разбирать внутренности TPU с самого нижнего уровня. Читать далее

#tpu #tensor_processing_units #google #инференс #умножение_матриц | @habr_ai

[Перевод] Перевод статьи «NVIDIA Tensor Core Evolution: From Volta To Blackwell»

Ссылка на первоисточник: https://semianalysis.com/2025/06/23/nvidia-tensor-core-evolution-from-volta-to-blackwell/

В нашей статье AI Scaling Laws конца прошлого года мы обсудили, как несколько стеков законов масштабирования ИИ продвигают индустрию ИИ вперед, обеспечивая больший, чем закон Мура, рост возможностей модели, а также соразмерно быстрое снижение удельных затрат на токены. Эти законы масштабирования обусловлены оптимизацией и инновациями обучения и инференса, но достижения в вычислительных возможностях, выходящих за рамки закона Мура, также сыграли решающую роль.

В статье AI Scaling Laws, мы пересмотрели десятилетние дебаты о масштабировании вычислений, вспоминали о конце масштабирования Деннарда в конце 2000-х годов, а также конец классического закона Мура, когда темп уменьшения стоимости транзистора снизился к концу 2010-х годов. Несмотря на это, вычислительные возможности продолжали улучшаться быстрыми темпами, при этом эстафета была передана другим технологиям, таким как Advanced Packaging, 3D-stacking, новые типы транзисторов и специализированные архитектуры, такие как GPU.  Читать далее

#ии #tensor_processing_units #байкал_электроникс | @habr_ai