Acropolis
45 subscribers
33 photos
3 links
Acropolis IT Infrastructure club

Блог компании Acropolis Integro LLC,
где рассказываем просто о сложном

Связаться с нами:
info@acropolis.uz
Download Telegram
Мы начинаем цикл об инфраструктуре под AI/ML/DL Часть первая: что же такое AI/ML/DL
Давайте разберёмся, что представляют собой эти три понятия.

a) AI (Artificial Intelligence) — Искусственный интеллект
• AI — это самый широкий термин, охватывающий все системы, способные выполнять задачи, требующие человеческого интеллекта.
• Он является самым "хайповым" программным слоем последнего года и, вероятно, нескольких будущих лет.
• Функционал AI многогранен и включает в себя:
o Ответы на вопросы.
o Разбор и генерация текстов.
o Создание изображений, видео, музыки.
o Сборка и анализ статистических данных.
o Изучение множества источников данных.

б) ML (Machine Learning) — Машинное обучение
• ML — это подмножество AI, которое учит системы находить закономерности в данных, а не быть явно запрограммированными для каждой задачи.
• Оно составляет "предварительный" опыт системы AI, позволяя ей учиться на больших данных.
• Частью ML является:
o Обучение с учителем, без учителя и с подкреплением.
o Нахождение закономерностей, общего и различий.

в) DL (Deep Learning) — Глубокое обучение
• DL — это подмножество ML, использующее многослойные нейронные сети.
• Это самая энергозатратная и технически зависимая часть современного AI.
• Суть DL в послойном разложении данных для обучения и создании нейронно-слоистой структуры обработанных данных.

Важные замечания
• В случае с AI/ML/DL практически нет общих рецептов.
• Выбор программного и аппаратного обеспечения зависит от масштабов и сложности решаемой задачи.
• Задачи AI могут решаться как на условной Raspberry Pi, так и на кластере из десятков Nvidia DGX, при этом принципы AI/ML/DL будут общими.
👍1
Часть вторая: Истоки AI/ML/DL

Начало и "Зима AI"

История искусственного интеллекта (AI) в примитивной форме начинается с появлением первой электронно-вычислительной машины.
Сам термин "AI" появился в 1950-х. С появлением математического аппарата для нейронных сетей возникли большие надежды,
но они быстро угасли из-за недостаточного уровня технических средств.
• В 1980-х стали появляться более подходящие аппаратные средства.
Тогда же появились первые экспертные системы, которые работали в очень узких областях.
• После этого последовал спад на 10-15 лет, так называемая "зима AI".
Этот период был связан с перестройкой IT-рынка, а также с началом повсеместной автоматизации и информатизации,
которые полностью поглотили ресурсы индустрии.

Возрождение и революция GPU
В начале 2000-х, с ростом вычислительных мощностей, начались успешные разработки
в направлении ML (машинного обучения) для коммерческих продуктов.
Однако настоящая революция произошла позже:
• Эра GPU: С 2010-х началась эра мощных GPU (Graphic Processing Unit),
в том числе с появлением платформы CUDA от NVIDIA. GPU существовали и раньше,
но CUDA позволила использовать их для неграфических задач, написанных
на объектно-ориентированных языках программирования.
• AlexNet и специализированное оборудование: После создания глубокой
нейронной сети AlexNet на базе видеокарт NVIDIA стало очевидно,
что для таких задач требуется специализированное аппаратное обеспечение.
Это привело к появлению серии NVIDIA Tesla (сейчас это A-серия и H-серия),
предназначенной именно для вычислений AI.
Тензорные ядра: С появлением архитектуры Volta в 2017 году
в GPU появились отдельные тензорные ядра, разработанные специально
для ускорения матричных операций — ключевых для глубокого обучения.
Эта эволюция от первых ЭВМ до специализированных GPU
с тензорными ядрами проложила путь для современного развития AI, ML и DL.
👍2
Часть третья: текущее состояние дел с инфраструктурой под AI.

На текущий момент инфраструктура под AI имеет совершенно сумасшедший разброс возможностей, осветим лишь некоторые из них.

Типы GPU-серверов

Текущие сервера с GPU зависят от масштаба и задач, а также от бюджета и направления деятельности компании.

Локальные решения (On-premise):

-Сверхкомпактные решения:

-Jetson Nano: Представляет собой недорогую, энергоэффективную платформу для разработки, идеально подходящую для хобби-проектов, обучения и прототипирования.

-Jetson Orin: Это новое семейство продуктов, созданное с нуля для более сложных задач AI на периферии, позволяет запускать большие языковые модели (LLM) и другие сложные нейросети, которые были недоступны для Nano.

-Google Coral Dev Board: Использует собственный Edge TPU (Tensor Processing Unit), который разработан специально для ускорения инференса моделей TensorFlow Lite. Оптимизация: Чрезвычайно высокая производительность для выполнения моделей TensorFlow.

-Компактные рабочие станции: Оснащены 1–2 GPU (например, NVIDIA RTX-серии). Идеально подходят для исследований, отладки кода и прототипирования небольших моделей.

-Мощные узлы: Серверные системы с 4–8 GPU (NVIDIA A100/H100). Часто используют специализированные архитектуры, такие как NVIDIA HGX, которые обеспечивают высокую пропускную способность между GPU через NVLink для параллельных вычислений.

-Облачные сервисы (Cloud):

-Платформы: AWS (инстансы P-series, G-series, Inf-series, Trn1-series, M-series, T-series and etc.), Azure (NC-series, ND-series, Exx-series, Dxx-series, NV-series, NC-series and etc.), Google Cloud (A2, A3, A4, A4X, G2, X4, M4, M3, M2, M1, N4, N2, N2D, N1, E2).

Преимущества: Быстрое развёртывание, гибкое масштабирование и оплата по факту использования (pay-as-you-go).

Недостатки: Высокие расходы при длительных и масштабных вычислениях, а также потенциальные задержки (latency) и вопросы безопасности данных.
Часть четвертая: Комплексная инфраструктура для AI

Сервер с GPU в современной AI-инфраструктуре — это не просто ускоритель в сервере, а комплекс взаимосвязанных компонентов, каждый из которых играет критическую роль в обеспечении максимальной производительности.

- Система хранения данных: Для эффективной работы с большими датасетами используются NVMe-накопители с прямым подключением к шине PCI Express. Их высокая пропускная способность позволяет минимизировать время простоя GPU, ожидающего загрузки данных, что является ключевым для ускорения этапов обучения моделей. При этом часто используется распределённая файловая система (например, Ceph или Lustre) или локальное хранилище с кэшированием.

Специализированные решения: Для AI-нагрузок, где требуется экстремально высокая пропускная способность, применяются специализированные системы. К примеру, компании, такие как Pure Storage FlashBlade или Weka, предлагают высокопроизводительные системы хранения, оптимизированные для работы с неструктурированными данными и обеспечивающие низкие задержки, необходимые для обучения больших моделей.

- Высокоскоростная сеть: Современные AI-кластеры требуют сетевых решений с пропускной способностью 100–400 Гбит/с.

InfiniBand: Эта технология является де-факто стандартом для высокопроизводительных вычислений (HPC) и AI-кластеров. InfiniBand обеспечивает крайне низкие задержки и высокую пропускную способность, что критически важно для распределённого обучения, где веса моделей синхронизируются между несколькими GPU на разных серверах.

Ethernet с RDMA (RoCE): Для тех, кто хочет остаться в экосистеме Ethernet, технологии RDMA over Converged Ethernet (RoCE) позволяют достичь схожей производительности по задержкам.

- GPU-соединения (NVLink): Для достижения максимальной производительности в рамках одного сервера с несколькими GPU используется технология NVIDIA NVLink. Она представляет собой высокоскоростное соединение между GPU, которое значительно превосходит по пропускной способности стандартные шины PCI Express. NVLink позволяет:

-Быстро передавать данные между GPU.

-Создавать единое адресное пространство памяти для всех GPU в сервере, что упрощает программирование и ускоряет вычисления.

Оперативная память (RAM): Большой объём ОЗУ необходим для кэширования и предварительной обработки датасетов (например, декодирования изображений или обработки текста) перед их отправкой в GPU.
👍2
Сегодня у нас небольшой оффтоп, так сказать мысленное отвлечение в сторону юзерского кейса.
Как видите, на скриншоте №1, молодой человек дает вполне внятное ТЗ по размещению, в котором в принципе есть вся необходимая вводная информация.

Давайте же проанализируем ее, а точнее часть, только про майнеры. (так как габариты и потребление "фермы видеокарт" мы точно сказать не сможем)
Допустим, этот скромный молодой человек, все же решил разместиться в обычном датацентре.

Дано:
8 x Antminer S19
1 x Стандартная стойка 42U
Габариты Antminer S19 следующие:
40*19.5*29(сантиметров), 14кг
Стандартный 1U - 4.5см в высоту, 48.2см в ширину, 80см полезной глубины

Необходимо учесть, что Antminer S19 не имеет креплений в стойку,
поэтому необходимо разместить его на полке, которая тоже займет условно 1U

Высота Antminer S19 в юнитах - 6.5 - будем считать 7U.
Итого на каждую пару Antminer мы расходуем 8U.
Добавим сюда свитч 1гб\сек, и роутер\NGFW для выхода в интернет
Получаем - что 8 x Antminer S19 - занимают 32 юнита, плюс 2 юнита под свитч и роутер\NGFW.
Но это мы всего лишь разместили их. Даже не включили.

Давайте посмотрим, что же выйдет по питанию.
Каждый Antminer S19 - потребляет 3300W в пике, суммарно - 26400W
Каждый Antminer S19 - это 22000 BTU тепловыделения, суммарно - 88000 BTU max
Итого наша воображаемая стойка молодого майнера занимает по питанию и BTU: 26540W и 88260BTU соответственно.
Очень чувствительные - 26,5kW.

Для понимания, в большинстве ЦОДов до сих пор нормальным считается сдать в аренду стойку с 7-8kW питания.
Попадаются и 15kW. Все остальное - только в рамках специальных запросов.
Тепловыделение также значительное.

В принципе, данная сборка эквивалентна 20 серверам с двумя блоками по 1100W,
работающими в предельном режиме нагрузки.

Что же делать? Тут есть три очевидных пути:
1) разместиться в более, чем одной стойке
2) договориться с ЦОДом о спецусловиях питания и охлаждения
3) размещаться в негарантированных условиях, без SLA, но с большей свободой
Сегодня наша команда ACROPOLIS INTEGRO посетила офис HPE Juniper Networking - Partners в Амстердаме.
Огромное спасибо Игорю Гарнышеву за теплый прием и содержательную встречу!
Мы обсудили современные сетевые решения Juniper, которые позволяют нашим заказчикам строить надежную, безопасную и масштабируемую сетевую инфраструктуру. От офисов до дата-центров, корпоративных сетей и сервис-провайдеров - технологии Juniper помогают повышать эффективность, управляемость и уровень защиты.

Отдельно хотелось бы отметить решения Juniper Mist AI для интеллектуального управления сетями, а также архитектуру Data Center Fabric, которые открывают новые возможности для автоматизации, гибкости и высокой отказоустойчивости.

Такие встречи укрепляют партнерство и дают возможность предлагать нашим клиентам лучшие решения мирового уровня.
👍4🔥3
Kоманда ACROPOLIS INTEGRO посетила офис Nutanix в Антверпене. Огромное спасибо Luc Costers за теплый прием и продуктивную встречу!

Мы обсудили текущие и будущие проекты у наших заказчиков в Центральной Азии и Узбекистане - в банковской сфере, телеком-секторе и государственных организациях. Такие встречи помогают выстраивать долгосрочные партнерские отношения и находить оптимальные решения под задачи клиентов.

Особое внимание уделили технологиям Nutanix: гиперконвергентной инфраструктуре, DevOps-инструментам, Kubernetes-оркестрации и современным системам управления базами данных.

Отдельно отметили экономическую эффективность решений Nutanix — снижение TCO и быструю окупаемость инвестиций (ROI), что особенно важно для заказчиков в условиях ограниченных бюджетов и необходимости ускорять цифровую трансформацию.

Благодарим команду Nutanix за обмен опытом и уверены, что совместные усилия помогут нашим клиентам повышать эффективность ИТ-инфраструктуры и достигать стратегических целей.
👍4🔥1
Часть 22 и 1\2
Инфраструктурная маневренность и масштабируемость.
Итак, вы решили провести цифровую трансформацию,
заложить основы масштабируемости IT-активов бизнеса на будущие периоды.
Вы оценили текущие активы, выписали все плюсы и минусы. Что дальше?
Десять лет назад принципы построения IT-части бизнеса позволяли иметь только одну площадку и бекап на непредвиденный случай
Сейчас нагруженный бизнес не может позволить себе простоя, особенно цифровой бизнес.
Предварительный вывод? Надо искать варианты построения IT-инфраструктуры так, чтобы даже при потере одного ЦОДа бизнес не останавливался.
Какие здесь есть практики и инструменты?
Самый распространенный - второй ЦОД. Тут есть подводные камни недооценки важности этого ЦОДа.
Не секрет что в некоторых странах регуляторы от определенных секторов бизнеса требуют размещение в двух ЦОДах.
Иногда бизнес это делает для "галочки", иногда урезанно и достаточно редко - полноценно.
Вариант для "галочки" рассматривать не будем.
Урезанный вариант - имеем на второй площадке минимальный прод, отдельную копию основной БД, иногда копию ERP, иногда даже без дублирования сетевого оборудования и оборудования ИБ
Тут есть очевидные минусы: 1) часть процессов остановятся 2) резервная площадка так и остается резервной, бизнес остается зависимым от основной площадки и ждет ее восстановления
3) в случае недоступности части сервисов - страдает клиентский опыт
Полноценный вариант - построение полной копии инфраструктуры.
Почему это единственный правильный вариант? При правильном подходе и организации инфраструктуры, бизнес-процессы не остановятся, клиентский опыт не пострадает.
Один из вариантов организации резервируемой инфраструктуры - частное (приватное) облако.
В этом случае опираясь на общие принципы, можно иметь масштабируемую резервируемость, вплоть до полной копии в публичном облаке (AWS, Azure, GCP)
Наша команда готова помочь вам с построением подобной инфраструктуры.
👍1🔥1
Channel photo removed
Channel photo updated
Друзья и коллеги!
Незаметно пробежал первый год нашей работы в качестве независимой компании.
За этот отрезок времени мы успели проработать значительное число
различных кейсов, провести множество встреч с вендорами,
многое обсудить с нашими заказчиками, поучаствовать в десятках тендеров,
выиграть определенное количество из них, вести проработку новых, а главное,
оказывать текущий саппорт нескольким заказчикам по чувствительным темам.
Мы не заявляем об "экспоненциальном" росте и тому подобном, мы просто делаем то, что нам нравится
делать - а именно, давать заказчику исчерпывающие возможности по технике и коммерции, консультировать и озвучивать новые возможности,
планировать инфраструктуру и воплощать ее.
Спасибо всем, что вы с нами!
🔥5👍2
Коллеги, поздравляем вас с днем Конституции Республики Узбекистан!
Конституция для современного государства — это основной закон, который является фундаментом общества и государственной системы.

А вы написали уже цифровую конституцию для своей компании?
Ваш план цифровой трансформации уже готов?
Коллеги, рады вам сообщить, что мы начали проводить кроме авторских курсов по Oracle DB (deep dive), еще и авторские курсы по ИИ.

* Архитектура ИИ: от промпта до мультиагентных систем

* Практический ИИ для руководителей и команд

* LLM для разработчиков: от идеи, через ТЗ до готовой архитектуры и production за часы

https://telegra.ph/Arhitektura-II-ot-prompta-do-multiagentnyh-sistem-12-13

https://telegra.ph/Prakticheskij-II-dlya-rukovoditelej-i-komand-12-13

https://telegra.ph/LLM-dlya-razrabotchikov-ot-idei-cherez-TZ-do-gotovoj-arhitektury-i-production-za-chasy-12-13
👍1
Channel photo updated
От всей команды IT интегратора ACROPOLIS INTEGRO сердечно поздравляем Вас с наступающим Новым годом!🎄
Благодарим за доверие, плодотворное сотрудничество и совместную работу в уходящем году. Для нас особенно ценно быть вашим технологическим партнёром, помогать в решении бизнес‑задач, развитии IT‑инфраструктуры и достижении стратегических целей.
Пусть 2026 год принесёт вашему бизнесу:
- стабильность и рост;
- новые возможности и успешные проекты;
- надёжные, безопасные и эффективные технологические решения.
Желаем Вам и Вашей команде крепкого здоровья, уверенности в завтрашнем дне и реализации самых амбициозных планов.

С наилучшими пожеланиями,
Команда ACROPOLIS INTEGRO
👍4
Коллеги, хотим сообщить, что у нас есть опция проведения авторских тренингов по Oracle Database для вашей команды:

1) Архитектура Oracle Database

2) Хранение данных в Oracle Database

3) Oracle Network

4) Оптимизация SQL запросов в Oracle Database

5) Конкурентная работа в Oracle Database

6) Утилиты Oracle Database

7) Резервное копирование и восстановление

8) Использование Oracle Dataguard

9) Обзор Oracle RAC



Можем собрать курс по Oracle Database, целевой для вашей команды специалистов.

Адрес для обращений: info@acropolis.uz
1