🧠 Что такое инференс ИИ и как он устроен
Обучение модели может занимать недели и требовать суперкомпьютерных мощностей. Но ценность она создает только в один момент — когда отвечает на конкретный запрос пользователя.
Этот момент называется инференсом. В новой статье разобрали, как он устроен:
▪️ Конвейер от входящего запроса до готового результата: препроцессинг, матричные вычисления, постпроцессинг
▪️ Почему LLM не выдает текст целиком, а генерирует его по одному токену
▪️ Что такое KV-cache и почему при росте нагрузки он забивает видеопамять
▪️ Почему модель на 70 млрд параметров требует минимум 140 ГБ VRAM
▪️ Квантование, прунинг, дистилляция и непрерывный батчинг: что дает каждый метод
🔗 Читать статью в блоге
Обучение модели может занимать недели и требовать суперкомпьютерных мощностей. Но ценность она создает только в один момент — когда отвечает на конкретный запрос пользователя.
Этот момент называется инференсом. В новой статье разобрали, как он устроен:
▪️ Конвейер от входящего запроса до готового результата: препроцессинг, матричные вычисления, постпроцессинг
▪️ Почему LLM не выдает текст целиком, а генерирует его по одному токену
▪️ Что такое KV-cache и почему при росте нагрузки он забивает видеопамять
▪️ Почему модель на 70 млрд параметров требует минимум 140 ГБ VRAM
▪️ Квантование, прунинг, дистилляция и непрерывный батчинг: что дает каждый метод
🔗 Читать статью в блоге
Инференс в продакшене — это постоянная нагрузка и высокие требования к скорости ответа. Для таких задач в Servercore доступны облачные серверы с GPU на базе NVIDIA A5000.
👍2❤1
Weekly-дайджест IT-новостей — собрали главные события недели в одном посте:
1️⃣ Google планирует инвестировать до $40 млрд в Anthropic. $10 млрд будут предоставлены сразу, а оставшиеся $30 млрд — по мере достижения компанией нераскрытых показателей эффективности. Ранее Google уже вложила более $3,75 млрд в разработчика генеративного ИИ, а также финансирует ряд дата-центров для размещения инфраструктуры стартапа. В начале года Anthropic заключила соглашение с Broadcom и Google на поставку 3,5 ГВт TPU-чипов, запуск которых ожидается с 2027 года.
2️⃣ Intel и AMD развивают инициативу ACE (AI Compute Extensions). Планируется, что ACE станет стандартной архитектурой ускорения матричных вычислений для x86-чипов и позволит существенно повысить производительность задач ИИ. Проект является частью совместной стратегии компаний по унификации экосистемы x86 в рамках группы x86 Ecosystem Advisory Group. Помимо ACE, в дорожную карту входят технологии FRED, AVX10 и ChkTag, призванные стандартизировать ключевые функции процессоров и упростить разработку ПО.
3️⃣ TSMC ускоряет развитие техпроцесса 2 нм, одновременно вводя в строй пять передовых фабрик. Ожидается, что объем выпуска 2 нм продукции превзойдет 3 нм почти вдвое. Ранее сообщалось, что TSMC планирует существенно увеличить выпуск 2 нм и 3 нм пластин к концу 2026 года, реагируя на спрос со стороны ключевых клиентов.
4️⃣ Intel и Amkor Technology планируют вывести на рынок технологию стеклянных подложек (Glass Substrates). По планам технология появится в течение ближайших трех лет. Стеклянные подложки — это тонкие пластины из специального стекла, используемые в качестве основы для монтажа микросхем или размещения электронных компонентов. Они рассматриваются как альтернатива решениям продвинутой упаковки, включая CoWoS.
5️⃣ Nvidia представила ускоритель Groq 3 LPX, обеспечивающий рост производительности ИИ-инференса до 35 раз. Ключевым поставщиком стоек для нового решения станет Foxconn. Новые стойки будут включать до 256 чипов с 128 ГБ SRAM и 12 ТБ DDR5-памяти. Разработка ориентирована на обработку моделей с триллионами параметров.
1️⃣ Google планирует инвестировать до $40 млрд в Anthropic. $10 млрд будут предоставлены сразу, а оставшиеся $30 млрд — по мере достижения компанией нераскрытых показателей эффективности. Ранее Google уже вложила более $3,75 млрд в разработчика генеративного ИИ, а также финансирует ряд дата-центров для размещения инфраструктуры стартапа. В начале года Anthropic заключила соглашение с Broadcom и Google на поставку 3,5 ГВт TPU-чипов, запуск которых ожидается с 2027 года.
2️⃣ Intel и AMD развивают инициативу ACE (AI Compute Extensions). Планируется, что ACE станет стандартной архитектурой ускорения матричных вычислений для x86-чипов и позволит существенно повысить производительность задач ИИ. Проект является частью совместной стратегии компаний по унификации экосистемы x86 в рамках группы x86 Ecosystem Advisory Group. Помимо ACE, в дорожную карту входят технологии FRED, AVX10 и ChkTag, призванные стандартизировать ключевые функции процессоров и упростить разработку ПО.
3️⃣ TSMC ускоряет развитие техпроцесса 2 нм, одновременно вводя в строй пять передовых фабрик. Ожидается, что объем выпуска 2 нм продукции превзойдет 3 нм почти вдвое. Ранее сообщалось, что TSMC планирует существенно увеличить выпуск 2 нм и 3 нм пластин к концу 2026 года, реагируя на спрос со стороны ключевых клиентов.
4️⃣ Intel и Amkor Technology планируют вывести на рынок технологию стеклянных подложек (Glass Substrates). По планам технология появится в течение ближайших трех лет. Стеклянные подложки — это тонкие пластины из специального стекла, используемые в качестве основы для монтажа микросхем или размещения электронных компонентов. Они рассматриваются как альтернатива решениям продвинутой упаковки, включая CoWoS.
5️⃣ Nvidia представила ускоритель Groq 3 LPX, обеспечивающий рост производительности ИИ-инференса до 35 раз. Ключевым поставщиком стоек для нового решения станет Foxconn. Новые стойки будут включать до 256 чипов с 128 ГБ SRAM и 12 ТБ DDR5-памяти. Разработка ориентирована на обработку моделей с триллионами параметров.
❤15👍6
🔒 Servercore — в публичном реестре CSA STAR
Cloud Security Alliance — международная организация, которая разрабатывает стандарты безопасности для облачных сервисов. Ее публичный реестр STAR Registry документирует меры безопасности облачных провайдеров. В реестре представлены AWS, Microsoft Azure, Google Cloud, Alibaba Cloud, Atlassian и более 2 000 других компаний. Теперь в нем есть и Servercore.
Меры безопасности Servercore описаны в реестре по международному фреймворку Cloud Controls Matrix — 197 контролей в 17 доменах, сопоставимых с ISO 27001, PCI DSS, SOC 2 и GDPR.
Практики безопасности Servercore доступны публично для проверки в реестре — без NDA, дополнительных запросов и обмена опросниками. Особенно это важно для финтеха, банков и других компаний с жесткими требованиями к комплаенсу.
🔗 Листинг в реестре
Cloud Security Alliance — международная организация, которая разрабатывает стандарты безопасности для облачных сервисов. Ее публичный реестр STAR Registry документирует меры безопасности облачных провайдеров. В реестре представлены AWS, Microsoft Azure, Google Cloud, Alibaba Cloud, Atlassian и более 2 000 других компаний. Теперь в нем есть и Servercore.
Меры безопасности Servercore описаны в реестре по международному фреймворку Cloud Controls Matrix — 197 контролей в 17 доменах, сопоставимых с ISO 27001, PCI DSS, SOC 2 и GDPR.
Практики безопасности Servercore доступны публично для проверки в реестре — без NDA, дополнительных запросов и обмена опросниками. Особенно это важно для финтеха, банков и других компаний с жесткими требованиями к комплаенсу.
🔗 Листинг в реестре
❤7🔥3⚡2👍2
Weekly-дайджест IT-новостей — собрали главные события недели в одном посте:
1️⃣ В первом квартале 2026 года выручка AMD в сегменте дата-центров выросла на 57% — до $5,8 млрд. Главный драйвер — высокий спрос на процессоры Epyc и ускорители Instinct для задач ИИ. Общая выручка компании составила $10,25 млрд, на 38% больше год к году. Ожидается, что к 2030 году доходы от серверных CPU достигнут $120 млрд.
2️⃣ AMD представила Instinct MI430X, компания называет его самым производительным GPU для вычислений FP64. Заявляется, что новинка в 6 раз быстрее Nvidia Rubin в HPC-нагрузках. Несмотря на рост популярности FP4, FP6 и FP8 для ИИ, формат FP64 остается ключевым для научных и инженерных задач в сфере высокопроизводительных вычислений. MI430X будет развернут в суперкомпьютере Discovery национальной лаборатории Ок-Ридж (ORNL) к 2028 году.
3️⃣ Arm сообщает о резком росте спроса на процессоры AGI CPU. Компания удвоила прогноз выручки от этого направления — более $2 млрд к 2028 году. Представленный в марте чип разработан специально для задач агентного ИИ и основан на архитектуре Arm, которая продолжает укреплять позиции в дата-центрах. Запуск AGI CPU стал стратегическим шагом для Arm, позволив компании перейти от модели поставщика IP к роли полноценного производителя серверных чипов.
4️⃣ Nvidia готовит переход к значительно более энергоемким системам ИИ. По оценкам Morgan Stanley, стойки с GPU поколения Feynman, ожидаемые после Rubin в 2028 году, увеличат затраты на компоненты электропитания до $191 тысяч на стойку. Этот показатель в 17 раз больше по сравнению с платформами Blackwell. Рост связан с переходом дата-центров на архитектуры питания 800V DC и стремительным увеличением энергопотребления ИИ-кластеров.
5️⃣ Samsung, SK Hynix и Micron начали активную разработку памяти DDR6. Компании рассчитывают вывести новый стандарт на рынок в 2028–2029 годах. Производители DRAM делают ставку на более высокую скорость и увеличенную емкость памяти, которые потребуются для следующего поколения ИИ-ускорителей и дата-центров.
1️⃣ В первом квартале 2026 года выручка AMD в сегменте дата-центров выросла на 57% — до $5,8 млрд. Главный драйвер — высокий спрос на процессоры Epyc и ускорители Instinct для задач ИИ. Общая выручка компании составила $10,25 млрд, на 38% больше год к году. Ожидается, что к 2030 году доходы от серверных CPU достигнут $120 млрд.
2️⃣ AMD представила Instinct MI430X, компания называет его самым производительным GPU для вычислений FP64. Заявляется, что новинка в 6 раз быстрее Nvidia Rubin в HPC-нагрузках. Несмотря на рост популярности FP4, FP6 и FP8 для ИИ, формат FP64 остается ключевым для научных и инженерных задач в сфере высокопроизводительных вычислений. MI430X будет развернут в суперкомпьютере Discovery национальной лаборатории Ок-Ридж (ORNL) к 2028 году.
3️⃣ Arm сообщает о резком росте спроса на процессоры AGI CPU. Компания удвоила прогноз выручки от этого направления — более $2 млрд к 2028 году. Представленный в марте чип разработан специально для задач агентного ИИ и основан на архитектуре Arm, которая продолжает укреплять позиции в дата-центрах. Запуск AGI CPU стал стратегическим шагом для Arm, позволив компании перейти от модели поставщика IP к роли полноценного производителя серверных чипов.
4️⃣ Nvidia готовит переход к значительно более энергоемким системам ИИ. По оценкам Morgan Stanley, стойки с GPU поколения Feynman, ожидаемые после Rubin в 2028 году, увеличат затраты на компоненты электропитания до $191 тысяч на стойку. Этот показатель в 17 раз больше по сравнению с платформами Blackwell. Рост связан с переходом дата-центров на архитектуры питания 800V DC и стремительным увеличением энергопотребления ИИ-кластеров.
5️⃣ Samsung, SK Hynix и Micron начали активную разработку памяти DDR6. Компании рассчитывают вывести новый стандарт на рынок в 2028–2029 годах. Производители DRAM делают ставку на более высокую скорость и увеличенную емкость памяти, которые потребуются для следующего поколения ИИ-ускорителей и дата-центров.
❤9👍1
🇺🇿 Servercore — золотой партнер DevOpsDays Tashkent 2026
Завтра, 15 мая, в Ташкенте пройдет международная техническая конференция DevOpsDays. На одной площадке соберутся более 350 специалистов из Узбекистана, Казахстана и других стран.
В программе — панельная дискуссия, 16 докладов и 4 воркшопа про AI-инфраструктуру, Kubernetes, SRE, observability и CI/CD. Плюс нетворкинг с комьюнити и мерч от спонсоров.
Мы участвуем как золотой партнер мероприятия — ищите нас на стенде Servercore. Что мы подготовили:
▪️ Доклад Исмоилжона Иминохунова, Senior Project Manager Servercore: «Опыт оптимизации AI-инфраструктуры: подбор и тестирование GPU под реальные задачи».
▪️ Сборка-разборка сервера на стенде: можно своими руками поработать с реальным железом и задать вопросы нашим инженерам.
▪️ Активности на стенде с призами и мерчем.
🔗 Зарегистрироваться
Завтра, 15 мая, в Ташкенте пройдет международная техническая конференция DevOpsDays. На одной площадке соберутся более 350 специалистов из Узбекистана, Казахстана и других стран.
В программе — панельная дискуссия, 16 докладов и 4 воркшопа про AI-инфраструктуру, Kubernetes, SRE, observability и CI/CD. Плюс нетворкинг с комьюнити и мерч от спонсоров.
Мы участвуем как золотой партнер мероприятия — ищите нас на стенде Servercore. Что мы подготовили:
▪️ Доклад Исмоилжона Иминохунова, Senior Project Manager Servercore: «Опыт оптимизации AI-инфраструктуры: подбор и тестирование GPU под реальные задачи».
▪️ Сборка-разборка сервера на стенде: можно своими руками поработать с реальным железом и задать вопросы нашим инженерам.
▪️ Активности на стенде с призами и мерчем.
🔗 Зарегистрироваться
👍6❤5
Weekly-дайджест IT-новостей — собрали главные события недели в одном посте:
1️⃣ Крупнейшие облачные провайдеры могут существенно нарастить капитальные затраты на ИИ-инфраструктуру к 2027 году. По прогнозу Moody’s, совокупные капитальные затраты Microsoft, Amazon, Meta, Alphabet, Oracle и CoreWeave приблизятся к $1 трлн, а уже в 2026 году достигнут $785 млрд. Наиболее активно в развитие ИИ-мощностей инвестируют AWS, Microsoft Azure и Google Cloud Platform. Например, выручка Google Cloud выросла на 63% год к году, а операционная прибыль более чем удвоилась.
2️⃣ Производитель wafer-scale ИИ-чипов Cerebras Systems вышел на Nasdaq с капитализацией около $95 млрд — крупнейшее tech-IPO в США с 2019 года. Компания привлекла $5,55 млрд и располагает портфелем контрактов на $24,6 млрд, включая соглашение с OpenAI на $10 млрд. Выход Cerebras на биржу отражает растущую зрелость рынка специализированных AI-ускорителей.
3️⃣ По итогам первого квартала 2026 года линейка AMD EPYC обеспечила компании рекордную долю в 46,2% выручки серверного сегмента. Теперь AMD контролирует около 30% всего CPU-рынка, а рост продаж EPYC продолжает ускоряться на фоне высокого спроса со стороны дата-центров и ИИ-инфраструктуры. Компания также зафиксировала рекордные показатели выручки в серверном и клиентском сегментах процессоров.
4️⃣ Micron начинает поставки DDR5 RDIMM-модулей объёмом до 256 ГБ со скоростью до 9200 MT/s. Это примерно на 40% быстрее текущих массовых DDR5 RDIMM-решений. Новые модули основаны на передовой DRAM-технологии Micron 1-gamma с применением 3D stacking (3DS) и TSV (through-silicon via). Это методы упаковки, которые позволяют вертикально объединять кристаллы памяти и соединять их через сквозные кремниевые отверстия.
1️⃣ Крупнейшие облачные провайдеры могут существенно нарастить капитальные затраты на ИИ-инфраструктуру к 2027 году. По прогнозу Moody’s, совокупные капитальные затраты Microsoft, Amazon, Meta, Alphabet, Oracle и CoreWeave приблизятся к $1 трлн, а уже в 2026 году достигнут $785 млрд. Наиболее активно в развитие ИИ-мощностей инвестируют AWS, Microsoft Azure и Google Cloud Platform. Например, выручка Google Cloud выросла на 63% год к году, а операционная прибыль более чем удвоилась.
2️⃣ Производитель wafer-scale ИИ-чипов Cerebras Systems вышел на Nasdaq с капитализацией около $95 млрд — крупнейшее tech-IPO в США с 2019 года. Компания привлекла $5,55 млрд и располагает портфелем контрактов на $24,6 млрд, включая соглашение с OpenAI на $10 млрд. Выход Cerebras на биржу отражает растущую зрелость рынка специализированных AI-ускорителей.
3️⃣ По итогам первого квартала 2026 года линейка AMD EPYC обеспечила компании рекордную долю в 46,2% выручки серверного сегмента. Теперь AMD контролирует около 30% всего CPU-рынка, а рост продаж EPYC продолжает ускоряться на фоне высокого спроса со стороны дата-центров и ИИ-инфраструктуры. Компания также зафиксировала рекордные показатели выручки в серверном и клиентском сегментах процессоров.
4️⃣ Micron начинает поставки DDR5 RDIMM-модулей объёмом до 256 ГБ со скоростью до 9200 MT/s. Это примерно на 40% быстрее текущих массовых DDR5 RDIMM-решений. Новые модули основаны на передовой DRAM-технологии Micron 1-gamma с применением 3D stacking (3DS) и TSV (through-silicon via). Это методы упаковки, которые позволяют вертикально объединять кристаллы памяти и соединять их через сквозные кремниевые отверстия.
❤10⚡4🔥1
🇺🇿 Servercore на ПЛАС-Форуме Digital Uzbekistan 2026
19-20 мая мы приняли участие в международном ПЛАС-Форуме Digital Uzbekistan в Ташкенте. Мероприятие было посвящено цифровизации и взаимодействию государства и бизнеса. Аудитория — представители госсектора, финтеха, банков, телекома, ритейла, e-commerce и криптоиндустрии.
В программе было много близких нам тем: развитие IT-инфраструктуры, AI на госуровне и в бизнесе, кибербезопасность в банкинге и платежном бизнесе, цифровизация госуслуг.
На стенде мы рассказывали о возможностях облачной платформы Servercore в Узбекистане: две зоны доступности в Ташкенте, облачные и выделенные серверы, серверы с GPU, облачные базы данных и другие сервисы на базе локальной инфраструктуры.
Спасибо всем, кто подходил к стенду — было интересно обсудить ваши задачи и проекты.
19-20 мая мы приняли участие в международном ПЛАС-Форуме Digital Uzbekistan в Ташкенте. Мероприятие было посвящено цифровизации и взаимодействию государства и бизнеса. Аудитория — представители госсектора, финтеха, банков, телекома, ритейла, e-commerce и криптоиндустрии.
В программе было много близких нам тем: развитие IT-инфраструктуры, AI на госуровне и в бизнесе, кибербезопасность в банкинге и платежном бизнесе, цифровизация госуслуг.
На стенде мы рассказывали о возможностях облачной платформы Servercore в Узбекистане: две зоны доступности в Ташкенте, облачные и выделенные серверы, серверы с GPU, облачные базы данных и другие сервисы на базе локальной инфраструктуры.
Спасибо всем, кто подходил к стенду — было интересно обсудить ваши задачи и проекты.
❤10
Weekly-дайджест IT-новостей — собрали главные события недели в одном посте:
1️⃣ Nvidia может стать крупнейшим поставщиком CPU в мире уже в этом году. Компания рассчитывает стать лидером не только на рынке GPU, но и серверных процессоров благодаря высокому спросу на Vera, выручка от которых может достичь $20 млрд. Nvidia недавно объявила о начале массового производства Vera и уже поставила первые CPU-стойки таким клиентам, как OpenAI, SpaceX, Anthropic и Oracle.
2️⃣ AMD первой в индустрии запустила массовое производство HPC-процессоров по техпроцессу 2 нм. Процессоры AMD EPYC Venice стали первым HPC-решением, достигшим стадии volume ramp на передовом техпроцессе TSMC 2 нм. Новое поколение серверных чипов основано на архитектуре Zen 6 и нацелено на рынок систем ИИ.
3️⃣ Intel начала массовое производство серверных CPU Xeon 6+ Clearwater Forest на техпроцессе 18A. Новые серверные процессоры выйдут на рынок до конца года. Чипы построены на техпроцессе Intel 18A и оснащены до 288 энергоэффективных ядер Darkmont, а также 576 МБ кэш-памяти. Clearwater Forest станет одним из ключевых продуктов Intel для дата-центров, ориентированным на 6G-инфраструктуру и Edge AI-нагрузки.
4️⃣ Инвестиционная компания Blackstone и Google создадут облачную TPU-платформу с инвестициями $5 млрд. Новый сервис позволит клиентам получать доступ к TPU по модели compute-as-a-service через отдельную платформу, а не напрямую через Google Cloud. В рамках проекта Blackstone вложит $5 млрд собственного капитала, а запуск первых мощностей объемом 500 МВт запланирован на 2027 год.
5️⃣ Dell представила платформу хранения PowerStore Elite и серверы PowerEdge нового поколения. PowerStore Elite построена на процессорах Intel Xeon Scalable и получила на 50% больше CPU-ядер по сравнению с предыдущими моделями. Также заявлена поддержка памяти DDR5, интерфейс PCIe Gen 5 и новый 200-Гбит/с RDMA-интерконнект. Новая линейка Dell PowerEdge обеспечивает прирост производительности до 70% благодаря усовершенствованным системам воздушного и жидкостного охлаждения. Большинство серверов серии построены на процессорах AMD EPYC 6 Gen, а модель R9810 получит будущий серверный чип Intel Diamond Rapids.
6️⃣ Alibaba представила ИИ-чип Zhenwu M890 с 144 ГБ памяти для обучения и инференса моделей. Новая модель получит 144 ГБ GPU-памяти и межчиповую пропускную способность до 800 ГБ/с. Также в подразделении Alibaba по разработке чипов T-Head сообщили, что процессоры Zhenwu V900 и Zhenwu J900 выйдут в третьем квартале 2027 и 2028 годов соответственно.
1️⃣ Nvidia может стать крупнейшим поставщиком CPU в мире уже в этом году. Компания рассчитывает стать лидером не только на рынке GPU, но и серверных процессоров благодаря высокому спросу на Vera, выручка от которых может достичь $20 млрд. Nvidia недавно объявила о начале массового производства Vera и уже поставила первые CPU-стойки таким клиентам, как OpenAI, SpaceX, Anthropic и Oracle.
2️⃣ AMD первой в индустрии запустила массовое производство HPC-процессоров по техпроцессу 2 нм. Процессоры AMD EPYC Venice стали первым HPC-решением, достигшим стадии volume ramp на передовом техпроцессе TSMC 2 нм. Новое поколение серверных чипов основано на архитектуре Zen 6 и нацелено на рынок систем ИИ.
3️⃣ Intel начала массовое производство серверных CPU Xeon 6+ Clearwater Forest на техпроцессе 18A. Новые серверные процессоры выйдут на рынок до конца года. Чипы построены на техпроцессе Intel 18A и оснащены до 288 энергоэффективных ядер Darkmont, а также 576 МБ кэш-памяти. Clearwater Forest станет одним из ключевых продуктов Intel для дата-центров, ориентированным на 6G-инфраструктуру и Edge AI-нагрузки.
4️⃣ Инвестиционная компания Blackstone и Google создадут облачную TPU-платформу с инвестициями $5 млрд. Новый сервис позволит клиентам получать доступ к TPU по модели compute-as-a-service через отдельную платформу, а не напрямую через Google Cloud. В рамках проекта Blackstone вложит $5 млрд собственного капитала, а запуск первых мощностей объемом 500 МВт запланирован на 2027 год.
5️⃣ Dell представила платформу хранения PowerStore Elite и серверы PowerEdge нового поколения. PowerStore Elite построена на процессорах Intel Xeon Scalable и получила на 50% больше CPU-ядер по сравнению с предыдущими моделями. Также заявлена поддержка памяти DDR5, интерфейс PCIe Gen 5 и новый 200-Гбит/с RDMA-интерконнект. Новая линейка Dell PowerEdge обеспечивает прирост производительности до 70% благодаря усовершенствованным системам воздушного и жидкостного охлаждения. Большинство серверов серии построены на процессорах AMD EPYC 6 Gen, а модель R9810 получит будущий серверный чип Intel Diamond Rapids.
6️⃣ Alibaba представила ИИ-чип Zhenwu M890 с 144 ГБ памяти для обучения и инференса моделей. Новая модель получит 144 ГБ GPU-памяти и межчиповую пропускную способность до 800 ГБ/с. Также в подразделении Alibaba по разработке чипов T-Head сообщили, что процессоры Zhenwu V900 и Zhenwu J900 выйдут в третьем квартале 2027 и 2028 годов соответственно.
❤8🤔2
🇺🇿 Как банки Узбекистана безопасно строят инфраструктуру в облаке и адаптируются к эпохе AI
В апреле мы провели IT-плов — наше флагманское бизнес-мероприятие для разработчиков, IT-специалистов и владельцев бизнеса. В этот раз сфокусировались на IT-инфраструктуре для финансового сектора, а партнером выступила Central Asian Fintech Association. Спикерами стали представители Центрального банка Узбекистана и компании Samair.
Gazeta.uz опубликовала репортаж с мероприятия и собрала основные выводы:
▪️ ИИ одновременно стал главным инструментом атаки и защиты: дипфейки, AI-фишинг и автоматизированные атаки требуют такого же проактивного подхода к защите.
▪️ Главный вызов для финтеха — баланс между контролем и скоростью: облако дает гибкость, но требует зрелого подхода к распределению ответственности между банком и провайдером.
▪️ Гибридная модель является оптимальным сценарием: критичные системы расположены на собственной инфраструктуре, остальное — в облаке. Такой подход позволяет одновременно соблюдать требования регулятора и оптимизировать затраты на инфраструктуру.
🔗 Читать репортаж целиком на Gazeta.uz
В апреле мы провели IT-плов — наше флагманское бизнес-мероприятие для разработчиков, IT-специалистов и владельцев бизнеса. В этот раз сфокусировались на IT-инфраструктуре для финансового сектора, а партнером выступила Central Asian Fintech Association. Спикерами стали представители Центрального банка Узбекистана и компании Samair.
Gazeta.uz опубликовала репортаж с мероприятия и собрала основные выводы:
▪️ ИИ одновременно стал главным инструментом атаки и защиты: дипфейки, AI-фишинг и автоматизированные атаки требуют такого же проактивного подхода к защите.
▪️ Главный вызов для финтеха — баланс между контролем и скоростью: облако дает гибкость, но требует зрелого подхода к распределению ответственности между банком и провайдером.
▪️ Гибридная модель является оптимальным сценарием: критичные системы расположены на собственной инфраструктуре, остальное — в облаке. Такой подход позволяет одновременно соблюдать требования регулятора и оптимизировать затраты на инфраструктуру.
🔗 Читать репортаж целиком на Gazeta.uz
👍5⚡4❤1
🎬 Visa, WeBank, LexARE: реальные кейсы AI в финтехе — видео с IT-беша в Алматы
Опубликовали на нашем YouTube-канале видеозаписи докладов с бизнес-ужина 30 апреля, где обсудили внедрение AI в финансовый сектор и выбор инфраструктуры для AI/ML-задач.
📹 Юрий Капелько: «AI в финтехе Казахстана: что можно внедрять уже сегодня»
📹 Дмитрий Ерёмин: «AI-платформа для бизнеса: специализированная LLM-система для казахстанского рынка на self-hosted»
Опубликовали на нашем YouTube-канале видеозаписи докладов с бизнес-ужина 30 апреля, где обсудили внедрение AI в финансовый сектор и выбор инфраструктуры для AI/ML-задач.
COO Servercore рассказал о практических подходах к внедрению AI в финансовый сектор:
— Глобальные и локальные кейсы банков: от WeBank до Freedom Bank
— Сравнение моделей развертывания: on-premise, colocation, IaaS, PaaS, SaaS
— Как выбрать модель и спланировать ресурсы под реальную нагрузку
— Чек-лист из 7 задач для развертывания модели в продакшн
CEO и co-Founder LexARE рассказал о создании LLM-платформы для МСБ в Казахстане:
— Почему внешние API не подошли и как перешли на self-hosted
— Архитектура платформы: 8 AI-агентов, RAG, трёхуровневая память
— Нагрузочное тестирование GPU NVIDIA A5000 в продакшн-условиях
— Юнит-экономика: self-hosted против облачных API при 6,7 млрд токенов в месяц
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4❤3⚡1
Weekly-дайджест IT-новостей — собрали главные события недели в одном посте:
1️⃣ Anthropic привлекла $65 млрд и почти достигла оценки в $1 трлн перед IPO. Новый раунд финансирования оценил компанию в $965 млрд после инвестиций и может стать последним частным привлечением капитала перед выходом на биржу. Среди инвесторов — Samsung, SK Hynix и Micron как стратегические инфраструктурные партнёры. Одновременно Anthropic представила модель Claude Opus 4.8 с улучшенными возможностями для агентных задач, программирования и механизмами самокоррекции.
2️⃣ Nvidia Vera с 88 ядрами Olympus на архитектуре Arm обошла AMD EPYC и Intel Xeon в первых тестах производительности. Новый процессор показал прирост производительности до 63% по сравнению с предыдущим поколением Grace и стал одним из ключевых компонентов платформы Rubin для ИИ-инфраструктуры. Компания уже начала массовое производство Vera и поставила первые серверные стойки OpenAI, SpaceX, Anthropic и Oracle. Выход Vera также знаменует дебют Nvidia на рынке standalone-CPU, где компания напрямую конкурирует с AMD и Intel.
3️⃣ Snowflake заключила пятилетнее соглашение с AWS на $6 млрд для развития ИИ-инфраструктуры и CPU. Сделка сопоставима со всем объемом продаж Snowflake через AWS Marketplace с момента основания компании в 2012 году. Примечательно, что контракт ориентирован на Graviton — собственные ARM CPU Amazon, спрос на которые резко вырос на фоне агентного AI и роста CPU-нагрузок в облаке.
4️⃣ Дефицит чипов памяти сделал облачные bare metal серверы дешевле собственных дата-центров. По заявлению главы Nutanix Раджив Рамасвами, серверные мощности у облачных провайдеров выгоднее самостоятельного развертывания инфраструктуры on-premise. Рамасвами также отметил, что гиперскейлеры получают приоритет у производителей чипов и поставщиков, что дополнительно усиливает их преимущества перед традиционными корпоративными дата-центрами.
1️⃣ Anthropic привлекла $65 млрд и почти достигла оценки в $1 трлн перед IPO. Новый раунд финансирования оценил компанию в $965 млрд после инвестиций и может стать последним частным привлечением капитала перед выходом на биржу. Среди инвесторов — Samsung, SK Hynix и Micron как стратегические инфраструктурные партнёры. Одновременно Anthropic представила модель Claude Opus 4.8 с улучшенными возможностями для агентных задач, программирования и механизмами самокоррекции.
2️⃣ Nvidia Vera с 88 ядрами Olympus на архитектуре Arm обошла AMD EPYC и Intel Xeon в первых тестах производительности. Новый процессор показал прирост производительности до 63% по сравнению с предыдущим поколением Grace и стал одним из ключевых компонентов платформы Rubin для ИИ-инфраструктуры. Компания уже начала массовое производство Vera и поставила первые серверные стойки OpenAI, SpaceX, Anthropic и Oracle. Выход Vera также знаменует дебют Nvidia на рынке standalone-CPU, где компания напрямую конкурирует с AMD и Intel.
3️⃣ Snowflake заключила пятилетнее соглашение с AWS на $6 млрд для развития ИИ-инфраструктуры и CPU. Сделка сопоставима со всем объемом продаж Snowflake через AWS Marketplace с момента основания компании в 2012 году. Примечательно, что контракт ориентирован на Graviton — собственные ARM CPU Amazon, спрос на которые резко вырос на фоне агентного AI и роста CPU-нагрузок в облаке.
4️⃣ Дефицит чипов памяти сделал облачные bare metal серверы дешевле собственных дата-центров. По заявлению главы Nutanix Раджив Рамасвами, серверные мощности у облачных провайдеров выгоднее самостоятельного развертывания инфраструктуры on-premise. Рамасвами также отметил, что гиперскейлеры получают приоритет у производителей чипов и поставщиков, что дополнительно усиливает их преимущества перед традиционными корпоративными дата-центрами.
❤2