Пора строить собственную платформу данных
Дополнительное хранилище не поможет, когда форматы множатся, а объем данных перешагнул за терабайт. Оптимальное решение — табличный слой поверх существующих хранилищ. Он дает ACID-транзакции, эволюцию схемы без переписывания данных и одинаковое представление таблиц для стриминга, ML и BI.
Часть 1. Разбираемся с архитектурой Apache Iceberg.
Часть 2. Практика: связываем метаданные в единую систему для разных движков.
Часть 3. Подключаем вычислительный движок к платформе данных.
Ставьте ❤️, если ждете продолжение статей про платформу данных.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤10😱4😎4
Объем данных постоянно растет? Протестируйте S3 бесплатно в течение 30 дней в Selectel 👇
🍾6🤩4💯3
Вам открытую LLM или приватный инференс?
💯— открытую LLM
❤️ — приватный инференс
💯— открытую LLM
❤️ — приватный инференс
💯53❤42
Роутер к внешним LLM vs свой инференс ⚖️
В каких проектах выгоднее использовать тарификацию по ресурсам, а для каких оптимальна оплата по токенам? Разбираемся на примере наших продуктов из ИИ-платформы Selectel.
Выгодно платить за вычислительные ресурсы → Foundation Models Catalog
Выгодно платить за количество токенов → ИИ-роутер
Сохраняйте пост со шпаргалкой по выбору решения. Больше вариантов ИТ-инфраструктуры для ИИ-задач — в ИИ-платформе Selectel➡️
В каких проектах выгоднее использовать тарификацию по ресурсам, а для каких оптимальна оплата по токенам? Разбираемся на примере наших продуктов из ИИ-платформы Selectel.
Выгодно платить за вычислительные ресурсы → Foundation Models Catalog
🖥 Требования регуляторов. Вычисления и данные не должны покидать границы государства.🖥 Проект растет. Количество запросов настолько
велико или непредсказуемо, что экономически выгоднее платить за GPU, чем за миллион токенов.🖥 Архитектура усложняется. Ваш продукт полагается на несколько моделей и многоэтапные пайплайны. От этого выгоднее минимизировать сетевые задержки и сложность развертывания.
Выгодно платить за количество токенов → ИИ-роутер
🖥 Проект на старте. Объем запросов низкий или нестабильный. Нет смысла резервировать дорогие GPU, но проще платить за фактические токены.🖥 Нагрузка эпизодическая. Пиковые всплески сменяются периодами простоя. Оплата по токенам позволяет не держать инфраструктуру без использования.🖥 Не нужна кастомизация. Используете стандартные публичные модели без дообучения или специфических требований к окружению.
Сохраняйте пост со шпаргалкой по выбору решения. Больше вариантов ИТ-инфраструктуры для ИИ-задач — в ИИ-платформе Selectel
Please open Telegram to view this post
VIEW IN TELEGRAM
❤8
Найти конкретную информацию в общем хранилище было непросто и раньше. Теперь ее нужно еще и готовить к обучению LLM — следить за качеством и актуальностью. Компании рассчитывали, что Data Lake упростит эту работу, но на практике все вышло иначе.
В новом выпуске подкаста «Сегодня на ретро» выясняем, почему так произошло и чем на практике отличаются Data Warehouse, Data Lake и Data Lakehouse.
В нашей студии — Антон Близгарев, директор по развитию бизнеса Arenadata, и Алексей Вокуев, продакт-менеджер по Big Data в Selectel. Вместе разбираем, как архитектура данных выдерживает рост бизнеса, что дает open source и во сколько обходится его поддержка, а также какие новые требования к данным приносит эпоха ИИ.
Смотрите на наших площадках:
🔹YouTube,
🔹VK Видео,
🔹Rutube.
А если после выпуска захочется навести порядок в своих данных — подберите подходящее решение в Selectel
Please open Telegram to view this post
VIEW IN TELEGRAM
👍10
⚡ Эти фичи уже в реальности
1 млрд IOPS в СХД-платформе и архитектура SLiM без коммутаторов
А новый железный дайджест — уже в Академии Selectel ➡️
1 млрд IOPS в СХД-платформе и архитектура SLiM без коммутаторов
А новый железный дайджест — уже в Академии Selectel ➡️
🏆7🔥5
Раскрываем гостя вечерней программы
🦖 🦖 🦖 🦖 👀 👀 👀 👀 👀
На главной сцене ведущие подкаста «Вселенная плюс» запишут новый выпуск вместе с Борисом Штерном, доктором физико-математических наук, ведущим научным сотрудником Института ядерных исследований РАН и Астрокосмического центра ФИАН.
⚡ Не будем скрывать и тему будущего выпуска!
Вместе поговорим про черные дыры. Разберемся, как они уничтожают информацию о прошлом Вселенной, хотя по законам физики это невозможно.
🔥 Трансляции подкаста не будет. Ждем вас на записи подкаста оффлайн, еще есть места. Успейте зарегистрироваться на Selectel ТехноДень.
На главной сцене ведущие подкаста «Вселенная плюс» запишут новый выпуск вместе с Борисом Штерном, доктором физико-математических наук, ведущим научным сотрудником Института ядерных исследований РАН и Астрокосмического центра ФИАН.
⚡ Не будем скрывать и тему будущего выпуска!
Вместе поговорим про черные дыры. Разберемся, как они уничтожают информацию о прошлом Вселенной, хотя по законам физики это невозможно.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥25
Облако в коде, железо — вручную? 💪
В гибридных проектах такое встречается часто: облачные серверы развертывают через код, а выделенные требуют отдельной настройки. Terraform позволяет объединить эти процессы и управлять обоими типами ресурсов через манифесты.
Для этого физическим серверам нужны API и автоматическая установка ОС. В Selectel эти возможности реализованы в Bare Metal Cloud.
В новой статье рассказываем, как с помощью Terraform:
📎 развернуть выделенный сервер и виртуальную машину в разных дата-центрах,
📎 задать RAID и разметку дисков в манифесте,
📎 подключить приватные подсети к глобальному роутеру.
От манифеста к настроенной ИТ-инфраструктуре — арендуйте выделенный сервер с управлением через Terraform в Selectel➡️
В гибридных проектах такое встречается часто: облачные серверы развертывают через код, а выделенные требуют отдельной настройки. Terraform позволяет объединить эти процессы и управлять обоими типами ресурсов через манифесты.
Для этого физическим серверам нужны API и автоматическая установка ОС. В Selectel эти возможности реализованы в Bare Metal Cloud.
В новой статье рассказываем, как с помощью Terraform:
От манифеста к настроенной ИТ-инфраструктуре — арендуйте выделенный сервер с управлением через Terraform в Selectel
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7❤🔥5
Пока вы читаете этот пост, серверы дешевеют ⏳
Аукцион в Selectel — это шанс получить нужный выделенный сервер со скидкой до 80%. Правила простые: цена падает с каждой секундой, а вы сами выбираете момент, когда забрать сервер.
Каждый день на торгах появляются новые лоты, среди которых найдутся как решения для небольших проектов, так и мощные машины для ML и AI.
Можно выжидать до последнего, но помните, что за приглянувшимся сервером может следить кто-то еще 😏
Забирайте свой лот по ссылке➡️
Аукцион в Selectel — это шанс получить нужный выделенный сервер со скидкой до 80%. Правила простые: цена падает с каждой секундой, а вы сами выбираете момент, когда забрать сервер.
Каждый день на торгах появляются новые лоты, среди которых найдутся как решения для небольших проектов, так и мощные машины для ML и AI.
Можно выжидать до последнего, но помните, что за приглянувшимся сервером может следить кто-то еще 😏
Забирайте свой лот по ссылке
Media is too big
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥14
Первая мысль, когда приложение не справляется с растущей нагрузкой?
🔥 — «зальем» виртуальную машину всеми возможными ресурсами: увеличим vCPU, память и что-нибудь еще
❤️ — изолируем ВМ, чтобы не делить ресурсы с «соседями»
🌚 — требуем новую!
🔥 — «зальем» виртуальную машину всеми возможными ресурсами: увеличим vCPU, память и что-нибудь еще
❤️ — изолируем ВМ, чтобы не делить ресурсы с «соседями»
🌚 — требуем новую!
🔥20🌚9❤6
Нажать одну клавишу — и прокачать производительность облака 🔥
В облаке Selectel есть выделенные ядра. Они подходят для высоконагруженных приложений, которым важны стабильная производительность и низкие задержки.
В чем преимущества выделенных ядер?
❄️ Физические ядра целиком ваши. vCPU закреплены за конкретными ядрами хоста, и оба потока отданы только вашей виртуальной машины. Процессорное время ни с кем не делится.
❄️ Предсказуемая скорость. vCPU не мигрируют между ядрами, поэтому кэши процессора остаются «прогретыми».
❄️ Меньше влияние соседних ВМ даже в часы пиковой нагрузки на хост.
❄️ Увеличение скорости работы с памятью и снижение задержек на линейке HighFreq за счет размещения vCPU и оперативной памяти в одной NUMA-ноде.
Сравнили обычные и выделенные ядра в работе при высоких нагрузках. Результаты вас удивят — смотрите в Академии Selectel, что вышло.
Убедились в результатах выделенных ядер и ищете мощности для критически важных проектов? Прокачайте облако в Selectel👉
В облаке Selectel есть выделенные ядра. Они подходят для высоконагруженных приложений, которым важны стабильная производительность и низкие задержки.
В чем преимущества выделенных ядер?
Сравнили обычные и выделенные ядра в работе при высоких нагрузках. Результаты вас удивят — смотрите в Академии Selectel, что вышло.
Убедились в результатах выделенных ядер и ищете мощности для критически важных проектов? Прокачайте облако в Selectel
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4
Forwarded from Selectel Мероприятия
Как работать с данными еще эффективнее?
Делимся, что вас ждет в заключительном треке Selectel ТехноДень.
▪️ Покажем, как объединить надежность транзакций DWH и гибкость Data Lake в одной системе.
▪️ Расскажем, на какие технологии можно опереться в вопросах импортозамещения, выполнения требований регуляторов, оптимизации ресурсов.
▪️ Разберем аварийное восстановление инфраструктуры и данных любого уровня критичности с учетом допустимых RTO/RPO.
▪️ Поделимся опытом создания нового «Горячего S3» в Selectel под задачи Big Data и AI/ML — от архитектуры и сетевой связности до реальных результатов под нагрузкой.
▪️ Поговорим, как самостоятельно собрать масштабируемую платформу данных для DWH- и DLH-сценариев.
О направлениях Security, Infra и AI рассказывали в прошлых постах. А посмотреть программу целиком и зарегистрироваться можно на сайте. Скоро увидимся
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🏆4