DATABASE DESIGN
1.41K subscribers
2.04K photos
3 videos
4.87K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Выручка есть, а денег нет

Собственники и топ-менеджеры МСБ часто сталкиваются с парадоксом: обороты растут, а прибыль тает. Причина не в рынке и не в ценах, а в хаосе внутри компании.

Отчёты собираются вручную, ключевые показатели никто не считает, решения принимаются на интуиции, без опоры на цифры.

В статье рассказываем, как таким компаниям наладить управляемость бизнеса и повысить маржинальность.


Читать: https://habr.com/ru/articles/944270/

#ru

@database_design | Другие наши каналы
Цифровой профиль в ВТБ: как графы и эмбеддинги помогают банку понимать клиентов

Статья рассказывает о том, как банк строит единый цифровой профиль клиента, используя графы и эмбеддинги. Вы узнаете, как разрозненные данные о транзакциях, связях и балансах превращаются в мощный инструмент для анализа и прогнозирования. Разберем, почему классических табличных подходов недостаточно и как графы помогают выявлять скрытые связи между клиентами, как клиенты «превращаются в слова» и на чем измеряется успех. Статья будет полезна data scientist’ам, ML-инженерам и всем, кто интересуется практическим применением графовых методов и машинного обучения в крупном бизнесе.


Читать: https://habr.com/ru/companies/vtb/articles/944338/

#ru

@database_design | Другие наши каналы
Почему в 2025-м мы всё ещё слышим ‎«‌‎бип»‎ HDD

Кажется, что эра жёстких дисков уже позади. SSD вроде и не снесли их с рынка полностью, но конкуренция серьёзно качнула позиции HDD — и понятно почему: когда у тебя в руках решение быстрее, тише и прогрессивнее, старичку сложно тягаться. Если говорить просто: жёсткие диски большие, тряску не любят, ноутбуки почти их не используют. И да, скорость у них уступает SSD, поэтому для запуска ОС или тяжёлых задач они не вариант.

Но, сюрприз — HDD до сих пор живы, их покупают, особенно там, где важна ёмкость и цена. Так что же удерживает их на плаву и как развивались технологии хранения — узнаете под катом.


Читать: https://habr.com/ru/companies/ruvds/articles/943668/

#ru

@database_design | Другие наши каналы
Влияние RDMA на производительность СХД

Мы продолжаем исследовать работу протокола RDMA в СХД Qsan, начатую в предыдущей статье. Безусловно, самым интересным эффектом от применения данного протокола в разрезе его использования для доступа к данным является возможный прирост производительности. По крайней мере идейная составляющая самой концепции протокола RDMA на это недвусмысленно намекает. Так ли это на самом деле?


Читать: https://habr.com/ru/companies/skilline/articles/943770/

#ru

@database_design | Другие наши каналы
«Я не вижу эту кнопку!» — «Потому что ты не избранный, Нео»

Привет, Хабр! Писать статьи — дело приятное, но только если нет на плечах релиза. Релиз оказался марафоном на месяцы, где каждый день мы жили задачами и доработками. Мы делились на три фронта: кто-то закрывал критические баги («баг-фиксеры»), кто-то добивал бизнес-логику («бизнес-логеры»), а кто-то всерьез отрабатывал план «Б» — ставил свечи за успешный релиз («молитвенники за прод»). Играли мы на разных уровнях, но финальный босс у всех был один: система, которую мы героически толкали в ПРОД, как кота в переноску: и он не хочет, и нам страшно.

Но как бы там ни было, сегодня на ПРОДе живет большая система. Прям такая, что, если бы она была организмом, у нее были бы печень, почки и амбулаторная карта в Сфере Знания.

Пользователи — сотни сотрудников. Система — новая, кнопки — непонятные, интерфейс — как квартира после переезда: ты вроде дома, но даже чайник включить страшно.

И вот представьте: в этой «квартире» все двери распахнуты настежь. Любой может зайти куда угодно, нажать любую кнопку, открыть любой экран. Кнопки, которые лучше не трогать, экраны, куда и разработчик-то без инструктажа не сунется… Получился цифровой «чулан Моники» — хаос, который мы срочно должны были привести в порядок.

Решение было очевидным: нужна ролевая модель.

По плану ролевую модель — разграничение видимости интерфейсов и данных на стороне БД — мы должны были выкатить через пару недель после запуска. Но в мире, где перечень техдолгов меняется быстрее, чем погода в Калининграде, пришлось действовать иначе. В итоге, бочком-бочком, мы затолкали ее в боевой релиз буквально на финишной прямой.


Читать: https://habr.com/ru/articles/944870/

#ru

@database_design | Другие наши каналы
Обновление безопасности AVDF 20.15 уже доступно. Рекомендуется оперативно установить его, чтобы защитить систему Audit Vault and Database Firewall и обеспечить максимальную безопасность данных. Не упустите шанс повысить защиту ваших баз данных.

Читать подробнее

#en

@database_design | Другие наши каналы
Новые обновления MariaDB Enterprise Server 11.4.8-5 и 10.6.23-19 вышли с улучшенными функциями и повышенной стабильностью. Эти версии предлагают расширенную поддержку и повышенную безопасность для предприятий. Подробнее по ссылке.

Читать подробнее

#en

@database_design | Другие наши каналы
Как сеньоры документируют проекты: протокол архитектурных решений

Как сеньоры документируют архитектуру без боли. Обзор подхода ADR: шаблоны, примеры из практики и комментарии экспертов. Ускорьте онбординг и перестаньте объяснять одно и то же.

Читать: «Как сеньоры документируют проекты: протокол архитектурных решений»

#ru

@database_design | Другие наши каналы
Как я спустя 15 лет решил проблему распределённых очередей

Когда я работал Reddit и отвечал там за инфраструктуру, самой важной поддерживаемой системой для меня была Postgres, а на втором месте стоял брокер сообщений RabbitMQ. Он был необходим для работы Reddit — перед сохранением в базу данных все данные поступали в распределённую очередь. Например, если пользователь лайкал пост, то это записывалось в очередь и кэш, а затем пользователю передавалось сообщение об успешном выполнении. Затем программа обработки очереди брала этот элемент и пыталась записать его в базу данных, а также создать новую рабочую операцию для пересчёта всех списков, на которые влияет этот лайк.

Мы использовали эту архитектуру очередей задач, потому что она была простой, масштабируемой и обладала мощными возможностями:


Читать: https://habr.com/ru/articles/945390/

#ru

@database_design | Другие наши каналы
Как я спустя 15 лет решил проблему распределённых очередей

Когда я работал Reddit и отвечал там за инфраструктуру, самой важной поддерживаемой системой для меня была Postgres, а на втором месте стоял брокер сообщений RabbitMQ. Он был необходим для работы Reddit — перед сохранением в базу данных все данные поступали в распределённую очередь. Например, если пользователь лайкал пост, то это записывалось в очередь и кэш, а затем пользователю передавалось сообщение об успешном выполнении. Затем программа обработки очереди брала этот элемент и пыталась записать его в базу данных, а также создать новую рабочую операцию для пересчёта всех списков, на которые влияет этот лайк.

Мы использовали эту архитектуру очередей задач, потому что она была простой, масштабируемой и обладала мощными возможностями:


Читать: https://habr.com/ru/articles/945390/

#ru

@database_design | Другие наши каналы
Как MongoDB помогает брендам выигрывать в эпоху ИИ
Мир e-commerce меняется: теперь покупку принимает не человек, а ИИ-агент. Чтобы быть заметным для таких агентов, брендам нужно обеспечивать доступность данных в удобном для машин формате. MongoDB с её гибким хранилищем данных — ключ к успеху в новом агентском коммерсе. Автоматизация клиентской поддержки в банковской сфере выходит на новый уровень. Благодаря интеграции MongoDB и Confluent создаётся система с множеством AI-агентов, которая быстро распознаёт, анализирует и решает типовые жалобы клиентов, снижая нагрузку на операторов и повышая качество сервиса. Автоматизация решений в службе поддержки с помощью AI и событийных систем становится реальностью. Использование MongoDB и Confluent Cloud позволяет быстро обрабатывать запросы, снижать затраты и обеспечивать точный аудит. Современные архитектуры меняют подход к обслуживанию клиентов.

Читать подробнее

#en

@database_design | Другие наши каналы
Новые rerank-2.5 и rerank-2.5-lite значительно повышают точность поиска и впервые поддерживают управление релевантностью через инструкции на естественном языке. Модели обрабатывают в 8 раз больше контекста и превосходят конкурентов по большинству задач. Доступны через Voyage AI. Почему цены на акции различаются на сайтах? Причина — сложность и дороговизна сбора и обработки данных. Разные источники используют разные методы и объёмы информации, что приводит к небольшим расхождениям. Крупные компании, как Bloomberg, обеспечивают наиболее точные и полные данные. Новый уровень торговли с AI: почему MongoDB Atlas важен для ритейла. Статья рассказывает, как удалённый MCP-сервер с MongoDB Atlas помогает магазинам безопасно и быстро предоставлять актуальные данные продуктового каталога AI-агентам, обеспечивая скорость, масштабируемость и защиту.

Читать подробнее

#en

@database_design | Другие наши каналы
Реальное обновление данных в MongoDB без затратных join-запросов становится реальностью с MongoDB Atlas Stream Processing. Новый подход позволяет создавать актуальные, оптимизированные для чтения представления, повышая производительность и снижая нагрузку на базу. Многоагентные системы на базе MongoDB и Confluent меняют подход к сервису поддержки. Разделение задач между специализированными AI-агентами повышает точность и скорость обработки запросов, снижая издержки и улучшая клиентский опыт. Новая эра онлайн-торговли: AI-агенты меняют правила игры

Покупатели всё чаще доверяют выбор искусственному интеллекту, что меняет традиционные стратегии продаж. Чтобы бренд оставался заметным, требуется организовать данные так, чтобы AI мог их быстро и точно обработать. MongoDB помогает подготовиться к этому будущему уже сейчас.

Читать подробнее

#en

@database_design | Другие наши каналы
Что стоит за дистрибуцией Greenplum?

Что известно про Greenplum?
Это MPP система на базе PostgreSQL, которая нужна, чтобы работать с большими объемами данных и делать OLAP. Отлично, но лично меня не устраивает это поверхностное знание, хочется узнать, что внутри. Какие алгоритмы использует Greenplum в своих процессах. Я хочу начать с дистрибуции, и приглашаю вас с собой в это путешествие.
Что внутри?

Читать: https://habr.com/ru/companies/beget/articles/940662/

#ru

@database_design | Другие наши каналы
ЦОД как сервис, сисадмин как разработчик: как менялись модели

Когда-то каждую машину в корпоративных серверных мы знали по имени, слышали, как она дышит, и гордились аптаймом, измеряемым сотнями дней. Но за этой романтикой стояли ночи без сна, куча ручной работы и горы проводов. Сегодня же целый ЦОД умещается в несколько сотен строк конфигурационного кода. В статье — о том, как к этому пришла индустрия и как вместе с моделями менялся портрет типичного сисадмина.
Читать

Читать: https://habr.com/ru/companies/ruvds/articles/945378/

#ru

@database_design | Другие наши каналы
Пять производительных паттернов кэширования, которые ускорят ваш микросервис

В современных микросервисных архитектурах кэширование играет ключевую роль в обеспечении высокой производительности, масштабируемости и отказоустойчивости систем. Правильное применение паттернов кэширования позволяет значительно снизить нагрузку на базы данных, уменьшить время отклика и повысить общую пропускную способность системы.


Читать: https://habr.com/ru/companies/otus/articles/945604/

#ru

@database_design | Другие наши каналы
Визуализация обмена с 1С: синхронизация заказов, остатков и контрагентов для e-commerce

Привет! Это Илья, руководитель проектов в Webest. Расскажу о том, как мы построили обмен между интернет-магазином и 1С. Реализовали двусторонний обмен через очереди, ввели приоритеты для разных типов данных и сделали прозрачный мониторинг в админке Orchid.


Читать: https://habr.com/ru/articles/945736/

#ru

@database_design | Другие наши каналы
О «залипании» процесса checkpoint и archive_timeout в Postgres

Добрый день, коллеги!

Недавно мы столкнулись со следующей проблемой при тестировании СУБД PostgresPro под высокой нагрузкой: процесс представлял собой массированную многопоточную заливку данных на протяжении многих часов,а данных было около 20 ТБ, потоков — 75.

В процессе загрузки наблюдалось следующее явление: через некоторое время процесс checkpointer переставал делать контрольные точки в зависимости от других параметров БД либо сразу, либо через 2-3 часа.



Читать: https://habr.com/ru/companies/gnivc/articles/945742/

#ru

@database_design | Другие наши каналы
Как построить масштабируемый конвейер обработки документов? В статье рассказали, как с помощью LlamaParse, Confluent Cloud и MongoDB создавать потоковую систему для умного разбора, анализа и хранения больших объёмов документов в реальном времени с применением машинного обучения. Как AI меняет онлайн-шопинг и почему MongoDB важен для брендов

Пост: В эру AI покупатели всё чаще доверяют решения ИИ-агентам, меняя привычный путь выбора товара. MongoDB помогает брендам сделать каталоги доступными для этих агентов, обеспечивая гибкость, скорость и безопасность в новом мире agentic commerce. Новая эра обработки данных с MongoDB Atlas Stream Processing

Пост: Старые методы с предвычислением данных уже не работают для реального времени. MongoDB Atlas Stream Processing позволяет создавать непрерывно обновляемые коллекции с оптимизированными запросами, решая проблемы с объединениями и обеспечивая молниеносный доступ к данным.

Читать подробнее

#en

@database_design | Другие наши каналы
MongoDB Atlas теперь доступен в Vercel Marketplace. Интеграция упрощает работу с базой данных прямо из экосистемы Vercel, ускоряя создание, масштабирование и адаптацию AI-приложений с высокой производительностью и гибкостью. MongoDB Atlas Stream Processing позволяет создавать высокопроизводительные, непрерывно обновляемые модели чтения в реальном времени. Интегрированное решение упрощает реализацию архитектуры CQRS без сложностей управления потоками данных и снижает задержки при выполнении запросов. Гибкое хранение и поиск в MongoDB: как база данных сочетает в себе управление векторными эмбеддингами и сложными документами. Архитектура с многопоточностью и Schema Registry обеспечивает стабильную обработку и масштабируемость для современных AI-приложений.

Читать подробнее

#en

@database_design | Другие наши каналы