Яндекс опубликовал серию докладов о своей инфраструктуре:
Краткое содержание:
https://youtu.be/9ANuWEZqCUg?t=592 - Рассказ про Яндексовый MapReduce
https://youtu.be/9ANuWEZqCUg?t=4454 - Рассказ про декларативный язык для MapReduce (и не только)
https://youtu.be/9ANuWEZqCUg?t=9401 - Рассказ про ClickHouse (теперь уже OpenSource база данных для различных задач в области Real-Time аналитики)
https://youtu.be/9ANuWEZqCUg?t=13555 - Storage в Яндексе (на примере архитектуры Яндекс.Диска).
#Yandex #ClickHouse #Infrastructure #Storage #MapReduce
Краткое содержание:
https://youtu.be/9ANuWEZqCUg?t=592 - Рассказ про Яндексовый MapReduce
https://youtu.be/9ANuWEZqCUg?t=4454 - Рассказ про декларативный язык для MapReduce (и не только)
https://youtu.be/9ANuWEZqCUg?t=9401 - Рассказ про ClickHouse (теперь уже OpenSource база данных для различных задач в области Real-Time аналитики)
https://youtu.be/9ANuWEZqCUg?t=13555 - Storage в Яндексе (на примере архитектуры Яндекс.Диска).
#Yandex #ClickHouse #Infrastructure #Storage #MapReduce
YouTube
Запись трансляции Яндекс изнутри: инфраструктура хранения и обработки данных
Продолжается серия встреч, посвящённых технологиям Яндекса. В августе мы делились секретами поиска, а теперь пришёл черёд подробного рассказа об инфраструктуре хранения и обработки данных.
Наша инфраструктура уникальна. Суммарный объём данных, которыми оперирует…
Наша инфраструктура уникальна. Суммарный объём данных, которыми оперирует…
В блоге Dropbox'а опубликована статья про текущую архитектуру их хранилища (Magic Pocket). В процессе перехода от стандартных PMR[1] дисков к SMR[2] часть кода была переписана с Go на Rust, что позволило увеличить плотность сохранив потребление CPU и памяти на том же уровне.
Подробности по ссылке: https://blogs.dropbox.com/tech/2018/06/extending-magic-pocket-innovation-with-the-first-petabyte-scale-smr-drive-deployment/
#dropbox #storage #architecture
[1] https://en.wikipedia.org/wiki/Perpendicular_recording
[2] https://en.wikipedia.org/wiki/Shingled_magnetic_recording - например 10-14ТБ HGST
Подробности по ссылке: https://blogs.dropbox.com/tech/2018/06/extending-magic-pocket-innovation-with-the-first-petabyte-scale-smr-drive-deployment/
#dropbox #storage #architecture
[1] https://en.wikipedia.org/wiki/Perpendicular_recording
[2] https://en.wikipedia.org/wiki/Shingled_magnetic_recording - например 10-14ТБ HGST
dropbox.tech
Extending Magic Pocket Innovation with the first petabyte scale SMR drive deployment