Простая смена подключения к базе данных в Oracle Analytics
В статье рассказывается, как в Oracle Analytics можно менять подключение к базе данных на уровне таблиц без необходимости перестраивать отчёты и дашборды, сохраняя все изменения и рабочие процессы.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
В статье рассказывается, как в Oracle Analytics можно менять подключение к базе данных на уровне таблиц без необходимости перестраивать отчёты и дашборды, сохраняя все изменения и рабочие процессы.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
Switch with Confidence: Changing Database Connections in Datasets Without the Headaches
Switching a dataset’s database connection doesn’t have to mean rebuilding from scratch. Oracle Analytics supports seamless table-level connection updates without disrupting downstream work.
Краткий обзор платформы данных Т-Банка
Привет, Хабр! Меня зовут Дима Пичугин, и уже семь лет я занимаюсь различными компонентами T Data Platform. Эта статья — результат внутреннего аудита наших инструментов, но я подумал, что она может быть интересна не только нашим аудиторам, но и более широкой аудитории. Enjoy!
Платформа данных в Т-Банке существует более 18 лет и за это время прошла значительный путь эволюции. Она помогает более чем 17 тысячам пользователей извлекать из данных ценную информацию для бизнеса. За последние годы подходы к работе с данными заметно изменились: индустрия постепенно отходила от классических концепций хранилищ данных по Инмону и Кимбеллу в сторону Data Lake, а затем — Lakehouse-архитектур. Вместе с отраслью менялась и наша платформа.
В статье расскажу, как трансформировалась T Data Platform за 18 лет развития, и опишу ее текущее устройство — без погружения в технические детали, но с акцентом на общую архитектуру. Для тех, кому интересны отдельные инструменты или решения, оставлю ссылки на подробные материалы и выступления.
Читать: https://habr.com/ru/companies/tbank/articles/926886/
#ru
@big_data_analysis | Другие наши каналы
Привет, Хабр! Меня зовут Дима Пичугин, и уже семь лет я занимаюсь различными компонентами T Data Platform. Эта статья — результат внутреннего аудита наших инструментов, но я подумал, что она может быть интересна не только нашим аудиторам, но и более широкой аудитории. Enjoy!
Платформа данных в Т-Банке существует более 18 лет и за это время прошла значительный путь эволюции. Она помогает более чем 17 тысячам пользователей извлекать из данных ценную информацию для бизнеса. За последние годы подходы к работе с данными заметно изменились: индустрия постепенно отходила от классических концепций хранилищ данных по Инмону и Кимбеллу в сторону Data Lake, а затем — Lakehouse-архитектур. Вместе с отраслью менялась и наша платформа.
В статье расскажу, как трансформировалась T Data Platform за 18 лет развития, и опишу ее текущее устройство — без погружения в технические детали, но с акцентом на общую архитектуру. Для тех, кому интересны отдельные инструменты или решения, оставлю ссылки на подробные материалы и выступления.
Читать: https://habr.com/ru/companies/tbank/articles/926886/
#ru
@big_data_analysis | Другие наши каналы
❤1
Как уменьшить размер модели Power BI на 90%
Вы когда-нибудь задумывались, что делает Power BI таким быстрым и мощным с точки зрения производительности? Настолько мощным, что он выполняет сложные вычисления над миллионами строк за мгновение.
В этой статье мы подробно рассмотрим, что находится «под капотом» Power BI: как данные хранятся, сжимаются, запрашиваются и, наконец, возвращаются в отчёт. После прочтения, надеюсь, у вас появится лучшее понимание того, что происходит в фоновом режиме, и вы сможете оценить важность создания оптимальной модели данных для достижения максимальной производительности с использованием движка Power BI.
Читать: https://habr.com/ru/companies/otus/articles/926904/
#ru
@big_data_analysis | Другие наши каналы
Вы когда-нибудь задумывались, что делает Power BI таким быстрым и мощным с точки зрения производительности? Настолько мощным, что он выполняет сложные вычисления над миллионами строк за мгновение.
В этой статье мы подробно рассмотрим, что находится «под капотом» Power BI: как данные хранятся, сжимаются, запрашиваются и, наконец, возвращаются в отчёт. После прочтения, надеюсь, у вас появится лучшее понимание того, что происходит в фоновом режиме, и вы сможете оценить важность создания оптимальной модели данных для достижения максимальной производительности с использованием движка Power BI.
Читать: https://habr.com/ru/companies/otus/articles/926904/
#ru
@big_data_analysis | Другие наши каналы
🆒1
Развёртывание боевого кластера Cassandra. Часть 2
Это продолжение цикла, рассказывающего о практике развёртывания производственного кластера Cassandra. В первой части мы начали продвигаться вот по такому плану:
1. Анализ рабочей нагрузки и требований
2. Разработка схемы данных
3. Настройка хостовых машин
= ВЫ НАХОДИТЕСЬ ЗДЕСЬ =
4. Настройка конфигурации Cassandra
5. Настройка топологии кластера
6. Подключение Prometheus Cassandra Exporter
7. Подключение Prometheus Node Exporter
8. Вывод всех метрик в Grafana
9. Проведение нагрузочного тестирования
10. Дополнительный тюнинг по результатам теста
Продолжим?
Читать: https://habr.com/ru/articles/927132/
#ru
@big_data_analysis | Другие наши каналы
Это продолжение цикла, рассказывающего о практике развёртывания производственного кластера Cassandra. В первой части мы начали продвигаться вот по такому плану:
1. Анализ рабочей нагрузки и требований
2. Разработка схемы данных
3. Настройка хостовых машин
= ВЫ НАХОДИТЕСЬ ЗДЕСЬ =
4. Настройка конфигурации Cassandra
5. Настройка топологии кластера
6. Подключение Prometheus Cassandra Exporter
7. Подключение Prometheus Node Exporter
8. Вывод всех метрик в Grafana
9. Проведение нагрузочного тестирования
10. Дополнительный тюнинг по результатам теста
Продолжим?
Читать: https://habr.com/ru/articles/927132/
#ru
@big_data_analysis | Другие наши каналы
Алгоритмы для работы с большими данными в Go: HyperLogLog и Count-Min Sketch
Алгоритмы для работы с большими данными
Всем привет! Для начала давайте разберем что такое вообще Алгоритмы для работы с большими данными, основная суть алгоритмов для работы с большими данными — это эффективная обработка огромных объёмов информации при минимальных вычислительных ресурсах (памяти, CPU, диске). Их суть — жертвовать точностью ради скорости и масштабируемости.
Читать: https://habr.com/ru/articles/927212/
#ru
@big_data_analysis | Другие наши каналы
Алгоритмы для работы с большими данными
Всем привет! Для начала давайте разберем что такое вообще Алгоритмы для работы с большими данными, основная суть алгоритмов для работы с большими данными — это эффективная обработка огромных объёмов информации при минимальных вычислительных ресурсах (памяти, CPU, диске). Их суть — жертвовать точностью ради скорости и масштабируемости.
Читать: https://habr.com/ru/articles/927212/
#ru
@big_data_analysis | Другие наши каналы
❤1
Как мы строим real-time data-пайплайны для анонимных крипто-свапалок: опыт на примере risetocrypto
В мире криптовалют анонимность и безопасность являются ключевыми элементами. Когда речь идет о крипто-свапалках, эффективность обработки данных в реальном времени играет решающую роль для обеспечения высокого качества сервиса. В этой статье расскажем, как мы реализовали масштабируемую архитектуру для обработки данных на платформе risetocrypto с использованием передовых технологий.
Читать: https://habr.com/ru/articles/927862/
#ru
@big_data_analysis | Другие наши каналы
В мире криптовалют анонимность и безопасность являются ключевыми элементами. Когда речь идет о крипто-свапалках, эффективность обработки данных в реальном времени играет решающую роль для обеспечения высокого качества сервиса. В этой статье расскажем, как мы реализовали масштабируемую архитектуру для обработки данных на платформе risetocrypto с использованием передовых технологий.
Читать: https://habr.com/ru/articles/927862/
#ru
@big_data_analysis | Другие наши каналы
❤1
Запускаем личный АИ-инфоконвейер: как я строю систему смыслового мониторинга с YAML и GPT
Мне приходится тратить много времени на мониторинг арбитража, госзакупок и других документов: PDF на сотни страниц, новости с «водой», RSS при этом отсутствует.
Поэтому я решил разработать open-source инструмент, который сам проверяет сайты, скачивает документы и с помощью локального ИИ (GPT4All / DeepSeek) делает краткую смысловую выжимку по YAML-шаблону.
Он должен работать как конвейер: источник → шаблон → интерпретация → результат. Локально, без облаков. И объединять всё в единую ленту новостей.
Сейчас я дорабатываю MVP — и я хочу понять, какие шаблоны наблюдения наиболее востребованы: законопроекты, торги, релизы, или что-то ещё?
Читать: https://habr.com/ru/articles/927938/
#ru
@big_data_analysis | Другие наши каналы
Мне приходится тратить много времени на мониторинг арбитража, госзакупок и других документов: PDF на сотни страниц, новости с «водой», RSS при этом отсутствует.
Поэтому я решил разработать open-source инструмент, который сам проверяет сайты, скачивает документы и с помощью локального ИИ (GPT4All / DeepSeek) делает краткую смысловую выжимку по YAML-шаблону.
Он должен работать как конвейер: источник → шаблон → интерпретация → результат. Локально, без облаков. И объединять всё в единую ленту новостей.
Сейчас я дорабатываю MVP — и я хочу понять, какие шаблоны наблюдения наиболее востребованы: законопроекты, торги, релизы, или что-то ещё?
Читать: https://habr.com/ru/articles/927938/
#ru
@big_data_analysis | Другие наши каналы
Реализация правил IBCS в Power BI
Создание понятных и информативных отчетов — ключевая задача для аналитиков и специалистов по данным. В этой статье мы разбираем, как стандарты IBCS (International Business Communication Standards) могут помочь улучшить визуализацию данных в Power BI, повысив их читаемость и эффективность. Рассмотрим, как связать ClickHouse с Apache Superset для создания мощных аналитических дашбордов и какие практики помогут вам избежать избыточности и повысить точность представленных данных.
Читать: https://habr.com/ru/companies/otus/articles/927944/
#ru
@big_data_analysis | Другие наши каналы
Создание понятных и информативных отчетов — ключевая задача для аналитиков и специалистов по данным. В этой статье мы разбираем, как стандарты IBCS (International Business Communication Standards) могут помочь улучшить визуализацию данных в Power BI, повысив их читаемость и эффективность. Рассмотрим, как связать ClickHouse с Apache Superset для создания мощных аналитических дашбордов и какие практики помогут вам избежать избыточности и повысить точность представленных данных.
Читать: https://habr.com/ru/companies/otus/articles/927944/
#ru
@big_data_analysis | Другие наши каналы
Мы достигли пика в развитии ИИ!… или нет?
Вы, наверное, и сами заметили: в последние месяцы в мире ИИ не происходит ничего по-настоящему прорывного, особенно если сравнивать с предыдущими четырьмя годами. Похоже, возможности искусственного интеллекта уперлись в потолок. Особенно заметно, как гигантские корпорации — и даже целые страны — пытаются всеми силами преодолеть этот кризис. Кто как может.
Читать: https://habr.com/ru/articles/927608/
#ru
@big_data_analysis | Другие наши каналы
Вы, наверное, и сами заметили: в последние месяцы в мире ИИ не происходит ничего по-настоящему прорывного, особенно если сравнивать с предыдущими четырьмя годами. Похоже, возможности искусственного интеллекта уперлись в потолок. Особенно заметно, как гигантские корпорации — и даже целые страны — пытаются всеми силами преодолеть этот кризис. Кто как может.
Читать: https://habr.com/ru/articles/927608/
#ru
@big_data_analysis | Другие наши каналы
Некогда объяснять, пора вершить судьбы 😱
Три разраба прямо сейчас ищут работу — выбери того, кто получит шанс на достойный оффер. Голосуй прямо сейчас!
Все подробности в «Коде найма».
Три разраба прямо сейчас ищут работу — выбери того, кто получит шанс на достойный оффер. Голосуй прямо сейчас!
Все подробности в «Коде найма».
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Код найма
Чат-бот с LLM в облаке: опыт Новосибирского государственного университета и инструкция по запуску
Сейчас мало кого удивишь чат-ботом в Telegram, даже если он на базе LLM. Но, согласитесь, таким умным решением может похвастаться не каждый университет.
На связи Роман Дерунец и Иван Бондаренко (@bond005) — научные сотрудники лаборатории прикладных цифровых технологий механико-математического факультета НГУ. В статье поделимся опытом разработки нашего университетского чат-бота: расскажем, зачем он понадобился НГУ, почему мы решили создать его с нуля и что важно знать тем, кто хочет такой же. А еще — поделимся инструкцией, как запустить похожее решение в облаке.
Читать дальше
Читать: https://habr.com/ru/companies/cloud_ru/articles/928132/
#ru
@big_data_analysis | Другие наши каналы
Сейчас мало кого удивишь чат-ботом в Telegram, даже если он на базе LLM. Но, согласитесь, таким умным решением может похвастаться не каждый университет.
На связи Роман Дерунец и Иван Бондаренко (@bond005) — научные сотрудники лаборатории прикладных цифровых технологий механико-математического факультета НГУ. В статье поделимся опытом разработки нашего университетского чат-бота: расскажем, зачем он понадобился НГУ, почему мы решили создать его с нуля и что важно знать тем, кто хочет такой же. А еще — поделимся инструкцией, как запустить похожее решение в облаке.
Читать дальше
Читать: https://habr.com/ru/companies/cloud_ru/articles/928132/
#ru
@big_data_analysis | Другие наши каналы
Data Lake 2.0: Iceberg и Parquet в бою за миллисекунды
Привет, Хабр! Меня зовут Валерий Бабушкин, я CDO МТС Web Services. Если достаточно много занимаешься машинным обучением, то однажды начинаешь говорить про дата-инженерию — как герой, который много сражается со злом и в итоге сам переходит на темную сторону. Вот и моя очередь настала.
На последнем True Tech Day я рассказал, как Apache Iceberg и Apache Parquet позволяют построить современную инфраструктуру для больших данных. В этом материале я расскажу, какие задачи решает каждый инструмент, как они работают в связке, и сравню производительность Hive с Parquet-партициями против Iceberg с Parquet-таблицами.
Читать: https://habr.com/ru/companies/ru_mts/articles/926618/
#ru
@big_data_analysis | Другие наши каналы
Привет, Хабр! Меня зовут Валерий Бабушкин, я CDO МТС Web Services. Если достаточно много занимаешься машинным обучением, то однажды начинаешь говорить про дата-инженерию — как герой, который много сражается со злом и в итоге сам переходит на темную сторону. Вот и моя очередь настала.
На последнем True Tech Day я рассказал, как Apache Iceberg и Apache Parquet позволяют построить современную инфраструктуру для больших данных. В этом материале я расскажу, какие задачи решает каждый инструмент, как они работают в связке, и сравню производительность Hive с Parquet-партициями против Iceberg с Parquet-таблицами.
Читать: https://habr.com/ru/companies/ru_mts/articles/926618/
#ru
@big_data_analysis | Другие наши каналы
10 библиотек Python, которые меняют карьеру
10 библиотек Python, которые помогут прокачаться в аналитике, ML и разработке. Как они работают и почему меняют карьеру.
Читать: «10 библиотек Python, которые меняют карьеру»
#ru
@big_data_analysis | Другие наши каналы
10 библиотек Python, которые помогут прокачаться в аналитике, ML и разработке. Как они работают и почему меняют карьеру.
Читать: «10 библиотек Python, которые меняют карьеру»
#ru
@big_data_analysis | Другие наши каналы
BI: 5 трендов в сфере ИИ
Привет, Хабр! Сегодня я предлагаю немного порассуждать на тему ИИ в сфере BI-аналитики. В последнее время тема искусственного интеллекта все чаще поднимается на конференциях, да и мне самому все больше приходится рассуждать про ИИ и даже делать доклады о методах его применения (например, как на конференции Data&AI). Совершенно точно вокруг очень много хайпа и хочется разобраться, где же на самом деле ИИ в контексте BI-аналитики даёт реальное преимущество, а где — всё ещё нет.
Читать: https://habr.com/ru/companies/visiology/articles/928718/
#ru
@big_data_analysis | Другие наши каналы
Привет, Хабр! Сегодня я предлагаю немного порассуждать на тему ИИ в сфере BI-аналитики. В последнее время тема искусственного интеллекта все чаще поднимается на конференциях, да и мне самому все больше приходится рассуждать про ИИ и даже делать доклады о методах его применения (например, как на конференции Data&AI). Совершенно точно вокруг очень много хайпа и хочется разобраться, где же на самом деле ИИ в контексте BI-аналитики даёт реальное преимущество, а где — всё ещё нет.
Читать: https://habr.com/ru/companies/visiology/articles/928718/
#ru
@big_data_analysis | Другие наши каналы
ИИ без регистрации и VPN: быстрый доступ к GPT, Claude и Gemini
Как пользоваться GPT, Claude и Gemini в России без VPN и регистрации: подборка сервисов для быстрого старта.
Читать: «ИИ без регистрации и VPN: быстрый доступ к GPT, Claude и Gemini»
#ru
@big_data_analysis | Другие наши каналы
Как пользоваться GPT, Claude и Gemini в России без VPN и регистрации: подборка сервисов для быстрого старта.
Читать: «ИИ без регистрации и VPN: быстрый доступ к GPT, Claude и Gemini»
#ru
@big_data_analysis | Другие наши каналы
Как найти работу в IT за границей в 2025 году: ответы на часто задаваемые вопросы и рекомендации экспертов
Свежая статистика, исследования и советы экспертов: как российским IT-специалистам найти работу за границей в 2025 году.
Читать: «Как найти работу в IT за границей в 2025 году: ответы на часто задаваемые вопросы и рекомендации экспертов»
#ru
@big_data_analysis | Другие наши каналы
Свежая статистика, исследования и советы экспертов: как российским IT-специалистам найти работу за границей в 2025 году.
Читать: «Как найти работу в IT за границей в 2025 году: ответы на часто задаваемые вопросы и рекомендации экспертов»
#ru
@big_data_analysis | Другие наши каналы
Визуализация организационной структуры в Fusion Data Intelligence
В статье рассказывается, как функция Position Hierarchy в Fusion Data Intelligence (версия 25R2) позволяет наглядно увидеть структуру компании через позиции сотрудников, упрощая анализ и управление.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
В статье рассказывается, как функция Position Hierarchy в Fusion Data Intelligence (версия 25R2) позволяет наглядно увидеть структуру компании через позиции сотрудников, упрощая анализ и управление.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
Introducing Position Hierarchy in Oracle HCM Fusion Data Intelligence (FDI) - 25R2 Update
Explore how the Position Hierarchy in Fusion Data Intelligence (25R2) helps visualize organizational structure through the lens of positions.
Использование сервиса FDI Extract для расширения аналитики
В статье рассказывается, как администраторы могут применять Fusion Data Intelligence Extract Service для получения данных из отчетов Analytics Publisher и создавать дополнительные решения для бизнеса. Это открывает новые возможности в работе с аналитикой.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
В статье рассказывается, как администраторы могут применять Fusion Data Intelligence Extract Service для получения данных из отчетов Analytics Publisher и создавать дополнительные решения для бизнеса. Это открывает новые возможности в работе с аналитикой.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
Load Data from Oracle Standard Analytics Publisher Connector with Interactive Parameters in to Fusion Data Intelligence.
New
Что нужно знать о приватности данных в 2025, если вы разработчик
Актуальные требования к обработке персональных данных в 2025 году. Как разработчикам соблюдать закон и избежать штрафов. Практические советы по защите информации в коде и архитектуре приложений.
Читать: «Что нужно знать о приватности данных в 2025, если вы разработчик»
#ru
@big_data_analysis | Другие наши каналы
Актуальные требования к обработке персональных данных в 2025 году. Как разработчикам соблюдать закон и избежать штрафов. Практические советы по защите информации в коде и архитектуре приложений.
Читать: «Что нужно знать о приватности данных в 2025, если вы разработчик»
#ru
@big_data_analysis | Другие наши каналы