🚀 Привет, коллеги! Хочу поделиться интересной новостью из мира Python. Data Scientist из Raft Digital Solutions, Шубин Вадим, делится опытом работы с фейл-сабмитом в опенсорс-проекте Axolotl.
В статье он описывает ключевые уроки, извлеченные из этого опыта. Специалист рассказывает о различных подходах и трудностях, с которыми им пришлось столкнуться. Такой опыт может быть полезен многим разработчикам, работающим с опенсорс-программным обеспечением.
Если вам интересны детали, обязательно ознакомьтесь с полным текстом статьи по ссылке ниже.
👉 Читать далее
#Python #DataScience #OpenSource #Axolotl
Подписывайтесь на мой канал: @Pythonnewsone
В статье он описывает ключевые уроки, извлеченные из этого опыта. Специалист рассказывает о различных подходах и трудностях, с которыми им пришлось столкнуться. Такой опыт может быть полезен многим разработчикам, работающим с опенсорс-программным обеспечением.
Если вам интересны детали, обязательно ознакомьтесь с полным текстом статьи по ссылке ниже.
👉 Читать далее
#Python #DataScience #OpenSource #Axolotl
Подписывайтесь на мой канал: @Pythonnewsone
Хабр
Хороший Плохой Злой ИИ Open Source: как мы в Axolotl пушили
Всем привет! Меня зовут Шубин Вадим, я Data Scientist в компании Raft . В этой статье я хотел бы рассказать о нашем опыте с фейл-сабмитом в существующий Open Source проект Axolotl и о том, какие...
Привет, друзья! 🌟
Сегодня расскажем о важной теме в области обработки данных – методе Slowly Changing Dimensions-2 (SCD-2). Этот подход позволяет значительно повысить эффективность хранения данных за счет уменьшения их дублирования.
В рамках новой статьи разобраны принципы работы с SCD-2 таблицами и предложена реализация алгоритма на PySpark. Мы также обсудим, как находить изменения в таблицах без специальных меток и как получать исторические данные на конкретные даты.
Если вас интересует, как оптимизировать хранение данных и освоить новые методы работы с ними, переходите по ссылке и читайте статью! 📊
👉 Читать далее
#Python #DataScience #PySpark #ХранениеДанных
Подписывайтесь на мой канал @Pythonnewsone для новых интересных новостей!
Сегодня расскажем о важной теме в области обработки данных – методе Slowly Changing Dimensions-2 (SCD-2). Этот подход позволяет значительно повысить эффективность хранения данных за счет уменьшения их дублирования.
В рамках новой статьи разобраны принципы работы с SCD-2 таблицами и предложена реализация алгоритма на PySpark. Мы также обсудим, как находить изменения в таблицах без специальных меток и как получать исторические данные на конкретные даты.
Если вас интересует, как оптимизировать хранение данных и освоить новые методы работы с ними, переходите по ссылке и читайте статью! 📊
👉 Читать далее
#Python #DataScience #PySpark #ХранениеДанных
Подписывайтесь на мой канал @Pythonnewsone для новых интересных новостей!
Хабр
Повышаем эффективность хранения данных до 300 раз с помощью таблиц SCD-2
Всем привет, меня зовут Василий. С 2021 года работаю в роли инженера данных, а в 2024 году присоединился к одной из продуктовых команд в Х5 Tech. За это время успел познакомиться с несколькими...