Бутстрап в PySpark
#Python #статистикавit #bigdata #dataengineering #pyspark #bootstrap #абтесты
https://habr.com/ru/companies/X5Tech/articles/849322/
#Python #статистикавit #bigdata #dataengineering #pyspark #bootstrap #абтесты
https://habr.com/ru/companies/X5Tech/articles/849322/
Хабр
Бутстрап в PySpark
Всем привет! Меня зовут Илья Черников, я аналитик больших данных в X5 Tech, сейчас занимаюсь аналитикой и оценкой активностей CVM маркетинга экспресс-доставки “Пятёрочки”. В статье я расскажу о том,...
Как переподписка по CPU в облаке снижает производительность Arenadata DB: результаты, которых не ждёшь
#arenadatadb #performance #cpu #cloudplatform #Database #bigdata #greenplum
https://habr.com/ru/companies/arenadata/articles/851080/
#arenadatadb #performance #cpu #cloudplatform #Database #bigdata #greenplum
https://habr.com/ru/companies/arenadata/articles/851080/
Хабр
Как переподписка по CPU в облаке снижает производительность Arenadata DB: результаты, которых не ждёшь
Всем привет! Меня зовут Константин Малолетов, я архитектор облачных сервисов в компании Arenadata. Сегодня хочу рассказать, как мы решаем задачу эффективного размещения ресурсоёмких систем, таких как...
Анализ тональности текста: зачем он нужен и как его использовать? Объясняем за 7 минут
#dataannotation #разметкаданных #анализтональности #bigdata #datascience
https://habr.com/ru/companies/data_light/articles/851700/
#dataannotation #разметкаданных #анализтональности #bigdata #datascience
https://habr.com/ru/companies/data_light/articles/851700/
Хабр
Анализ тональности текста: зачем он нужен и как его использовать? Объясняем за 7 минут
Как узнать, что клиенты думают о вашем бренде и использовать эту информацию для бизнеса? Одним из решений является анализ тональности текста. Эта технология обработки текста позволяет оценить...
Apache Flink: Unit и E2E-тестирование оператора с таймерами в Apache Flink
#java #bigdata #распределенныесистемы #dataengineering #kafka #apacheflink
https://habr.com/ru/companies/ru_mts/articles/853200/
#java #bigdata #распределенныесистемы #dataengineering #kafka #apacheflink
https://habr.com/ru/companies/ru_mts/articles/853200/
Хабр
Apache Flink: Unit и E2E-тестирование оператора с таймерами в Apache Flink
Привет, Хабр! На связи Александр Бобряков, техлид в команде МТС Аналитики. В предыдущей части я рассказал про создание Flink-джобы Kafka-to-Kafka с оператором на основе встроенных таймеров. Такой...
Как управлять большими командами? 3 совета для менеджера
#dataannotation #datascience #bigdata #управлениепроектами #управлениелюдьми
https://habr.com/ru/companies/data_light/articles/854882/
#dataannotation #datascience #bigdata #управлениепроектами #управлениелюдьми
https://habr.com/ru/companies/data_light/articles/854882/
Хабр
Как управлять большими командами? 3 совета для менеджера
Когда Вадим начинал свою карьеру в разметке данных, он и представить не мог, что через несколько лет продолжит работать в индустрии и будет управлять целым направлением. Вадим Старосотников прошел...
Apache Flink: Сериализация и JacksonStateSerializer
#java #bigdata #dataengineering #распределенныесистемы #apacheflink #сериализация #JacksonStateSerializer
https://habr.com/ru/companies/ru_mts/articles/856774/
#java #bigdata #dataengineering #распределенныесистемы #apacheflink #сериализация #JacksonStateSerializer
https://habr.com/ru/companies/ru_mts/articles/856774/
Хабр
Apache Flink: Сериализация и JacksonStateSerializer
Привет, Хабр! На связи Александр Бобряков, техлид в команде МТС Аналитики. Это мой десятый материал про Apache Flink. В предыдущей части мы закончили разбирать оператор с Flink-таймерами,...
Big Data мертвы, да здравствуют Smart Data
#bigdata #smartdata #bigdataненужны #bigdataмертвы #datascience #отличиеbigdataотsmartdata #извлечениеданных
https://habr.com/ru/companies/magnus-tech/articles/853192/
#bigdata #smartdata #bigdataненужны #bigdataмертвы #datascience #отличиеbigdataотsmartdata #извлечениеданных
https://habr.com/ru/companies/magnus-tech/articles/853192/
Хабр
Big Data мертвы, да здравствуют Smart Data
Big Data is dead. Во всяком случае, так утверждает генеральный директор MotherDuck в статье, перевод которой собрал 140 плюсов на Хабре. Обработку и использование больших данных обсуждали в течение...
Data catalog: от истории до сравнения решений
#vkcloud #каталогиданных #datacatalog #bigdata
https://habr.com/ru/companies/vk/articles/857894/
#vkcloud #каталогиданных #datacatalog #bigdata
https://habr.com/ru/companies/vk/articles/857894/
Хабр
Data catalog: от истории до сравнения решений
Прийти и по запросу быстро найти нужные данные — идеальный сценарий. Но он практически невозможен при условии использования множества баз данных и хранилищ. В реальных условиях без «надстройки» над...
Как мы работаем с качеством данных в Электронной коммерции
#аналитика #качестводанныхdataquality #bigdata #электроннаякоммерция #ecommerce #архитектураданных
https://habr.com/ru/companies/magnit/articles/859738/
#аналитика #качестводанныхdataquality #bigdata #электроннаякоммерция #ecommerce #архитектураданных
https://habr.com/ru/companies/magnit/articles/859738/
Хабр
Как мы работаем с качеством данных в Электронной коммерции
Привет! Меня зовут Саша Нефедова, и я работаю ведущим аналитиком по качеству данных в «Магните». Я больше года отвечала за направление Электронной коммерции, и в этой статье расскажу, как устроены...
Как обмануть нейронную сеть
#модели #нейросети #обучение #bigdata #информационнаябезопасность
https://habr.com/ru/companies/ru_mts/articles/861968/
#модели #нейросети #обучение #bigdata #информационнаябезопасность
https://habr.com/ru/companies/ru_mts/articles/861968/
Хабр
Как обмануть нейронную сеть
Привет, Хабр! 8 ноября отгремел очный финал МТС True Tech Champ 2024. В программе было много интересного — например, гонки роботов и конференция с докладами на главной сцене. Постепенно мы с вами ими...
Переобучение моделей: гайд и советы для начинающих
#machinelearning #bigdata
https://habr.com/ru/companies/skillfactory/articles/864234/
#machinelearning #bigdata
https://habr.com/ru/companies/skillfactory/articles/864234/
Хабр
Переобучение моделей: гайд и советы для начинающих
Александр Рыжков Руководитель команды LightAutoML С развитием нейросетей появляются новые вызовы. Один из них — переобучение моделей. Совместно с Александром Рыжковым, ментором Skillfactory,...
[Перевод] Элегантная математика фильтров Блума
#ruvds_переводы #математика #фильтрыблума #большиеданные #bigdata
https://habr.com/ru/companies/ruvds/articles/864354/
#ruvds_переводы #математика #фильтрыблума #большиеданные #bigdata
https://habr.com/ru/companies/ruvds/articles/864354/
Хабр
Элегантная математика фильтров Блума
Вероятностные функции способны моделировать множество алгоритмов и процедур. Они помогают нам оптимизировать процессы для получения наилучших результатов. Опытные программные инженеры знают, что рано...
Повышение производительности складской комплектации: как без трудоёмкого хронометража найти потенциал ускорения
#Taskmining #processintelligence #логистика #повышениепроизводительности #эффективность #большиеданные #bigdata
https://habr.com/ru/companies/X5Tech/articles/865642/
#Taskmining #processintelligence #логистика #повышениепроизводительности #эффективность #большиеданные #bigdata
https://habr.com/ru/companies/X5Tech/articles/865642/
Хабр
Повышение производительности складской комплектации: как без трудоёмкого хронометража найти потенциал ускорения
Текущая экономическая ситуация в мире приводит к сильному давлению роста цен во всех секторах экономики. Ритейлеры не могут перекладывать эти риски на плечи своих покупателей,...
Тестирование систем и движков массивно-параллельных вычислений. Сравнение Impala, Trino и GreenPlum
#trino #impala #greenplum #hadoop #mpp #dwh #bigdata
https://habr.com/ru/articles/866862/
#trino #impala #greenplum #hadoop #mpp #dwh #bigdata
https://habr.com/ru/articles/866862/
Хабр
Тестирование систем и движков массивно-параллельных вычислений. Сравнение Impala, Trino и GreenPlum
Рис “Заяц, антилопа и сливы”. AI Generated Успешные тестирование производительности и нагрузочные испытания – важнейшие условия для выбора аналитической системы массивной обработки больших данных. В...
Как перейти от ручной проверки данных к автоматической: решение ИЦ «Безопасный транспорт»
#хранилищеданных #безопасныйтранспорт #ИЦБезопасныйтранспорт #bigdata #большиеданные #скрипты #атрибуты
https://habr.com/ru/articles/867082/
#хранилищеданных #безопасныйтранспорт #ИЦБезопасныйтранспорт #bigdata #большиеданные #скрипты #атрибуты
https://habr.com/ru/articles/867082/
Хабр
Как перейти от ручной проверки данных к автоматической: решение ИЦ «Безопасный транспорт»
На данный момент на базе Инновационного центра построено хранилище данных Транспортного комплекса столицы, которые используются во многих проектах и продуктах, направленных на оказание поддержки в...
Как LLM меняют архитектуру систем: от простых дата-пайплайнов к интеллектуальным автономным агентам
#ллм #агенты #llm #llmприложения #машинноеобучение #machinelearning #bigdata
https://habr.com/ru/articles/868648/
#ллм #агенты #llm #llmприложения #машинноеобучение #machinelearning #bigdata
https://habr.com/ru/articles/868648/
Хабр
Как LLM меняют архитектуру систем: от простых дата-пайплайнов к интеллектуальным автономным агентам
На каждой технической конференции в последнее время обязательно звучит слово «агенты». Они преподносятся по разному: и как следующая ступенька после RAG, и как серебряная пуля для всех проблем, и как...
Создание динамических таблиц в SuperSet
#superset #своднаятаблица #динамическаятаблица #jinja #jinja2 #python #bigdata
https://habr.com/ru/companies/magnit/articles/869924/
#superset #своднаятаблица #динамическаятаблица #jinja #jinja2 #python #bigdata
https://habr.com/ru/companies/magnit/articles/869924/
Хабр
Создание динамических таблиц в SuperSet
Однажды в студеную зимнюю пору из-за морей из-за океанов прилетело известие: лицензии не выдаем, тех. поддержку не оказываем, а можем и вовсе отключить все системы. В компании погоревали, но делать...
Как предсказать будущее с помощью ML?
#machinelearning #bigdata #ml #ai #qic
https://habr.com/ru/articles/870200/
#machinelearning #bigdata #ml #ai #qic
https://habr.com/ru/articles/870200/
Хабр
Как предсказать будущее с помощью ML?
Привет, я Исламбек Темирбек, Senior Data Analyst в QIC digital hub. В этой статье я расскажу о машинном обучении и о том, как с его помощью можно предсказать будущее. Какую роль играет аналитика в...
Как оценивать ваш RAG-пайплайн и валидировать качество ответов LLM
#llm #llmмодели #bigdata #rag #ai #искусственныйинтеллект #языковыемодели
https://habr.com/ru/articles/870174/
#llm #llmмодели #bigdata #rag #ai #искусственныйинтеллект #языковыемодели
https://habr.com/ru/articles/870174/
Хабр
Как оценивать ваш RAG-пайплайн и валидировать качество ответов LLM
Все работают на RAG RAG-системы становятся все популярнее в корпоративной среде, но их эффективное внедрение и качественная оценка остается сложной задачей. Один из типичных примеров — создание...
Чем занимаются дата-сайентисты в Авито — полный разбор
#datascience #датаинженеры #avito #ds #bigdata #карьера #обучение
https://habr.com/ru/companies/avito/articles/870672/
#datascience #датаинженеры #avito #ds #bigdata #карьера #обучение
https://habr.com/ru/companies/avito/articles/870672/
Хабр
Чем занимаются дата-сайентисты в Авито — полный разбор
Всем привет, на связи команда Data Science Авито . В этой статье рассказываем, какие команды есть в нашем департаменте, на конкретных примерах объясняем, над чем работаем и как развиваем бизнес. Также...