DenoiseLAB
486 subscribers
1.33K photos
159 videos
3 files
1.57K links
Блог DenoiseLAB (машинное обучение, аналитика)

Информация в канале служит только для ознакомления и не является призывом к действию. Не нарушайте законы РФ и других стран. Мы не несем отвественность за ваши действия или бездействия.
Download Telegram
💥 Архив из 32 датасетов, которые вы можете использовать для практики и совершенствования своих навыков исследователя данных

https://datasciencedojo.com/blog/datasets-data-science-skills
⚡️ Глубокое обучение для отслеживания и обнаружения объектов

Коллекция статей, наборов данных, кода и других ресурсов, посвященных отслеживанию и обнаружению объектов с помощью глубокого обучения.

🔗 https://github.com/abhineet123/Deep-Learning-for-Tracking-and-Detection
Please open Telegram to view this post
VIEW IN TELEGRAM
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_180

🔠 Какие есть преимущества и недостатки у авто-регрессионной модели (AR) ?

Преимущества:
- Хорошо работает для данных с автокорреляцией, когда значения в прошлом влияют на значения в будущем.
- Относительно проста в интерпретации.

Недостатки:
- Не учитывает другие факторы, которые могут влиять на временной ряд, такие как тренды и сезонность.
- Могут быть неэффективными для данных без явной автокорреляции.

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#time_series #AR_model #MA_model #autoregressive_model #moving_average_model #forecasting
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_181

🔠 Какие есть преимущества и недостатки у cкользящей средней модели (MA) ?

Преимущества:
- Хорошо работает для данных с случайными ошибками и шумом.
- Может быть эффективна для сглаживания временных рядов.

Недостатки:
- Не учитывает автокорреляцию или зависимость от предыдущих значений ряда.
- Может быть неэффективна для данных с явными трендами или сезонностью.

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#time_series #AR_model #MA_model #autoregressive_model #moving_average_model #forecasting
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_182

🔠 Какие есть преимущества и недостатки у авторегрессионной скользящая средней модели (ARMA) ?

Преимущества:
- Комбинирует преимущества AR- и MA-моделей для учета автокорреляции и случайных ошибок.
- Может быть эффективна для данных с различными шаблонами автокорреляции.

Недостатки:
- Подбор параметров модели может быть сложным.
- Может быть неэффективна для данных с сезонностью или нелинейными зависимостями.

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#time_series #AR_model #MA_model #autoregressive_model #moving_average_model #forecasting
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_182

🔠 Какие есть преимущества и недостатки у авторегрессионной интегрированной скользящая средней модели (ARIMA) ?

Преимущества:
- Учитывает тренды и сезонность в данных.
- Может быть эффективна для широкого спектра временных рядов.

Недостатки:
- Подбор параметров модели может быть сложным.
- Может быть неэффективна для данных с нелинейными зависимостями или сложными сезонными паттернами.

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#time_series #AR_model #MA_model #autoregressive_model #moving_average_model #forecasting
https://github.com/influxdata/influxdb - InfluxDB - это масштабируемое хранилище данных для метрик, событий и аналитики в реальном времени. Этот репозиторий содержит исходный код, документацию, проблемы (issues), запросы на включение изменений (pull requests) и другую информацию, связанную с разработкой и поддержкой InfluxDB.
https://arxiv.org/pdf/2401.02287.pdf

1/ Представляется новая технология обратной дистилляции для решения конкретной задачи обнаружения дефектов ткани.

2/ Проверка узорчатых текстур, особенно в контексте обнаружения дефектов ткани, является широко распространенным вариантом использования.

3/ Основными вкладами документа являются надежный детектор текстурных аномалий, подходящий для обнаружения аномалий и обобщения предметной области, а также создание нового набора данных, охватывающего широкий спектр тканей и дефектов.
https://arxiv.org/pdf/2401.01960.pdf - Shadow
Blade, инструмент, помогающий пользователям взаимодействовать с векторами атак.
https://trends.rbc.ru/trends/industry/657963559a79474dd4bc9b88?from=copy - тренды ИИ на следующие 5 лет, по моим прогнозам, здесь можно смело закладывать на следующие 10 лет это точно, с учетом, того как все стремительно развивается и растет как на дрожах.

Только OpenAI показала капитализацию, с момента своего открытия, до текущего дня в 5400%. Есть только один ньюанс, чем сложнее система, тем больше в ней уязвимостей и тем больше в ней непредсказуемых вещей (читай на грузка на безопасность). Это первое и второе, смещение потребления контента начнется в сторону технологических данных (цифры и графики), так как видео, звук, и тексты все будет сгенерировано (кем-то заказано, мы это и сейчас видим, но масштабы будут расти).

Крупные масс-медиа столкнуться с резкой потерей пользователей, которые будут стремится к получению достоверной информации. Нас ждем смена ориентиров и переосмысления реальности в самом ее широком смысле. Это будет шоковая терапия для всего населения, масштабы будут глобальные. Как положительные так и отрицательные.
https://www.youtube.com/watch?v=adDyTzBdUcg - генерация становится не просто быстро она становится молниеносной, чтож... эра потоковой генерации контента уже наступила, причем не заранее написанной, а вещаемой в онлайне.
https://arxiv.org/pdf/2305.08596.pdf - рекомендуется к прочтению, DarkBert.
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_183

Сезонная ARIMA (SARIMA):

Преимущества:
- Учитывает как общую структуру ряда, так и сезонные паттерны.
- Может быть эффективна для данных с явно выраженной сезонностью.

Недостатки:
- Подбор параметров модели может быть сложным и требовать больше данных.
- Может быть неэффективна для данных без сезонности.

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#time_series #AR_model #MA_model #autoregressive_model #moving_average_model #forecasting
😭Duolingo массово увольняет переводчиков, заменяя их нейросетями.

🤨Компания начала сокращать людей еще в середине декабря, но обсуждение этого вопроса активизировалось на Reddit только недавно. По некоторым оценкам, количество уволенных переводчиков может достигать тысячи человек.
Please open Telegram to view this post
VIEW IN TELEGRAM
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_184

🔠 Какие есть преимущества и недостатки у экспоненциального сглаживания ?

Преимущества:
- Проста в реализации и интерпретации.
- Может быть эффективна для данных с трендами и сезонностью.

Недостатки:
- Не учитывает сложные зависимости и нелинейности в данных.
- Может быть неэффективна для данных с быстро меняющимися трендами или большими выбросами.

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#time_series #AR_model #MA_model #autoregressive_model #moving_average_model #forecasting
⚛️Аналитика: На самом деле ситуаций не такая страшная (Duolingvo увольняет тысячи сотрудников), переводчики перейдут в штат проектов занимающихся нейросетями и могут занять позиции тестировщиков сетей, фасилитаторов а также позиции в командах RedTeam и генерации контента, поставщиков и составителей узко-специализированных датасетов и аналитиков, которые занимаются консолидацией знаний в области языка.

⚛️Более того, скорое всего появятся Language-OSINT, эти люди будут заниматься выявлением малейших нововведений и изменений в языке и своевременно вносить правки в языковые модели (уже есть преценденты когда, особенно в молодежном сленге или профессиональном), для их молниеносного обучения. Так что спецов будет катастрофически не хватать, а 95% задач уйдет на автоматизацию. Резко возрастет спрос на носителей языка. Сюда же можно отнести задачи на выявление фейков.

⚛️То, что идет резкое сокращение гуманитарных специальностей это конечно шок для рынка, но не смертельный, более того, общая тенденция на рынке развития технологий показывает, что в скором времени, мы упремся в жесткую нехватку таких кадров и придем снова на исходную точку.

⚛️Более того, рынок разделится на потребление генерируемого контента и живого общения с носителем или экспертом в данной области. Таким образом мы видим тренд устойчивый на изменения не только по перераспределению рынка услуг, но и перераспределение рынка доставщиков услуг.

⚛️Говоря глобально, компании "опьяненные" успехом ИИ сейчас в долгой перспективе проиграют, так как они убирают кадры, за которыми им надо будет гоняться в будущем. Сетку можно нагенерить, обучить человека это долгий процесс, но его знания куда более хаотичны и многовекторны.

⚛️Модели надо будет переобучать, и выживет тот у кого эта модель будет качественнее, а без людей и их мозгов этого по нормальному не сделать. А это именно, то что и потребуется в будущем. Новость с Duolingvo говорит лишь о том, что их стратегия рассчитана на короткий период. Бизнес надо масштабировать, а не рубить его на корню, хотя, цели руководства нам не известны до конца.

⚛️На уровне государства, этот тренд увидел Китай в свое время и понял, что людей надо переводить на другие работы и переобучать их, тем самым снижается риск эмиграции, криминала, и прочих социальных вопросов. Как обычно, кадры решают все.

Ситуация все больше напоминает вот этот ролик: https://www.youtube.com/watch?v=7pd1wZa-kgk

Ждемс...
Please open Telegram to view this post
VIEW IN TELEGRAM
3
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_185

🔠 Какие есть преимущества и недостатки у структурные временные ряды ?

Преимущества:
- Учитывает различные компоненты временного ряда, включая тренды, сезонность и внешние факторы.
- Может быть эффективна для сложных временных рядов с несколькими компонентами.

Недостатки:
- Требует дополнительной информации о внешних факторах и их влиянии на ряд.
- Подбор параметров модели может быть сложным и требовать экспертных знаний.

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#time_series #AR_model #MA_model #autoregressive_model #moving_average_model #forecasting
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_186

🔠 Какие есть преимущества и недостатки у моделей глубокого обучения ?

Преимущества:
- Способны улавливать сложные зависимости и нелинейности в данных.
- Могут быть эффективны для больших объемов данных и сложных временных рядов.

Недостатки:
- Требуют большого объема данных для обучения.
- Могут быть вычислительно сложными и требовать мощности вычислительных ресурсов.

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#time_series #AR_model #MA_model #autoregressive_model #moving_average_model #forecasting