❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_165

🔠Какие алгоримы поиска аномалий в данных существуют и чем они отличаются ? (Часть_1)

DBSCAN (Density-Based Spatial Clustering of Applications with Noise) - алгоритм кластеризации данных, который основывается на плотностной информации о расположении объектов. Он определяет кластеры как плотные области в пространстве признаков, разделенные областями разреженности;

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#DBSCAN #ClusteringAlgorithm #DensityBasedClustering #OutlierDetection #LOF #LocalOutlierFactor #IsolationForest

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_165

🔠Какие алгоритмы поиска аномалий в данных существуют и чем они отличаются ? (Часть_2)

LOF (Local Outlier Factor): LOF также использует информацию о плотности для обнаружения аномалий. Он вычисляет локальный коэффициент выброса для каждого объекта, основываясь на плотности окрестности данного объекта по сравнению с плотностью окрестности его соседей. Значения LOF выше единицы указывают на аномальные объекты;

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#DBSCAN #ClusteringAlgorithm #DensityBasedClustering #OutlierDetection #LOF #LocalOutlierFactor #IsolationForest

Новое исследование позволило по новому взглянуть на такой известный феном как "родинка". В ходе которого выяснилось, что влиние ИИ идет семимльными шагами и уже стоит на службе у врачей и диагностов. (https://www.dailymail.co.uk/health/article-12818673/More-patients-prefer-artificial-intelligence-assess-skin-cancer-wait-doctor.html).

Вот что удалось выяснить: - 62% респондентов предпочли бы, чтобы их оценивал искусственный интеллект (ИИ), а не врач.

Национальная служба здравоохранения объявила о планах расширить использование технологии, которая может анализировать изображения на наличие признаков заболевания.
Исследования показывают, что искусственный интеллект так же точно, как врач, выявляет рак кожи и может завершить оценку за считанные секунды.
Почти 80% опрошенных заявили, что они уверены в том, что компьютер может помочь врачам анализировать фотографии возможного рака кожи.
"От меланомы в Великобритании ежегодно умирает около 2 300 человек, а от плоскоклеточной карциномы - около 1 000."

"Опрос 300 человек был проведен компанией Skin Analytics, специализирующейся на искусственном интеллекте, чье программное обеспечение DERM для выявления рака кожи уже используется в NHS."

"Программа анализирует изображения кожных новообразований, а затем решает, относится ли это к случаям низкого риска - то есть пациенту скажут, что дальнейшее обследование не требуется, - или к случаям высокого риска - то есть за дело возьмется консультант-дерматолог, чтобы поставить диагноз."

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_165

🔠Какие алгоритмы поиска аномалий в данных существуют и чем они отличаются ? (Часть_3)

Isolation Forest использует случайные деревья для изоляции аномалий. Он строит ансамбль изолирующих деревьев, разделяя объекты по случайным разделениям до тех пор, пока каждый объект не будет изолирован в отдельном листе. Аномалии обычно требуют меньшего числа разделений для изоляции, и поэтому имеют более короткий путь в дереве;

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#DBSCAN #ClusteringAlgorithm #DensityBasedClustering #OutlierDetection #LOF #LocalOutlierFactor #IsolationForest

https://datastart.ru/blog/read/4-sposoba-provalit-sobesedovanie-na-dolzhnost-data-scientist - хорошая статья трезвого подхода к DS со стороны бизнеса и наоборот. Никакой воды только суть.

https://research.kudelskisecurity.com/2023/12/07/introducing-fuzzomatic-using-ai-to-automatically-fuzz-rust-projects-from-scratch/ - не так давно я читал статью про то что проекты на базе ии все более глубоко залегают в оболочки, платформы и становятся своего рода новым "ассеммблером". Вот и подобная статья стала не исключением, надстройки становиятся сложение и в целом куда более изощренные.

В Китае появились кибер-суды с виртуальными судьями.😳

Стороны процесса находятся в чате социальной сети WeChat, пока кибер-судья рассматривает дело.🤖

☝🏻Менее чем за год "мобильный суд" в социальной сети WeChat уже рассмотрел более 3 миллионов дел.

Система позволяет истцам и ответчикам общаться в видеочате, в то время как дело рассматривает судья с ИИ.😳

Приложение "Мобильный суд" в WeChat - самое популярное в Китае приложение для подачи исков, проведения слушаний и обмена документами без физического присутствия в зале суда. Приложение запущено в 12 провинциях Китая.

По мнению властей Китая, система призвана оптимизировать рассмотрение дел в крупной судебной системе Китая с помощью киберпространства, блокчейна и облачных вычислений.🤷🏼‍♀️

Прикольная вещь, автопостинг как способ привлечения внимания на рекрутинге. Например вы ищете сотрудников, просто больше постите не важно чего, люди обязательно будут заходить на страницу, даже если они не ищут работу.

По дефолту они начинают и подписываться. Но качество контента все же играет роль, он должен быть хорошим и главное полезным.

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_165

🔠Какие алгоритмы поиска аномалий в данных существуют и чем они отличаются ? (Часть_4)

One-Class SVM (Support Vector Machines): One-Class SVM - алгоритм, который строит модель только для "нормальных" данных. Он пытается найти гиперплоскость, которая наилучшим образом разделяет нормальные данные от выбросов в пространстве признаков. Объекты, находящиеся далеко от этой гиперплоскости, считаются аномалиями.

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#DBSCAN #ClusteringAlgorithm #DensityBasedClustering #OutlierDetection #LOF #LocalOutlierFactor #IsolationForest

В контексте машинного обучения и искусственного интеллекта, термин "галлюцинации ИИ" обычно относится к феномену, когда нейронные сети, обученные на большом объеме данных, способны генерировать новые изображения, звуки или тексты, которые могут выглядеть как реальные данные, но на самом деле являются вымышленными.

На самом деле одна из крупных проблем на сегодняшний день. Так компания LexisNexis сейчас работает с генеративными моделями обработки естественного языка (LLM) и использует их для своих сервисов, при этом стремится сделать генерируемые данные более правдоподобными. Вот что удалось достичь:

1. Компания запустила Lexis+ AI, свое генеративное решение для ИИ, которое обещает искоренить "галлюцинации" ИИ и предоставлять ссылки на юридические документы;

2. LexisNexis перешла в облако в 2015 году, что позволило быстро внедрять машинное обучение и LLM в свои приложения для создания ИИ;

3. Компания потратила 1,4 миллиарда долларов на цифровую трансформацию, включая обучение сотрудников и привлечение новых талантов;

4. Lexis+ AI - многомодельное решение LLM с улучшениями в области генеративного ИИ, которое позволяет пользователям анализировать, обобщать и извлекать информацию из юридических документов;

https://boosty.to/denoise_lab (Если вы хотите поддержать проект, или получить более модные фишки по коду и продвижению подписывайтесь);

https://www.youtube.com/@DenoiseLAB - если вы готовитесь к собеседованию по анализу данных, машинному обучению или аналитике, советую заглянуть сюда.

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_165

🔠В чем разница между Rapids, Vaex, Pandas, Polars, Modin, Dask они же все для анализа данных ? (Часть_1)

Pandas предоставляет гибкие структуры данных, такие как DataFrame, и мощные инструменты для манипуляции, фильтрации, агрегации и анализа данных. Pandas обычно используется для работы с небольшими и средними объемами данных, которые могут поместиться в оперативную память одного компьютера;

Dask позволяет обрабатывать данные, превышающие объем доступной оперативной памяти, с использованием распределенных вычислений. Dask предоставляет абстракции, такие как DataFrame и Array, которые подобны структурам данных из Pandas и NumPyx;

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#DBSCAN #ClusteringAlgorithm #DensityBasedClustering #OutlierDetection #LOF #LocalOutlierFactor #IsolationForest

https://huggingface.co/spaces/diffusers/stable-diffusion-xl-inpainting - меняем объекты на фото в одно касание

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_165

🔠В чем разница между Rapids, Vaex, Pandas, Polars, Modin, Dask они же все для анализа данных ? (Часть_2)

Polars обладает высокой производительностью благодаря использованию Rust в своей реализации, а также предлагает возможности параллельной обработки данных. Она может работать с большими объемами данных и поддерживает некоторые распределенные вычисления;

Vaex использует ленивые вычисления и эффективные алгоритмы для выполнения операций над данными. Она обладает высокой производительностью и может работать с многопоточностью, многопроцессорностью и распределенными вычислениями;

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#DBSCAN #ClusteringAlgorithm #DensityBasedClustering #OutlierDetection #LOF #LocalOutlierFactor #IsolationForest

Совсем недавно было проведено, вот такое исследование: https://www.nbcnews.com/data-graphics/wide-gap-ais-hype-use-business-rcna127210, в хоже которого выяснилось, что:

1/ Крупнейшие американские компании активно рекламируют искусственный интеллект инвесторам, однако, лишь немногие компании используют эту технологию на практике;

3/ Ноябрьский опрос Бюро переписи населения показал, что только 4,4% предприятий используют искусственный интеллект для производства товаров или услуг;

4/ Фактическое внедрение искусственного интеллекта предприятиями является "консервативным";

5/ В ближайшие пять-10 лет, более 75% предприятий будут использовать ИИ в своей работе и вместо этого, они будут использовать приложения, построенные поверх искусственного интеллекта.

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_165

🔠В чем разница между Rapids, Vaex, Pandas, Polars, Modin, Dask они же все для анализа данных ? (Часть_3)

Modin предоставляет интерфейс, совместимый с Pandas, но с оптимизированной производительностью. Она использует различные движки обратной совместимости, такие как Dask и Ray, для распределенных и параллельных вычислений.

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#DBSCAN #ClusteringAlgorithm #DensityBasedClustering #OutlierDetection #LOF #LocalOutlierFactor #IsolationForest

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_166

🔠 Что такое Tarantool и как он устроен ?

Tarantool — это база данных с открытым исходным кодом и высокой производительностью, которая сочетает в себе функциональность базы данных и сервера приложений. Tarantool состоит из:

1. In-Memory и Disk Storage: Tarantool предлагает возможность хранения данных как в оперативной памяти (In-Memory), так и на диске (Disk Storage). Это позволяет обеспечить высокую скорость доступа к данным и сохранить данные на долгосрочное хранение.

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#DBSCAN #ClusteringAlgorithm #DensityBasedClustering #OutlierDetection #LOF #LocalOutlierFactor #IsolationForest

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_166

🔠 Что такое Tarantool и как он устроен ? (Часть_2)

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

2. Lua: Tarantool использует язык программирования Lua для создания хранимых процедур (stored procedures), триггеров и бизнес-логики. Lua обеспечивает гибкость и простоту внедрения пользовательского кода в базу данных.

3. NoSQL и Lua Spaces: Tarantool поддерживает гибкую модель данных, известную как Lua Spaces. Lua Spaces предоставляет простой способ хранения и извлечения данных, а также мощные возможности индексирования и поиска.

#Tarantool #Lua #StoredProcedures #Triggers #BusinessLogic #NoSQL #LuaSpaces #DataModeling #DataStorage #Indexing #SearchCapabilities

https://attackerkb.com - разбор CVE на пальцах, много кода, очень высокий уровень уязвимости. Детально все разобрано, рекомендуется к прочтению.

🔥🔥🔥Отказ от ответственности: Материалы публикуем в канале несут лишь информационный характер, редакция канала не несет ответственности за ваши возможные действия и последующие за ними последствия. Мы также не призываем вас нарушать закон.

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_167

🔠 Что включает в себя torch.utils.bottleneck ? (часть_1)

torch.utils.bottleneck в библиотеке PyTorch предоставляет инструменты для профилирования и оптимизации производительности кода.

модуль torch.utils.bottleneck включает следующие функции:

1. bottleneck - Это функция-декоратор, которая позволяет профилировать отдельные функции или методы классов. Она собирает информацию о времени выполнения и вызовах функции и выводит отчет с подробной информацией о производительности.

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#torchutilsbottleneck #function #profiler #remove

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_167

🔠 Что включает в себя torch.utils.bottleneck ? (часть_2)

torch.utils.bottleneck в библиотеке PyTorch предоставляет инструменты для профилирования и оптимизации производительности кода.

модуль torch.utils.bottleneck включает следующие функции:

2. profiler - Это контекстный менеджер, который позволяет профилировать участки кода внутри блока with. Он собирает информацию о времени выполнения и вызовах участка кода и выводит отчет с подробной информацией о производительности.

3. remove - Это функция, которая позволяет удалить установленные хуки профилирования, чтобы отключить профилирование и вернуться к нормальному выполнению кода.

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#torchutilsbottleneck #function #profiler #remove