❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_164

🔠Какие есть разновидности Adam optimization и в чем их разница ? (Часть_3)

AMSGrad (Adaptive Moment Estimation with Variance Correction) вводит исправление для оценки второго момента градиентов. Оно предотвращает возможное увеличение оценки второго момента в сравнении с алгоритмом RMSprop;

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#AdamW #ParameterUpdate #Regularization #NeuralNetworks #Overfitting #Nadam #NesterovMomentum #AMSGrad

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_164

🔠Какие есть разновидности Adam optimization и в чем их разница ? (Часть_4)

AdaBelief использует адаптивные скорректированные оценки моментов и вводит дополнительные гиперпараметры для контроля скорости обучения и сглаживания оценок моментов;

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#AdamW #ParameterUpdate #Regularization #NeuralNetworks #Overfitting #Nadam #NesterovMomentum #AMSGrad

ElevenLabs больше не король — вышла нейронка HierSpeech++, которая может клонировать голос, при этом — бесплатно.

В поле «промт» загружаем референс голоса, а в Input Text пишем, что хотим озвучить. Минус пока один — работает только с английским, но разрабы обещают скоро выпустить мультиязыковую модель.

Можно затестить на Hugging Face или загрузить локально с GitHub.

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_164

🔠Какие есть разновидности Adam optimization и в чем их разница ? (Часть_5)

RAdam (Rectified Adam) вводит коррекцию для оценки первого момента градиентов, чтобы устранить проблему смещения оценки первого момента на начальных итерациях обучения. RAdam также включает в себя масштабирование скорости обучения на начальных итерациях для стабилизации процесса обучения.

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#AdamW #ParameterUpdate #Regularization #NeuralNetworks #Overfitting #Nadam #NesterovMomentum #AMSGrad

👍Собес на Изи в DS №9.

👉https://www.youtube.com/watch?v=8p79RYV3QLc
😎Что такое преобразование Бокса-Кокса, код, теория.

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

Вот такой вот кейс выдали: https://www.popsci.com/technology/ai-reads-audiobooks/. ИИ все больше захватывает рынок услуг, и теперь очередь добралась и до книгочеев. Чтож... какие тенденции мы видим сейчас:

1/ Синтетические голоса могут транслировать старые тексты на платформах, таких как Spotify;

2/ Проект Gutenberg сотрудничает с исследователями для создания 5000 аудиокниг с искусственным интеллектом, включая классические произведения литературы;

3/ Нейронный алгоритм преобразования текста в речь обучается на миллионах примеров человеческой речи и имитирует ее;

4/ Алгоритм может генерировать разные голоса с разными акцентами и создавать пользовательские голоса за пять секунд;

5/ Он может улавливать интонации и изменения, которые люди добавляют при чтении слов;

6/ Большие языковые модели принимают текст и заполняют пробелы, а нейронные алгоритмы преобразования текста в речь принимают текст и создают звуки, соответствующие тексту;

7/ Следующие шаги заключаются в улучшении качества и расширении коллекции аудиокниг до всех 60 000 в Project Gutenberg.

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_165

🔠Какие алгоримы поиска аномалий в данных существуют и чем они отличаются ? (Часть_1)

DBSCAN (Density-Based Spatial Clustering of Applications with Noise) - алгоритм кластеризации данных, который основывается на плотностной информации о расположении объектов. Он определяет кластеры как плотные области в пространстве признаков, разделенные областями разреженности;

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#DBSCAN #ClusteringAlgorithm #DensityBasedClustering #OutlierDetection #LOF #LocalOutlierFactor #IsolationForest

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_165

🔠Какие алгоритмы поиска аномалий в данных существуют и чем они отличаются ? (Часть_2)

LOF (Local Outlier Factor): LOF также использует информацию о плотности для обнаружения аномалий. Он вычисляет локальный коэффициент выброса для каждого объекта, основываясь на плотности окрестности данного объекта по сравнению с плотностью окрестности его соседей. Значения LOF выше единицы указывают на аномальные объекты;

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#DBSCAN #ClusteringAlgorithm #DensityBasedClustering #OutlierDetection #LOF #LocalOutlierFactor #IsolationForest

Новое исследование позволило по новому взглянуть на такой известный феном как "родинка". В ходе которого выяснилось, что влиние ИИ идет семимльными шагами и уже стоит на службе у врачей и диагностов. (https://www.dailymail.co.uk/health/article-12818673/More-patients-prefer-artificial-intelligence-assess-skin-cancer-wait-doctor.html).

Вот что удалось выяснить: - 62% респондентов предпочли бы, чтобы их оценивал искусственный интеллект (ИИ), а не врач.

Национальная служба здравоохранения объявила о планах расширить использование технологии, которая может анализировать изображения на наличие признаков заболевания.
Исследования показывают, что искусственный интеллект так же точно, как врач, выявляет рак кожи и может завершить оценку за считанные секунды.
Почти 80% опрошенных заявили, что они уверены в том, что компьютер может помочь врачам анализировать фотографии возможного рака кожи.
"От меланомы в Великобритании ежегодно умирает около 2 300 человек, а от плоскоклеточной карциномы - около 1 000."

"Опрос 300 человек был проведен компанией Skin Analytics, специализирующейся на искусственном интеллекте, чье программное обеспечение DERM для выявления рака кожи уже используется в NHS."

"Программа анализирует изображения кожных новообразований, а затем решает, относится ли это к случаям низкого риска - то есть пациенту скажут, что дальнейшее обследование не требуется, - или к случаям высокого риска - то есть за дело возьмется консультант-дерматолог, чтобы поставить диагноз."

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_165

🔠Какие алгоритмы поиска аномалий в данных существуют и чем они отличаются ? (Часть_3)

Isolation Forest использует случайные деревья для изоляции аномалий. Он строит ансамбль изолирующих деревьев, разделяя объекты по случайным разделениям до тех пор, пока каждый объект не будет изолирован в отдельном листе. Аномалии обычно требуют меньшего числа разделений для изоляции, и поэтому имеют более короткий путь в дереве;

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#DBSCAN #ClusteringAlgorithm #DensityBasedClustering #OutlierDetection #LOF #LocalOutlierFactor #IsolationForest

https://datastart.ru/blog/read/4-sposoba-provalit-sobesedovanie-na-dolzhnost-data-scientist - хорошая статья трезвого подхода к DS со стороны бизнеса и наоборот. Никакой воды только суть.

https://research.kudelskisecurity.com/2023/12/07/introducing-fuzzomatic-using-ai-to-automatically-fuzz-rust-projects-from-scratch/ - не так давно я читал статью про то что проекты на базе ии все более глубоко залегают в оболочки, платформы и становятся своего рода новым "ассеммблером". Вот и подобная статья стала не исключением, надстройки становиятся сложение и в целом куда более изощренные.

В Китае появились кибер-суды с виртуальными судьями.😳

Стороны процесса находятся в чате социальной сети WeChat, пока кибер-судья рассматривает дело.🤖

☝🏻Менее чем за год "мобильный суд" в социальной сети WeChat уже рассмотрел более 3 миллионов дел.

Система позволяет истцам и ответчикам общаться в видеочате, в то время как дело рассматривает судья с ИИ.😳

Приложение "Мобильный суд" в WeChat - самое популярное в Китае приложение для подачи исков, проведения слушаний и обмена документами без физического присутствия в зале суда. Приложение запущено в 12 провинциях Китая.

По мнению властей Китая, система призвана оптимизировать рассмотрение дел в крупной судебной системе Китая с помощью киберпространства, блокчейна и облачных вычислений.🤷🏼‍♀️

Прикольная вещь, автопостинг как способ привлечения внимания на рекрутинге. Например вы ищете сотрудников, просто больше постите не важно чего, люди обязательно будут заходить на страницу, даже если они не ищут работу.

По дефолту они начинают и подписываться. Но качество контента все же играет роль, он должен быть хорошим и главное полезным.

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_165

🔠Какие алгоритмы поиска аномалий в данных существуют и чем они отличаются ? (Часть_4)

One-Class SVM (Support Vector Machines): One-Class SVM - алгоритм, который строит модель только для "нормальных" данных. Он пытается найти гиперплоскость, которая наилучшим образом разделяет нормальные данные от выбросов в пространстве признаков. Объекты, находящиеся далеко от этой гиперплоскости, считаются аномалиями.

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#DBSCAN #ClusteringAlgorithm #DensityBasedClustering #OutlierDetection #LOF #LocalOutlierFactor #IsolationForest

В контексте машинного обучения и искусственного интеллекта, термин "галлюцинации ИИ" обычно относится к феномену, когда нейронные сети, обученные на большом объеме данных, способны генерировать новые изображения, звуки или тексты, которые могут выглядеть как реальные данные, но на самом деле являются вымышленными.

На самом деле одна из крупных проблем на сегодняшний день. Так компания LexisNexis сейчас работает с генеративными моделями обработки естественного языка (LLM) и использует их для своих сервисов, при этом стремится сделать генерируемые данные более правдоподобными. Вот что удалось достичь:

1. Компания запустила Lexis+ AI, свое генеративное решение для ИИ, которое обещает искоренить "галлюцинации" ИИ и предоставлять ссылки на юридические документы;

2. LexisNexis перешла в облако в 2015 году, что позволило быстро внедрять машинное обучение и LLM в свои приложения для создания ИИ;

3. Компания потратила 1,4 миллиарда долларов на цифровую трансформацию, включая обучение сотрудников и привлечение новых талантов;

4. Lexis+ AI - многомодельное решение LLM с улучшениями в области генеративного ИИ, которое позволяет пользователям анализировать, обобщать и извлекать информацию из юридических документов;

https://boosty.to/denoise_lab (Если вы хотите поддержать проект, или получить более модные фишки по коду и продвижению подписывайтесь);

https://www.youtube.com/@DenoiseLAB - если вы готовитесь к собеседованию по анализу данных, машинному обучению или аналитике, советую заглянуть сюда.

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_165

🔠В чем разница между Rapids, Vaex, Pandas, Polars, Modin, Dask они же все для анализа данных ? (Часть_1)

Pandas предоставляет гибкие структуры данных, такие как DataFrame, и мощные инструменты для манипуляции, фильтрации, агрегации и анализа данных. Pandas обычно используется для работы с небольшими и средними объемами данных, которые могут поместиться в оперативную память одного компьютера;

Dask позволяет обрабатывать данные, превышающие объем доступной оперативной памяти, с использованием распределенных вычислений. Dask предоставляет абстракции, такие как DataFrame и Array, которые подобны структурам данных из Pandas и NumPyx;

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#DBSCAN #ClusteringAlgorithm #DensityBasedClustering #OutlierDetection #LOF #LocalOutlierFactor #IsolationForest

https://huggingface.co/spaces/diffusers/stable-diffusion-xl-inpainting - меняем объекты на фото в одно касание

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_165

🔠В чем разница между Rapids, Vaex, Pandas, Polars, Modin, Dask они же все для анализа данных ? (Часть_2)

Polars обладает высокой производительностью благодаря использованию Rust в своей реализации, а также предлагает возможности параллельной обработки данных. Она может работать с большими объемами данных и поддерживает некоторые распределенные вычисления;

Vaex использует ленивые вычисления и эффективные алгоритмы для выполнения операций над данными. Она обладает высокой производительностью и может работать с многопоточностью, многопроцессорностью и распределенными вычислениями;

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#DBSCAN #ClusteringAlgorithm #DensityBasedClustering #OutlierDetection #LOF #LocalOutlierFactor #IsolationForest

Совсем недавно было проведено, вот такое исследование: https://www.nbcnews.com/data-graphics/wide-gap-ais-hype-use-business-rcna127210, в хоже которого выяснилось, что:

1/ Крупнейшие американские компании активно рекламируют искусственный интеллект инвесторам, однако, лишь немногие компании используют эту технологию на практике;

3/ Ноябрьский опрос Бюро переписи населения показал, что только 4,4% предприятий используют искусственный интеллект для производства товаров или услуг;

4/ Фактическое внедрение искусственного интеллекта предприятиями является "консервативным";

5/ В ближайшие пять-10 лет, более 75% предприятий будут использовать ИИ в своей работе и вместо этого, они будут использовать приложения, построенные поверх искусственного интеллекта.

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_165

🔠В чем разница между Rapids, Vaex, Pandas, Polars, Modin, Dask они же все для анализа данных ? (Часть_3)

Modin предоставляет интерфейс, совместимый с Pandas, но с оптимизированной производительностью. Она использует различные движки обратной совместимости, такие как Dask и Ray, для распределенных и параллельных вычислений.

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#DBSCAN #ClusteringAlgorithm #DensityBasedClustering #OutlierDetection #LOF #LocalOutlierFactor #IsolationForest