🤖 Напоминаем, что у нас есть еженедельная email-рассылка, посвященная последним новостям и тенденциям в мире искусственного интеллекта.

В ней:
● Новости о прорывных исследованиях в области машинного обучения и нейросетей
● Материалы о применении ИИ в разных сферах
● Статьи об этических аспектах развития технологий
● Подборки лучших онлайн-курсов и лекций по машинному обучению
● Обзоры инструментов и библиотек для разработки нейронных сетей
● Ссылки на репозитории с открытым исходным кодом ИИ-проектов
● Фильмы, сериалы и книги

👉Подписаться👈

Что означает «насыщение нейрона»?

В контексте нейронных сетей, насыщением называют ситуацию, когда выход функции активации или нейрона становится очень близок к предельным значениям, которые эта функция может принимать. Это часто происходит с активационными функциями типа сигмоиды или гиперболического тангенса. В таких случаях градиенты становятся очень малыми, что приводит к замедлению или остановке обучения сети. Этот эффект особенно выражен в глубоких сетях, где насыщение может распространяться на несколько слоев, делая обучение неэффективным.

Насыщение нейронов можно смягчить с помощью различных техник, таких как использование других функций активации (например, ReLU), регуляризация и различные стратегии инициализации весов.

#глубокое_обучение

В каких случаях лучше не использовать momentum в оптимизации?

Добавление momentum к градиентному спуску позволяет повысить его устойчивость и избегать маленьких локальных минимумов/максимумов. Однако есть случаи, когда его использование может быть нецелесообразным.

В частности, когда модель склонна к переобучению, использование momentum может ускорить этот процесс. Кроме того, на участках, где функция ошибки имеет плато (то есть изменения градиента минимальны или отсутствуют), momentum может затруднить выход из этих областей.

В каждом из этих случаев стоит рассмотреть альтернативные методы оптимизации или тщательнее настраивать гиперпараметры модели для достижения оптимального результата.

#глубокое_обучение

Какие события можно назвать независимыми?

Если говорить неформально, то событие A не зависит от события B, если знание о B не даёт нам информации об A. Иными словами, знание о том, произошло ли событие B, никак не меняет прогнозы о том, произойдёт ли событие A.

Более формально, два события A и B считаются независимыми, если вероятность их совместного наступления равна произведению вероятностей этих событий.

Примером независимых событий могут служить два броска честной монеты. Результат первого броска (орёл или решка) никак не влияет на результат второго броска.

#теория_вероятностей

📊 Kaggle за 30 минут: практическое руководство для начинающих

Начинающему дата-сайентисту необходима практика, а Kaggle решает эту проблему. Из статьи вы узнаете, как лучше всего начать работу с популярным сервисом.

🔗 Статья

✍️ «Библиотека программиста» находится в поиске автора на написание книжных рецензий

Кто нужен?
● Энтузиасты (джуны и выше), которые которые разбираются в IT
● Любители книг, которые хотели бы получать деньги за чтение и написание рецензий
● Работаем с самозанятыми (компенсируем налог), ИП

Мы предлагаем частичную занятость и полностью удаленный формат работы — можно совмещать с основной и находиться в любом месте🌴

✉️ Станьте частью нашей команды — присылайте резюме и примеры работ hello@proglib.io

Что вы знаете об эмпирическом правиле в нормальном распределении?

Эмпирическое правило, также известное как правило 68-95-99.7, описывает, как данные распределяются в нормальном распределении. Согласно этому правилу:

▪️Около 68% данных находятся в пределах одного стандартного отклонения от среднего.
▪️Около 95% данных находятся в пределах двух стандартных отклонений от среднего.
▪️Около 99.7% данных находятся в пределах трёх стандартных отклонений от среднего.

#статистика

Как можно приспособить SVM под данные, которые не являются линейно разделимыми?

Основая идея SVM, или метода опорных векторов, заключается в построении гиперплоскости, разделяющей объекты выборки оптимальным способом. Алгоритм работает в предположении, что чем больше расстояние между разделяющей гиперплоскостью и объектами разделяемых классов, тем меньше будет средняя ошибка классификатора.

Однако на практике многие данные не являются линейно разделимыми. Чтобы приспособить SVM под такие данные, можно использовать, например, ядерный трюк.

В это случае скалярное произведение трансформированных векторов n-й степени заменяется на их произведение в степени n. Такой подход позволяет получить такие же результаты, как и в случае с добавлением большого количества полиномиальных признаков без их фактического добавления.

#машинное_обучение

🧑‍💻 Статьи для IT: как объяснять и распространять значимые идеи

Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом.

Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций.

Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах.

👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.

👨‍🎓️ Кто есть кто в команде data science: путеводитель по профессии

О data scientist часто говорят, будто это одна профессия, хотя в науке о данных существуют и другие специализации. Расскажем, из каких направлений можно выбирать и что потребуется для их изучения.

🔗 Читать статью

Как использовать матрицу ошибок (confusion matrix), чтобы определить производительность модели?

В задаче классификации принято называть положительным класс, который представляет для нас интерес, и отрицательным класс, который нас не интересует (условно). С учётом этого можем описать для каждого объекта в выборке четыре возможных ситуации:

▪️Модель предсказала положительную метку и угадала. Такие объекты будут относиться к true positive (TP).
▪️Модель предсказала положительную метку и ошиблась. Такие объекты будут относиться к false positive (FP).
▪️Модель предсказала отрицательную метку и угадала. Такие объекты будут относиться к true negative (TN).
▪️Модель предсказала отрицательную метку и ошиблась. Такие объекты будут относиться к false negative (FN).

Все эти четыре группы изображают в виде таблицы, которую называют confusion matrix (матрицей ошибок). Она помогает рассчитать следующие метрики, которые могут нам что-то сказать о производительности модели:

▪️Accuracy (Точность): (TP + TN) / (TP + TN + FP + FN) — общая точность модели.
▪️Precision (Точность): TP / (TP + FP) — доля правильно предсказанных положительных объектов среди всех объектов, предсказанных положительным классом.
▪️Recall (Полнота): TP / (TP + FN) — доля правильно найденных положительных объектов среди всех объектов положительного класса.
▪️F1-score: 2 * (Precision * Recall) / (Precision + Recall) — гармоническое среднее между Precision и Recall.

#машинное_обучение