DenoiseLAB
486 subscribers
1.33K photos
159 videos
3 files
1.57K links
Блог DenoiseLAB (машинное обучение, аналитика)

Информация в канале служит только для ознакомления и не является призывом к действию. Не нарушайте законы РФ и других стран. Мы не несем отвественность за ваши действия или бездействия.
Download Telegram
300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_223

🔠 Что такое супер-полносвязные нейронные сети ? (Часть_2)

L0-регуляризация представляет собой подход, который позволяет обнулять веса нейронов, тем самым уменьшая общее количество параметров в сети. Этот метод может быть особенно полезен для уменьшения размерности модели и повышения ее эффективности. Однако, его использование требует тщательного планирования и тестирования, поскольку неправильное применение может привести к нежелательным изменениям в структуре сети.

#full_connected_net #neural_network #ds #analytics #optimization
🔥🔥🔥Список математических библиотек на Python:

✔️NumPy (https://numpy.org/) — базовая библиотека для научных расчетов, содержащая набор инструментов для работы с многомерными массивами.

✔️ SciPy (https://scipy.org/) — библиотека для научных вычислений, построенная на основе NumPy.

✔️ Matplotlib (https://matplotlib.org/) — библиотека для построения двухмерных графиков.

✔️ SymPy (https://www.sympy.org/en/index.html) — библиотека для символьных вычислений.

✔️ Pandas (https://pandas.pydata.org/) — библиотека для обработки и анализа данных, содержит структуры данных DataFrame и Series.

✔️ Scikit-learn (https://scikit-learn.org/stable/) — библиотека машинного обучения.

✔️ Numerical Integration (https://docs.scipy.org/doc/scipy/tutorial/integrate.html) — библиотека для численного интегрирования.

✔️ PyMathProg (https://pymprog.sourceforge.net/) — библиотека для решения математических задач линейного и целочисленного программирования.

✔️ SymEngine (https://github.com/symengine/symengine) — библиотека для символьных вычислений.

✔️ Combinatorics (https://www.geeksforgeeks.org/permutation-and-combination-in-python/) — библиотека для комбинаторных вычислений.

✔️ NetworkX (https://networkx.org/) — библиотека для работы с графами.

✔️ Pyomo (http://www.pyomo.org/) — библиотека для решения задач оптимизации.

✔️ CvxOpt (https://cvxopt.org/) — библиотека для решения задач линейного и квадратичного программирования.

✔️ CVXPY (https://www.cvxpy.org/) — библиотека для решения задач линейного и квадратичного программирования.
Please open Telegram to view this post
VIEW IN TELEGRAM
300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_223

🔠 Что такое супер-полносвязные нейронные сети ? (Часть_3)

Dropout - это еще одна техника, используемая для увеличения разреженности сети путем случайного исключения нейронов из процесса обучения. Это помогает предотвратить переобучение и улучшить обобщающую способность модели. В контексте L0-регуляризации, dropout может быть адаптирован таким образом, чтобы обнулять веса с определенной вероятностью, что добавляет дополнительный регуляризующий эффект.

#full_connected_net #neural_network #ds #analytics #optimization
https://github.com/kraidiky/connectome_optimization/blob/main/facade.ipynb - Прореженный на 2.75M весов мобайлнет
1_Ансамбль_синапсов_–_структурная_единица_нейронной_сети,_Влад_Голощапов.pptx
2.9 MB
🕯🕯🕯Очень интересное исследование, в котором показано что не обязательно переобучать сеть достаточно лишь, чутка подправить пару весов нейронов, при этом можно составить карту весов нейронов и понять, кто за что отвечает и в итоге можем получить цельную картинку для анализа.
Please open Telegram to view this post
VIEW IN TELEGRAM
☄️☄️☄️TrustLLM — инструмент на Python для комплексного исследования ответов от LLM. TrustLLM рассматривает 6 аспектов ответов: правдивость, безопасность, этичность, соблюдение конфиденциальности и другие. В этом документе подробно объясняется, как использовать инструмент для оценки эффективности собственных моделей.

pip install trustllm

▪️GitHub
▪️Arxiv
▪️Docs
▪️Project
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥🔥🔥https://habr.com/ru/companies/sberbank/articles/821615/ - моя новая статья по заказу Сбера. Здесь я перехожу уже плавно в разработку, пусть и небольшую ))

В целом статья носит сугубо практический характер, и по большей степени направлена на развитие отрасли, и в целом показу практического кейса по работе с чат-ботами, в частности утечки конфиденциальных данных. При "правильном" обращении они сольют всю инфу о бизнесе, сотрудниках и в целом о всех ваших клиентах, которые пользуются им. Это первая часть статьи, сейчас на редактуре лежит 2 и готовится 3. Приятного чтения.
Please open Telegram to view this post
VIEW IN TELEGRAM
📈📈📈В редактуру ушла новая статья про "Отравления моделей машинного обучения", плавно перехожу на разработку инструментов, чтобы усилить статьи и сделать их более мощными. Так как сбор материала и его анализ уходит много времени, надо успевать еще инструменты пилить ;)))
Please open Telegram to view this post
VIEW IN TELEGRAM
https://github.com/yandex/geo-reviews-dataset-2023 - Яндекс выкладывает в открытый доступ крупнейший русскоязычный датасет отзывов об организациях, опубликованных на Яндекс Картах.

✔️500 000 уникальных отзывов
✔️Только отзывы на организации в России
✔️Доступны на Яндекс Картах
✔️Опубликованы с января по июль 2023 года
✔️Датасет не содержит коротких односложных отзывов
✔️Тексты очищены от персональных данных (номеров телефонов, адресов почты)
Please open Telegram to view this post
VIEW IN TELEGRAM
🇨🇳 В Китае ученые создают новое поколение секс-роботов на базе китайских LLM по типу 👩‍💻ChatGPT

Как стало известно SCMP, китайские ученые и инженеры решили использовать большие языковые модели (LLM) специально для секс-роботов с целью создания 💑"интерактивных компаньонов", имеющих искусственный интеллект.

В Шэньчжэне крупный производитель секс-кукол компания Starpery Technology начала обучать свою собственную большую языковую модель, чтобы усовершенствовать свой продукт и наделить его ИИ, дабы куклы могли имитировать человеческий голос, общаться и 🍓понимать желания собственника.

По мнению разработчиков, секс-куклы с "беспрецедентными возможностями" в интимном плане - в мужском или женском обличии - скоро появятся на полках магазинов.
Please open Telegram to view this post
VIEW IN TELEGRAM
✔️✔️✔️Запилил быстрый отчет для клиента по рабочей задаче скоринговых данных в банковской системе.

Кейс, в целом проходной, реализован на CatBoost'e с минимальной аналитикой.

Управились очень оперативно, с правками, дополнениями и прочими моментами. Визуализация базовая без изысков так как кейс типовой, со стороны бизнеса все показано и даны рекомендации завернуть все докер или апишку.
Please open Telegram to view this post
VIEW IN TELEGRAM
☄️☄️☄️https://github.com/google-ai-edge/model-explorer/wiki/4.-API-Guide - очень модная тулза для оценки работы модели, вернее ее визуализации, достаточно мощный и расширенный функционал, есть подробная документация по установке и настройке, пригодится всем кто изучает сети, разбирает их по кусочкам.
Please open Telegram to view this post
VIEW IN TELEGRAM
https://www.techopedia.com/news/metas-new-camerabuds-earphones-with-ai-powered-cameras - какая тонкая работа, учитывая биологию уха, и колличество там точек можно будет собирать большинство данных уже не только о человеке, но и по каждому органу в отдельности. Вау...