DenoiseLAB
486 subscribers
1.33K photos
159 videos
3 files
1.57K links
Блог DenoiseLAB (машинное обучение, аналитика)

Информация в канале служит только для ознакомления и не является призывом к действию. Не нарушайте законы РФ и других стран. Мы не несем отвественность за ваши действия или бездействия.
Download Telegram
🤝Несколько соображений на тему увольнение ключевых игроков OpenAI...

👉То, что они заявляли на конференции (близость к человеческому интеллекту) по факту не удалось достичь (P.S. И вряд ли получится). Видно было, на презентации как им реально не по себе и парни в панике и откровенном тупике. Поэтому, чтобы Майкрософт остался в "белом" перед инвесторами, нужна была жертва. И эту жертву дали. Более того, количество заявленных вопросов и кома нерешенных проблем так и осталось не решенными:

☄️ Интеграции в корпоративный сектор (местный/международный) - нет/нет (потенциальная утечка данных и корпоративных секретов);
☄️ Тестирование и анализ границ посредством этики Red Team - нет (не могут отловить все баги, так как границы постоянно расширяются, и в целом не совсем понятно, что надо ловить);
☄️ Возросшие затраты на мощности - нет (OpenAI самый дорогой стартап в мире 100 млрд долларов, дешевле только ГазПром 50 млрд долларов);
☄️ Наполнение реальными уникальными идеями, а не темами в стиле "Нарисуй Гомера с пивом" - нет (масса победила, а для эволюции нужны уникальные идеи и промпты);
☄️ Интеграции и основополагающие сторонние разработки - нет (все запили свое, в целом ситуация нормальная, так делали всегда, так как у всех свои пайплайны, и свои инструменты);
☄️ Быстрый сбор данных и потеря обороноспособности страны, которая использует эту игрушку (но тут я думаю без комментариев).
и т.д.

😵А что еще вы думаете напишите в комментариях...

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_154

🔠Можете ли вы объяснить, как происходит оптимизация параметров модели в PMF? (Часть_1)

Формулирование модели: Сначала определяется вероятностная модель для PMF, которая включает предположения о распределении данных и параметры модели. Наиболее распространенное предположение состоит в моделировании рейтинговых данных с использованием нормального (гауссовского) распределения.

Логарифмическая функция правдоподобия: Для оптимизации параметров модели используется логарифмическая функция правдоподобия (log-likelihood function). Эта функция оценивает, насколько хорошо модель соответствует наблюдаемым данным.

#SASRec #SequentialRecommendation #SelfAttention #PersonalizedRecommendation

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
🤝Ребятки, если вам надо изменить голос на записи, вот вам парочка отличных инструментов по данной теме. Какие-то бесплатные какие-то условно-бесплатные. Так что, залетаем тестим и смотрим пригодится ли вам это в вашем продакшене.

✔️ Voice Spice (https://voicespice.com)
✔️ Voice Changer Plus (iOS) (https://apps.apple.com/us/app/voice-changer-plus/id339440515)
✔️ VIPole Secure Messenger (https://www.vipole.com)

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_154

🔠Можете ли вы объяснить, как происходит оптимизация параметров модели в PMF? (Часть_2)

Оптимизация параметров: Цель состоит в максимизации логарифмической функции правдоподобия. Обычно используются методы оптимизации, такие как градиентный спуск (gradient descent), для нахождения оптимальных значений параметров модели. В ходе итераций параметры модели обновляются в направлении, которое увеличивает значение логарифмической функции правдоподобия.

Регуляризация: Часто в PMF применяются методы регуляризации для предотвращения переобучения модели и улучшения ее обобщающей способности. Регуляризация добавляет дополнительные штрафы к функции правдоподобия, основанные на норме параметров модели. Это помогает контролировать сложность модели и предотвращать переобучение.

#SASRec #SequentialRecommendation #SelfAttention #PersonalizedRecommendation

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
🤝Ребята всем привет!!!

💊https://theconversation.com/lagos-building-collapses-we-used-machine-learning-to-show-where-and-why-they-happen-212303 - очень необычный кейс. Здесь ребята анализировали обрушение зданий в Лагосе (Нигерия). Лагос является деловым центром страны, в нем расположены крупнейшие морской порт и аэропорт. С населением 15,4 млн. человек он является крупнейшим городом в Африке к югу от Сахары и вторым по величине в Африке после Каира.

✔️Город состоит из двух отдельных географических районов: остров Лагос и материк Лагос, соединенные тремя мостами. Остров Лагос является историческим ядром города. Этот район славится эклектичным сочетанием архитектурных стилей, сочетанием современных небоскребов, остатков колониальных построек и оживленных традиционных рынков. Он служит центром финансовой, развлекательной и корпоративной деятельности города. Икойи, Виктория Айленд и Лекки принято считать продолжением острова Лагос.

✔️И вот что удалось выяснить, оказалось, что местоположение было наиболее важным фактором, способствовавшим обрушению здания, причем оно преимущественно оказалось более значимым, чем стандартные человеческие факторы: некачественный материал, дефекты конструкции, изменение плана на месте, плохой надзор, процессы сноса, несоблюдение строительных норм и правил, отсутствие геотехнической информации, плохое техническое обслуживание, строительные дефекты и перегрузка.

✔️Наибольшее число обрушений произошло в 2011 году - 10 зданий, затем в 2000 и 2006 годах - по девять. Максимальное число жертв - 140 человек - пришлось на 2014 год. Оно было сосредоточено в районе Икотун-Эгбе на материковой части Лагоса.

То есть получается, что стройка в целом дело решеное, все как правило упирается в место стройки.

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
🤝Ребята всем привет!!!

✔️Машинное обучение все чаще, теперь ставится на рельсы валидации и верификации так в статье: https://www.genengnews.com/topics/bioprocessing/machine-learning-an-ideal-fit-for-process-validation/ данный кейс показан на примере производства лекарственных препаратов. При этом было показано, что определение валидации процесса, как правило, состоит из трех частей: разработка процесса (PD); квалификация процесса (PQ); и непрерывная верификация процесса (CPV). При этом 2/3 это рутина, которая в целом не нуждается в человеческом участии.

✔️В работе использовались две модели искусственного интеллекта - модель изоляции для выявления аномалий на этапе дозирования и модель случайного леса для прогнозирования необходимых управляющих действий оператора на этапе полуавтоматизированного дозирования. Эти модели превзошли традиционные подходы с использованием одной переменной, заняли меньше времени и, по мнению авторов, иллюстрируют потенциальные преимущества ИИ в анализе технологических процессов.

✔️Исследование проводилось при изучении выработки рекомбинантного белка, называемого липазой 1 candida rugosa (Crl1), дрожжами вида Pichia pastoris в условиях гипоксии (отсутствие кислорода).

✔️То есть в целом получается ситуация, что мы получили и при использовании лапораскопических операций вместо операций с непосредственным открытым типом хирургического вмешательства. Подход тот же самый а эффекта больше. Именно эта способность находить в сложных данных необнаруживаемые закономерности с минимальным вмешательством оператора делает системы искусственного интеллекта идеально подходящими для производственных операций.

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
⬆️Неимоверно крутой кейс в сфере медицины !!!

Выявлении и диагностике синдрома поликистозных яичников (СПКЯ) у женщин. Ребята запилил модель, в которую взяли данные NIH за 25 лет (!!!) и проводили оценку гормональных нарушений. При этом выяснилось, что:

✔️ Программы на основе ИИ/МЛ способны успешно обнаруживать СПКЯ.
✔️ СПКЯ может вызывать серьезные последствия, такие как диабет, нарушения сна и репродуктивные расстройства.
✔️ ИИ/МЛ может помочь в диагностике СПКЯ, облегчая выявление чувствительных диагностических биомаркеров.
✔️ Интеграция ИИ/МЛ с электронными медицинскими картами может улучшить диагностику и уход за женщинами с СПКЯ.
✔️ Точность выявления СПКЯ с использованием ИИ/МЛ составляет 80-90%.

😵Более подробно можно почитать здесь: https://scitechdaily.com/decoding-womens-health-artificial-intelligence-revolutionizes-pcos-diagnosis/

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
☄️https://github.com/trungdq88/Awesome-Black-Friday-Cyber-Monday - отличная подборка по инфобезу, куча полезной инфы, заглядываем, читаем, смотрим, делимся!
Please open Telegram to view this post
VIEW IN TELEGRAM
💊Ребята, если вы хотите что-то опубликовать какой-то пост или заметку, закидывайте в личку, все обсудим, скоро появится бот для обратной связи, будет удобнее.
Please open Telegram to view this post
VIEW IN TELEGRAM
DenoiseLAB pinned «💊Ребята, если вы хотите что-то опубликовать какой-то пост или заметку, закидывайте в личку, все обсудим, скоро появится бот для обратной связи, будет удобнее.»
Это самое лучшее объяснение команд, которое я только видел ))
DenoiseLAB pinned Deleted message
🤝Альтман и Брок теперь будут в Microsoft. OpenAI теперь будет смотреть через плечо )) эх... молодежь, играть надо в долгую и беречь кадры. А то все это больше походит на семейные кухонные разборки.
Please open Telegram to view this post
VIEW IN TELEGRAM
🤝Ребята привет!!!

⬆️Отличная "шпора" по основным коммандам гита. Пригодится всегда.

🌡Чем больше шеров и лайков тем больше буду выкладывать подобного контента.

🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_155

🔠Как устроена внутри библиотека Polars и почему она лучше Pandas ?

Производительность: Polars была разработана с учетом производительности и масштабируемости. Она использует векторизованные операции и многопоточность для обработки данных эффективно. Это особенно полезно при работе с большими объемами данных, где Polars может значительно ускорить выполнение операций по сравнению с Pandas.

Поддержка распределенных вычислений: Polars предоставляет возможность распределенных вычислений через интеграцию с Apache Arrow и Ray. Это позволяет обрабатывать данные на кластере или в распределенной среде, что может быть полезно для работы с очень большими наборами данных.

#performance #scalability #multithreading #bigdata #Polars #Pandas #distributedcomputing
#ApacheArrow #Ray
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_156

🔠Как устроена внутри библиотека Polars и почему она лучше Pandas ?

Удобный API: Polars предлагает простой и интуитивно понятный API, который легко изучить и использовать. Он предоставляет широкий набор функций и операций для манипулирования данными, включая фильтрацию, сортировку, группировку, объединение и многое другое.

Интеграция с другими инструментами: Polars интегрируется с другими популярными инструментами обработки данных, такими как PySpark и Dask, что обеспечивает большую гибкость и возможность использования существующих инфраструктур и инструментов.

#performance #scalability #multithreading #bigdata #Polars #Pandas #distributedcomputing
#ApacheArrow #Ray
This media is not supported in your browser
VIEW IN TELEGRAM
Сбер показал пару роликов со своих новых наработок. Что-то сильной разницы пока не заметно, все также стробит. В целом может и стало лучше, но как-то пока не тянет.
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Вот еще вариация, но не знаю, тут прям плывет все.
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Или вот, тут прям задник меняется. Чтож... ждемс. Улучшений.
Please open Telegram to view this post
VIEW IN TELEGRAM
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_157

🔠Что такое Spark и как он устроен ? (Часть_1)

Apache Spark - это открытая высокопроизводительная вычислительная система, разработанная для обработки и анализа больших объемов данных параллельно и распределено. Он предоставляет удобный и мощный API для работы с данными и выполнения различных вычислительных задач.

Основные компоненты и особенности Apache Spark:

1. Распределенная обработка данных: Spark позволяет обрабатывать данные на кластере, где данные разбиваются на наборы разделов (partitions) и обрабатываются параллельно на нескольких узлах.

#ApacheSpark #bigdataprocessing #distributedcomputing #parallelprocessing #dataanalysis #highperformancecomputing #dataprocessing #API