🤝Ребята всем привет!!!
✔️ Машинное обучение все чаще, теперь ставится на рельсы валидации и верификации так в статье: https://www.genengnews.com/topics/bioprocessing/machine-learning-an-ideal-fit-for-process-validation/ данный кейс показан на примере производства лекарственных препаратов. При этом было показано, что определение валидации процесса, как правило, состоит из трех частей: разработка процесса (PD); квалификация процесса (PQ); и непрерывная верификация процесса (CPV). При этом 2/3 это рутина, которая в целом не нуждается в человеческом участии.
✔️ В работе использовались две модели искусственного интеллекта - модель изоляции для выявления аномалий на этапе дозирования и модель случайного леса для прогнозирования необходимых управляющих действий оператора на этапе полуавтоматизированного дозирования. Эти модели превзошли традиционные подходы с использованием одной переменной, заняли меньше времени и, по мнению авторов, иллюстрируют потенциальные преимущества ИИ в анализе технологических процессов.
✔️ Исследование проводилось при изучении выработки рекомбинантного белка, называемого липазой 1 candida rugosa (Crl1), дрожжами вида Pichia pastoris в условиях гипоксии (отсутствие кислорода).
✔️ То есть в целом получается ситуация, что мы получили и при использовании лапораскопических операций вместо операций с непосредственным открытым типом хирургического вмешательства. Подход тот же самый а эффекта больше. Именно эта способность находить в сложных данных необнаруживаемые закономерности с минимальным вмешательством оператора делает системы искусственного интеллекта идеально подходящими для производственных операций.
🤕 🤕 🤕 https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
Выявлении и диагностике синдрома поликистозных яичников (СПКЯ) у женщин. Ребята запилил модель, в которую взяли данные NIH за 25 лет (!!!) и проводили оценку гормональных нарушений. При этом выяснилось, что:
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
DenoiseLAB pinned «💊 Ребята, если вы хотите что-то опубликовать какой-то пост или заметку, закидывайте в личку, все обсудим, скоро появится бот для обратной связи, будет удобнее.»
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_155
🔠Как устроена внутри библиотека Polars и почему она лучше Pandas ?
Производительность: Polars была разработана с учетом производительности и масштабируемости. Она использует векторизованные операции и многопоточность для обработки данных эффективно. Это особенно полезно при работе с большими объемами данных, где Polars может значительно ускорить выполнение операций по сравнению с Pandas.
Поддержка распределенных вычислений: Polars предоставляет возможность распределенных вычислений через интеграцию с Apache Arrow и Ray. Это позволяет обрабатывать данные на кластере или в распределенной среде, что может быть полезно для работы с очень большими наборами данных.
#performance #scalability #multithreading #bigdata #Polars #Pandas #distributedcomputing
#ApacheArrow #Ray
🔠Как устроена внутри библиотека Polars и почему она лучше Pandas ?
Производительность: Polars была разработана с учетом производительности и масштабируемости. Она использует векторизованные операции и многопоточность для обработки данных эффективно. Это особенно полезно при работе с большими объемами данных, где Polars может значительно ускорить выполнение операций по сравнению с Pandas.
Поддержка распределенных вычислений: Polars предоставляет возможность распределенных вычислений через интеграцию с Apache Arrow и Ray. Это позволяет обрабатывать данные на кластере или в распределенной среде, что может быть полезно для работы с очень большими наборами данных.
#performance #scalability #multithreading #bigdata #Polars #Pandas #distributedcomputing
#ApacheArrow #Ray
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_156
🔠Как устроена внутри библиотека Polars и почему она лучше Pandas ?
Удобный API: Polars предлагает простой и интуитивно понятный API, который легко изучить и использовать. Он предоставляет широкий набор функций и операций для манипулирования данными, включая фильтрацию, сортировку, группировку, объединение и многое другое.
Интеграция с другими инструментами: Polars интегрируется с другими популярными инструментами обработки данных, такими как PySpark и Dask, что обеспечивает большую гибкость и возможность использования существующих инфраструктур и инструментов.
#performance #scalability #multithreading #bigdata #Polars #Pandas #distributedcomputing
#ApacheArrow #Ray
🔠Как устроена внутри библиотека Polars и почему она лучше Pandas ?
Удобный API: Polars предлагает простой и интуитивно понятный API, который легко изучить и использовать. Он предоставляет широкий набор функций и операций для манипулирования данными, включая фильтрацию, сортировку, группировку, объединение и многое другое.
Интеграция с другими инструментами: Polars интегрируется с другими популярными инструментами обработки данных, такими как PySpark и Dask, что обеспечивает большую гибкость и возможность использования существующих инфраструктур и инструментов.
#performance #scalability #multithreading #bigdata #Polars #Pandas #distributedcomputing
#ApacheArrow #Ray
This media is not supported in your browser
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_157
🔠Что такое Spark и как он устроен ? (Часть_1)
Apache Spark - это открытая высокопроизводительная вычислительная система, разработанная для обработки и анализа больших объемов данных параллельно и распределено. Он предоставляет удобный и мощный API для работы с данными и выполнения различных вычислительных задач.
Основные компоненты и особенности Apache Spark:
1. Распределенная обработка данных: Spark позволяет обрабатывать данные на кластере, где данные разбиваются на наборы разделов (partitions) и обрабатываются параллельно на нескольких узлах.
#ApacheSpark #bigdataprocessing #distributedcomputing #parallelprocessing #dataanalysis #highperformancecomputing #dataprocessing #API
🔠Что такое Spark и как он устроен ? (Часть_1)
Apache Spark - это открытая высокопроизводительная вычислительная система, разработанная для обработки и анализа больших объемов данных параллельно и распределено. Он предоставляет удобный и мощный API для работы с данными и выполнения различных вычислительных задач.
Основные компоненты и особенности Apache Spark:
1. Распределенная обработка данных: Spark позволяет обрабатывать данные на кластере, где данные разбиваются на наборы разделов (partitions) и обрабатываются параллельно на нескольких узлах.
#ApacheSpark #bigdataprocessing #distributedcomputing #parallelprocessing #dataanalysis #highperformancecomputing #dataprocessing #API
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_157
🔠Что такое Spark и как он устроен ? (Часть_2)
2. Resilient Distributed Datasets (RDD): RDD представляет собой основную абстракцию данных в Spark. Он представляет нераспределенную и неизменяемую коллекцию объектов, которая может быть параллельно обработана. RDD обеспечивает устойчивость к сбоям и автоматическую восстанавливаемость.
3. API на разных языках: Spark предоставляет API на разных языках программирования, включая Scala, Java, Python и R. Это делает его доступным для разработчиков с разными предпочтениями языка.
#ApacheSpark #bigdataprocessing #distributedcomputing #parallelprocessing #dataanalysis #highperformancecomputing #dataprocessing #API
🔠Что такое Spark и как он устроен ? (Часть_2)
2. Resilient Distributed Datasets (RDD): RDD представляет собой основную абстракцию данных в Spark. Он представляет нераспределенную и неизменяемую коллекцию объектов, которая может быть параллельно обработана. RDD обеспечивает устойчивость к сбоям и автоматическую восстанавливаемость.
3. API на разных языках: Spark предоставляет API на разных языках программирования, включая Scala, Java, Python и R. Это делает его доступным для разработчиков с разными предпочтениями языка.
#ApacheSpark #bigdataprocessing #distributedcomputing #parallelprocessing #dataanalysis #highperformancecomputing #dataprocessing #API
Please open Telegram to view this post
VIEW IN TELEGRAM
ВКонтакте
Хакатон Cyber Garden
05–07 декабря в Таганроге состоится девятнадцатый марафон программирования Хакатон Cyber Garden. Хакатон Cyber Garden – один из самых известных марафонов программирования на юге России. Cyber Garden – это возможность проверить свои навыки в разработке программного…
https://habr.com/ru/news/775552/ - хорошая рокировочка, дабы избавиться от неугодных людей которые мешают жить. Ситуация похожа на сцену из жизни:
- "Пап, эти нехорошие меня обижают, сделай что-нибудь..."
Классика, промышленный саботаж во всей красе. Если новость окажется правдой, то Альтман нарисовал себе такую веревку, за которую всегда будет дергать Microsoft, если им что-то не нравится и по любому чиху он будет к ним прибегать, вообщем та еще кабала, ибо деньги вложены большие и Microsoft никогда не отступит от своего и будет держаться такой мертвой хваткой за OpenAI, так как они понимают что сейчас судьбы корпорации и их будущее зависит от этих пацанов. Прозаично, да не скрою, но в общем "картина маслом".
В общем классическая схема, диктатуры, прикинуться овечкой в волчьей шкуре. Ну, а для масс он мессия )).
- "Пап, эти нехорошие меня обижают, сделай что-нибудь..."
Классика, промышленный саботаж во всей красе. Если новость окажется правдой, то Альтман нарисовал себе такую веревку, за которую всегда будет дергать Microsoft, если им что-то не нравится и по любому чиху он будет к ним прибегать, вообщем та еще кабала, ибо деньги вложены большие и Microsoft никогда не отступит от своего и будет держаться такой мертвой хваткой за OpenAI, так как они понимают что сейчас судьбы корпорации и их будущее зависит от этих пацанов. Прозаично, да не скрою, но в общем "картина маслом".
В общем классическая схема, диктатуры, прикинуться овечкой в волчьей шкуре. Ну, а для масс он мессия )).
Хабр
Альтман возвращается в OpenAI в качестве генерального директора с новым составом совета директоров без Суцкевера
22 ноября 2023 года OpenAI объявила , что Сэм Альтман вернётся в компанию в качестве генерального директора с новым составом совета директоров, включая Брета Тейлора (председатель), Ларри Саммерса и...
- Мы уже все сделали, все настроили, все сервисы завелись, данные масштабируются и сейчас мы находимся в стадии наработки багов...
- Чего, что вы там нарабатываете ????
- Упс
- ахахахахахахахахахахахахха ))))) давайте на Bug Bounty народ уже моники полируют, они во всю уже ждут ))))
Причем говорилось все так, что как будто эта дама бриллиант в телемагазине продавала ))) ну вы помните эту телегу.
Please open Telegram to view this post
VIEW IN TELEGRAM
😁2
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_157
🔠Что такое Spark и как он устроен ? (Часть_3)
4. Модули для различных задач: Spark предлагает модули для различных вычислительных задач, таких как Spark SQL для обработки структурированных данных с помощью SQL-подобного синтаксиса, Spark Streaming для обработки данных в реальном времени, MLlib для машинного обучения и GraphX для анализа графов.
#ApacheSpark #bigdataprocessing #distributedcomputing #parallelprocessing #dataanalysis #highperformancecomputing #dataprocessing #API
🔠Что такое Spark и как он устроен ? (Часть_3)
4. Модули для различных задач: Spark предлагает модули для различных вычислительных задач, таких как Spark SQL для обработки структурированных данных с помощью SQL-подобного синтаксиса, Spark Streaming для обработки данных в реальном времени, MLlib для машинного обучения и GraphX для анализа графов.
#ApacheSpark #bigdataprocessing #distributedcomputing #parallelprocessing #dataanalysis #highperformancecomputing #dataprocessing #API