Please open Telegram to view this post
VIEW IN TELEGRAM
cloud.ru
GoCloud 2025 - IT-конференция о будущем облачных технологий
Погрузитесь в мир облачных технологий на GoCloud 2025. Откройте для себя новые возможности и идеи для бизнеса, познакомьтесь с экспертами и лидерами индустрии. Не пропустите главное событие года в области облачных решений.
Please open Telegram to view this post
VIEW IN TELEGRAM
❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_221
🔠 Что вы знаете про Partial Dependence Plots (PDP) ? (Часть_1)
Partial Dependence Plots (PDP) представляют собой графические инструменты, позволяющие визуализировать влияние одного или двух признаков на предсказания модели машинного обучения, игнорируя влияние остальных признаков. Это делает PDP мощным инструментом для интерпретации моделей, особенно в контексте линейной регрессии, где они всегда показывают линейные отношения. PDP также могут быть использованы для классификации, отображая вероятности для определенного класса при различных значениях признаков.
#Partial_Dependence_Plots #Machine_Learning #Model_Interpretation #Linear_Regression #Classification #Feature_Influence #Predictive_Modeling #Data_Visualization
🔠 Что вы знаете про Partial Dependence Plots (PDP) ? (Часть_1)
Partial Dependence Plots (PDP) представляют собой графические инструменты, позволяющие визуализировать влияние одного или двух признаков на предсказания модели машинного обучения, игнорируя влияние остальных признаков. Это делает PDP мощным инструментом для интерпретации моделей, особенно в контексте линейной регрессии, где они всегда показывают линейные отношения. PDP также могут быть использованы для классификации, отображая вероятности для определенного класса при различных значениях признаков.
#Partial_Dependence_Plots #Machine_Learning #Model_Interpretation #Linear_Regression #Classification #Feature_Influence #Predictive_Modeling #Data_Visualization
❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_221
🔠 Что вы знаете про Partial Dependence Plots (PDP) ? (Часть_2)
Основные преимущества PDP включают:
- Интуитивность: PDP легко понимаются и позволяют быстро интерпретировать влияние признаков на предсказания модели.
- Глобальный подход: PDP учитывают все экземпляры данных, предоставляя глобальное представление о взаимосвязи признаков с предсказаниями.
- Каузальная интерпретация: PDP позволяют анализировать каузальные отношения между признаками и предсказаниями, хотя это не всегда применимо к реальному миру.
#Partial_Dependence_Plots #Machine_Learning #Model_Interpretation #Linear_Regression #Classification #Feature_Influence #Predictive_Modeling #Data_Visualization
🔠 Что вы знаете про Partial Dependence Plots (PDP) ? (Часть_2)
Основные преимущества PDP включают:
- Интуитивность: PDP легко понимаются и позволяют быстро интерпретировать влияние признаков на предсказания модели.
- Глобальный подход: PDP учитывают все экземпляры данных, предоставляя глобальное представление о взаимосвязи признаков с предсказаниями.
- Каузальная интерпретация: PDP позволяют анализировать каузальные отношения между признаками и предсказаниями, хотя это не всегда применимо к реальному миру.
#Partial_Dependence_Plots #Machine_Learning #Model_Interpretation #Linear_Regression #Classification #Feature_Influence #Predictive_Modeling #Data_Visualization
❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_221
🔠 Что вы знаете про Partial Dependence Plots (PDP) ? (Часть_3)
Однако, есть и недостатки:
- Ограничение на количество признаков: В реальности, максимальное количество признаков в PDP обычно ограничено двумя из-за ограничений в двухмерном представлении.
- Пропущенное распределение признаков: Некоторые PDP не показывают распределение признаков, что может ввести в заблуждение, особенно в областях с малой частотой данных.
- Предположение об независимости: PDP предполагают, что признаки, для которых вычисляется частичная зависимость, не коррелируют с другими признаками. Это может привести к нереалистичным интерпретациям, когда признаки коррелируют.
#Partial_Dependence_Plots #Machine_Learning #Model_Interpretation #Linear_Regression #Classification #Feature_Influence #Predictive_Modeling #Data_Visualization
🔠 Что вы знаете про Partial Dependence Plots (PDP) ? (Часть_3)
Однако, есть и недостатки:
- Ограничение на количество признаков: В реальности, максимальное количество признаков в PDP обычно ограничено двумя из-за ограничений в двухмерном представлении.
- Пропущенное распределение признаков: Некоторые PDP не показывают распределение признаков, что может ввести в заблуждение, особенно в областях с малой частотой данных.
- Предположение об независимости: PDP предполагают, что признаки, для которых вычисляется частичная зависимость, не коррелируют с другими признаками. Это может привести к нереалистичным интерпретациям, когда признаки коррелируют.
#Partial_Dependence_Plots #Machine_Learning #Model_Interpretation #Linear_Regression #Classification #Feature_Influence #Predictive_Modeling #Data_Visualization
Пример реализации Partial Dependence Plots (PDP) для взаимодействия двух признаков с использованием
GradientBoostingClassifier:from sklearn.datasets import make_hastie_10_2
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.inspection import PartialDependenceDisplay
import matplotlib.pyplot as plt
# Создание набора данных
X, y = make_hastie_10_2(random_state=0)
# Обучение модели
clf = GradientBoostingClassifier(n_estimators=100, learning_rate=1.0, max_depth=1, random_state=0).fit(X, y)
# Определение признаков для PDP
features = [0, 1, (0, 1)]
# Создание PDP
pdp_display = PartialDependenceDisplay.from_estimator(clf, X, features)
# Показать PDP
plt.show()
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3❤2
https://habr.com/ru/users/VladimirMironovML/publications/articles/ - Опубликованна моя статья для компании Selectel про h2oGPT. Ох... сколько материалу было перелопачено, прям, вагон!
Хабр
Статьи / Профиль VladimirMironovML
https://habr.com/ru/specials/808603/ - моя вторая статья, которую я освещал по заказу Хабр.ру и Компании Cloud.ru. Мне надо было пообщаться с гостями собрать материалы, провести несколько интервью, в том числе с главными спикерами и узнать мнение публики о положении дел на рынке на сегодняшний день в облачно инфраструктуре, как со стороны бизнеса, так и со стороны вендров.
Хабр
Бороздим облака будущего: впечатления айтишника о конференции GoCloud
Добрый день, уважаемые подписчики Хабр. На связи Владимир Миронов (@VladimirMironovML). 21 марта состоялась масштабная IT-конференция GoCloud «Облачные грани будущего». Мероприятие было приурочено к 5-тилетию работы команды Cloud.ru на российском рынке облачных…
👍3
https://github.com/virattt/financial-datasets - очень модная вещица для LLM, генерация "синтетики" для реальных задач.
GitHub
GitHub - virattt/financial-datasets: Financial datasets for LLMs 🧪
Financial datasets for LLMs 🧪. Contribute to virattt/financial-datasets development by creating an account on GitHub.
https://3dnews.ru/1103471/intel-predstavila-hala-point-neyromorfnuyu-vichislitelnuyu-sistemu-vtorogo-pokoleniya - новый нейроморфный комп от Intel
3DNews - Daily Digital Digest
Intel представила нейроморфный компьютер Hala Point на 1152 чипах Loihi 2 с мозгоподобной архитектурой
Intel объявила о разработке новейшей нейроморфной компьютерной системы Hala Point — она оборудована 1152 нейроморфными процессорами Loihi 2 и предназначена для перспективных исследований в области искусственного интеллекта, поскольку её архитектура основана…
1. Data analytics & visualization в Accenture (компания - лидер консалтинговых услуг из списка Fortune Global 500)
2. Power BI в PWC (консалтинговая компания из “большой четверки”)
3. Data Analytics в Quantium (компания, занимающаяся data science и AI)
4. Data Visualisation: Empowering Business with Effective Insights в Tata (многопрофильная компания, работающая в 150 странах)
Please open Telegram to view this post
VIEW IN TELEGRAM
Theforage
Accenture North America | Data Analytics and Visualization | Forage
Bring data to life with analytics & visualization
This media is not supported in your browser
VIEW IN TELEGRAM
😎😎😎Чую работы будет много с этими друзьями ))))
😁2
❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_222
🔠Какие есть аналоги Partial Dependence Plots (PDP) ?
1. Accumulated Local Effects (ALE) Plots:
- Похожи на PDPs, но более устойчивы к смещению, вызванному распределением входных данных.
- ALE оценивают локальное влияние переменной, а не глобальное влияние, как в PDPs.
2. Shapley Additive Explanations (SHAP):
- Метод, основанный на теории кооперативных игр, для объяснения прогнозов индивидуальных образцов.
- Вычисляет вклад каждой входной переменной в прогноз для каждого наблюдения.
- Предоставляет как локальные, так и глобальные объяснения модели.
#Partial_Dependence_Plots #Machine_Learning #Model_Interpretation #Linear_Regression #Classification #Feature_Influence #Predictive_Modeling #Data_Visualization
🔠Какие есть аналоги Partial Dependence Plots (PDP) ?
1. Accumulated Local Effects (ALE) Plots:
- Похожи на PDPs, но более устойчивы к смещению, вызванному распределением входных данных.
- ALE оценивают локальное влияние переменной, а не глобальное влияние, как в PDPs.
2. Shapley Additive Explanations (SHAP):
- Метод, основанный на теории кооперативных игр, для объяснения прогнозов индивидуальных образцов.
- Вычисляет вклад каждой входной переменной в прогноз для каждого наблюдения.
- Предоставляет как локальные, так и глобальные объяснения модели.
#Partial_Dependence_Plots #Machine_Learning #Model_Interpretation #Linear_Regression #Classification #Feature_Influence #Predictive_Modeling #Data_Visualization
Пример кода, который демонстрирует, как вычислить и визуализировать ALE для модели прогнозирования цен на недвижимость в Калифорнии, используя линейную регрессию и случайный лес:
%matplotlib inline
import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import fetch_california_housing
from sklearn.ensemble import RandomForestRegressor
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
from alibi.explainers import ALE, plot_ale
# Загрузка и подготовка данных
data = fetch_california_housing()
X = data.data
y = data.target
feature_names = data.feature_names
# Разделение данных на обучающую и тестовую выборки
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# Обучение моделей
lr = LinearRegression()
rf = RandomForestRegressor(n_estimators=100, random_state=42)
lr.fit(X_train, y_train)
rf.fit(X_train, y_train)
# Вычисление ALE для линейной регрессии
lr_ale = ALE(lr.predict, feature_names=feature_names, target_names=['Value in $100,000's'])
lr_exp = lr_ale.explain(X_train)
# Вычисление ALE для случайного леса
rf_ale = ALE(rf.predict, feature_names=feature_names, target_names=['Value in $100,000's'])
rf_exp = rf_ale.explain(X_train)
# Визуализация ALE
plot_ale(lr_exp, feature_names=feature_names)
plot_ale(rf_exp, feature_names=feature_names)
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM