https://www.anthropic.com/research/many-shot-jailbreaking - ломаем LLM, вообще на изи ))) я же говорил

https://3dnews.ru/1103471/intel-predstavila-hala-point-neyromorfnuyu-vichislitelnuyu-sistemu-vtorogo-pokoleniya - новый нейроморфный комп от Intel

😎😎😎Чую работы будет много с этими друзьями ))))

❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_222

🔠Какие есть аналоги Partial Dependence Plots (PDP) ?

1. Accumulated Local Effects (ALE) Plots:
- Похожи на PDPs, но более устойчивы к смещению, вызванному распределением входных данных.
- ALE оценивают локальное влияние переменной, а не глобальное влияние, как в PDPs.

2. Shapley Additive Explanations (SHAP):
- Метод, основанный на теории кооперативных игр, для объяснения прогнозов индивидуальных образцов.
- Вычисляет вклад каждой входной переменной в прогноз для каждого наблюдения.
- Предоставляет как локальные, так и глобальные объяснения модели.

#Partial_Dependence_Plots #Machine_Learning #Model_Interpretation #Linear_Regression #Classification #Feature_Influence #Predictive_Modeling #Data_Visualization

Пример кода, который демонстрирует, как вычислить и визуализировать ALE для модели прогнозирования цен на недвижимость в Калифорнии, используя линейную регрессию и случайный лес:

%matplotlib inline
import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import fetch_california_housing
from sklearn.ensemble import RandomForestRegressor
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
from alibi.explainers import ALE, plot_ale

# Загрузка и подготовка данных
data = fetch_california_housing()
X = data.data
y = data.target
feature_names = data.feature_names

# Разделение данных на обучающую и тестовую выборки
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Обучение моделей
lr = LinearRegression()
rf = RandomForestRegressor(n_estimators=100, random_state=42)
lr.fit(X_train, y_train)
rf.fit(X_train, y_train)

# Вычисление ALE для линейной регрессии
lr_ale = ALE(lr.predict, feature_names=feature_names, target_names=['Value in $100,000's'])
lr_exp = lr_ale.explain(X_train)

# Вычисление ALE для случайного леса
rf_ale = ALE(rf.predict, feature_names=feature_names, target_names=['Value in $100,000's'])
rf_exp = rf_ale.explain(X_train)

# Визуализация ALE
plot_ale(lr_exp, feature_names=feature_names)
plot_ale(rf_exp, feature_names=feature_names)

❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_222

🔠Какие есть аналоги Partial Dependence Plots (PDP) ? (Часть_2)

3. Individual Conditional Expectation (ICE) plots: Эти графики также используются для визуализации и анализа взаимодействия целевой переменной и набора входных признаков. Однако, в отличие от PDP, ICE позволяет наблюдать за изменением предсказания для конкретных значений признаков, сохраняя остальные признаки на их средних значениях.

4. ICE Curves: Подобно ICE plots, ICE Curves также позволяют наблюдать за изменением предсказания модели при изменении значений отдельных признаков, но в виде кривых, что может быть более удобно для визуализации изменений на разных уровнях признака

#Partial_Dependence_Plots #Machine_Learning #Model_Interpretation #Linear_Regression #Classification #Feature_Influence #Predictive_Modeling #Data_Visualization

В этом примере используется модель на основе деревьев (например, XGBoost) для классификации данных, но SHAP может быть применен к любой модели машинного обучения.

import shap
import xgboost
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_breast_cancer

# Загрузка и подготовка данных
data = load_breast_cancer()
X = data.data
y = data.target

# Разделение данных на обучающую и тестовую выборки
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Обучение модели
model = xgboost.XGBClassifier(use_label_encoder=False, eval_metric='logloss')
model.fit(X_train, y_train)

# Создание объекта Explainer для модели
explainer = shap.Explainer(model)

# Вычисление значений SHAP для обучающих данных
shap_values = explainer(X_train)

# Визуализация глобальной важности признаков
shap.summary_plot(shap_values, X_train, plot_type="bar")

# Вычисление значений SHAP для тестовых данных и визуализация
shap_values_test = explainer(X_test)
shap.summary_plot(shap_values_test, X_test, plot_type="bar")

Для обучения ИИ теперь можно обойтись без людей.
Трудно переоценить прорыв, достигнутый китайцами в Tencent AI Lab. Без преувеличения можно сказать, что настал «момент AlphaGo Zero» для LLM. И это значит, что AGI уже совсем близко - практически за дверью.

Первый настоящий сверхразум был создан в 2017 компанией DeepMind. Это ИИ-система AlphaGo Zero, достигшая сверхчеловеческого (недостижимого для людей) класса игры в шахматы, играя сама с собой.
Ключевым фактором успеха было то, что при обучении AlphaGo Zero не использовались наборы данных, полученные от экспертов-людей. Именно игра сама с собой без какого-либо участия людей и позволила ИИ-системе больше не быть ограниченной пределами человеческих знаний. И она вышла за эти пределы, оставив человечество далеко позади.

Если это произошло еще в 2017, почему же мы не говорим, что сверхразум уже достигнут?
Да потому, что AlphaGo Zero – это специализированный разум, достигший сверхчеловеческого уровня лишь играя в шахматы (а потом в Го и еще кое в чем).
А настоящий сверхразум (в современном понимании) должен уметь если не все, то очень многое.

Появившиеся 2 года назад большие языковые модели (LLM), в этом смысле, куда ближе к сверхразуму.
Они могут очень-очень много: писать романы и картины, сдавать экзамены и анализировать научные гипотезы, общаться с людьми практически на равных …
НО! Превосходить людей в чем либо, кроме бесконечного (по нашим меркам) объема знаний, LLM пока не могут. И потому они пока далеко не сверхразум (ведь не считает же мы сверхразумом Библиотеку Ленина, даже если к ней приделан автоматизированный поиск в ее фондах).

Причина, мешающая LLM стать сверхразумом, в том, что, обучаясь на человеческих данных, они ограничены пределами человеческих знаний.

И вот прорыв – исследователи Tencent AI Lab предложили и опробовали новый способ обучения LLM.
Он называется «Самостоятельная состязательная языковая игра» [1]. Его суть в том, что обучение модели идет без полученных от людей данных. Вместо этого, две копии LLM соревнуются между собой, играя в языковую игру под названием «Состязательное табу», придуманную китайцами для обучения ИИ еще в 2019 [2].

Первые экспериментальные результаты впечатляют (см. график).
• Копии LLM, играя между собой, с каждой новой серией игр, выходят на все более высокий уровень игры в «Состязательное табу».
• На графике показаны результаты игр против GPT-4 двух не самых сильных и существенно меньших моделей после 1й, 2й и 3й серии их обучения на играх самих с собой.

Как видите, класс существенно растет.
И кто знает, что будет, когда число самообучающих серий станет не 3, а 3 тысячи?

График: https://telegra.ph/file/9adb0d03a3a0d78e…
1 https://arxiv.org/abs/2404.10642
2 https://arxiv.org/abs/1911.01622

Обновление делает ChatGPT менее многословным

OpenAI объявила, что премиальные пользователи ChatGPT — клиенты, которые платят за ChatGPT Plus, Team или Enterprise, теперь могут использовать обновленную и улучшенную версию передовой модели GPT-4 Turbo. Обновление сделало чат-бота менее многословным, но это хорошо: теперь он отвечает только по делу.

https://hightech.plus/2024/04/12/obnovlenie-delaet-chatgpt-menee-mnogoslovnim

https://www.youtube.com/watch?v=sXozkvY1er8 - когда ты объясняешь заказчику что это не баг, а заранее предусмотренная возможность для расширения проекта, на случай возникновения чрезвычайно важной рабочей идеи и, вообще, дизайн-концепт проект это взгляд в будущее )))