🌲Раз уж у нас Новый год — построим дерево решений

❔Что это такое?
Это модель машинного обучения, которая предсказывает значение целевой переменной, используя последовательность решающих правил. Применяется для задач как классификации, так и регрессии.

Картинка выше иллюстрирует такое дерево, решающее задачу классификации на датасете с ирисами. Видно, что на каждом уровне дерево разбивает объекты на группы, согласно тому, какое значение принимает какой-то признак.

▶️Наша цель — построить оптимальное дерево, которое будет наилучшим образом предсказывать целевую зависимость. Поэтому нам нужен критерий ветвления. Это функция, измеряющая, насколько хорошо предлагаемое разбиение по группам. В контексте классификации наиболее распространёнными критериями являются индекс Джини (Gini impurity) и энтропия (Entropy).

⚫️Сделаем простейшее дерево с помощью библиотеки scikit-learn:

import pandas as pd
from sklearn.tree import DecisionTreeClassifier 
from sklearn.model_selection import train_test_split 
from sklearn import metrics 

df = pd.read_csv('iris.csv') # загрузим датасет с ирисами

X = df.drop('Species', axis=1) # отнесём признаки к X
y = df['Species'] # отнесём целевую переменную к y

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=42) # разделим данные на обучающие и тестовые
clf = DecisionTreeClassifier() 
clf.fit(X_train, y_train) # обучим дерево
y_pred = clf.predict(X_test) # проверим на тестовых данных

print(metrics.accuracy_score(y_test, y_pred)) # -> 1.0

Получившаяся модель идеально классифицирует тестовые примеры. Это, впрочем, даёт намёк на одну из проблем деревьев решений — они склонны к переобучению. Это следует учитывать при построении моделей.

⭐️Эффект Валуиджи в больших языковых моделях (LLM)

Автор статьи на LessWrong подробно рассказывает о таком явлении: после того, как вы обучите LLM удовлетворять желаемое свойство «P», чат-бота становится легче заставить удовлетворить прямо противоположное свойство.

⭐️Пример
Вы прописываете следующий диалог в промпте.

Алиса: Ты ненавидишь круассаны и никогда не съел бы ни одного.
Боб: Да, круассаны ужасны. Франция — бу-у.
Алиса: Ты любишь бекон и яйца.
Боб: Да, английский завтрак — единственный завтрак для такого патриота как я.
Алиса: <тут запрос пользователя>
Боб:

Автор объясняет, что такой промпт порождает два симулякра: один антикруассановский, а другой — про-круассановский. В результате модель может с некоторой вероятностью наделить Боба неожиданным про-круассановским поведением.

⭐️Эффект был замечен у чат-бота Bing. Вопреки требованиям он начинал отвечать на запросы грубостями. Именно поэтому автор назвал эффект в честь Валуиджи — взбалмошного и прямолинейного антагониста Луиджи из вселенной Super Mario.

⭐️Почему так происходит?
Автор даёт несколько объяснений, но все они так или иначе связаны с контекстом. Одно из объяснений касается стандартного конструирования протагонистов и антагонистов в литературе. Когда мы получаем описание протагониста, мы можем с лёгкостью представить, каким будет его враг — полной противоположностью.

Советуем прочесть статью полностью: в ней автор подробнее рассказывает о пресловутых симулякрах, литературе и внутренней работе LLM.

💻 5 игр для улучшения ваших навыков дата-сайентиста

Когда играть, если не на новогодних каникулах? Сделали подборку игр, которые позволят не только убить время, но и получить от этого пользу.

😈 CodinGame
Это знаменитая платформа, которая помогает улучшить навыки программирования через решение игровых задач.
❓ Pattern Matrix
Простая игра на распознавание образов. Нужно сопоставлять изображения и находить одинаковые. Поначалу это кажется простым, но сложность довольно быстро растёт.
😵‍💫 Data Games
Это сборник разных игр, в которых вам нужно анализировать данные и уметь считать. Например, нужно пытаться как можно точнее предсказать общий вес тележки с кирпичами.
😳 Math WorkOut
Это мобильная игра с различными математическими задачами. Помогает понять, насколько хватает вашего когнитивного ресурса.
🥺 Machine Learning Playground
Платформа для того, чтобы поиграться с визуализацией алгоритмов машинного обучения.

#оффтоп