🌳 Снова #филогенетика. Зачем строить несколько деревьев?

Дело в том, что результат кластеризации зависит от нескольких параметров:
📌 число предикторов (например, наиболее частотных слов для разных произведений);
📌 расстояние, которое используется для попарных сравнений (евклидово, городских кварталов, др.)
📌 метод связи при иерархической кластеризации (метод полной связи, метод средней связи, метод Уорда и др.);

Иногда добавление или удаление буквально одного слова меняет структуру дерева. Поэтому бывает необходимо сравнить разные деревья. Выше мы уже видели один способ это сделать — консенсусное дерево. Но оно дает уже результат обобщения, а иногда интересно посмотреть на исходные деревья, сопоставить их попарно.

Для этого удобно построить tanglegram, в R это проще всего сделать при помощи пакета dendextend.

library(stylo)
library(dendextend)

data("galbraith")
data <- as.data.frame.matrix(galbraith)[c(1,2, 9, 10, 16, 17),c(1:30)]
distmx <- dist(scale(data))

d1 <- as.dendrogram(hclust(distmx, method ="average")) %>% set("labels_col", value = c("skyblue", "orange", "grey40"), k=3) %>% set("branches_k_color", value = c("skyblue", "orange", "grey40"), k = 3)

d2 <- as.dendrogram(hclust(distmx, method ="ward.D2")) %>% set("labels_col", value = c("skyblue", "orange", "grey40"), k=3) %>% set("branches_k_color", value = c("skyblue", "orange", "grey40"), k = 3)

dlist <- dendlist(d1, d2)

par(family = "Arial Bold")
tanglegram(dlist, common_subtrees_color_lines = FALSE, highlight_distinct_edges  = TRUE, highlight_branches_lwd=FALSE, margin_inner=10, lwd=2, axes=FALSE, main_left = "Cредняя", main_right = "Уорд", lab.cex = 1.3)

На картинке видно, что одно из сочинений Дж. Роулинг попадает в разные кластеры в зависимости от метода связи, хотя для кластеризации использовалась одна и та же матрица расстояний.

🌳 Консенсусное дерево легко построить в пакете Stylo, в том числе используя GUI (графический интерфейс).

Нажимать на кнопки легко и приятно, но есть нюансы. Во-первых, не получится кастомизировать внешний вид дерева, а, во-вторых, в Stylo реализована достаточно специфическая процедура бутстрепа (повторных выборок).

Вот что пишут разработчики:

Under the FEATURES tab, users can define the minutes of the MFW division and sampling procedure, using the increment, the minimum and maximum parameters. For minimum = 100, maximum = 3000, and increment = 50, stylo will run subsequent analyses for the following frequency bands: 100 MFW, 50–150 MFW, 100–200 MFW, ..., 2900–2950 MFW, 2950–3000 MFW.

Для консенсуса нужно много деревьев, и Stylo будет строить эти деревья в заданном интервале. Это значит, что последние деревья будут построены уже не на основе самой частотной лексики, т.е. скорее всего на них отразится тематика текстов, входящих в корпус.

В некоторых случаях это работает неплохо. Например, для моего тренировочного греческого корпуса хватило 100-500 mfw, и почти все авторы (кроме Аристида) благополучно разошлись по своим домикам на дереве 🏡 (см. рисунок).

Но, возможно, вам понадобятся другие идеи для консенсуса. Разные расстояния. Разные методы кластеризации. Случайные выборки из первых двух сотен слов или еще что-то. Тогда придется самим строить сразу множество деревьев. Как это сделать грамотно, расскажем в следующих выпусках нашего кулинарного цифрового шоу. #филогенетика

🗣Приглашаем на презентацию проектных работ студентов 2го курса магистратуры по Digital Humanities НИУ ВШЭ.

В этом году темы проектов посвящены исследованию деколонизации музеев, индвидиуального стиля Платона, особенностям советского кинопроката, библиографии детской литературы, наскальной живописи, многобразию лингвистики как науки и сохранению цифровой памяти.

📆 Встреча пройдет 23 марта в 16.00.

Регистрация по ссылке.

Если изучить изнанку функции stylo(), которая вызывает GUI в одноименном пакете, то можно заметить, что за консенсусное дерево там отвечает пакет для работы с филогенетическими данными под названием Ape 🦍

Что делает машинка, когда вы заказываете у нее консенсусное дерево? Принимает на входе матрицу с 1 … N столбцами, в которых хранится частотность для слов. Потом отбирает первые сколько-то слов (скажем, сотню или сколько скажете), считает расстояние, строит на основе матрицы расстояний дерево, складывает его в корзинку. Потом берет следующую сотню слов, считает расстояние, строит дерево, складывает в корзинку… Ну вы поняли. Получается букет деревьев.

Звучит как итерация, а такие задачи в R решаются при помощи цикла for или пакета purrr. Функции map() из пакета purrr надо вручить другую функцию, у меня это пользовательская get_tree(). Она берет случайные 100 столбцов в таблице с частотностями galbraith из пакета Stylо, считает евклидово расстояние между документами и строит дерево.

library(stylo)
library(ape)
library(purrr)

data("galbraith")
df <- as.data.frame.matrix(galbraith)[c(1,2, 9, 10, 16, 17),]

get_tree <- function(df) {
  X <- df[ , sample(3000, replace = T, size = 100)]
  distmx <- dist(scale(X))
  tr <- as.phylo(hclust(distmx))
  tr
  }

Запускаем ее 4 раза при помощи map, получаем список из 4-х деревьев. Тем же map() печатаем сразу четыре дерева одной строчкой кода 🧙🪄

set.seed(123)
result <- map(1:4, ~get_tree(df))

# отдельные деревья
par(mfrow = c(2, 2), mar = c(1,1,1,1))
map(1:4, ~print(plot(result[[.]])))

Так можно построить и 100, и 1000 деревьев, попробуйте. О том, что с ними делать дальше — чуть позже. #филогенетика

⚡ 6 апреля 2024 г. для студентов гуманитарного факультета НИУ ВШЭ стартует новый факультатив под названием «Количественные методы в гуманитарных науках: критическое введение».

✨ Среди авторов этого курса — руководитель образовательной программы «Цифровые методы в гуманитарных науках» Борис Орехов и преподаватель этой программы Ольга Алиева.

🤔 Уровень теоретического осмысления “цифрового поворота” далеко не всегда успевает за технологическим прогрессом. Из-за этого даже в серьезной литературе можно встретить довольно наивное представление о том, что главная заслуга количественных методов — это повышение “объективности” и “точности”.

💡 Существующие учебники и онлайн-курсы, заявленные как обзор цифровых методов для гуманитариев, обычно представляют собой практические пособия по программированию и избегают теоретических вопросов. Наш курс поможет критически взглянуть на инструментарий DH в современных гуманитарных науках.

‼️ Курс будет полезен не только студентам бакалавриата, на которых он рассчитан, но и более широкой аудитории студентов и исследователей, которые пытаются разобраться в новейшем цифровом инструментарии. В частности, факультатив станет хорошим введением в проблематику для тех, кто рассматривает для себя возможность поступления на магистерскую программу «Цифровые методы в гуманитарных науках».

🔗 Всю информацию о курсе, видео лекций и полезные ссылки мы будем собирать на сайте http://criticaldh.ru/

Первая лекция курса состоится уже 6 апреля 🔽#criticaldh