Статистика графов для ML-инженера. Инструмент недели

Библиотека для graph statistics - статистических моделей графов, спектральных эмбеддингов, сравнения графов и вспомогательных инструментов для анализа связных данных.

Чем graspologic полезен ML-инженеру
➖Быстрые и интерпретируемые эмбеддинги графа. Часто дают сильный бейслайн сравнимый с GNN, но проще и дешевле.
➖Добавлять новые узлы в эмбеддинг без переобучения/переэмбеддинга всего графа - реальная продакшен-фича для графов, которые растут (out-of-sample embedding).
➖Можно осмыслить граф как наблюдение из модели (SBM, RDPG-подобные идеи (Поясню термины в комментариях, не пугайся)), оценивать параметры/структуры, сравнивать графы, валидировать гипотезы.

Сценарий 🌵
У нас есть граф, и мы хотим восстановить кластера. Для демонстрации сгенерируем граф из SBM, затем построим ASE и кластеризуем точки в латентном пространстве.

import numpy as np
from graspologic.simulations import sbm
from graspologic.embed import AdjacencySpectralEmbed

from sklearn.mixture import GaussianMixture
from sklearn.metrics import adjusted_rand_score

# 1) SBM-граф 3 сообщества
rng = np.random.default_rng(42)

sizes = [120, 100, 80]  # размеры блоков
p_in = 0.12             # вероятность ребра внутри блока
p_out = 0.02            # вероятность ребра между блоками

B = np.array([
    [p_in,  p_out, p_out],
    [p_out, p_in,  p_out],
    [p_out, p_out, p_in ],
])

A = sbm(sizes, B, directed=False, loops=False, random_state=42)

# истинные метки блоков (для оценки качества)
y_true = np.concatenate([np.full(s, i) for i, s in enumerate(sizes)])

# 2) спектральный эмбеддинг графа в k-мерное пространство
# В простом случае берем k = число сообществ 
ase = AdjacencySpectralEmbed(n_components=3)
X = ase.fit_transform(A)

# fit_transform может вернуть (X_left, X_right) для направленных графов;
# для неориентированного обычно достаточно X_left
if isinstance(X, tuple):
    X = X[0]

# 3) Кластеризация в латентном пространстве
gmm = GaussianMixture(n_components=3, random_state=42)
y_pred = gmm.fit_predict(X)

# 4) Оценка (ARI = 1.0 идеально, 0.0 ~ случайно)
ari = adjusted_rand_score(y_true, y_pred)
print(f"Adjusted Rand Index (ARI): {ari:.3f}")

🥊 Точность кластеризации получилась 58.67% - так себе. Но в целом ожидаемый результат для SBM с перекрывающимися спектрами и умеренным отношением p_in/p_out. В реальных данных без жёстко разделённых сообществ такие значения часто являются сильным бейслайном.

Анализ результатов:
1. Граф успешно сгенерирован с тремя кластерами.
2. Применено спектральное вложение для понижения размерности.
3. Выполнена кластеризация в латентном пространстве с помощью модели гауссовой смеси, что лучше соответствует предположению о гауссовых кластерах после спектрального эмбеддинга.
4. Визуализация показывает качество разделения на кластеры.

Гистограммы компонент ASE (приложка) 💆‍♂️ показывают, что первые две компоненты уже частично разделяют сообщества, тогда как третья компонента вносит дополнительную, но менее выраженную дискриминацию. Это типично для SBM с неидеальной разделимостью.

Когда особенно вовремя
1️⃣нужен быстрый бейслайн перед тем, как идти в GNN;
2️⃣нужна интерпретируемость и статистические проверки гипотез (мало метрик качества);
3️⃣задача - детекции аномалий на графах через эмбеддинги (в целом для этого библиотека мной и была найдена).

Типичный кейс:
call graph сервиса - ASE - кластеризация - поиск аномальных компонент как кандидатов на уязвимости или архитектурные косяки 🙈

Киллер-фича
Новые вершины можно проецировать в уже существующее латентное пространство без переобучения модели.

X_new = ase.transform(A_new)

Все
🙄

TL;DR
graspologic - пример библиотеки, которая соединяет строгую статистику графов и практический ML.