DBSCAN: интересный алгоритм кластеризации

DBSCAN (Density-based spatial clustering of applications with noise), как следует из названия, оперирует плотностью данных. На вход он просит матрицу близости и два параметра — радиус епсилон-окрестности и количество соседей. Так сразу и не поймёшь, что это за параметры и как из выбрать. И кроме того, причем тут плотность и когда вообще применять DBSCAN? Давайте разберёмся.

😻 #train #math

Как работает BERT?

Модель BERT (Bidirectional Encoder Representations from Transformers) была представлена в статье от исследователей из Google AI Language. Она вызвала нешуточный ажиотаж в сообществе, и эту модель до сих пор все очень любят. Разбираемся, как она работает, и как ее использовать для своих задач.

Вот, кстати, ссылка на исходный код

😻 #NN

Китайские исследовали сделали систему, которая помогает читателю с незнакомыми словами

Даже те, кто хорошо знает английский, спотыкаются при чтении: не хватает словарного запаса. Для решения проблемы резерчеры из Университета Цинхуа придумали систему, которая наблюдает за тем, как пользователь читает текст, и подсказывает значение незнакомых слов.

Для оценки системы участников попросили прочитать слова из теста на определение уровня словарного запаса, и система определила незнакомые для них слова с точностью 98,09%. Общая эффективность системы, конечно, зависела от контекста и качества веб-камеры, но результаты, тем не менее, радуют.

😻 #news #NN

Функция transform из pandas

Эта функция (грубо говоря) сочетает в себе аггрегацию и фильтрование. Однако понять ее сразу не очень просто: лучше посмотрим на пример.

😻 #python