Я практикующий дата-сайентист с опытом участия и судейства в чемпионатах по прогнозированию

История о том, как я с нуля осваивал создание генеративных моделей МО, попутно обучая компьютер создавать шрифты. Да, настоящие типографские шрифты, состоящие из набора заглавных глифов. Созданная мной модель получает на входе описание шрифта и создаёт на выходе файл с их готовым набором.

Все лето я проходил собеседование в Мету*, дошел до самого последнего этапа и к сожалению не получил оффер. В этом видео рассказываю, как мне удалось пройти так далеко, как я готовился, что спрашивали на интервью и что же все-таки пошло не так. Покажу резюме, по которому меня нашел рекрутер из Меты* и позвал на собеседование на Senior Data Scientist.

— В целом развитие науки о данных у нас в стране идёт в рамках общемировых трендов. Конечно, здесь можно найти свою специфику. Например, мы живём в условиях некоторого дефицита вычислительных мощностей. Пока поставки в Россию и Китай наиболее продвинутых GPU запрещены. Поэтому для строительства мощных тензорных кластеров нужна особая внешнеэкономическая магия.

С другой стороны, у нас в «активе» советская математическая школа, развитая ИТ-индустрия и современная экосистема с информационно-технологической инфраструктурой. А это подразумевает развитую культуру ИТ-разработки, наличие профильных кадров, больших и хорошо структурированных массивов данных.

В нашумевшей статье бывшего сотрудника OpenAI Леопольда Ашенбреннера «Осведомленность о ситуации: Предстоящее десятилетие» есть оценка. На мой взгляд немного оптимистичная. По его мнению, прогресс в этой области в ближайшие 2 года позволит обучать модели той же «мощности» на том же оборудовании в 10 раз быстрее. Примерно такой же эффект даёт развитие аппаратных платформ. Дополнительные эффекты позволяют больше «выжать» из уже обученных моделей. Методы, которые позволяют это сделать, Ашенбреннер объединяет под зонтичным термином «unhobbling». Дословно: «растреноживание», раскрепощение. Это применение мультиагентного подхода, моделирование рассуждений: цепочки, деревья и графы рассуждений. А ещё скаффолдинг: создание алгоритмического «каркаса» вокруг большой языковой модели.

Но важно понимать, что со временем эффект от всех этих улучшений будет снижаться. Экспоненты такого рода не могут продолжаться бесконечно.

В этой статье мы рассмотрим простую задачу, которая используется одной компанией в качестве тестового задания для стажеров на позицию ML-engineer. Она включает обнаружение DGA-доменов — задача, решаемая с помощью базовых инструментов машинного обучения. Мы покажем, как с ней справиться, применяя самые простые методы. Знание сложных алгоритмов важно, но куда важнее — понимать базовые концепции и уметь применять их на практике, чтобы успешно демонстрировать свои навыки.

DGA (Domain Generation Algorithm) — это алгоритм, который автоматически генерирует доменные имена, часто используемые злоумышленниками для обхода блокировок и связи с командными серверами.