#dl #nlp

Детекторы текста на основе трансформеров. Часть 2

Сегодня мы продолжим знакомство с детекторами текста на базе трансформеров.

Такие детекторы совмещают возможности сегментационных и регрессионных моделей, что позволяет повысить точность детектирования при сохранении высокой скорости работы. Однако каждый подход имеет свои недостатки: сегментационные сети обеспечивают высокую точность при сложных формах текста, но их скорости недостаточно, тогда как регрессионные модели быстры, но менее точны для сложных случаев. SRFormer — пример современной архитектуры, которая стремится объединить сильные стороны двух методов.

Также в статье мы рассмотрим MixNet, лидирующий на ключевых бенчмарках за счёт своей уникальной архитектуры. Его бэкбон FSNet перемешивает признаки высокого и низкого разрешения. Это помогает надёжнее детектировать мелкие объекты. Кроме того, трансформерный блок (CTBlock) улучшает выделение текстов, расположенных близко друг к другу, с помощью прогнозирования центральной линии текста.

Читайте новую статью по ссылке, чтобы познакомиться ближе с данными детекторами текста на базе трансформеров: https://deepschool-pro.notion.site/2-e3a3419463b94ae0a81545109799ecde?pvs=4

Там вышел тренажер SQL в стилистике сериала "Игра в Кальмара"

Приколько потыкать. Вроде отзывчиво и бесплатно 😁

Также мне нравится вот этот тренажер. Тут должно быть поболее тем и заданий

#interview #career

Вот тут такое пишут.
https://interviewing.io/blog/how-to-negotiate-with-meta

Я принес. Всех приходится пинать, пинговать и напоминать

В любимом мною журнале «Кинжал» вышла статья про боль читательницы, которую я очень хорошо понимаю. https://kinzhal.media/ask-need-ping/

Вот правда, прям очень хорошо и давно понимаю. Когда был сисадмином и разработчиком, меня это мало касалось. Ну мог про необязательность заказчика поворчать иногда, но не более того.

Потом стал тимлидом, и этого в моей жизни стало больше и чаще. Потом стал менеджером на несколько команд и мультикомандные проекты, стало еще больше. Затеял ремонт, так там вообще мрак, да еще за кучу денег из своего кармана.

Я для себя выделил 3 мысли:
- К моему сожалению, в большинстве случаев это и правда норма, и это надо принять.
- Иногда у этой нормы есть более глубокие контекстные объяснения о загрузке людей, очереди заказов и прочее подобное. А иногда просто сам по себе человек такой необязательный.
- Ну и раз уж мы поняли, что в среднем это довольно регулярное явление, то как мы на это можем влиять? Либо пинговать и пинать, ведь сам о себе не позаботишься, никто не позаботится. Либо стараться не иметь дело с такими гражданами, но идея прям совсем с такими не сталкиваться утопична.

Делитесь в комментариях, как вы решаете подобные проблемы? Как вы вообще, смирились или продолжаете бороться с несовершенством этого мира?)

#quant #vizualisation

Визуализация данных Мосбиржи и не только / Хабр
https://habr.com/ru/articles/873814/

#ml #interview

МЛ секция в Яндекс (2025)

Только на той недели мой ученик успешно прошел мл секцию в Яндекс, делюсь с вами вопросами, товарищи. Да его и ответами тоже)
Еще больше инсайдов будет на курсе Старт МЛ и на курсе Хард МЛ. Всех жду, товарищи!

1. Что такое Bias Variance Decomposition. Интервьюер акцентировал внимание на математике, отсюда вытек следующий вопрос.
2. Расписать математически, что такое разброс.
3. Что такое Бэггинг? В чем смысл данной композиции и почему она хорошо работает. (Я написал, что смещение примерно остается то же, а вот дисперсия (разброс) падает. Общий вид predict в дереве для регрессии и классификации.
4. Какие Impurity знаешь? Как высчитывается разделяющее правило?
5. Какие знаешь методы борьбы с переобучением при обучении нейронных сетей? Как дропают отличается в train mode и eval mode.
6. Устная задача - как бы ты решал задачу сетками технически, если тебе нужно было бы по картинкам определить токсичность изображения? (Ну типо взять хороший Бэкбоун, приделать свою голову с out_features=2 и дообучить). На каком слое получаются эмбеддинги картинки?
7. Базовые метрики, как считаются,в чем физический смысл. Написать их формульно.

BVD = ШУМ + Разброс + Смещение

Разброс = E_x E_X(model(X)(x) - E_X(model)(x))^2

БЭГГИНГ - композиция

X_1, X_2, ..., X_n - бутср выборок

model_1(X_1), model_2(X_2), ....

a(x) = 1/n sum (model_i(x))

bias(a) ~ bias(b_i)

variance(a) -> variance(b_i) / N + (n*(n-1)) / n^2 * sum * cov()


H(R_m) ->_split |L|/|TOTAL| * H(L) + |R|/|TOTAL| * H(R) -> min

H(R) = sum_i_k (p_k * (1 - p_k))

1) Аугментации
2) DropOut

train_mode: p
eval_mode: 1/p

precision = (TP) / (TP + FP)
recall = (TP) / (TP + FN)

roc_auc = (y_i, p_i) -> sort p_i по убыванию

thr > p_i -> 0 0 | 1
thr <= p_i -> 1 1 | 1

TPR=recall FPR=(FP)/(FP + FN)

@zadachi_ds

#llm #courses