Удивительно полезный сайт для исследователей и практиков машинного обучения https://paperswithcode.com/ Как вы уже догадались из названия, там можно находить не только последние статьи, но и код. Сайт хорошо структурирован, можно легко найти нужные работы, есть рейтинги от пользователей.

Недавно появился ещё один раздел https://paperswithcode.com/sota, здесь собраны State-Of-The-Art решения для разных задач. Если нужно быстро вникнуть в новую задачу, это хорошая отправная точка. Находите SOTA решение похожей задачи, смотрите какие есть подходы и на каких датасетах оценивается результат и начинаете экспериментировать.

#code #paper #useful #sota #ml

BERT (Pre-training of Deep Bidirectional Transformers) одна из мощнейших языковых моделей в настоящее время, но достаточно быстр её обошли по бенчмаркам разные улучшенные модели XLNet, KERMIT, ERNIE.

Чуваки поняли что обычный BERT сильно недоучен и добавили несколько простых лучений, назвали это RoBERTa (Robustly optimized BERT approach) и опять получили SOTA результаты по основным бенчмаркам.

По ссылке краткое резюме и ссылка на статью
https://blog.inten.to/papers-roberta-a-robustly-optimized-bert-pretraining-approach-7449bc5423e7

#nlp #sota #bert

NLP на столько активно развивается, что не успел я опубликовать про RoBERTa, как baidu опубликовали свою модель, которая по их словам обходит все текущий (естественно лучше всего на китайском работает)

http://research.baidu.com/Blog/index-view?id=121

#nlp #sota