Попался на глаза прошлогодний подробнейший отчёт о прогрессе исследований ИИ. Отчёт содержит огромное число диаграмм и сравнительных таблиц разных подходов для различных классов задач ИИ https://www.eff.org/ai/metrics

Отчёт поражает размерами, отдельное уважение авторам, здесь полно ценной информации о текущем (прошлогоднем) состоянии ИИ.

#ai #progress #metrics #report #info #presentation

Если вы ещё не видели интересный тред постов от @DynamicWebPaige важными достижениями tensorflow, взгляните, там интересно. Всё это за несколько последних лет.

https://twitter.com/DynamicWebPaige/status/1065452146924040192

#tensorflow #google #progress #frameworks #nn #ai

Инфографика показывающая развитие NLP за несколько последних лет. https://www.analyticsvidhya.com/blog/2019/08/complete-list-important-frameworks-nlp/

Естественные языки встречаются везде в деятельности человека, пока это единственный универсальный механизм передачи *знаний* между людьми. Долгое время с NLP не происходило ничего нового, а существующие модели работали недостаточно хорошо.

За последний год всё больше новых моделей, уже активно используется Transfer Learning применительно к текстам (недавно facebook выпустили натренированные модели для 100 языков https://medium.com/dair-ai/facebook-releases-xlm-mbert-pytorch-models-in-100-languages-518628c02a46), всё больше разных чат-ботов и всё умнее поисковые машины.

Ещё подборка ключевых статей (по версии Victor Sanh) в NLP на данный момент, если хотите углубиться в понимание как это работает https://medium.com/huggingface/the-best-and-most-current-of-modern-natural-language-processing-5055f409a1d1

#nlp #progress

В дополнение к предыдущему посту, языковая модель, цель которых сократить число используемых параметров. Исследования в этом направлении важны, поскольку современные BERT/GPT-2 модели очень требовательны к ресурсам и не всегда есть возможность использовать их в продакшене.

DistilBERT - сокращённый в два раза BERT имеющий 95% производительности оригинального на GLUE бенчмарке https://medium.com/huggingface/distilbert-8cf3380435b5

#nlp #progress

Вышел новый отчёт State of AI 2020 https://www.stateof.ai/ , презентация https://docs.google.com/presentation/d/1ZUimafgXCBSLsgbacd6-a-dqO7yLyzIl1ZJbiCBUUT4/edit

Некоторые моменты из отчёта:

- 15% статей публикуют свой код
- PyTorch становится популярнее в ресёрче и на github
- Модели в NLP продолжают расти по количеству параметров GPT-3
- Тренировка GPT-3 оценивается в 10 млн $
- Ещё одна модель которая обходит BERT для re-ranking ConveRT
- NLP бенчмарк SuperGLUE почти побит
- AI в биологии, 50% рост количества статей по биологии, где используются AI методы
- Большое количество улучшений CV
- Фармакологические компании активно заявляют, что используют AI для разработки лекарств
- Super-resolution используются в электронных микроскопах
- Больше половины штатов в США приняли законы для регулирования автономных автомобилей
- Качество supervised систем перестало ускоряться, возможно нужны другие подходы
- Многие компании выкладывают в open source большие датасеты, это важно для развития области
- Graphcore hardware компания, которая показывает впечатляющие результаты, и может быть сможет составить конкуренцию NVIDIA
- Взрыв популярности к MLOPS — это хорошо, означает, что индустрия начинает взрослеть
- RPA наиболее популярная область в enterprise
- BERT используется в поиске google и microsoft
- Hugging Face один из важнейших проектов в NLP
- Ещё большое случаев, когда модель ведёт себя не политкорректно из-за данных, на которых была обучена

Рекомендую посмотреть отчёт

#ml #progress