Предсказание временных рядов by Google

Недавно у Google вышла новая папира – в ней они представили “foundation” модель для предсказания временных рядов. Идея, если кратко, в трансформере. Собственно, статья так и называется: decoder-only model.

Трансформер обучили на большом корпусе временных рядов и, подобно LLM, модель по контексту предсказывает следующий токен (в данном случае токен - это небольшой батч подряд идущих точек).

Идея действительно интересная, но есть проблема – с оцениваем результатов исследователи провалились.

Графики с первого взгляда выглядят оптимистично, но только если не замечать, что для них выбраны простейшие временные ряды и довольно слабые модели-соперники.

Тем временем, судя по другим частям статьи, трансформеру не тягаться с такими алгоритмами, как NBEATs: он, к сожалению, еле-еле превосходит по качеству ARIMA.

Что такое Retrieval-augmented generation (RAG), почему он стал таким модным, и стоит ли обращать на него внимание? Рассказываем.