Plots Unlock Time-Series Understanding in Multimodal Models (3 Oct 2024)
arxiv | blog

TL;DR
Гугл на серьёзных щщах выпустил “rigorous empirical evaluation” того, что мультимодальные LLM умеют в reasoning про временные ряды - если представить ряды графиками и рассуждать про заметные на глаз параметры. И чем больше модель, тем лучше она справляется с таким reasoning (сравнивались GPT-4o vs GPT-4o-mini vs Gemini Pro 1.5 vs Gemini Flash 1.5).

Важность представления данных
Фишка статьи в том, что используются достаточно простые фичи вроде тренда и сезональности, а входные данные подаются в модель как картинки (графики). По сравнению с представлением рядов в виде текста (CSV), представление в виде картинок даёт заметный прирост точности ризонинга модели для этих заметных на глаз параметров. “Заметность на глаз” здесь важна, так как люди придумали графики именно для того, чтобы делать эти параметры видными на глаз. Хорошо, что это работает так же и для LLM, но единственный вывод из этого - чем нагляднее мы представляем фичи входных данных, тем проще модели про них рассуждать. Очевидный следующий шаг - “а как нам наглядно представлять больше важных фич?” - в статье не упоминается 😐

Важность экономии токенов при работе с рядами
Кроме этого, в статье обсуждается ещё один важный аргумент в пользу использования специализированного энкодера для временных рядов - экономия на токенах. D реальной жизни ряды обычно длинные и широкие (т.е. многоразмерные), и на токенизацию их текстового представления уходит десятки и сотни тысяч токенов. Это создаёт проблему не только со стоимостью, но и с ограничениями длины контекста модели. Использование отдельного энкодера позволяет представлять ряд любой длины в виде набора эмбеддингов существенно меньшей, а то и фиксированной длины.

ChatTS: первая мультимодальная LLM, нативно понимающая временные ряды

Я долго тянул с этим постом, потому что хотелось написать про эту модель полноценный разбор, но времени так и не нашлось, так что пишу как есть.

Первая версия статьи о ChatTTS вышла ещё в декабре, но код и финальную версию статьи китайцы дропнули 1 января, когда я её и увидел. Выпускали модель явно в спешке, поэтому за два месяца модель набрала "аж" 3 форка и 18 звёдочек на GitHub, и скачана 58 раз с HuggingFace 😁

Если серьёзно, то модель предельно простая, но важная, так как подтверждает базовую идеи о полезности представления временных рядов в виде отдельной модальности. Это даёт сильный прирост метрик по сравнению с text-based, vision-based and agentic-(tool-)based подходы к анализу временных рядов: +46% к точности на «alignment»-задачах вроде определения трендов, шумов и их описаний и +25.8% в reasoning-задачах, если сравнивать с GPT-4o. С конкретными цифрами можно спорить, но то, что даже с простым 5-слойным MLP энкодером модель кладёт на лопатки существенно более крупные модели, и есть главный результат статьи, и подтверждает всё то, о чём мы говорили в прошлых постах.

Дальнейшие шаги по масштабированию и улучшению архитектуры очевидны, так что 2025 год официально объявляется годом китайских моделей с временными рядами.

Архитектура

1. Простой MLP (5 слоёв) в качестве энкодера для временных рядов. Несмотря на простоту, он справляется с выделением базовых глобальных и локальных признаков, чего достаточно для этого proof of concept.
2. Qwen2.5-14B-Instruct как backbone LLM. Больше - трудно тренировать, меньше - плохо с ризонигом. Одобряю.
3. Эмбединги временных рядов вставляют прямо в текст промпта. Это позволяет удобно передавать как контекст, так и взаимосвязи между обрабатываемыми временными рядами. Особенно это полезно при работе с многомерными временными рядами.

Всё это собрано на скорую руку через патчинг LLaMA-Factory. Так как ни одна библиотека до сих пор не поддерживает временные ряды как модальность, то приходится всё жёстко патчить даже для банального инференса.

Обучение

Проходит в два этапа:

1. Alignment: модель привыкает сопоставлять атрибуты ряда и текст. Используется смесь реальных данных и attribute based синтетические данные.
2. SFT (fine-tuning): для углублённого reasoning используются Q&A, сгенерированные при помощи TSEvol (см ниже) и IF (Instruction Following) dataset.

Каждая синтетическая серия маркируется специфичными атрибутами (тренд, периодичность, шум, локальные флуктуации и т.д.). Эти же атрибуты описываются детально в тексте, так что модель учится сопоставлять реальные паттерны ряда с соответствующими словами/фразами.
Такой метод снимает проблему дефицита «настоящих» данных, где временной ряд чётко описан текстом.

Чтобы модель лучше отвечала на вопросы и развивала навыки рассуждения, авторы придумали механизм Time Series Evol-Instruct (TSEvol) - метод генерации пар Q&A (вопрос-ответ), который берёт уже описанные атрибуты временных рядов и «эволюционирует» их, усложняя и разнообразя задачи (например, сравнение, индукция, дедукция и т.п.). Благодаря этому ChatTS получает более широкий и глубокий опыт работы с любыми паттернами, а не только с простым ростом или падением показателей.

Paper
Weights
Code
Training code

ChronoSteer: Bridging Large Language Model and Time Series Foundation Model via Synthetic Data
https://www.arxiv.org/abs/2505.10083

Интересный и несложный подход к корректировке предсказаний TSFM (Time Series Foundational Model, в данном случае Chronos) при помощи текстовых комментариев.

Если я правильно понял, то работает это так:
1. Сначала текстовое описание переводится из доменного языка в текстовую "команду" (Q и A на Figure 3),
2. "Команду" переводят в эмбеддинг для TSFM, который добавляют перед эмбеддингами основного ряда (Figure 2).

Список команд исследователи получили, кластеризовав примеры рядов из Monash Repository. Получилось 9 основных "команд": "Keep Unchanged", "Increase Trend", "Reduce Trend", "Expand Amplitude", "Compress Amplitude", "Elevate Peaks", "Lower Peaks", "Raise Troughs" and "Deepen Troughs".

Обучение модуля, который переводит текстовую "команду" в эмбеддинг для TSFM сделали при помощи синтетических данных - для каждой из 9 команд написали функцию на питоне (см A.1.1) и нагенерировали примеров.

Заявленный результат:
ChronoSteer achieves a 25.7% improvement over its unimodal TSFM backbone, Chronos (ChronoSteer-Unimodal), and demonstrates a 22.5% gain over the current state-of-the-art multimodal baseline, DeepSeek-R1.