Забираем правила vibe coding

Пока что мои лучшие промпт на 50% состоят из мата 😢

Такими темпами и экран не нужен будет скоро

Давно не было длинных постов, в этом будет обзор мини ресерча по теме TDA(топологический анализ данных) в time series forecasting, а именно TDA временных рядов с помощью облаков точек.

Естественно, временные ряды сразу не могут быть представлены как облака точек. Перед тем как приступить к TDA, они должны быть преобразованы с помощью теоремы Такенса о встраивании (Takens et al.,1981).
Этот подход широко использовался в научной литературе для различных целей:
🔵количественной оценки периодичности временных рядов (Perea and Harer, 2015);
🔵кластеризации временных рядов (Seversky et al., 2016);
🔵классификации временных рядов (Umeda, 2017);
🔵обнаружения ранних сигналов о критических изменениях (Gidea, 2017; Гидея и Кац, 2018).
Встраивание Такенса позволяет сохранить топологические свойства временного ряда, но не его геометрические характеристики.


Встраивание Такенса для временных рядов:
Пусть

{xt,t = 1,2,...,T}

обозначает наблюдаемый временной ряд. Я использую встраивание Такенса для преобразования
временного ряда в облако точек с точками

vi = (xi,xi+τ,...,xi+(d−1)τ)

, где d указываетразмер точек, а τ обозначает параметр задержки. Например, если

, то 
vi = (xi,xi+1), тогда как если d= 15 и τ = 2, то vi = (xi,...,xi+28). 

Как d, так и τ неизвестны
и должны быть определены на практике.

Выбор параметра τ. Исследователи использовали различные подходы к выбору параметра задержки τ. Он
может быть выбран как наименьшая временная задержка h, при которой автокорреляционная функция выборки (ACF) ˆ ph
становится незначимой, т.е. меньше по абсолютной величине, чем критическая граница 2
√T (Хасауне и Мунк, 2016). Труонг (Truong, 2017) также использовал ACF, но несколько иным способом. Он выбрал τ в качественаименьшего запаздывания, для которого

 (ˆ ρτ− ˆρτ−1)/ˆρτ >1/e и ˆ ρτ < 2 √Т

Перейра и де Меллу (2015) определили τ, используя первый минимум автоматической взаимной информации (взаимная информация между сигналом и его версией с задержкой во времени

Выбор d.
Труонг (2017), Хасауне и Мунк (2016) использовали метод ложного ближайшего соседа
(Кеннел и др., 1992) для определения размера вложения в виде целого числа таким образом, что
ближайшие соседи каждой точки в измерении d остаются ближайшими соседями в измерении
d+ 1, и расстояния между ними также остаются неизменными. примерно то же самое. В качестве альтернативы может быть использована функция R false.nearest
в пакете tseriesChaos, которая реализует подход, предложенный Хеггером и др. (1999). Некоторые авторы (Перейра и де Мелло, 2015; Северский и др., 2016) просто предполагают, что значение d равно 2 или 3, в то время как Перея предложил использовать значение d= 15 для временных рядов после кубической сплайновой интерполяции.

Чистые сигналы преобразуются в диаграммы постоянства.
Я генерирую облака точек из трех периодических косинусоидальных сигналов длиной T = 480 с периодами 12, 48 и 96 соответственно, а затем строим их диаграммы постоянства. Я устанавливаю d= 2 и используя метод ACF, описанный выше, для выбора τ. Это код R для временного
ряда tsf1

per1=12; ts1 = cos(1:T*2*pi/per1); d=2;
tau <- which(abs(acf(ts.ex, plot = F)$acf) < 2/sqrt(T))[1]-1
PC=t(purrr::map_dfc(1:(T-(d-1)*tau+1),~ts.ex[seq(from=.x, by=tau, length.out=d)]))
diag=ripsDiag(PC, maxdimension=1, maxscale=max(dist(PC)))
ts.plot(ts.ex);plot(PC,xlab ="x1",ylab="x2",main="PC");plot(diag$diagram)

Технический отчёт Qwen2.5-Coder

Qwen2.5-Coder — семейство моделей, предназначенных для генерации кода. Его технический отчёт вышел ещё в прошлом году, но там много интересного, что стоит разобрать. Этим и займёмся.

Модель учили работать как с отдельными файлами, так и с целыми репозиториями. Что касается токенизации, то авторы взяли словарь Qwen2.5 на 151,646 токенов, но добавили к нему спецтокены. Например, для обучения в режиме Fill-in-the-Middle (FIM).

В датасете для допретрейна было пять типов данных:

— код на 92 языках программирования — примеры брали с GitHub до февраля 2024 года. Использовали фильтры на эвристиках, чтобы отсеять некачественные данные;
— text-code grounding data — уже не только код, но и документация, руководства. Использовали итеративную иерархическую фильтрацию: сперва брали большой массив данных, но с каждым шагом фильтрации их становилось всё меньше;
— синтетические данные — их генерировали с помощью CodeQwen1.5. Оставляли только выполнявшийся код;
— математические данные — использовали претрейн-датасет Qwen2.5-Math;
— текст — использовали данные из претрейна Qwen2.5, но без кода. Авторы хотели, чтобы модель получилась достаточно универсальной и умела решать различные задачи, а не только связанные с программированием. По результатам бенчмарков, лучше всего себя показала пропорция кода, математики и текста — 7:2:1.

Сперва был допретрейн на уровне файлов. Контекстное окно тут составляло не более 8 тысяч токенов. Здесь как раз и использовали FIM. Следом шло обучение на уровне репозиториев с контекстным окном до 32 тысяч токенов за счёт увеличения параметра RoPE base до миллиона. Для экстраполяции до 128 тысяч применяли технику YARN.

На посттрейне обучили модель CodeBERT, чтобы классифицировать документы по примерно сотне языков программирования. При этом авторы сохраняли все найденные документы на популярных языках, а те, которые написаны на редких — частично удаляли. Кроме того, убирали все примеры без кода, потому что на этапе инструктивного обучения они ухудшали показатели на бенчмарках.

Для репозиториев на GitHub генерировали инструкции неназванной в отчёте LLM, а с помощью другой модели — тоже неназванной — создавали ответы. Третья LLM занималась фильтрацией полученных пар. Для повышения точности использовали фьюшот на опенсорсных инстракт-датасетах — например, McEval-Instruct.

Для формирования мультиязычного SFT-датасета использовали языкоспецефичных агентов, у каждого из которых, как заявляют авторы, был свой банк памяти с историей генераций. В целом, в техническом отчёте не хватает конкретики по SFT-датасету. Оценка получившихся пар примеров производилась по чеклисту из 9 параметров. Среди них: соответствие ответа вопросу, сложность, наличие кода, его правильность и ясность.

Самый трудный с точки зрения разработки элемент — это мультиязычная «песочница». Нужно было обеспечить поддержку каждого из 92 языков программирования, собрать репозиторий эталонного кода, создать генераторы юнит-тестов, движки выполнения и анализаторы результатов. «Песочница» — вещь итеративная, которая нуждается в постоянной поддержке. Для этого разработчики привлекли экспертов, что делает «песочницу» особенно ресурсозатратной.

SFT сперва осуществлялся на нескольких десятках миллионов не слишком качественных, но разнообразных примеров. Затем с помощью rejection sampling выборка снижалась до нескольких миллионов лучших сэмплов.

Чтобы на этапе SFT модель не разучилась работать с длинным контекстом, авторы использовали короткие инстракт-сэмплы с FIM. При этом добавленный контекст — синтаксис — получался с помощью парсинга библиотекой Tree-sitter-languages. Примеров, обогащённых контекстом, было меньше, чем обычных SFT-данных.

В рамках DPO использовали RLEF для сигналов о том, что код работает, а также юнит-тесты для некоторых примеров. Были и примеры без кода, чтобы модель могла решать задачи, не связанные с программированием. В качестве LLM-as-a-judge выступала 4о.

Разбор подготовил ❣ Алексей Малафеев

Душный NLP