Оптимизация LLM: LoRA и QLoRA

#почитать

В этой статье мы рассмотрим два подхода — LoRA и QLoRA — которые обещают значительно снизить затраты на обучение без потери качества модели. Мы разберем, как эти методы позволяют оптимизировать вычисления и память, а также как с их помощью можно эффективно адаптировать большие модели под разнообразные прикладные задачи.

⏱Читать статью

Малые числа, большие возможности: Роль плавающей запятой в ИИ

#почитать

Числа с плавающей запятой лежат в основе подавляющего большинства компьютерных вычислений, особенно в сферах искусственного интеллекта (ИИ) и машинного обучения. Они позволяют моделям эффективно обрабатывать данные, обеспечивая баланс между точностью и скоростью вычислений. Развитие вычислительных технологий требует новых форматов, которые оптимизируют использование памяти и ускоряют вычислительные процессы без значительных потерь точности. Одним из перспективных форматов стал FP8 — 8-битный формат чисел с плавающей запятой, который может улучшить производительность вычислений и сократить энергопотребление.

⏱Читать статью

Как мы учимся решать одну из самых сложных задач в метеорологии — прогнозирование количества осадков по часам

#почитать

Если бы меня попросили назвать слово, которое лучше всего подходит для прогноза осадков, я бы с уверенностью выбрал «сложность». В осадках она подстерегает нас всюду: от способов прогнозирования до оценки качества полученного прогноза. Потому в научных статьях про нейросетевой прогноз погоды (GraphCast, Pangu Weather, Aurora и т. д.) осадки или совсем не участвуют, или прогнозируются раз в 6 часов без упоминания о метриках. Либо же создаётся локальная модель под регион (например, MetNet для США).

⏱Читать статью

Как алгоритм Recovering Difference Softmax (RDS) делает рекомендации и уведомления точнее и эффективнее

#почитать

Если коротко, улучшает работу алгоритмов машинного обучения, особенно когда нужно делать выбор из нескольких вариантов.

⏱Читать статью

Системы ценностей больших языковых моделей

#почитать

Каждый раз, когда человечество создаёт очередной инструмент на машинном обучении, оно сперва любуется пользой от его работы, а потом пугается своего отражения внутри. С большими языковыми моделями история повторилась с ускорением. От восторга перед ответами ChatGPT до шока от таблиц, где жизнь человека глубоко неравноценна, прошло меньше двух лет.

Звучит странно, но языковые модели предвзяты. У них есть политические взгляды, любимые расы и даже люди, которыми они не прочь пожертвовать. Но обо всём по порядку.

⏱Читать статью

▫️ Математика в основе ИИ | Матрицы, тензоры, deep learning

#посмотреть

Многие знают, что когда модели обучаются, где-то под капотом перемножаются матрицы и тензоры, и все это связано с дифференцированием.

⏱Смотреть на YouTube ⏱️1 час 40 минут

Знает ли LLM то, что знаешь ты?

#почитать

Представьте, что у вас есть друг, который идеально завершает ваши мысли. Вы говорите: «В детстве я любил...», а он тут же продолжает: «...играть в футбол и смотреть „Смешариков“». Совпадение? Или он вас слишком хорошо знает?

Теперь представьте, что этот «друг» — языковая модель вроде GPT-4, обученная на десятках терабайт текста. Вы даёте ей фразу — и она точно угадывает продолжение. Вопрос: она действительно видела это раньше или просто хорошо обучена угадывать?

Вот тут на сцену выходит Membership Inference Attack (MIA) — метод, который позволяет выяснить, был ли конкретный текст в тренировочном датасете модели. По сути, это способ заставить LLM проговориться: «Да, я это читала. Но никому не говори».

Раньше такие атаки были возможны только при доступе к логитам — вероятностям слов, которые модель «придумывает» на выходе. Но популярные модели вроде ChatGPT или Claude таких данных не раскрывают — вы получаете только текст.

Можно ли вытащить приватные данные, видя только текст, без логитов и без доступа к модели?

Спойлер: да, можно. И способ называется PETAL.

⏱Читать статью

Как мы разработали гибкий пайплайн для прогноза временных рядов любых метрик

#почитать

я работаю в группе аналитики ключевых показателей в бизнес‑группе Поиска и рекламных технологий. В течение нескольких лет нам приходилось прогнозировать большое количество временных рядов разных доменных областей: от поисковой доли Яндекса до DAU определённых сервисов. Чтобы успешно справляться с этой задачей, мы вместе с коллегами разработали собственный прогнозный фреймворк. В этой статье я расскажу, как создать универсальный и гибкий пайплайн для прогнозирования. Под катом рассмотрим:

— правильно выстроенную иерархию данных;
— методы консистентного предсказания абсолютных и относительных метрик;
— частые проблемы моделей и то, как мы их фиксили;
— а также все важные этапы, о которых нельзя забывать, когда работаешь с временными рядами.

⏱Читать статью

Почему Python стал языком нейросетей и как это работает на практике

#почитать

Python давно перестал быть просто «языком скриптов» и уверенно вышел в лидеры среди инструментов для нейросетей. Его синтаксис понятен «с первого взгляда», а мощные библиотеки позволяют сосредоточиться на идее, а не на рутине. Сегодня, от первых численных расчётов в NumPy до сложных моделей в TensorFlow и PyTorch, всё строится вокруг привычного Python-кода.

⏱Читать статью

Запустили векторный поиск в YDB: рассказываем, как он работает

#почитать

В новой версии YDB теперь доступны две версии векторного поиска — точный и приближённый. Приближённый поиск может работать с миллиардами векторов, если использовать векторный индекс. Такая технология есть у небольшого количества технологических компаний в мире.

⏱Читать статью

Llama 3.1 и «Гарри Поттер»: сколько текста действительно запоминает ИИ?

#почитать

Может ли искусственный интеллект запомнить целую книгу? А если да, что это значит для авторов, издателей и самих разработчиков ИИ? Недавнее исследование от ученых из Стэнфорда, Корнелла и Университета Западной Виргинии показало, что языковая модель Llama 3.1 может дословно воспроизвести до 42% текста «Гарри Поттера и Философского камня». Это заставляет усомниться в механизмах ограничения памяти ИИ и поднимает вопросы о защите авторских прав. Дальше — как раз об этом.

⏱Читать статью

Кросс-валидация на временных рядах: как не перемешать время

#почитать

Сегодня рассмотрим то, что чаще всего ломает даже круто выглядящие модели при работе с временными рядами — неправильная кросс‑валидация. Разберем, почему KFold тут не работает, как легко словить утечку будущего, какие сплиттеры реально честны по отношению ко времени, как валидировать фичи с лагами и агрегатами.

⏱Читать статью

Что делает shuffle=True и как не сломать порядок

#почитать

Под «перемешать» подразумевается применение псевдо‑рандомного пермутационного алгоритма (обычно Fisher‑Yates) к индексам выборки до того, как мы режем её на train/test. Цель — заставить train‑и-test быть независимыми и одинаково распределёнными (i.i.d.). В scikit‑learn эта логика зашита в параметр shuffle почти всех сплиттеров. В train_test_split он True по умолчанию, что прямо сказано в документации — «shuffle bool, default=True».

⏱Читать статью

Опыт построения антифрод-системы на основе поведенческого анализа

#почитать

Проект по разработке системы антифрода для букмекерской конторы стал для нашей команды важным шагом в обеспечении честности игры на платформе. Основной целью было создание системы, которая бы эффективно боролась с манипуляциями, связанными с арбитражем ставок и использованием вилочных событий для обхода системы. В данной статье я расскажу о технической реализации антифрод-системы на основе поведенческого анализа.

⏱Читать статью

Как Cursor устроен изнутри

#почитать

Работа с кодом: транзакции с низкой задержкой. Для фичей, связанных с кодом (дополнения по tab'у, индексация, пересчет хеш-деревьев), рабочая нагрузка представляет собой череду чтений и записи. Задержка для этих операций должна быть как можно ниже. Изначально Cursor использовал Pinecone для семантической индексации и поиска, но затем перешел на Turbopuffer.

⏱Читать статью

Как построить хороший пайплайн разработки ML-модели

#почитать

Получать предсказуемые результаты при обучении моделей, легко увеличивать объемы данных и адаптировать к процессам новых членов команды — для этого нужны четкая структура, последовательность действий и набор инструментов. То есть, хороший пайплайн разработки. Разбираемся, из чего он состоит и как его построить.

⏱Читать статью

Что Google Translate может рассказать нам о вайб-кодинге

#почитать

В последнее время часто звучат мрачные прогнозы (и даже скрытая реклама) о том, что крупные языковые модели (LLM) уничтожат программирование как профессию. Многие обсуждения лишены нюансов, поэтому я хотел бы внести свои пояснения. С одной стороны звучат заявления вроде: «Я использовал $LLM_SERVICE_PROVIDER, чтобы создать маленькую временную программу, и скоро все программисты останутся без работы за $ARBITRARY_TIME_WINDOW». С другой – категорический отказ признавать какую-либо пользу таких инструментов. Думаю, лучше всего прояснить эту ситуацию можно на примере другой отрасли, где подобные технологии появились раньше: перевод.

⏱Читать статью

Когда O(n) мешает отбирать резюме в Росатоме

#почитать

Женатые и замужние — в топе: пока вы не уходите глубоко в анализ, этот быстрый фактор повышает ранг. Чем точнее ваша модель, тем меньше его вес.

Английский — плохо: знание английского почему-то работало как антипаттерн, снижая релевантность.

ОГУРЕЦ: кто-то зачем-то написал это слово в резюме. Оно попало в словарь модели и получило большой вес.

Иксель — люди пишут Excel как угодно, и само слово в правильном написании оказалось снижающим оценку.

К резюме может быть приложено много мусора. Самый эпичный пример: авиабилет Москва — Челябинск вместо резюме.

⏱Читать статью

Как устроено глубокое обучение нейросетей

#почитать

Глубокое обучение - Способ обучения моделей на большом количестве данных, используя множество слоёв. Каждый слой сети обрабатывает информацию, "взвешивая" её при помощи параметров (весов и смещений), оставляя признаки или отбрасывая, посредством функций активации. Обучение происходит через итеративную (повторяющуюся) корректировку весов: сначала вычисляются градиенты ошибки с помощью обратного распространения (backpropagation), а затем веса обновляются при помощи оптимизаторов (SGD, Adam и др.).

Эта статья не ответит на все вопросы, но мы пробежимся по всем основам глубокого машинного обучения, что бы создать примерную начальную картину без сильного углубления в детали.

⏱Читать статью

Почему для обучения нейросетей используют именно видеокарты

#почитать

Начнем с того, что центральный процессор и графический процессор фундаментально отличаются по своей архитектуре и предназначению. CPU разрабатывались как универсальные вычислительные устройства, предназначенные для последовательной обработки данных с высокой тактовой частотой и сложной логикой ветвления.

В отличие от CPU, графические процессоры были рассчитаны на рендеринг изображений, который по своей природе требует параллельной обработки большого количества пикселей. Эта особенность и определила ключевую архитектурную черту GPU — наличие тысяч относительно простых вычислительных ядер вместо нескольких сложных, как у CPU.

⏱Читать статью