Линейная регрессия в ML для самых маленьких

#почитать

Линейная регрессия — это статистический метод, используемый для моделирования взаимосвязи между зависимой переменной и одной или несколькими независимыми переменными. Проще говоря, он помогает понять, как изменение одного или нескольких предикторов (независимых переменных) влияет на результат (зависимую переменную). Подумайте об этом, как о проведении прямой линии через диаграмму рассеяния точек данных, которая наилучшим образом отражает связь между этими точками.

⏱Читать статью

Нечеловеческий фактор: кто ответит, если ваш AI накосячит? Смотрим кейсы правоприменения и строим прогнозы

#почитать

Сегодня предлагаю обсудить слона в комнате, а именно: что вам будет с точки зрения закона, если AI, который вы разрабатываете или закупаете для своей компании, ошибется, некорректно сработает или будет использован для нарушения чужих прав. Ныряйте под кат, там разберем какие правовые документы регулируют это у нас и за рубежом, в какую сторону скорее всего будет развиваться законодательство в сфере AI и что предусмотреть в доке, договорах и регламентах уже сейчас, чтобы потом не пришлось тушить пожары. Постараюсь сильно не грузить и сразу переводить с юридического на человеческий.

⏱Читать статью

QTune — open-source решение для быстрого файн-тюнинга моделей

#почитать

Это open-source приложение с графическим интерфейсом, которое превращает сложный и требовательный процесс файнтюнинга в понятный и управляемый процесс, доступный каждому. Это не просто набор скриптов, а полноценная студия, охватывающая весь цикл: от создания датасета до запуска готовой модели локально.

⏱Читать статью

Есть ли жизнь без споттера? Как мы внедряли быстрые команды в умные устройства Sber

#почитать

Меня зовут Айрат, я руковожу командой Embedded ML в Сбере. Сегодня мы выкатили быстрые команды для умных колонок SberBoom. Они позволяют управлять самим устройством, а также телевизорами Sber, ТВ-приставками SberBox и умным домом с помощью колонки проще и быстрее.

Сегодня я расскажу, как удалось уместить все быстрые команды всего в 6 МБ и благодаря чему наше решение распознает не только простые команды вида «Включи свет», но и сложные со множеством параметров, например, «Яркость сорок пять процентов в коридоре». Мы рассмотрим, что такое спам-команды и как мы добились их корректного распознавания без задержек.

⏱Читать статью

Reflect, Retry, Reward: как RL учит LLM рефлексировать и становиться лучше

#почитать

я NLP-инженер в Сбере. Занимаюсь мультиагентными системами и работаю с LLM в проде. Сегодня расскажу про одну из самых интересных статей июня по версии Huggingface Daily Papers — Reflect, Retry, Reward: Self-Improving LLMs via Reinforcement Learning.

⏱Читать статью

Поисковые подсказки: подход «генератор-дискриминатор»

#почитать

О подходе, который мы разработали для создания поисковых подсказок и для поиска релевантных похожих запросов для разных бизнес-сценариев, и пойдет речь в этой статье.

⏱Читать статью

Оптимизация LLM: LoRA и QLoRA

#почитать

В этой статье мы рассмотрим два подхода — LoRA и QLoRA — которые обещают значительно снизить затраты на обучение без потери качества модели. Мы разберем, как эти методы позволяют оптимизировать вычисления и память, а также как с их помощью можно эффективно адаптировать большие модели под разнообразные прикладные задачи.

⏱Читать статью

Малые числа, большие возможности: Роль плавающей запятой в ИИ

#почитать

Числа с плавающей запятой лежат в основе подавляющего большинства компьютерных вычислений, особенно в сферах искусственного интеллекта (ИИ) и машинного обучения. Они позволяют моделям эффективно обрабатывать данные, обеспечивая баланс между точностью и скоростью вычислений. Развитие вычислительных технологий требует новых форматов, которые оптимизируют использование памяти и ускоряют вычислительные процессы без значительных потерь точности. Одним из перспективных форматов стал FP8 — 8-битный формат чисел с плавающей запятой, который может улучшить производительность вычислений и сократить энергопотребление.

⏱Читать статью

Как мы учимся решать одну из самых сложных задач в метеорологии — прогнозирование количества осадков по часам

#почитать

Если бы меня попросили назвать слово, которое лучше всего подходит для прогноза осадков, я бы с уверенностью выбрал «сложность». В осадках она подстерегает нас всюду: от способов прогнозирования до оценки качества полученного прогноза. Потому в научных статьях про нейросетевой прогноз погоды (GraphCast, Pangu Weather, Aurora и т. д.) осадки или совсем не участвуют, или прогнозируются раз в 6 часов без упоминания о метриках. Либо же создаётся локальная модель под регион (например, MetNet для США).

⏱Читать статью

Как алгоритм Recovering Difference Softmax (RDS) делает рекомендации и уведомления точнее и эффективнее

#почитать

Если коротко, улучшает работу алгоритмов машинного обучения, особенно когда нужно делать выбор из нескольких вариантов.

⏱Читать статью

Системы ценностей больших языковых моделей

#почитать

Каждый раз, когда человечество создаёт очередной инструмент на машинном обучении, оно сперва любуется пользой от его работы, а потом пугается своего отражения внутри. С большими языковыми моделями история повторилась с ускорением. От восторга перед ответами ChatGPT до шока от таблиц, где жизнь человека глубоко неравноценна, прошло меньше двух лет.

Звучит странно, но языковые модели предвзяты. У них есть политические взгляды, любимые расы и даже люди, которыми они не прочь пожертвовать. Но обо всём по порядку.

⏱Читать статью

▫️ Математика в основе ИИ | Матрицы, тензоры, deep learning

#посмотреть

Многие знают, что когда модели обучаются, где-то под капотом перемножаются матрицы и тензоры, и все это связано с дифференцированием.

⏱Смотреть на YouTube ⏱️1 час 40 минут

Знает ли LLM то, что знаешь ты?

#почитать

Представьте, что у вас есть друг, который идеально завершает ваши мысли. Вы говорите: «В детстве я любил...», а он тут же продолжает: «...играть в футбол и смотреть „Смешариков“». Совпадение? Или он вас слишком хорошо знает?

Теперь представьте, что этот «друг» — языковая модель вроде GPT-4, обученная на десятках терабайт текста. Вы даёте ей фразу — и она точно угадывает продолжение. Вопрос: она действительно видела это раньше или просто хорошо обучена угадывать?

Вот тут на сцену выходит Membership Inference Attack (MIA) — метод, который позволяет выяснить, был ли конкретный текст в тренировочном датасете модели. По сути, это способ заставить LLM проговориться: «Да, я это читала. Но никому не говори».

Раньше такие атаки были возможны только при доступе к логитам — вероятностям слов, которые модель «придумывает» на выходе. Но популярные модели вроде ChatGPT или Claude таких данных не раскрывают — вы получаете только текст.

Можно ли вытащить приватные данные, видя только текст, без логитов и без доступа к модели?

Спойлер: да, можно. И способ называется PETAL.

⏱Читать статью

Как мы разработали гибкий пайплайн для прогноза временных рядов любых метрик

#почитать

я работаю в группе аналитики ключевых показателей в бизнес‑группе Поиска и рекламных технологий. В течение нескольких лет нам приходилось прогнозировать большое количество временных рядов разных доменных областей: от поисковой доли Яндекса до DAU определённых сервисов. Чтобы успешно справляться с этой задачей, мы вместе с коллегами разработали собственный прогнозный фреймворк. В этой статье я расскажу, как создать универсальный и гибкий пайплайн для прогнозирования. Под катом рассмотрим:

— правильно выстроенную иерархию данных;
— методы консистентного предсказания абсолютных и относительных метрик;
— частые проблемы моделей и то, как мы их фиксили;
— а также все важные этапы, о которых нельзя забывать, когда работаешь с временными рядами.

⏱Читать статью

Почему Python стал языком нейросетей и как это работает на практике

#почитать

Python давно перестал быть просто «языком скриптов» и уверенно вышел в лидеры среди инструментов для нейросетей. Его синтаксис понятен «с первого взгляда», а мощные библиотеки позволяют сосредоточиться на идее, а не на рутине. Сегодня, от первых численных расчётов в NumPy до сложных моделей в TensorFlow и PyTorch, всё строится вокруг привычного Python-кода.

⏱Читать статью

Запустили векторный поиск в YDB: рассказываем, как он работает

#почитать

В новой версии YDB теперь доступны две версии векторного поиска — точный и приближённый. Приближённый поиск может работать с миллиардами векторов, если использовать векторный индекс. Такая технология есть у небольшого количества технологических компаний в мире.

⏱Читать статью

Llama 3.1 и «Гарри Поттер»: сколько текста действительно запоминает ИИ?

#почитать

Может ли искусственный интеллект запомнить целую книгу? А если да, что это значит для авторов, издателей и самих разработчиков ИИ? Недавнее исследование от ученых из Стэнфорда, Корнелла и Университета Западной Виргинии показало, что языковая модель Llama 3.1 может дословно воспроизвести до 42% текста «Гарри Поттера и Философского камня». Это заставляет усомниться в механизмах ограничения памяти ИИ и поднимает вопросы о защите авторских прав. Дальше — как раз об этом.

⏱Читать статью

Кросс-валидация на временных рядах: как не перемешать время

#почитать

Сегодня рассмотрим то, что чаще всего ломает даже круто выглядящие модели при работе с временными рядами — неправильная кросс‑валидация. Разберем, почему KFold тут не работает, как легко словить утечку будущего, какие сплиттеры реально честны по отношению ко времени, как валидировать фичи с лагами и агрегатами.

⏱Читать статью