Только что выпустили удобное небольшое расширение для Chrome clipmd, которое позволяет кликнуть по любому элементу на веб-странице и положить в буфер обмена либо этот элемент, сконвертированный в markdown Ctrl + Shift + M, либо его скриншот Ctrl + Shift + S.

Удобно для работы с LLM 😊

👉 @DataSciencegx

Я занимаюсь файнтюнингом LLM уже больше 2 лет.

Вот топ-5 техник файнтюнинга LLM с визуальными пояснениями:

Для начала, что вообще такого особенного в файнтюнинге LLM?

Классический файнтюнинг для LLM непрактичен (миллиарды параметров, сотни гигабайт).

Поскольку такие вычислительные ресурсы доступны не всем, появились parameter-efficient finetuning техники, сокращённо PEFT.

Перед тем как разобрать каждую технику, немного базы, которая поможет лучше понять, как они работают:

Веса LLM это матрицы чисел, которые подстраиваются во время файнтюнинга.

Большинство PEFT-техник сводятся к поиску низкоранговой адаптации этих матриц, то есть матрицы меньшей размерности, которая всё ещё может представлять информацию из исходной.

Теперь, когда есть базовое понимание ранга матрицы, можно переходить к разбору разных техник файнтюнинга.

(для наглядного объяснения каждой техники см. картинку)

1) LoRA

Добавляются две обучаемые низкоранговые матрицы A и B рядом с матрицами весов.

Вместо файнтюнинга W корректируются обновления в этих низкоранговых матрицах.

Даже для самых больших LLM матрицы LoRA занимают всего несколько мегабайт памяти.

2) LoRA-FA

Хотя LoRA сильно снижает количество обучаемых параметров, для обновления низкоранговых весов всё равно требуется заметный объём activation-памяти.

LoRA-FA (FA означает Frozen-A) замораживает матрицу A и обновляет только матрицу B.

3) VeRA

В LoRA низкоранговые матрицы A и B уникальны для каждого слоя.

В VeRA A и B заморожены, случайные и общие для всех слоёв.

Вместо этого обучаются слой-специфичные масштабирующие ВЕКТОРЫ b и d.

4) Delta-LoRA

Здесь тоже подстраивается матрица W, но не классическим способом.

В W добавляется разница (delta) между произведением матриц A и B на двух соседних шагах обучения.

5) LoRA+

В обычной LoRA обе матрицы A и B обновляются с одинаковым learning rate.

Авторы LoRA+ выяснили, что более высокий learning rate для матрицы B даёт лучшую сходимость.

👉 @DataSciencegx

Действительно

👉 @DataSciencegx

Обрабатывай датасеты больше доступной RAM с автоспилловером DuckDB

Когда объем данных превышает доступную память, большинство инструментов падают во время выполнения.
Из-за этого приходится руками резать данные на чанки или апгрейдить железо только ради того, чтобы довести базовый запрос до конца.

DuckDB автоматически сбрасывает промежуточные результаты во временные файлы, когда данные выходят за пределы выделенной памяти.

Плюсы:
• Обработка датасетов больше RAM без правок в коде
• Настраиваемые лимиты памяти, чтобы избежать крашей системы
• Автоматический спилловер на диск при заполнении памяти
• Никаких ручных чанков или батчинга

Полная статья: https://bit.ly/4oEj5WW
Запустить пример: https://bit.ly/4ovyUir

👉 @DataSciencegx

Погоди, Microsoft только что выкатили open-source инструмент для запуска AI-моделей локально?!

Без облака, подписок и авторизации.
Все на 100% приватно.

И при этом он без проблем встраивается в приложения через OpenAI-совместимый API.

Просто вбиваешь в терминале:

→ winget install Microsoft(dot)FoundryLocal (Windows)
→ brew install microsoft/foundrylocal/foundrylocal (macOS)

Вот официальный веб-сайт со всей документацией и доступными моделями: https://foundrylocal.ai

И репозиторий GitHub: https://github.com/microsoft/foundry-local

👉 @DataSciencegx

K-means один из самых широко используемых алгоритмов кластеризации в data science и машинном обучении. Ключевая часть алгоритма - сходимость (процесс, при котором центры кластеров и назначения точек постепенно стабилизируются за счёт повторяющихся обновлений.) Cкажу так, понимание того, как и почему происходит сходимость, помогает получать надёжные и осмысленные результаты кластеризации.

✔️Быстро сходится на большинстве наборов данных, что делает его эффективным для задач большого масштаба
✔️Предлагает простую и интерпретируемую структуру для выявления групп
✔️Хорошо масштабируется на больших дата-сетах за счёт низкой вычислительной сложности

❌ Результаты сильно зависят от начальной инициализации кластеров
❌ Может искажать структуру данных, если признаки неправильно отмасштабированы
❌ Может порождать пустые или нестабильные кластеры при некорректной настройке

Чтобы обеспечить стабильную сходимость:
- Используйте k-means++ для более грамотного выбора начальных центров
- Применяйте масштабирование признаков, чтобы переменные с большим масштабом не доминировали
- Задавайте адекватные значения лимита итераций и порога сходимости

На изображении показан процесс сходимости K-means. Точки данных назначаются ближайшему центру по квадрату расстояния. После этого каждый центр пересчитывается как среднее значение всех закреплённых за ним точек. Эти шаги повторяются до тех пор, пока положения центров не перестают заметно изменяться.

👉 @DataSciencegx

Визуализация того, что находится внутри моделей ИИ. Это представляет слои взаимосвязанных нейронных сетей. И да, со временем формируются паттерны, и они могут образовывать своего рода сигнатуру того, как модель мыслит.

Этот паттерн можно рассматривать как процесс мышления.

👉 @DataSciencegx

Команда Hugging Face только что научила Claude Code полноценно обучать открытые LLM.

Ты просто говоришь что-то вроде:
«Дообучи Qwen3-0.6B на open-r1/codeforces-cots».

А дальше Claude делает всё сам.

▸ Подбирает оптимальный облачный GPU под размер модели
▸ Загружает датасет (или ищет его, если не указан)
▸ Запускает задачу: тестовый прогон или основной запуск
▸ Отслеживает прогресс через дашборд Trackio
▸ Загружает чекпоинты и финальную модель в Hugging Face Hub

👉 @DataSciencegx