#llm #code

#dl #courses

#dl #cv

Я одно время лидил команду VirtualSense по размещению рекламных билбордов в видео. Мы заменяли уже имеющихся билборды с подстройкой трехмерного положения и перспективы и размещали борды на ранее пустующих слотах. Поэтому, вспоминая прошлый опыт, сегодня хочу пройтись по 3D Computer Vision алгоритмом, с помощью которых решается такая задача.

Она формулируется, как сопоставление изображения с помощью ключевых точек. Задача сводится к поиску конкретного объекта на одном изображении с помощью другого, эталонного.

Для этого необходимы так называемые ключевые точки – характерные области изображения, которые помогают определить, насколько два объекта совпадают. Сопоставив между собой множество изображений сцены, мы сможем восстановить трёхмерную структуру объектов в ней. Но для этого важно иметь «хорошие» ключевые точки.

Также нужно ввести понятие дескрипторов - векторов, которые описывают точку и ее окружение. У разных ключевых точек они должны быть сильно различны, а у одинаковых – максимально схожи.

SIFT
Один из первых и самых известных алгоритмов для нахождения ключевых точек – это SIFT (Scale-Invariant Feature Transform). Его будем использовать, когда не требуется решить что-то сверхсложное и нужно быстро и легко найти ключевые точки.

▶️ Как работает?
Картинка сворачивается с фильтром (обычно гауссианой). Далее берут разность между двумя картинками с разным ядром. Потом на результатах находят экстремумы – области с наибольшей и наименьшей интенсивностью.

Далее, зная размер ключевой точки, мы можем посчитать дескрипторы и поворот точек. Для этого используем Histograms of oriented gradients (HoG). Для этого разбиваем область под ключевой точкой на 16 квадрантов, посчитаем градиенты по картинке, оставим только направления. Для каждого квадранта посчитаем гистограммы направлений, а потом сделаем конкатенацию гистограмм. Для поиска поворота ключевой точки найдём направление с наибольшим значением и будем считать, что это верх ключевой точки.

▶️ Почему SIFT может не справляться?
- Во-первых, сложные задачи, а порой даже довольно простые сцены, часто вызывают у него затруднения – для корректного срабатывания требуется большое пересечение между кадрами.
- Во-вторых, алгоритм не устойчив к изменению угла обзора. Даже если мы просто применим аффинное преобразование к изображению — качество упадёт.
- В-третьих, сложности возникают и с похожими паттернами: на одинаковом паттерне (обои, например) у разных ключевых точек будут одинаковые дескрипторы, из-за чего нормально сопоставить изображения не получится.

Зато SIFT быстрый, его легко запустить, и ему не нужен GPU. Поэтому он используется в качестве бейзлайн решения.

#devops #courses

Наткнулся на аккаунт https://github.com/kzzzr. Советую глянуть все репозитории. Выделю некоторые:

DWH powered by Clickhouse and dbt

Курс Analytics Engineer

Data Vault powered by dbtVault and Greenplum

Data Vault 2.0: Code generation, Vertica, Airflow

Статья на Habr "Строим Data Vault на данных TPC-H – Greenplum + dbtVault"

#dl #cv

#cv #llm #gan

Pixtral-12B: тех-репорт

Месяц назад выкатили модель (пост был тут). А сейчас вышел тех-репорт про Pixtral-12B с кучей деталей про мультимодальную архитектуру и эвал, но без описания тренировки. Полезное чтиво!

По бенчам бьют Llama-3.2 11B & Qwen-2-VL 7B.

Статья
Webpage
Inference code
Evaluation code

@ai_newz

Бесплатные LLM по API

groq.com
Дают бесплатно llama-3.1-70b - 14400 запросов в день (0.5M токенов в день). Нужен ВПН.
Иногда лежит под нагрузкой, но в целом, довольно стабилен. Часть персонажей в моем боте сидит на нем.
Есть поддержка в SillyTavern.
лимиты https://console.groq.com/settings/limits

cohere.com
Для регистрации нужна google почта. Дают бесплатно 1000 запросов в месяц, боту хватает на несколько дней.
Есть поддержка в SillyTavern.

openrouter.ai
Есть большой выбор бесплатных моделей. Дают 200 бесплатных запросов в час (для больших меделй - меньше, что-то около 10 в час), если кончились - можно просто сменить модель.
Есть поддержка в SillyTavern.
модели https://openrouter.ai/models/?q=free
Если нужно платно - из РФ можно оплачивать криптой практически без комиссии (для оплаты нужен впн). Нужна крипта MATIC в сети Polygon ($0.27 комиссия), или Ethereum ($22.00 комиссия). Поддержка Matic есть в кошельке Trust wallet. Matic можно купить на биржах или на bestchange.

sambanova.ai
Дают Llama-3.1-405B-bf16 - бесплатно 10 запросов в минуту. Поставил персонажу Братан для теста.
Пока нет в SillyTavern

Mistral.ai
API не поддерживает repetition penalty, frequency penalty и min_p (из-за этого в РП любит повторяться).
Есть поддержка в SillyTavern

github.com/marketplace
Регистрация через лист ожидания (я ждал несколько недель). Лимиты довольно маленькие, не так интересно.
Дают gpt4o по API бесплатно (50 запросов в день), это, наверное, единственный такой сервис.
Пока нет в SillyTavern

together.ai
Дают разово $5 на запросы + дают бесплатную Llama Vision 11B (пишут, что есть лимиты, но какие не говорят, не тестил) и FLUX.1 [schnell] (10 картинок в минуту, не тестил)
Есть Llama-405b-turbo (видимо квантованная), llama-3.1-70b-turbo и россыпь устаревших моделей. 5 баксов хватит примерно на 350 запросов к 405b или 1400 запросов к 70b с 4k контекста.
А вот бесплатный FLUX.1 [schnell] надо бы потестить.
Есть поддержка в SillyTavern
Модели https://docs.together.ai/docs/inference-models
лимиты https://docs.together.ai/docs/rate-limits

ai21.com
Jamba-1.5-Large-398B хоть и большая, но на русском языке общается так себе. API не тестил. Дают разово $10.

nvidia build
модели https://build.nvidia.com/explore/reasoning
Дают разово 1000 кредитов (1000 запросов). Можно погонять llama-3.2-90b-vision
Пока нет в SillyTavern

cerebras.ai
жду в листе ожидания. Обещают бесплатно 1M токенов в день для 70b


Тестить все это удобно в sillyTavern, там реализовано большинство этих АПИ.