AutoEncoders and hidden states Analysis
Привет, друзья!
Я продолжаю цикл статей по туториалам, посвященным области explainable AI. Так, уже были разобраны метод Logit Lens на примере ViT, зондирование gpt2, CAM на примере Yolo NAS — всё можно найти по статьям в профиле. В этом же туториале мы разберем идею применения автокодировщиков для анализа и извлечения признаков из скрытых состояний модели.
В туториале, вы:
Читать далее
#explainable_ai #autoencoder #visual_transformer #images #image_classification | @habr_ai
Привет, друзья!
Я продолжаю цикл статей по туториалам, посвященным области explainable AI. Так, уже были разобраны метод Logit Lens на примере ViT, зондирование gpt2, CAM на примере Yolo NAS — всё можно найти по статьям в профиле. В этом же туториале мы разберем идею применения автокодировщиков для анализа и извлечения признаков из скрытых состояний модели.
В туториале, вы:
Читать далее
#explainable_ai #autoencoder #visual_transformer #images #image_classification | @habr_ai
Хабр
AutoEncoders and hidden states Analysis
Привет, друзья! Я продолжаю цикл туториалов, посвященных области explainable AI. Так, уже были разобраны метод Logit Lens на примере ViT, зондирование gpt2, CAM на примере Yolo NAS — всё можно найти...
Часть 2: Vision Transformer (ViT) — Когда трансформеры научились видеть
Представьте, что лингвист внезапно стал экспертом по живописи. Именно это произошло в 2020 году, когда архитектура для обработки текста — трансформеры — научилась "видеть" изображения. Vision Transformer (ViT) доказал: для понимания картинок не обязательны свёртки! Разберем "на пальцах" как она устроена и как изображения превращаются в предсказания. Читать далее
#visual_transformer #vit #transformer #computervision #разбор_статьи | @habr_ai
Представьте, что лингвист внезапно стал экспертом по живописи. Именно это произошло в 2020 году, когда архитектура для обработки текста — трансформеры — научилась "видеть" изображения. Vision Transformer (ViT) доказал: для понимания картинок не обязательны свёртки! Разберем "на пальцах" как она устроена и как изображения превращаются в предсказания. Читать далее
#visual_transformer #vit #transformer #computervision #разбор_статьи | @habr_ai
Хабр
Часть 2: Vision Transformer (ViT) — Когда трансформеры научились видеть
Обо мне Привет, меня зовут Василий Техин, и последние 6 лет я живу в мире машинного обучения — от первых шагов с линейной регрессией до экспериментов с современными VLm. Когда я только начинал, мне не...
Как мы построили embedding-модель уха на Vision Transformers: от идеи до 88% точности
Пока весь мир гонится за распознаванием лиц и отпечатков пальцев, мы в решили взглянуть на человека чуть сбоку — буквально.
Пришел клиент, принес проект. Система поиска родственных связей по фото. Все работает, все ищется, но хочется, чтобы было еще точнее, еще глубже. «А что если сравнивать…уши», – подумали мы.
Почему уши? Потому что они, как и лица, обладают уникальной формой, но в отличие от лица — не меняются с возрастом, не маскируются бородой и не хмурятся на паспортном контроле.
Идеальный кандидат для дополнительного биометрического сигнала. Но не все так просто.
Нам предстоял полный цикл разработки модуля распознавания и сравнения ушей: Читать далее
#биометрическая_аутентификация #биометрия #распознавание_изображений #эмбеддинги #embeddings #visual_transformer #датасет #cnn #искусственный_интеллект #компьютерное_зрение | @habr_ai
Пока весь мир гонится за распознаванием лиц и отпечатков пальцев, мы в решили взглянуть на человека чуть сбоку — буквально.
Пришел клиент, принес проект. Система поиска родственных связей по фото. Все работает, все ищется, но хочется, чтобы было еще точнее, еще глубже. «А что если сравнивать…уши», – подумали мы.
Почему уши? Потому что они, как и лица, обладают уникальной формой, но в отличие от лица — не меняются с возрастом, не маскируются бородой и не хмурятся на паспортном контроле.
Идеальный кандидат для дополнительного биометрического сигнала. Но не все так просто.
Нам предстоял полный цикл разработки модуля распознавания и сравнения ушей: Читать далее
#биометрическая_аутентификация #биометрия #распознавание_изображений #эмбеддинги #embeddings #visual_transformer #датасет #cnn #искусственный_интеллект #компьютерное_зрение | @habr_ai
Хабр
Как мы построили embedding-модель уха на Vision Transformers: от идеи до 88% точности
Пока весь мир гонится за распознаванием лиц и отпечатков пальцев, мы в решили взглянуть на человека чуть сбоку — буквально. Пришел клиент, принес проект. Система поиска родственных связей по...
Когда несколько пикселей решают всё: One Pixel атака и способы защиты от неё
Удивительно, но факт: несколько изменений в изображении могут полностью поменять вывод нейросети, что ломает заложенную разработчиком логику. В данной статье мы не просто подсветим факт существования One Pixel атаки, но и комплексно разберём архитектурные факторы, которые влияют на устойчивость CV-систем к данному семейству атак. Читать далее
#one_pixel_attack #computer_vision #alexnet #resnet #efficientnet #inceptionv3 #visual_transformer | @habr_ai
Удивительно, но факт: несколько изменений в изображении могут полностью поменять вывод нейросети, что ломает заложенную разработчиком логику. В данной статье мы не просто подсветим факт существования One Pixel атаки, но и комплексно разберём архитектурные факторы, которые влияют на устойчивость CV-систем к данному семейству атак. Читать далее
#one_pixel_attack #computer_vision #alexnet #resnet #efficientnet #inceptionv3 #visual_transformer | @habr_ai
Хабр
Когда несколько пикселей решают всё: One Pixel атака и способы защиты от неё
Удивительно, но факт: несколько изменений в изображении может полностью изменить вывод нейросети, что ломает заложенную разработчиком логику. В данной статье мы не просто подсветим факт существования...