Привет, я Александр, научный сотрудник в zool.ai 👀

Сейчас мы исследуем, какие нейросети и сервисы можно использовать для видеоаналитики.

〰️ Задачи:

1. Понять есть ли готовые решения, которые могут обрабатывать видео «из коробки».
2. Можно ли использовать их не как полноценные системы, а как инструмент для ускоренной подготовки датасетов (обучающих выборок для компьютерного зрения).

🫥 Какие решения мы изучили:

→ Большие языковые модели (БЯМ) с визуальными возможностями — ChatGPT (GPT-4 Vision), Google Gemini, Anthropic Claude. Они изначально созданы как текстовые модели, но умеют анализировать изображения, иногда — короткие видео.

→ Специализированные сервисы видеоаналитики — Google Cloud Video AI Suite, Amazon Rekognition, Microsoft Azure Video Indexer, Avigilon, Irisity, Genetec, Clarifai. Это промышленные решения для безопасности и мониторинга, изначально оптимизированные под потоковое видео.

Что умеют БЯМ:

ChatGPT (Vision API):
— может выступать как «второй уровень анализа»: например, YOLO находит объекты (машина, человек), а ChatGPT уточняет — открыт ли багажник, есть ли у работника каска или перчатки, какого цвета одежда.
— подходит для задач, где важен контекстный анализ, а не только детекция.
— ограничение: скорость. Обработка занимает секунду и более → использовать в реальном времени пока нельзя.

Google Gemini (Gemini Pro Vision):
— распознаёт текст, автомобильные номера, объекты на изображениях;
— имеет Live API для потоковой обработки;
— в тесте сгенерировал 39-страничный аналитический отчёт с таблицами и ссылками на источники — фактически может выполнять исследовательские задачи;

Claude Sonnet Vision:
— умеет автоматически размечать объекты (bounding boxes), что делает его полезным для подготовки датасетов для обучения YOLO и других моделей;
— силён в качественной аннотации данных, но не работает как полноценная система потокового видеоконтроля.

Что умеют специализированные сервисы:

Google Cloud Video AI Suite, Amazon Rekognition, Azure Video Indexer:
— поддерживают потоковую обработку видео в реальном времени;
— могут распознавать людей, лица, СИЗ, поведение;
— позволяют дообучать модели под собственные сценарии (AutoML, Custom Labels, Fine-tuning);
— хорошо интегрируются в корпоративные системы.

Avigilon, Irisity, Genetec, Clarifai:
— это уже «коробочные» решения для видеонаблюдения и безопасности;
— заточены под задачи охраны, мониторинга транспорта, производственной безопасности;
— акцент на стабильности и масштабируемости, а не на кастомной гибкости.

⬛️ Выводы

1. БЯМ (ChatGPT, Gemini, Claude) → полезны для:
• глубокого анализа объектов,
• автоматизированной разметки датасетов,
• текстовых задач (например, HR — сопоставление резюме и вакансий).

2. Специализированные сервисы → незаменимы там, где:
• нужно работать с видео в реальном времени,
• важна высокая точность и отказоустойчивость,
• требуется интеграция в системы безопасности.

3. На сегодня оптимальный вариант — гибридный подход:
• YOLO или другая CV-модель для первичного детекта объектов;
• ChatGPT/Gemini/Claude для «надстройки» и семантического анализа;
• спецсервисы (Google Cloud, Amazon, Azure) — для продуктовых задач в реальном времени.

🕰 Что дальше?

Мы планируем протестировать API с демо-доступом:

• ChatGPT,
• Gemini API,
• Google Cloud Video AI Suite,
• Amazon Rekognition,
• Azure AI Video Indexer.

Если у вас был опыт с такими сервисами — поделитесь, что получилось у вас. ⤵️

👁 Подписаться

#новости_zool

⚠️ zool учится обнаруживать опасные ситуации на предприятии

Привет! Я Александр, аналитик в zool.ai.
Сейчас мы работаем над модулем, который помогает вовремя заметить риски на производстве.

📌 Как это устроено?
В основе лежит технология pose estimation — алгоритм строит условный «скелет» человека по ключевым точкам: голова, плечи, локти, таз, колени. Дальше система анализирует:
— положение тела относительно пола,
— угол наклона корпуса,
— скорость изменения позы.

Если модель фиксирует резкое смещение центра тяжести и человек оказывается на полу — событие классифицируется как падение.

→ Чтобы сократить ложные срабатывания (например, если сотрудник присел или наклонился за инструментом), мы дообучаем алгоритм на реальных данных и задаём допустимые сценарии поведения.

📌 Что уже умеем определять:
— падение на ровной поверхности,
— поскальзывание на мокром полу,
— потерю сознания,
— длительное неподвижное состояние.

📌 Зачем это нужно?
— чтобы вовремя вызвать помощь,
— снизить последствия несчастных случаев,
— видеть статистику: где чаще всего происходят опасные ситуации и почему.

📌 Где полезно?
На заводах, стройке, складах, а также в медучреждениях.

→ Система работает с обычными IP-камерами, не требует спецоборудования и легко интегрируется в существующую инфраструктуру.

📎 Если у вас появились вопросы — пишите в комментариях, обсудим.

#новости_zool

Ответ к опросу выше ⬆️

В теории zool может даже посчитать вес животного, если оно встанет на весы перед камерой. 🙂

А вот какие модули мы уже успели сделать:

🟠 Подсчёт скота. zool считает, сколько животных вошло и вышло из загона.

🟠 Обнаружение парковки. Система видит свободные места и контролирует въезды/выезды.

🟠Обнаружение возгораний. Алгоритм фиксирует дым и пламя по видеопотоку и мгновенно отправляет сигнал.

🟠Учёт продукции на складе. Автоматически следит за количеством товара: сколько поступило, сколько ушло.

🟠 Тепловая карта магазина. Показывает, где покупатели задерживаются дольше всего. Помогает улучшить выкладку и повысить продажи.

🟠Обнаружение перчаток. zool проверяет, чтобы сотрудники были в перчатках на предприятии.

🟠 Обнаружение дефектов. Система находит трещины, сколы и другие повреждения на производственной линии.

→ Это только часть модулей. Конкретные истории внедрения ищите по тегу #кейсы_zool.

А какого решения сегодня больше всего не хватает в бизнесе?

#новости_zool

💬 Может ли zool работать без интернета и электричества?

На связи Михаил, аналитик продукта. В рубрике #вопросы отвечаем на популярные запросы клиентов.

📌 zool можно развернуть двумя способами:

🔵 В облаке — обработка идёт на наших мощностях. Мы отвечаем за стабильность: есть резервные сервера и запасные каналы связи. Если на нашей стороне что-то отключат, мы быстро переключаемся.
🔵 На сервере клиента — обработка идёт локально, и тогда всё зависит от его инфраструктуры: интернет, питание, работа камер.

📌 На практике это значит:
— без интернета видеопоток просто не попадёт в систему;
— без электричества камеры обесточены и ничего не снимают.

📌 Как избежать перебоев?
Лучший вариант — использовать резервное питание (UPS или генератор) и иметь запасной интернет-канал. Тогда zool будет работать стабильно и без сбоев.

#новости_zool

✉️ Сегодня среда, а значит — время для нашего традиционного дайджеста новостей за две недели! #новостнаясреда

Сегодня мы дадим несколько новостей, а вам нужно угадать: какие 2 из них настоящие, а какие — выдуманные?

🔵 Китай создал робота-антилопу для наблюдения за настоящими стадами в Тибете

🔵Разработчики в Японии протестировали беспилотное такси, которое подстраивается под настроение пассажира по выражению лица

🔵 В России начали тестировать систему видеоаналитики для подсчёта количества пустых тележек в торговых центрах

🔵Учёные из США вырастили мини-«мозг» из клеток, который умеет играть в видеоигру Pong

🔵Индийский стартап представил дрона, который может садиться на воду и ловить рыбу вместо рыболовов

🔵 В Германии открыли первый завод, где за сортировку мусора полностью отвечает искусственный интеллект без участия людей

Настало время раскрыть карты! Делимся правильными ответами 👇

🔵 Правда: Китай создал робота-антилопу для наблюдения за стадами в Тибете. Робот внешне действительно напоминает антилопу. Его сделали для того, чтобы учёные могли отслеживать миграцию животных в Тибете, не пугая стада и не мешая им. Встроенные камеры и датчики передают данные в реальном времени через 5G.

🔵 Правда: Учёные из США вырастили мини-«мозг» из клеток, который умеет играть в Pong. Проект DishBrain: нейронные клетки в лаборатории подключили к компьютерной системе. Эти клетки научились адаптироваться и реагировать на сигналы — по сути, «играть» в Pong, двигая виртуальную ракетку.

Остальные новости мы придумали! 😉

А вы угадали, где правда, а где вымысел?

👁 Подписаться

#дайджест_zool

Сегодня к нам заглянул необычный гость 🐶

Он передал всем привет и пожелал отличных выходных — наслаждайтесь последними летними деньками 🌞

Совсем скоро он появится у нас в канале — не пропустите! 👀

1 сентября — день, когда взрослые радуются: уроки и контрольные остались в прошлом. Но есть нюанс: вместо звонка на перемену теперь звонок на работу.

А ещё у каждого из нас есть фраза учителя, которая засела в памяти надолго. У Саши, например, это была: «Мануйло? Да он никогда не сдаст математику». Не знаем, как со сдачей, но аналитик из него вышел отличный 🙂

А какая фраза запомнилась вам? Делитесь в комментариях 👇

👁 Подписаться

#сериал_zool

🛠 Можно ли строить продукты на open-source?

Сегодня это уже скорее правило, чем исключение. Многие технологии, которые стали стандартом в индустрии, выросли именно из open-source:

🔵Linux — ядро для большинства серверов и облаков.
🔵PostgreSQL — база, которую используют и стартапы, и банки вместо Oracle или MS SQL.
🔵Kubernetes — стандарт оркестрации контейнеров.
🔵Android — крупнейшая мобильная ОС, в основе которой открыт AOSP.
🔵PyTorch и TensorFlow — ключевые библиотеки для ML и нейросетей.

👋 Привет, я Иван, продакт-менеджер zool.ai. Когда мы запускали систему видеоаналитики, мы сделали ту же ставку. Взяли проверенные инструменты — YOLO, OpenCV, PyTorch, NumPy. Они решают базовые задачи: детекция объектов, работа с изображениями, обучение моделей.

Но open-source сам по себе — это только кирпичи. Чтобы получился продукт, мы добавили своё:

— пайплайн обработки потоков в реальном времени,
— backend с моделью данных (события и кропы),
— модули под конкретные сценарии — от учёта рабочего времени до контроля касок,
— личный кабинет и интеграции.

Что это дало:

🔵прототипы модулей делаем за недели, а не месяцы,
🔵дообучаем модели под российские номера и специфические объекты,
🔵на сервере с 2× RTX 4090 система держит около 30 потоков с задержкой <1 секунды,
🔵после дообучения точность распознавания номеров выросла с ~72% до 94%.

Вывод: open-source — это не «бесплатный софт», а общий язык индустрии. А ценность продукта появляется там, где к нему добавляют архитектуру, данные и бизнес-логику.

👉 А в ваших проектах open-source — это больше про экономию или про риски?

#продукт_zool