Обзор на научную статью, попробуем этот формат.

# The Benchmark Lottery, NeurIPS 2021

Минутка meta-science. Прогресс в ML делается во многом за счет бенчмарков. Это датасеты, на которых сообщество оценивает качество новых моделей. Самый известный это ImageNet. Ученые делают новые методы, проверяют их на одной и той же задаче, пытаются превзойти предыдущий лучший результат. Это работает, но авторы статьи утверждают, что текущий процесс не гаранитрует, что если новый метод показал себя лучше на бенчмарке, то он значительно лучше альтернатив. На результативность на бенчмарке влияет очень много параметров помимо качества модели, поэтому выбор новой SOTA напоминает лотерею.

На примере бенчмарка с 8 датасетами SuperGLUE, авторы показывают, что на разных датасетах схожие модели показывают себя как самые лучшие. Грубо говоря всегда можно найти такой датасет, на котором твоя модель будет самой лучшей. Авторы так же приводят примеры, когда при изменении метрик оценки качества, при тех же самых датасетах, ранкинг моделей целиком меняется. Помимо этого, если поправить ошибки разметки в известных бенчмарках, турнирная таблица моделей так же меняется. Эти примеры показывают, что победа модели на текущих бенчмарках не гарантирует, что она будет лучше на новых задачах.

Авторы приводят чрезвычайно интересную мысль: если ученые долгое время работают над одним бенчмарком, то они начинают подгонять новые модели под тестовые данные бенчмарка. Фишка в том, что делая новую модель ученый смотрит на результативность предыдущих подходов на тестовых данных. Таким образом он получает немного обратной связи от тестового сета и делает свою модель с учетом этой связи. Эффект незаметен на коротких промежутках времени, но накапливается если все работают над одним датасетом годами (привет ImageNet-у). Это можно наблюдать по появлению датасет-специфичных трюков, которые кочуют из статьи в статью после того, как они сработали, но не улучшают модель в целом. Я лично наблюдал такое в статьях по Deep Metric Learning: очередная SOTA состоит на 10% из модели 2007 года и на 90% из сотни хаков.

Самый хот тейк статьи: почему в ML не используют статистические тесты?

Кто-то обучил модель один раз и получил accuracy 95%. Ты обучил новую модель один раз и получил accuracy 96%. Откуда ты знаешь, что улучшение твоей модели статистически значимо и не является случайной ошибкой?

Авторы предлагают рассматривать оценки качества как случайные семплы и использовать статистические тесты.

Смейтесь над DS-ами: они делают статистические модели, но не используют статистику для их проверки. Лично я сейчас испытываю испанский стыд.

Что с этим делать?
Предложения авторов:
1. Договориться между собой и установить гайдлайны, как делать бенчмарки, как их использовать, как ревьюить статьи (а может не надо отклонять статьи по причине "не SOTA на одном датасете"?)
2. Не делать один трейн-тест сплит в банчмарках, а делать кросс-валидацию. Ну камон ребят, это же очевидно.
3. Делать бенчмарки со статистическими тестами значимости.
4. Тестировать на нескольких датасетах.
5. Вместо того, чтобы годами оверфититься под один датасет, можно использовать контесты, где задача остается одной и той же, но датасет меняется. В качестве примера приводится конференция WMT, где каждый год проводится соревнование по машинному переводу.

Серега дело говорит про отрицательные результаты. Помню наткнулся на статью на архиве, где авторы описывали: "мы потратили на проверку этой идеи 6 месяцев, но не нашли значимого результата. Публикуем это, чтобы кому-то не пришлось повторять". Страшно представить сколько людей занимаются одной и той же заведомо провальной работой

# Фермизация объема рынка монтажа видео

Недавно мне пришла в голову идея проекта. Он бы упростил и ускорил монтаж видео. Проект уменьшил бы время на отсмотр видео на "косяки".

Главный вопрос: стоит ли браться за идею? Для ответа понадобится несколько других вопросов, но в этом посте сфокусируемся на одном: сколько на этом можно заработать? Какой объем рынка? Мой первый интуитивный ответ такой: "хз, я откуда знаю?". Кажется, что любые догадки будут тыканьем пальцем в небо.

"Сколько в Чикаго настройщиков пианино?",- спрашивал своих студентов Ферми, к большому их неудовольствию. Интуитивно кажется, что ответить можно только посчитав настройщиков пианино, а другие способы будут просто попыткой выдать случайное число за ответ. Однако Ферми показал, что если раскладывать проблему на подвопросы, делать догадки и агреггировать их, можно получить удивительно близкий к реальности ответ, в пределах десятки.

Я ничего не знаю о видео, так что сейчас мы будем считать объем рынка по заветам Ферми.

## Разложим вопрос на подвопросы

Вопрос: сколько денег в монтаже видео? Иначе говоря, сколько бы можно было заработать если бы нам заплатил каждый клиент?

Чтобы ответить нам надо знать, сколько всего клиентов, и сколько каждый из них заплатит.

Пусть клиенты это монтажеры видео. Сколько они готовы заплатить? Они буду платить, если им это выгодно (вот это инсайты!). А выгодно тогда, когда цена за сэкономленный час меньше их почасовой ставки.

Итак, получаем подвопросы:
- Сколько в России монтажеров видео?
- Сколько стоит час работы монтажера?
- На сколько можно сократить часы работы монтажера с помощью автоматизации?

Формула для итогового ответа:

всего_монтажеров * денег_с_клиента_в_год =
всего_монтажеров * стоимость_услуги_за_экономию_часа * экономия_времени_монтажера =
всего_монтажеров * зп_монтажера_в_час * (часов_на_отсмотр - часов_на_отсмотр_с_автоматизацией)

Теперь применим тот же процесс для ответов на все подвопросы.

# Сколько в России монтажеров видео?

Нам придется придумать что-то поинтереснее, чем вбить вопрос в гугл, потому что готового ответа нет. Оценим количество через что-то сильно коррелирующее.

## Подсчет 1, через пользователей редакторов видео

Все монтажеры видео пользуются одной из нескольких программ для редактирования видео. Вот здесь делается оценка количества пользователей, что пользователей Adobe Premier Pro по миру 9 миллионов, а всего остального сотфа в пределах 100 тысяч. Отбросим всё, кроме Adobe Premier Pro: теперь задача свелась к подсчету, сколько людей пользуются Adobe Premier Pro в России.

Спасибо финансовой отчетности Adobe для инвесторов, у нас есть некоторые цифры за 2020 год. Там нет числа пользователей программ, и тем более по странам. Снова придется оценивать.

Итак, Adobe Premier продается в подписке Creative Cloud. На него так же можно подписаться отдельно, но доля покупок без подписки небольшая, так что опустим это. Для начала придется установить, сколько у Adobe подписчиков CC в России.
Находим такие цифры:
> доход от CC subscriptions: $7.5 bn
> 26% дохода пришло из EMEA

Супер, EMEA включает в себя Россию. Ладно, предположим, что доля подписчиков из России в EMEA пропорциональна доле экономики России в EMEA.

Откопаем GDP EMEA и России (тут и тут):
> EMEA total GDP: $27.5 trillion
> Russia GDP: $1.464 trillion
> Russian share of EMEA: 1.464/27.5 = 0.053 ~ 5.3%

Итак, Россия занимает примерно 5.3% в экономике EMEA.
Достанем ещё стоимость подписки на CC в Росии с официального сайта: $32.01 в месяц и $384 в год.

У нас есть все нужные компоненты, расчехляем арифметику:
> Доход Adobe от подписок из России: весь доход от CC * доля дохода от EMEA * доля Росси в EMEA = $7.5 bn * 26% * 5.3% = $103.35 mln
> Число подписчиков CC в России за год: доход от CC в России / стоимость подписки = $103.35 mln / $384 = 268,229

Получили примерно 268 тысяч подписчиков, однако не все из них используют Premier. В пакет CC входит 6 приложений:Photoshop, Premiere, Illustrator, Acrobat DC, InDesign, XD. Если мы предположим равномерное распределение пользователей по продуктам, то Premier пользуются 16.6% из них. Но в реальности мне кажется, что большинство людей пользуются только Photoshop, Illustrator, Acrobat DC. Предположим, что 80% пользователей пользуются этими тремя, оставшиеся 20% распределены равномерно между тремя другими продуктами. Тогда 20%/3 = 6.67% подписчиков CC пользуются Premier. Усредним эти две оценки: (16.6% + 6.67%) / 2 = 11.6%. Получаем ответ: пользователей Premier в России: 268,229 * 11.6% = 31,114.

Тридцать одна тысяча монтажеров видео. Звучит реалистично? Не знаю. Сделаем ещё один подсчет.

## Подсчет 2, через пользователей behance

Почти все люди профессионально занимающеся видео или дизайном пользуются behance.net. Согласно всё той же отчетности Adobe, у Behance всего 25 миллионов пользователей на 2020 год. Согласно этому сайту 4.68% трафика сайта приходится на Россию. Получаем оценку пользователей behance в России: 25m * 4.68% = 1,170,000. Ладно, но сколько из них монтируют видео? Я зашел на главную страницу, открыл просмотр пользователей из России и стал считать, у какой доли указано в тегах что-то связанное с видео. Получилось что-то около один человек с видео на 25 пользователей.

Делаем последнее умножение: 1,170,000 * 1/25 = 46,800. Получилось 46,800 монтажеров видео. Очень близко к ранее полученным 31,114! Вселяет уверенность в оценке. В конце конечно усредним и получаем ответ на подвопрос: 38,957 профессиональных монтажеров видео в России.

Можно так же предположить, сколько в России видео-студий. Я прикину, что в одной студии не нужно больше 10 монтажеров. С учетом маленьких студий и фрилансеров среднее число должно быть ещё меньше. Я предположу 3-10 монтажеров на студию, то есть в среднем 6. Получаем 6,493 студий в России.

# ЗП монтажера видео

Зайдем на хедхантер и найдем вакансии с монтированием видео. Есть разные названий для подходящих вакансий: режиссер монтажа, видеомонтажер, монтажер-оператор. И ещё запрос на вакансии содержащие "Adobe Premier". Получаем четыре запроса для поиска. Для всех запросов после первой страницы начинаются нерелевантные запросы. Так что будем использовать первые страницы каждого запроса.

Руками переписывать и усреднять 1000+ зарплат слишком муторно, напишем несложный Javascript код, который выберет на каждой странице все строки с зарплатами:

document.querySelectorAll(['[data-qa="vacancy-serp__vacancy-compensation"]']);

Надо вытащить из этих строк цифры. Эта функция вернет середину интервала или просто число если указана конкретная цифра.

function salaryFromString(txt) {
    const parts = txt.split("–");
    let val;
    if (parts.length == 2){
        const left = parts[0].replace(/\D/g,'');
        const right = parts[1].replace(/\D/g,'');
        val = (parseInt(left) + parseInt(right))/2;
    } else {
        const val_str = parts[0].replace(/\D/g,'');
        val = parseInt(val_str)
    }
    return val
}

Осталось только применить это ко всем зарплатам на странице и посчитать среднюю зарплату на странице:

function salaryFromDOM(elem) { return salaryFromString(elem.textContent) } 

const avg = (array) => array.reduce((a, b) => a + b) / array.length;


avg(Array.from(salaries).map(salaryFromDOM))

Далее руками запускаем этот код на каждой странице результатов поиска и выписываем результаты:

Видео-монтажер: 59882 руб
Режиссер монтажа: 62675 руб
Монтажер: 60079 руб
Adobe Premier: 65797 руб

Оценка средней зарплаты в монтаже видео: 62,108 руб. При 39 часах рабочей недели (скидываем час с учетом праздников в течение года), средняя почасовая ставка: 398.12 руб.

# Сколько часов тратит монтажер на отсмотр видео?

Сколько вообще монтажер тратит на монтаж? Анекдоты и кулстори указывают такие цифры по общей загрузке: 2-3 часа на одну минуту видео.

Примем за оценку, что производство одной минуты видео занимает два часа. С учетом того, что работать все 40 часов рабочей недели невозможно, за неделю можно сделать 10-20 минут видео. Тогда за год производится 15 * 4 * 12 = 720 минут или 12 часов видео. Отсмотреть все эти минуты нужно как минимум один раз, но можно предположить, что как минимум два раза. Получаем 1440 минут или 24 часа в год на отсмотр. Вероятнее всего цифра намного больше: за отсмотром следует переделывание и повторный отсмотр. Но я не знаю, как улучшить оценку, подскажите.

# На сколько мы можем уменьшить потребность в отсмотре видео?

Этот параметр мы не знаем и узнать не может. Но мы можем варьировать его, чтобы рассмотреть при какой эффективности идея становится рентабельной. Предположим, что можем сократить время на отсмотр на 20%. Таким образом мы экономим монтажеру 4.8 часов работы в год на чистом отсмотре. По средней ставке в видеомонтаже это 4.8 * 398.12 = 1911 руб. Если пользование сервисом будет стоить монтажеру меньше этой суммы, то оно будет ему экономически выгодно, так как он будет в плюсе.

# Сколько мы можем заработать?

Если нам заплатит каждый монтажер, то в год заработок составит: 38,957 * 1911 = 74,446,827 руб.

Что-то совсем немного получилось. Я бы не ожидал, что можно занять больше 5% рынка, а это меньше 4 миллионов в год. Даже если вдруг монтажеры будут готовы заплатить в три раза больше, принципиально ничего не изменится. Я делаю вывод: рынок очень маленький. Идею нужно переформулировать или целиться в другой рынок.

Приглашаю всех желающих разнести мой расчеты и указать мне, где я неправ.

Sci-hub опять положили ФБР-овцы, наука встала

Перевел хабро-туториал про прогнозирование ковида и выложил на медиум, клянчу лайки (ссылка без пейвола):
https://b-tseytlin.medium.com/how-to-actually-forecast-covid-19-778cce27b9d6?source=friends_link&sk=ee3b5c2fad9858806a002ad6702d921f

Из неприятных известий: на медиуме можно зарабатывать деньги на публикациях, однако для этого нужен аккаунт Stripe, который не работает в России.

Вот откуда я не ждал фидбека на статью по ковиду, так это от китайского школьника

ML это такая сфера, где страшно по строонам смотреть. Вот я заглянул за угол, а там кто-то успешно обучил нейросеть генерировать видео по описанию того, что на нем должно происходить.

Вэл дэмн

Народная смелка в киберпанке

https://github.com/IDQDD/qrmosru

Also this

https://github.com/beezeetee/TDPDNE