Me irl

Ничего не знаю про химию, но...

# Impro: Improvisation and the Theatre

V. Адекватность это иллюзия.

Дедули бормочат себе под нос древние проклятия, сталкиваются с прохожими, беседуют с галлюцинациями. И это вообще никого не смущает. Но стоит мне лишь один раз рассказать анекдот воображаемому оппосуму-телепату, как люди перестают со мной общаться. Почему мы считаем одно и то же поведение то нормальным, то опасно-психованным?

Johnstone приводит забавный пример, что актеры на занятиях по импорвизации могут придумывать истории про жертвоприношение инвалидов в Стоунхедже и считают это просто фантазией. В то же время люди на приеме у психиатра принимают даже обычные проявления воображения за признак болезни.

Всё дело в том, что адекватность (в смысле sanity) это не характеристика кукухи, то есть ментальных процессов. Это на самом деле набор реакций. Мы строго фильтруем внутренние позывы и выпускаем лишь небольшую часть из них наружу. Мы притворяемся. Все, тобы убедить окружающих, что мы предсказуемы и не опасны. Адекватность, вменяемость, стабильность - всё это просто перфоманс.

БОльшая часть людей считает, что они более странные, чем окружающие. Мы хорошо понимаем, сколько сил у нас уходит на поддержание иллюзии нормальности. Но мы не представляем, что у остальных уходит столько же.

Задумайтесь: вы живете в окружении постоянно галлюцинирующих параноидальных психов. Эти психи тщательно притворяются, что они нормальные люди. Каждый уверен, что он единственный псих среди нормальных людей, и что окружающие линчуют его, если обнаружат его истиную суть, поэтому вынужден притворяться.

Спасибо искусственный интеллект
https://www.youtube.com/watch?v=tp2IuT-cgHc

Какой ты сегодня неирон?

https://distill.pub/2021/multimodal-neurons/

Сейчас на занятии, на курсах которые я веду, мне задала вопрос девушка из Новосибирска. Говорит, что у неё пол второго ночи и это мешает соображать.

Сказала и всё, на мои плечи рухнуло сто пятьдесят киллограмм ответственности. Кто-то встает в час ночи, чтобы послушать мои занятия! Видимо возлагает на эти курсы надежды. И как мне в следующий раз изучать тему занятия за час до самого занятия? Как мне теперь прокрастинировать?

Unfun fact. Оказывается Batch-norm layer, необходимый слой в большинстве используемых претренированных неиронных сетей, запатентован:
https://patents.google.com/patent/US20160217368A1/en

Технически почти все, кто применяет неиросети, нарушают закон. Или нет. Откуда мне знать, я не лоер. Я думаю даже лоеры тут ничего не понимают. Я точно ничего не понимаю.

Общался с учеными-эпидемиологами только что. Один из них: "Говорят, что у нас будет свой штамм коронавируса. Идеологически неправильно, если у нас будет британский штамм"

Недавно закончился Kaggle контест Cassava Leaf Disease Classification, в котором я участвовал. Задача соревнования была в том, чтобы натренировать модель определять по фотографиям болеют растения или нет. Я сделал себе пометку посмотреть решение тех, кто занял первое место, когда его опубликуют. И не пожалел!

Смотрим на решение 14 места:
https://www.kaggle.com/c/cassava-leaf-disease-classification/discussion/220751

Видим: огромный ансамбль. Семнадцать EfficientNet, 14 ResNext, 2 ViT. Хитрости с лейблами: часть моделей предсказывает не тип болезни, а бинарной здоровый/нездоровй, а одна модель вообще предсказывает ImageNet классы. Потом ещё всё это стакается, сверху Lightgbm. Страшно представить, сколько всего эти ребята перепробовали по части параметрво моделей, аугментаций, исправления шума в данных.

For the record, мой пайплайн решения был менее огромным, более креативным, но всё равно довольно сложным.

Все места от третьего и ниже, вплоть до того дна, где очутился я, выглядят как-то так. Много моделей, много всего попробовано. Кому-то хватило интуиции найти нужную комбинацию всех переменных и залететь в призовые места, кому-то нет.

Но всё это не имело никакого значения!

Смотрим второе место:
https://www.kaggle.com/c/cassava-leaf-disease-classification/discussion/220898

Парень залетел в соревнование в последний момент, сделал 3 сабмита (у всех остальных на лидерборде 100 и больше), взял второе место. Он гений? Нет, просто он нашел CropNet: модель, которая была претрейнута на листьях cassava для какой-то научной статьи, и использовал её. Никаких безумных ансамблей. Пришел, сабмитнул, победил.

Смотрим первое место:
https://www.kaggle.com/c/cassava-leaf-disease-classification/discussion/221957

Мы видим небольшой ансамбль. Ничего такого, что бы сделало его намного лучше 14 места или большинства других. Но есть ещё кое-что: CropNet. И всё, ребята побеждают с огромным отрывом от всех.

Вывод? Всё кроме CropNet не имело значения. Люди задаются вопросами, как же мелкий CropNet может давать такой прирост, чтобы гарантировать победу? Возможно он просто видел тестовые данные? Скорее всего.

Вот из-за таких приколов Kaggle бывает жутко фрустрирующим. Ты меряешься размером ансамбля с толпой ребят у которых больше GPU, чем у тебя, а потом кто-то достает свой CropNet. И всё, оказывается зря тысяча команд по всему миру нагревала атмосферу. Не всегда так бывает конечно - я участвовал в соревновании, где победило самое умное решение, а не мега-ансамбль или утечка в данных.

Дисклеймер: я не в призах не потому, что кто-то нашел CropNet, а потому, что забил на контест за месяц до конца. Даже удачно получилось: было бы обидно ещё месяц поработать и узнать, что шанса выиграть изначально не было

Реально круто выглядит

Вышел пост на VC про Spaced Repetition. Но вы получили этот контент эксклюзивно и заранее. Однако если вдруг не прочитали, то очень советую познакомиться с этим инструментом!
https://vc.ru/otus/219674-spaced-repetition

Pathetic конечно, что у VC.ru ОТУС охват меньше, чем у этого канала

Пушечные новости для датасаентистких чуваков