Хэллоу феллоу кидс, но все равно прикольно

Я уже месяца два собеседуюсь в Huawei (каждые дней 5 на меня выходит новый HR оттуда и предлагает собеседоваться, причем друг о друге они не знают, потом процесс внезапно обрывается и всё по кругу), и вот вайб от них исходит именно такой

Загрузил пару статей на arxiv и хочу сказать, что UX 10/10. Загрузка одной статьи заняла минут 20 в первый раз и 10 во второй с учетом всяких правок. Форма загрузки построена так, что выстрелить себе в ногу очень сложно, во всех местах где хочется вернуться назад есть возможность это сделать, всё работает интуитивно. Подкапотная магия ещё больше впечатляет: загружаешь zip с overleaf и всё готово. Боюсь даже представить, какие сражения с латехом понадобились, чтобы оно просто работало.

Пока неизвестно, как пройдет модерация, но я впечатлен, что у некомерческого проекта всё так хорошо построено.

# Сетап продуктивности для смартфона

Я очень люблю залипать. Интеллектуальная жвачка это мой криптонит, у меня нулевой резист от прокрастинации. Однажды утром я ехал в автобусе и читал книгу Worm, а потом приехал на работу (домой конечно, я уже удаленщик), и не смог остановиться. Так и читал до конца и рабочего дня, и книги, что-то около 500 страниц. При этом книги это враги самого низкого уровня, реально опасны компьютерные игры и фидленты в смартфоне. Смартфон самый опасный, потому что он всегда с собой. Можно залипать неделями на пролет и даже не замечать этого.

Поэтому:
- У меня нет пуш-уведомлений. За исключением банковких приложений, смс и вотсапа. Вотсапу можно, потому что в нём мне пишет только мама.
- У меня нет инстаграма на телефоне. В отпуске или на прикольных тусовках я ставлю его, выкладываю пару фоток, и снова удаляю. Других соцсетей тоже нет.
- У меня черно-белый экран. Это включается в настройках андроидов. Попробуйте, это как минимум прикольно. Субьективно делает всё менее залипательным. Никакой полезной информации при этом не теряется.
- Стоит перманентный блок на vk, reddit и парчоку других сайтов в браузере.

Потенциальным залипаловом остается Телеграм. Он слишком часто нужен, чтобы его убрать. Поэтому я ограничиваю хотя бы ночное и утреннее залипание. В 22:45 телеграм вместе с другими залипательными сайтами и аппками блокируется вплоть до 12:00 следующего дня.

Почему 12:00? Чтобы хотя бы два часа поработать сосредоточенно. Против этого есть любимый в последнее время лайфхак, как это обойти: ложишься в три и встаешь после двенадцати.

Для блокировки по расписанию я использую AppBlock. Конечно возникает искушение зайти в него и отключить все блоки. Поэтому AppBlock закрыт паролем с помощью другой аппки: AppLock. Пароль такой: 512640134655230013. Он сфоткан и хранится в галерее телефона. При вводе клавиатура рандомизируется, символы ввода скрыты и при любой ошибке надо начинать ввод заново. При переключении с экрана ввода пароля на другой экран ввод сбрасывается. Таким образом единственный способ ввести этот ебучий пароль это открыть галерею, запомнить эти цифры и с первого раза вбить их в AppLock. Это созадет достаточно неприятностей, чтобы когда телега вдруг заблокировалась в 22:45, мне было лень её разблокировать, и я скорее пошел спать. Текущий лайфхак обхода этой напасти это залипнуть в телегу с компьютера, где она не блокируется, но я найду лом против этого приема.

Arxiv one love, вот и статья про ковид:
https://arxiv.org/abs/2106.08048

Ученые совершенно не умеют делать презентации и выступать

Я упоролся и решил изобрести новый статистический метод, но кажется у меня не получилось.

Типичная ситуация: у нас есть две колонки X и Y. Мы хотим знать есть ли истиная зависимость между Y от X. Однако в нашем распоряжении только выборка пар (x, y), которая может не отражать истиной зависимости.

При этом зависимости может вообще не быть. А ещё может быть такое, что зависимости на самом деле нет, но нам попалась такая "удачный" выборка, что кажется, будто зависимость есть.

Чтобы принять какое-то решение, есть зависимость или нет, мы считаем корреляцию Пирсона между X и Y. Это число от -1 до 1, и чем оно ближе к 1 или -1, тем больше линейная зависимость. Корреляция около 1 примерно значит "всегда, когда X больше своего среднего на eps стандартных отклонений, соответствующий Y тоже больше своего среднего на eps стандартных отклонений". Однако для "удачной" выборки мы всё ещё можем получить большую корреляцию, просто потому что нам не повезло.

Поэтому мы так же считаем p-value: вероятность, с которой наблюдаемая корреляция могла возникнуть случайно. Мы наобум задаемся каким-то уровнем значимости alpha таким, что если p-value меньше этого уровня, мы принимаем, что наблюдаемая зависимость неслучайна. Часто используют alpha=0.05. Это примерно означает, что 5% раз мы будем принимать ложную зависимость за настоящую, и нам это ок.

Я подумал: пусть у нас есть датасет, мы посчитали на нём корреляцию и p-value, и прилетает новая точка (x, y).
Пересчитываем p-value и тогда:
* Если реальная зависимость есть, то новая точка скорее всего должна уменьшить p-value. Т.е. более вероятно, что новая точка будет указывать на имеющуюся зависимость.
* Если реальной зависимости нет, то скорее всего новая точка по крайней мере не уменьшит p-value.

Конечно нам может снова неповезти с конкретными точками, поэтому "скорее всего" тут означает "в среднем".
То есть для выборки с настоящей зависимостью добавление новых данных должно чаще подвтерждать эту зависимоть, а не размывать её.

На основе этого придумал такой метод:
1. Берем половину выборки, считаем на ней p-value для корреляции
2. Докидываем по 10 точек из второй половины, пересчитываем p-value
3. Получаем завивисомть p-value от количества данных в выборке
4. ???

Вот чё с этим делать я пока не придумал, но первая идея такая: если p-value в среднем уменьшается, то всё круто и делаем вывод о значимости. Чтобы понять уменьшается она или нет, возьмем производную в каждой точке, и посчитаем среднюю производную. Получается что-то типа среднего наклона зависимости p-value от количества данных

Раскочегарил jupyter notebook, нагеренил два датасета: чисто шум и слабая зависимость, взял мелкие семплы из обоих, проверил этот метод.

Реально кажется, будто p-value для настоящей зависимости (inf) падает с добавлением данных, а для шума растет. P-value на оси Y на графике