Forwarded from Just links
Twitter
Joseph Suarez
Announcing the Neural MMO Challenge, live...now! Create RL, scripted, or hybrid agents to complete high-level exploration, foraging, and combat tasks. We’ll drop them in a massively multiagent environment full of competing submissions. aicrowd.com/challenges/the…
Ребята, которые читают научные статьи: как вы это делаете?
Я вышел на обороты в пару статей в неделю, и начинаю ощущать тонну рутины.
Во-первых, найти какие статьи стоит читать это целое приключение. Текущие источники статей: услышал от кого-то про важную штуку или увидел в телеграм канале ноунейма со ссылками на статьи, рассылки papers with code digest, the batch. Я пытался найти что-то более осмысленное, какие-нибудь фидленты для ученых с возможностью подписаться на тему, журнал или конфу, но не нашел ничего годного. Есть paperdigest.org, я подписался на статьи по CS и ML, и он присылает мне 100+ статей в день. Причем без какой-то инфы позволяющей их фильтровать, просто плейнтекст поток названий.
Во-вторых, где хранить список для чтения статей? Сейчас я скидываю ссылки в свой запиненый канал в телеге для сохранения ссылок. Но я туда же скидываю все интересности. И чаще всего то, что туда попадает, потом никогда не открывается, а просто заваливается новыми интересностями.
Интересно было бы послушать и людей не из компьютерных наук, как у них всё устроено.
Из позитивного могу сказать одно: больше читать статей нереально помогает покупка планшета за ~20к (конкретно у меня Samsung). До покупки я и не знал, насколько я ненавижу читать pdf с ноутбука. Раньше я думал: "хотел бы читать статьи, читал бы и без планшета" и не покупал себе ничего, но теперь понял, что подходящий инструмент сильно влияет.
Я вышел на обороты в пару статей в неделю, и начинаю ощущать тонну рутины.
Во-первых, найти какие статьи стоит читать это целое приключение. Текущие источники статей: услышал от кого-то про важную штуку или увидел в телеграм канале ноунейма со ссылками на статьи, рассылки papers with code digest, the batch. Я пытался найти что-то более осмысленное, какие-нибудь фидленты для ученых с возможностью подписаться на тему, журнал или конфу, но не нашел ничего годного. Есть paperdigest.org, я подписался на статьи по CS и ML, и он присылает мне 100+ статей в день. Причем без какой-то инфы позволяющей их фильтровать, просто плейнтекст поток названий.
Во-вторых, где хранить список для чтения статей? Сейчас я скидываю ссылки в свой запиненый канал в телеге для сохранения ссылок. Но я туда же скидываю все интересности. И чаще всего то, что туда попадает, потом никогда не открывается, а просто заваливается новыми интересностями.
Интересно было бы послушать и людей не из компьютерных наук, как у них всё устроено.
Из позитивного могу сказать одно: больше читать статей нереально помогает покупка планшета за ~20к (конкретно у меня Samsung). До покупки я и не знал, насколько я ненавижу читать pdf с ноутбука. Раньше я думал: "хотел бы читать статьи, читал бы и без планшета" и не покупал себе ничего, но теперь понял, что подходящий инструмент сильно влияет.
Forwarded from Data Science by ODS.ai 🦜
FEDOT - AutoML framework for composite pipelines
FEDOT is an open-source framework for automated modeling and machine learning (AutoML). It can build custom modeling pipelines for different real-world processes in an automated way using an evolutionary approach. FEDOT supports classification (binary and multiclass), regression, clustering, and time series prediction tasks, as well as different data types and multi-modal cases. Also, sensitivity analysis of the pipelines, custom pipelines design as the initial assumption of optimization, domain-specific objective functions, and other interesting features are implemented.
Github: https://github.com/nccr-itmo/FEDOT
Preprint: https://arxiv.org/abs/2106.15397
Intro: https://www.youtube.com/watch?v=RjbuV6i6de4
FEDOT is an open-source framework for automated modeling and machine learning (AutoML). It can build custom modeling pipelines for different real-world processes in an automated way using an evolutionary approach. FEDOT supports classification (binary and multiclass), regression, clustering, and time series prediction tasks, as well as different data types and multi-modal cases. Also, sensitivity analysis of the pipelines, custom pipelines design as the initial assumption of optimization, domain-specific objective functions, and other interesting features are implemented.
Github: https://github.com/nccr-itmo/FEDOT
Preprint: https://arxiv.org/abs/2106.15397
Intro: https://www.youtube.com/watch?v=RjbuV6i6de4
GitHub
GitHub - aimclub/FEDOT: Automated modeling and machine learning framework FEDOT
Automated modeling and machine learning framework FEDOT - aimclub/FEDOT
Сделал канал, куда буду постить саммари крутых штук в ML через одну картинку плюс короткое описание. Посмотрим как пойдет, подписывайтесь: https://t.me/one_figure
Telegram
One Figure
I summarize ML and general scientific papers with one figure
Борис опять pinned «Сделал канал, куда буду постить саммари крутых штук в ML через одну картинку плюс короткое описание. Посмотрим как пойдет, подписывайтесь: https://t.me/one_figure»
# Quantified mental health
С давних пор у меня такая проблема: периодически жизнь становится сплошным страданием. Выбор из двух футболок кажется слишком тяжелым. Всё в тягость, страшно и неправильно. При этом смотрю вокруг рационально, а там всё просто заебись: молодость, красавица девушка, клевые друзья, крутая работа, яркие впечатления и прочее прочее. Не без проблем, но явно ничего такого, чтобы не хотелось вставать по утрам. И чем всё объективно лучше, тем больше дереализация. Всё хорошо, а мне всё равно плохо, что же со мной не так? Или может быть всё хорошо, а мне нужно что-то другое, поэтому мне плохо? Может это моё подсознание хочет бросить прогаммирование с наукой, стать коневодом?
Потом всё вдруг проходит. Очень плавно, незаметно. Через несколько дней я радуюсь жизни, вспоминаю как было плохо и удивляюсь. Чего это я? И девушка красавица, и друзья, и всё такое, классно же. Какое коневодство? Видимо день был такой, бури на Солнце или ретроградный Меркурий. Но так же плавно всё снова становится плохо.
Я думал про беды с кукухой и сходил с этим к психиатру. В итоге психиатр мне не помог. Помог психолог, но с другой проблемой. Я так же пробовал замерять своё настроение разными трекерами, и всё оказывалось нормальным: бывают хорошие дни, бывают плохие, обычно нормальные, никакой периодичности. И ещё я пробовал ноотропы. По итогу всех поисков я не получил внятного ответа "да, у тебя болезнь Х" и заключил, что видимо мои проблемы это просто нехватка сна, спорта, недовольство работой или другие бытовые вещи, которые я оверсинкаю.
Но не так давно моя девушка указала мне, что в моих перепадах есть периодичность примерно в две недели. Я решил проверить. Но в этот раз без трекеров настроения. Трекер он как знакомый: для него твои дела всегда "нормально". Тебе надо указать как прошел день от 1 до 5 и начинается: "Нууу, блин, утром было не очень, но уже не особо помню, а сейчас вот с другом поболтал, и вроде бы нормально, пусть будет 4." В моменте как-то не хочется жить, а в трекере все дни "нормально".
В этот раз я отказался от трекеров настроения. Сделал себе гугл форму, чтобы её можно было протыкать за 10 секунд. Выписал шесть вещей, которые обычно происходят когда "плохо" и сделал из них шесть вопросов вида: "Было хоть раз за день? Да/нет". Три я развернул, чтобы они были позитивные: вместо "Я не участвовал, что моя жизнь под контролем" стало "Я чувствовал, что моя жизнь под контролем". Пусть каждый негативный вопрос дает -1 балл, а позитивный +1 балл. Получается индекс счастья от -3, максимально плохо, до +3, максимально хорошо. Я стал заполнять эту форму каждый вечер.
С давних пор у меня такая проблема: периодически жизнь становится сплошным страданием. Выбор из двух футболок кажется слишком тяжелым. Всё в тягость, страшно и неправильно. При этом смотрю вокруг рационально, а там всё просто заебись: молодость, красавица девушка, клевые друзья, крутая работа, яркие впечатления и прочее прочее. Не без проблем, но явно ничего такого, чтобы не хотелось вставать по утрам. И чем всё объективно лучше, тем больше дереализация. Всё хорошо, а мне всё равно плохо, что же со мной не так? Или может быть всё хорошо, а мне нужно что-то другое, поэтому мне плохо? Может это моё подсознание хочет бросить прогаммирование с наукой, стать коневодом?
Потом всё вдруг проходит. Очень плавно, незаметно. Через несколько дней я радуюсь жизни, вспоминаю как было плохо и удивляюсь. Чего это я? И девушка красавица, и друзья, и всё такое, классно же. Какое коневодство? Видимо день был такой, бури на Солнце или ретроградный Меркурий. Но так же плавно всё снова становится плохо.
Я думал про беды с кукухой и сходил с этим к психиатру. В итоге психиатр мне не помог. Помог психолог, но с другой проблемой. Я так же пробовал замерять своё настроение разными трекерами, и всё оказывалось нормальным: бывают хорошие дни, бывают плохие, обычно нормальные, никакой периодичности. И ещё я пробовал ноотропы. По итогу всех поисков я не получил внятного ответа "да, у тебя болезнь Х" и заключил, что видимо мои проблемы это просто нехватка сна, спорта, недовольство работой или другие бытовые вещи, которые я оверсинкаю.
Но не так давно моя девушка указала мне, что в моих перепадах есть периодичность примерно в две недели. Я решил проверить. Но в этот раз без трекеров настроения. Трекер он как знакомый: для него твои дела всегда "нормально". Тебе надо указать как прошел день от 1 до 5 и начинается: "Нууу, блин, утром было не очень, но уже не особо помню, а сейчас вот с другом поболтал, и вроде бы нормально, пусть будет 4." В моменте как-то не хочется жить, а в трекере все дни "нормально".
В этот раз я отказался от трекеров настроения. Сделал себе гугл форму, чтобы её можно было протыкать за 10 секунд. Выписал шесть вещей, которые обычно происходят когда "плохо" и сделал из них шесть вопросов вида: "Было хоть раз за день? Да/нет". Три я развернул, чтобы они были позитивные: вместо "Я не участвовал, что моя жизнь под контролем" стало "Я чувствовал, что моя жизнь под контролем". Пусть каждый негативный вопрос дает -1 балл, а позитивный +1 балл. Получается индекс счастья от -3, максимально плохо, до +3, максимально хорошо. Я стал заполнять эту форму каждый вечер.
👍3
По итогам замеров оказалось, что я раз в четыре дня думаю про суицид. Не планировал конечно, но думал об этом в контексте облегчения: "Всё так заебало, сдохнуть хочется". Причем думать так в моей ситуации было максимально нелепо. Типа как думать о суициде потому что кофе сделали не на миндальном молоке, а на гречневом. Стало очевидно: такой диссонанс между реальностью и восприятием не может быть обычным. Я записался к психиатру в тот же день.
И, знаете, целевая метрика стабильно идет на спад. Жизнь заебись. Вставать по утрам хочется. Снова работаю над тремя вещами в день и не устаю, хочется ещё. Видеоигры перестали казаться интереснее жизни.
Прошло не очень много времени. Возможно никакие лекарства не помогают, а всё это необычнайно долгий хороший период, и потом меня ждет новый спад. Даже если так, то теперь я смогу его заметить, и у нас будет следующий раунд. Рано или поздно проблема будет решена, потому что теперь я её вижу. А пока мне очень хорошо, жизнь прекрасна.
Прошло не очень много времени. Возможно никакие лекарства не помогают, а всё это необычнайно долгий хороший период, и потом меня ждет новый спад. Даже если так, то теперь я смогу его заметить, и у нас будет следующий раунд. Рано или поздно проблема будет решена, потому что теперь я её вижу. А пока мне очень хорошо, жизнь прекрасна.
Forwarded from Just links
Solving Machine Learning Problems https://arxiv.org/abs/2107.01238
ML is better in ML than MIT students 🙃
ML is better in ML than MIT students 🙃
Forwarded from Figure 1
Models pre-trained on ImageNet perform poorly when recognizing objects in unusual contexts. This issue goes away if we train large models on larger datasets, as authors of Big Transfer (BiT) paper demonstrate.
In general, BiT is about tricks to pre-train and fine-tune models to maximize performance on downstream tasks.
Key pre-training tricks:
* Use GroupNorm + WeightStandartization instead of BatchNorm
* Only simple augmentations: random resized crop, horizontal flip
* Use large datasets, models and batches
Finetuning tricks (you can use this in your kaggle contest!)
* No weight decay
* Only simple augmentations again
* Only search three hyperparameters: imaage resolution, lr schedule, usage of MixUp augmentation
* Larger test image resolution than train resolution
Authors demonstrate that this simple approach to pre-training/finetuning makes models adapt better to new tasks, including few-shot.
Big Transfer (BiT): General Visual Representation Learning, Kolesnikov et al., ECCV 2020
In general, BiT is about tricks to pre-train and fine-tune models to maximize performance on downstream tasks.
Key pre-training tricks:
* Use GroupNorm + WeightStandartization instead of BatchNorm
* Only simple augmentations: random resized crop, horizontal flip
* Use large datasets, models and batches
Finetuning tricks (you can use this in your kaggle contest!)
* No weight decay
* Only simple augmentations again
* Only search three hyperparameters: imaage resolution, lr schedule, usage of MixUp augmentation
* Larger test image resolution than train resolution
Authors demonstrate that this simple approach to pre-training/finetuning makes models adapt better to new tasks, including few-shot.
Big Transfer (BiT): General Visual Representation Learning, Kolesnikov et al., ECCV 2020
Forwarded from CGIT_Vines (CGIT_Vines)
Каждое заседание фламандского правительства в Бельгии транслируется в прямом эфире на канале YouTube . Когда начинается прямая трансляция, программа ищет телефоны и пытается идентифицировать отвлеченного политика. Делается это с помощью искусственного интеллекта и распознавания лиц.
Затем видео с отвлеченным политиком публикуется в Twitter и Instagram с пометкой политика.
Причем это не какая-то инициатива правительства, просто неравнодушный чувак написал на питоне тулзу. Люблю такое!
А вот и сам канал
https://driesdepoorter.be/theflemishscrollers/
Затем видео с отвлеченным политиком публикуется в Twitter и Instagram с пометкой политика.
Причем это не какая-то инициатива правительства, просто неравнодушный чувак написал на питоне тулзу. Люблю такое!
А вот и сам канал
https://driesdepoorter.be/theflemishscrollers/
👍2
Сработали ли локдауны? Отличный мастрид от Скотта.
Спойлер: как всегда в нашем стохастическом мире не будет ответов типа да/нет, но скорее да, чем нет.
https://astralcodexten.substack.com/p/lockdown-effectiveness-much-more
Спойлер: как всегда в нашем стохастическом мире не будет ответов типа да/нет, но скорее да, чем нет.
https://astralcodexten.substack.com/p/lockdown-effectiveness-much-more
Astral Codex Ten
Lockdown Effectiveness: Much More Than You Wanted To Know
...
Благодаря этому посту я узнал про тулзу для оценок по Ферми Guesstimate. Очень удобно, красиво и серьезно. Можно даже выбрасывать эксель.
Вот, например, оценка дохода цветочного магазина:
https://www.getguesstimate.com/models/3206
Вот, например, оценка дохода цветочного магазина:
https://www.getguesstimate.com/models/3206
Telegram
Борис опять
# Фермизация объема рынка монтажа видео
Недавно мне пришла в голову идея проекта. Он бы упростил и ускорил монтаж видео. Проект уменьшил бы время на отсмотр видео на "косяки".
Главный вопрос: стоит ли браться за идею? Для ответа понадобится несколько других…
Недавно мне пришла в голову идея проекта. Он бы упростил и ускорил монтаж видео. Проект уменьшил бы время на отсмотр видео на "косяки".
Главный вопрос: стоит ли браться за идею? Для ответа понадобится несколько других…
Давно было интересно, как правильно оценить зависимость между категориальной и численной переменной, а так же можно ли для этого использовать корреляцию. Нашел очень хороший ответ:
https://stats.stackexchange.com/a/124618
https://stats.stackexchange.com/a/124618
Cross Validated
Correlation between a nominal (IV) and a continuous (DV) variable
I have a nominal variable (different topics of conversation, coded as topic0=0 etc) and a number of scale variables (DV) such as the length of a conversation.
How can I derive correlations betwee...
How can I derive correlations betwee...