Я очень долго пялился на эти красные полоски. Здесь явно что-то можно раскопать про интерпретируемость неиронок и про их избыточность. Но я так и не придумал что.
Однако схожесть представления для куска видео и для полного видео выглядит очень круто. Дело в том, что есть открытая проблема Content-Based Video Retrieval: узнаем из какого полного видео взят короткий кусок видео. Именно из-за нерешенности этой проблемы мы не можем вбить в гугл порно-гиф и узнать, из какого она видео. Или например поэтому у нас нет шазама для фильмов. В целом применения ограниченные, а задача сложная, поэтому этой задачей мало кто занимается. Но меня она не отпускает с 1 курса магистратуры.
Итак: мы получили скукоженное до небольшой картинки представление видео, позволяющее понять, из какого полного видео тот или иной кусок видео. Причем так как это фичи из неиронок, опирающиеся на смысловое наполнение кадра, изображения не будут особо меняться даже если видео исказить, наполнить шумом, зашакалить компроссией, итд. То есть мы получили даже устойчивое представление видео.
Я стал думать как сделать из этого систему для CBVR. Типичное решение: вытаскиваем ключевые кадры, кладем в базу данных. Из короткого видео на входе таким же образом вытаскиваем ключевые кадры, ищем их в базе данных. Если находим много похожих кадров, причем они идут друг за другом так же как в коротком видео, то у нас метч и поиск успешен.
Однако схожесть представления для куска видео и для полного видео выглядит очень круто. Дело в том, что есть открытая проблема Content-Based Video Retrieval: узнаем из какого полного видео взят короткий кусок видео. Именно из-за нерешенности этой проблемы мы не можем вбить в гугл порно-гиф и узнать, из какого она видео. Или например поэтому у нас нет шазама для фильмов. В целом применения ограниченные, а задача сложная, поэтому этой задачей мало кто занимается. Но меня она не отпускает с 1 курса магистратуры.
Итак: мы получили скукоженное до небольшой картинки представление видео, позволяющее понять, из какого полного видео тот или иной кусок видео. Причем так как это фичи из неиронок, опирающиеся на смысловое наполнение кадра, изображения не будут особо меняться даже если видео исказить, наполнить шумом, зашакалить компроссией, итд. То есть мы получили даже устойчивое представление видео.
Я стал думать как сделать из этого систему для CBVR. Типичное решение: вытаскиваем ключевые кадры, кладем в базу данных. Из короткого видео на входе таким же образом вытаскиваем ключевые кадры, ищем их в базе данных. Если находим много похожих кадров, причем они идут друг за другом так же как в коротком видео, то у нас метч и поиск успешен.
Выглядит неплохо, вроде бы пики в одном и том же месте на обоих версиях, но при проверке на качество retrieval всё это показало себя не очень. Много false positive метчей. И в целом работало хуже, чем если просто взять каждый 20 фрейм и положить в базу данных. И так бы уже давное кто-то сделал и запустил шазам для видео, но ненапасешься SSD хранить терабайты фичей фреймов. Надо как-то поумнее.
И тогда меня осенило. Я по сути руками пытаюсь подобрать функцию, позволяющую сжать видео до ключевых фреймов. А что мы делаем, когда надо подобрать какую-то функцию, но хз как она должна выглядеть? Заставляем нейронки её выучить!
Другой путь размышления. Нам нужно сделать поиск по видео. Мы превратили видео в картинки. Теперь задача сводится к поиску по картинкам. А как мы делаем поиск по картинкам? Обрабатываем картинки нейронкой и кладем фичи вытащенные этой нейронкой из картинок в базу данных.
Вывод: а давайте полученные изображения снова обрабатывать нейронкой.
Получаем такой алгоритм: видео + нейросеть -> картинка для видео + нейросеть -> фичи картинки.
Далее учим нейросеть вытаскивать из картинок-из-видео такие фичи, чтобы фичи куска видео были похожи на фичи полного видео, и непохожи на фичи какого-то левого видео.
Другой путь размышления. Нам нужно сделать поиск по видео. Мы превратили видео в картинки. Теперь задача сводится к поиску по картинкам. А как мы делаем поиск по картинкам? Обрабатываем картинки нейронкой и кладем фичи вытащенные этой нейронкой из картинок в базу данных.
Вывод: а давайте полученные изображения снова обрабатывать нейронкой.
Получаем такой алгоритм: видео + нейросеть -> картинка для видео + нейросеть -> фичи картинки.
Далее учим нейросеть вытаскивать из картинок-из-видео такие фичи, чтобы фичи куска видео были похожи на фичи полного видео, и непохожи на фичи какого-то левого видео.
Получаем такую архитектуру: извлекаем фичи из картинок извлеченных фичей из картинок.
Идея звучит абсолютно безумно (давайте нейронкой обрабатывать выплюнутые нейронкой изображения?), но на самом деле если я глазами могу определить, что картинка похожа на часть другой картинки, то для нейросети это будет раз плюнуть.
Если это покажет хорошее качество, то создание поисковика по видео станет не сложнее поисковика по изображениям (который уже никого не удивляет). Значит будет опубликованная статья, и возможно я найду этому бизнес-применение.
Минусов идеи очень много:
1. Долго. Работа с видео это боль, а серверов у меня нет.
2. Непопулярная сфера. Конкретно retrieval мало кто занимается, значит мало будут цитировать.
3. Возможно это велосипед, и очень возможно, что не сработает. Есть гораздо более сложные методы для обработки видео, всякие 3D конволюции, optical flow и др, созданные, чтобы учитывать темпоральные связи в видео. Наверняка не от скуки их придумали.
4. Мой научник и все знакомые не занимаются этой темой, делать придется одному.
Однако в любом случае идея меня зацепила и я её как минимум проверю. Я не могу блин делать работу за которую мне платят, потому что хочу пробовать все идеи связанные с этой штукой, помогите.
Если это покажет хорошее качество, то создание поисковика по видео станет не сложнее поисковика по изображениям (который уже никого не удивляет). Значит будет опубликованная статья, и возможно я найду этому бизнес-применение.
Минусов идеи очень много:
1. Долго. Работа с видео это боль, а серверов у меня нет.
2. Непопулярная сфера. Конкретно retrieval мало кто занимается, значит мало будут цитировать.
3. Возможно это велосипед, и очень возможно, что не сработает. Есть гораздо более сложные методы для обработки видео, всякие 3D конволюции, optical flow и др, созданные, чтобы учитывать темпоральные связи в видео. Наверняка не от скуки их придумали.
4. Мой научник и все знакомые не занимаются этой темой, делать придется одному.
Однако в любом случае идея меня зацепила и я её как минимум проверю. Я не могу блин делать работу за которую мне платят, потому что хочу пробовать все идеи связанные с этой штукой, помогите.
Насчет более сложных подходов есть такая забавная статья:
An Image Classifier Can Suffice Video Understanding https://arxiv.org/abs/2106.14104
Вся суть: вместо 3D конволюций и всех сложных штук для обработки видео, давайте фреймы видео просто в клеточку поставим и пройдемся по этой картинке нейросеткой. Прямо как в моей идее, только я предлагаю обрабатывать не картинки, а уже отфильтрованные представления картинок.
Так что есть ещё место для простых решений
An Image Classifier Can Suffice Video Understanding https://arxiv.org/abs/2106.14104
Вся суть: вместо 3D конволюций и всех сложных штук для обработки видео, давайте фреймы видео просто в клеточку поставим и пройдемся по этой картинке нейросеткой. Прямо как в моей идее, только я предлагаю обрабатывать не картинки, а уже отфильтрованные представления картинок.
Так что есть ещё место для простых решений
Forwarded from Just links
https://tilde.town/~fessus/reward_is_unnecessary.pdf
How to write supplementary material
How to write supplementary material
Forwarded from Just links
Twitter
Joseph Suarez
Announcing the Neural MMO Challenge, live...now! Create RL, scripted, or hybrid agents to complete high-level exploration, foraging, and combat tasks. We’ll drop them in a massively multiagent environment full of competing submissions. aicrowd.com/challenges/the…
Ребята, которые читают научные статьи: как вы это делаете?
Я вышел на обороты в пару статей в неделю, и начинаю ощущать тонну рутины.
Во-первых, найти какие статьи стоит читать это целое приключение. Текущие источники статей: услышал от кого-то про важную штуку или увидел в телеграм канале ноунейма со ссылками на статьи, рассылки papers with code digest, the batch. Я пытался найти что-то более осмысленное, какие-нибудь фидленты для ученых с возможностью подписаться на тему, журнал или конфу, но не нашел ничего годного. Есть paperdigest.org, я подписался на статьи по CS и ML, и он присылает мне 100+ статей в день. Причем без какой-то инфы позволяющей их фильтровать, просто плейнтекст поток названий.
Во-вторых, где хранить список для чтения статей? Сейчас я скидываю ссылки в свой запиненый канал в телеге для сохранения ссылок. Но я туда же скидываю все интересности. И чаще всего то, что туда попадает, потом никогда не открывается, а просто заваливается новыми интересностями.
Интересно было бы послушать и людей не из компьютерных наук, как у них всё устроено.
Из позитивного могу сказать одно: больше читать статей нереально помогает покупка планшета за ~20к (конкретно у меня Samsung). До покупки я и не знал, насколько я ненавижу читать pdf с ноутбука. Раньше я думал: "хотел бы читать статьи, читал бы и без планшета" и не покупал себе ничего, но теперь понял, что подходящий инструмент сильно влияет.
Я вышел на обороты в пару статей в неделю, и начинаю ощущать тонну рутины.
Во-первых, найти какие статьи стоит читать это целое приключение. Текущие источники статей: услышал от кого-то про важную штуку или увидел в телеграм канале ноунейма со ссылками на статьи, рассылки papers with code digest, the batch. Я пытался найти что-то более осмысленное, какие-нибудь фидленты для ученых с возможностью подписаться на тему, журнал или конфу, но не нашел ничего годного. Есть paperdigest.org, я подписался на статьи по CS и ML, и он присылает мне 100+ статей в день. Причем без какой-то инфы позволяющей их фильтровать, просто плейнтекст поток названий.
Во-вторых, где хранить список для чтения статей? Сейчас я скидываю ссылки в свой запиненый канал в телеге для сохранения ссылок. Но я туда же скидываю все интересности. И чаще всего то, что туда попадает, потом никогда не открывается, а просто заваливается новыми интересностями.
Интересно было бы послушать и людей не из компьютерных наук, как у них всё устроено.
Из позитивного могу сказать одно: больше читать статей нереально помогает покупка планшета за ~20к (конкретно у меня Samsung). До покупки я и не знал, насколько я ненавижу читать pdf с ноутбука. Раньше я думал: "хотел бы читать статьи, читал бы и без планшета" и не покупал себе ничего, но теперь понял, что подходящий инструмент сильно влияет.
Forwarded from Data Science by ODS.ai 🦜
FEDOT - AutoML framework for composite pipelines
FEDOT is an open-source framework for automated modeling and machine learning (AutoML). It can build custom modeling pipelines for different real-world processes in an automated way using an evolutionary approach. FEDOT supports classification (binary and multiclass), regression, clustering, and time series prediction tasks, as well as different data types and multi-modal cases. Also, sensitivity analysis of the pipelines, custom pipelines design as the initial assumption of optimization, domain-specific objective functions, and other interesting features are implemented.
Github: https://github.com/nccr-itmo/FEDOT
Preprint: https://arxiv.org/abs/2106.15397
Intro: https://www.youtube.com/watch?v=RjbuV6i6de4
FEDOT is an open-source framework for automated modeling and machine learning (AutoML). It can build custom modeling pipelines for different real-world processes in an automated way using an evolutionary approach. FEDOT supports classification (binary and multiclass), regression, clustering, and time series prediction tasks, as well as different data types and multi-modal cases. Also, sensitivity analysis of the pipelines, custom pipelines design as the initial assumption of optimization, domain-specific objective functions, and other interesting features are implemented.
Github: https://github.com/nccr-itmo/FEDOT
Preprint: https://arxiv.org/abs/2106.15397
Intro: https://www.youtube.com/watch?v=RjbuV6i6de4
GitHub
GitHub - aimclub/FEDOT: Automated modeling and machine learning framework FEDOT
Automated modeling and machine learning framework FEDOT - aimclub/FEDOT
Сделал канал, куда буду постить саммари крутых штук в ML через одну картинку плюс короткое описание. Посмотрим как пойдет, подписывайтесь: https://t.me/one_figure
Telegram
One Figure
I summarize ML and general scientific papers with one figure
Борис опять pinned «Сделал канал, куда буду постить саммари крутых штук в ML через одну картинку плюс короткое описание. Посмотрим как пойдет, подписывайтесь: https://t.me/one_figure»
# Quantified mental health
С давних пор у меня такая проблема: периодически жизнь становится сплошным страданием. Выбор из двух футболок кажется слишком тяжелым. Всё в тягость, страшно и неправильно. При этом смотрю вокруг рационально, а там всё просто заебись: молодость, красавица девушка, клевые друзья, крутая работа, яркие впечатления и прочее прочее. Не без проблем, но явно ничего такого, чтобы не хотелось вставать по утрам. И чем всё объективно лучше, тем больше дереализация. Всё хорошо, а мне всё равно плохо, что же со мной не так? Или может быть всё хорошо, а мне нужно что-то другое, поэтому мне плохо? Может это моё подсознание хочет бросить прогаммирование с наукой, стать коневодом?
Потом всё вдруг проходит. Очень плавно, незаметно. Через несколько дней я радуюсь жизни, вспоминаю как было плохо и удивляюсь. Чего это я? И девушка красавица, и друзья, и всё такое, классно же. Какое коневодство? Видимо день был такой, бури на Солнце или ретроградный Меркурий. Но так же плавно всё снова становится плохо.
Я думал про беды с кукухой и сходил с этим к психиатру. В итоге психиатр мне не помог. Помог психолог, но с другой проблемой. Я так же пробовал замерять своё настроение разными трекерами, и всё оказывалось нормальным: бывают хорошие дни, бывают плохие, обычно нормальные, никакой периодичности. И ещё я пробовал ноотропы. По итогу всех поисков я не получил внятного ответа "да, у тебя болезнь Х" и заключил, что видимо мои проблемы это просто нехватка сна, спорта, недовольство работой или другие бытовые вещи, которые я оверсинкаю.
Но не так давно моя девушка указала мне, что в моих перепадах есть периодичность примерно в две недели. Я решил проверить. Но в этот раз без трекеров настроения. Трекер он как знакомый: для него твои дела всегда "нормально". Тебе надо указать как прошел день от 1 до 5 и начинается: "Нууу, блин, утром было не очень, но уже не особо помню, а сейчас вот с другом поболтал, и вроде бы нормально, пусть будет 4." В моменте как-то не хочется жить, а в трекере все дни "нормально".
В этот раз я отказался от трекеров настроения. Сделал себе гугл форму, чтобы её можно было протыкать за 10 секунд. Выписал шесть вещей, которые обычно происходят когда "плохо" и сделал из них шесть вопросов вида: "Было хоть раз за день? Да/нет". Три я развернул, чтобы они были позитивные: вместо "Я не участвовал, что моя жизнь под контролем" стало "Я чувствовал, что моя жизнь под контролем". Пусть каждый негативный вопрос дает -1 балл, а позитивный +1 балл. Получается индекс счастья от -3, максимально плохо, до +3, максимально хорошо. Я стал заполнять эту форму каждый вечер.
С давних пор у меня такая проблема: периодически жизнь становится сплошным страданием. Выбор из двух футболок кажется слишком тяжелым. Всё в тягость, страшно и неправильно. При этом смотрю вокруг рационально, а там всё просто заебись: молодость, красавица девушка, клевые друзья, крутая работа, яркие впечатления и прочее прочее. Не без проблем, но явно ничего такого, чтобы не хотелось вставать по утрам. И чем всё объективно лучше, тем больше дереализация. Всё хорошо, а мне всё равно плохо, что же со мной не так? Или может быть всё хорошо, а мне нужно что-то другое, поэтому мне плохо? Может это моё подсознание хочет бросить прогаммирование с наукой, стать коневодом?
Потом всё вдруг проходит. Очень плавно, незаметно. Через несколько дней я радуюсь жизни, вспоминаю как было плохо и удивляюсь. Чего это я? И девушка красавица, и друзья, и всё такое, классно же. Какое коневодство? Видимо день был такой, бури на Солнце или ретроградный Меркурий. Но так же плавно всё снова становится плохо.
Я думал про беды с кукухой и сходил с этим к психиатру. В итоге психиатр мне не помог. Помог психолог, но с другой проблемой. Я так же пробовал замерять своё настроение разными трекерами, и всё оказывалось нормальным: бывают хорошие дни, бывают плохие, обычно нормальные, никакой периодичности. И ещё я пробовал ноотропы. По итогу всех поисков я не получил внятного ответа "да, у тебя болезнь Х" и заключил, что видимо мои проблемы это просто нехватка сна, спорта, недовольство работой или другие бытовые вещи, которые я оверсинкаю.
Но не так давно моя девушка указала мне, что в моих перепадах есть периодичность примерно в две недели. Я решил проверить. Но в этот раз без трекеров настроения. Трекер он как знакомый: для него твои дела всегда "нормально". Тебе надо указать как прошел день от 1 до 5 и начинается: "Нууу, блин, утром было не очень, но уже не особо помню, а сейчас вот с другом поболтал, и вроде бы нормально, пусть будет 4." В моменте как-то не хочется жить, а в трекере все дни "нормально".
В этот раз я отказался от трекеров настроения. Сделал себе гугл форму, чтобы её можно было протыкать за 10 секунд. Выписал шесть вещей, которые обычно происходят когда "плохо" и сделал из них шесть вопросов вида: "Было хоть раз за день? Да/нет". Три я развернул, чтобы они были позитивные: вместо "Я не участвовал, что моя жизнь под контролем" стало "Я чувствовал, что моя жизнь под контролем". Пусть каждый негативный вопрос дает -1 балл, а позитивный +1 балл. Получается индекс счастья от -3, максимально плохо, до +3, максимально хорошо. Я стал заполнять эту форму каждый вечер.
👍3