https://www.youtube.com/watch?v=aC9Uu5BUxII
2 years from now, but still relevant
2 years from now, but still relevant
YouTube
Monero: Sound Money, Safe Mode
In this post-pandemic update of the Monero Means Money lecture/documentary, Dr. Daniel Kim provides a comprehensive overview of Monero and Bitcoin within the larger context of gold and fiat currency in the 2020 financial crisis. The source footage for this…
👍2
Forwarded from AbstractDL
Недообученные нейросети — лучшие feature экстракторы
К удивительному выводу пришли две независимые группы исследователей из Google и Baidu — чем дольше учить нейронную сеть, тем хуже выразительная способность её фичей. То есть, не смотря на рост top-1 accuracy по мере обучения, качество её репрезентаций в какой-то момент начинает падать!
VGG и AlexNet давно известны тем, что их фичи отлично подходят для оценки perceptual similarity, но оказалось, что и все современные SOTA модели тоже подходят — просто надо брать не самый последний чекпоинт.
Более того, похоже, что для down-stream задач тоже лучше использовать эмбеддинги от недообученных моделей.
P.S. Проблема в том, что в какой-то момент модель становится настолько умной, что её фичи только она сама и понимает 🤷♂️
статья1, статья2
К удивительному выводу пришли две независимые группы исследователей из Google и Baidu — чем дольше учить нейронную сеть, тем хуже выразительная способность её фичей. То есть, не смотря на рост top-1 accuracy по мере обучения, качество её репрезентаций в какой-то момент начинает падать!
VGG и AlexNet давно известны тем, что их фичи отлично подходят для оценки perceptual similarity, но оказалось, что и все современные SOTA модели тоже подходят — просто надо брать не самый последний чекпоинт.
Более того, похоже, что для down-stream задач тоже лучше использовать эмбеддинги от недообученных моделей.
P.S. Проблема в том, что в какой-то момент модель становится настолько умной, что её фичи только она сама и понимает 🤷♂️
статья1, статья2
Forwarded from Doque Embedded
Чувак делает процессор на дискретных транзисторах с довольно необычным подходом. Процессор пишется на VHDL, из которого генерируется схема в KiCad и потом запускается автороутер платы.
Выглядит безумно, но подход интересный.
https://forum.kicad.info/t/programmatically-generating-schematic/32518
Выглядит безумно, но подход интересный.
https://forum.kicad.info/t/programmatically-generating-schematic/32518
∅
https://www.youtube.com/watch?v=dND-7llwrpw
https://twitter.com/awnihannun/status/1542967463100305408
Some theories explaining why this phenomenon can occur
Some theories explaining why this phenomenon can occur
Twitter
Read a bit about Grokking recently. Here's some learnings:
"Grokking" is a curious neural net behavior observed ~1 year ago (https://t.co/qH63ZOEOy0).
Continue optimizing a model long after perfect training accuracy and it suddenly generalizes.
Figure:
"Grokking" is a curious neural net behavior observed ~1 year ago (https://t.co/qH63ZOEOy0).
Continue optimizing a model long after perfect training accuracy and it suddenly generalizes.
Figure:
https://gitlab.com/sophronesis/sphconf
hope someone will find this usefull
hope someone will find this usefull
GitLab
Sophronesis / sphconf · GitLab
uninitiated: Occam's razor is so cool! I just don't get mathematical intuition yet
initiated: P(X)≥P(Y)P(X), what's the deal?
initiated: P(X)≥P(Y)P(X), what's the deal?
I wish coMathematics were real (not real real, but usefully real), so we can turn back time and get back to the lowest entropy possible.
This is my ultimate wish, beyond my own ego, as deep as Asimov's last question
This is my ultimate wish, beyond my own ego, as deep as Asimov's last question
Forwarded from Kyiv Academic University
Бажаєте поринути у загадковий світ математики, дізнатися, як математика пов’язана з найсучаснішими методами штучного інтелекту та машинного навчання, які підходи та інструменти дозволять оптимізувати ваше життя та роботу, і які алгоритми можна використовувати для всього цього, тоді вам сюди – на кафедру математики, що працює у серці математичної науки країни – Інституті математики НАН України.
2 серпня о 11:00 всіх, хто мріє пов`язати своє життя з математикою або використовувати її при розв’язанні цікавих задач в комп’ютерних та природничих науках запрошуємо відвідати вебінар “День відкритих дверей: дивовижний світ сучасної математики в КАУ і не тільки …” від кафедри математики, що здійснює підготовку магістрів за спеціальностями 111 Математика та 122 Комп'ютерні науки.
Реєструйтесь і вже скоро ми надішлемо запрошення на День відкритих дверей! Слідкуйте також за новинами на сторінці КАУ в FB та приєднуйтеся до телеграм-групи абітурієнтів
2 серпня о 11:00 всіх, хто мріє пов`язати своє життя з математикою або використовувати її при розв’язанні цікавих задач в комп’ютерних та природничих науках запрошуємо відвідати вебінар “День відкритих дверей: дивовижний світ сучасної математики в КАУ і не тільки …” від кафедри математики, що здійснює підготовку магістрів за спеціальностями 111 Математика та 122 Комп'ютерні науки.
Реєструйтесь і вже скоро ми надішлемо запрошення на День відкритих дверей! Слідкуйте також за новинами на сторінці КАУ в FB та приєднуйтеся до телеграм-групи абітурієнтів
👍2
Forwarded from The common and his serious political stances (Tyler)
Always remember:
-suburbs suck ass
-grass lawns are a waste of space, use moss, clover, or whatever non invasive local ground cover plants work best in your area
-cars are unsustainable as a primary form of transportation
-HOAs can suck my ass
-nuclear power and renewable energy are our best options to fight against climate change
-mushrooms are based and multiple species of fungi can eat plastic and turn it into water, some of which have been found in landfills
-corporations are the largest pollutors, even if individuals do their part to reduce pollution corporations wipe all the effort away, but this is not a reason not to fight against pollution but rather a reason to fight against capitalism
-cities that are not built to work in heat, like american cities, tend to be much hotter than rural areas
-more highways or more lanes on said highways do not reduce traffic
-suburbs suck ass
-grass lawns are a waste of space, use moss, clover, or whatever non invasive local ground cover plants work best in your area
-cars are unsustainable as a primary form of transportation
-HOAs can suck my ass
-nuclear power and renewable energy are our best options to fight against climate change
-mushrooms are based and multiple species of fungi can eat plastic and turn it into water, some of which have been found in landfills
-corporations are the largest pollutors, even if individuals do their part to reduce pollution corporations wipe all the effort away, but this is not a reason not to fight against pollution but rather a reason to fight against capitalism
-cities that are not built to work in heat, like american cities, tend to be much hotter than rural areas
-more highways or more lanes on said highways do not reduce traffic
🔥1