https://github.com/phguo/Send-to-Telegram-Chrome-extension
dataHoardingMaxxing
dataHoardingMaxxing
GitHub
GitHub - phguo/Send-to-Telegram-Chrome-Extension: Send-to-Telegram: an extension for Google Chrome that allows you to send web…
Send-to-Telegram: an extension for Google Chrome that allows you to send web content to your own Telegram Bot. - phguo/Send-to-Telegram-Chrome-Extension
https://www.youtube.com/watch?v=aC9Uu5BUxII
2 years from now, but still relevant
2 years from now, but still relevant
YouTube
Monero: Sound Money, Safe Mode
In this post-pandemic update of the Monero Means Money lecture/documentary, Dr. Daniel Kim provides a comprehensive overview of Monero and Bitcoin within the larger context of gold and fiat currency in the 2020 financial crisis. The source footage for this…
👍2
Forwarded from AbstractDL
Недообученные нейросети — лучшие feature экстракторы
К удивительному выводу пришли две независимые группы исследователей из Google и Baidu — чем дольше учить нейронную сеть, тем хуже выразительная способность её фичей. То есть, не смотря на рост top-1 accuracy по мере обучения, качество её репрезентаций в какой-то момент начинает падать!
VGG и AlexNet давно известны тем, что их фичи отлично подходят для оценки perceptual similarity, но оказалось, что и все современные SOTA модели тоже подходят — просто надо брать не самый последний чекпоинт.
Более того, похоже, что для down-stream задач тоже лучше использовать эмбеддинги от недообученных моделей.
P.S. Проблема в том, что в какой-то момент модель становится настолько умной, что её фичи только она сама и понимает 🤷♂️
статья1, статья2
К удивительному выводу пришли две независимые группы исследователей из Google и Baidu — чем дольше учить нейронную сеть, тем хуже выразительная способность её фичей. То есть, не смотря на рост top-1 accuracy по мере обучения, качество её репрезентаций в какой-то момент начинает падать!
VGG и AlexNet давно известны тем, что их фичи отлично подходят для оценки perceptual similarity, но оказалось, что и все современные SOTA модели тоже подходят — просто надо брать не самый последний чекпоинт.
Более того, похоже, что для down-stream задач тоже лучше использовать эмбеддинги от недообученных моделей.
P.S. Проблема в том, что в какой-то момент модель становится настолько умной, что её фичи только она сама и понимает 🤷♂️
статья1, статья2
Forwarded from Doque Embedded
Чувак делает процессор на дискретных транзисторах с довольно необычным подходом. Процессор пишется на VHDL, из которого генерируется схема в KiCad и потом запускается автороутер платы.
Выглядит безумно, но подход интересный.
https://forum.kicad.info/t/programmatically-generating-schematic/32518
Выглядит безумно, но подход интересный.
https://forum.kicad.info/t/programmatically-generating-schematic/32518
∅
https://www.youtube.com/watch?v=dND-7llwrpw
https://twitter.com/awnihannun/status/1542967463100305408
Some theories explaining why this phenomenon can occur
Some theories explaining why this phenomenon can occur
Twitter
Read a bit about Grokking recently. Here's some learnings:
"Grokking" is a curious neural net behavior observed ~1 year ago (https://t.co/qH63ZOEOy0).
Continue optimizing a model long after perfect training accuracy and it suddenly generalizes.
Figure:
"Grokking" is a curious neural net behavior observed ~1 year ago (https://t.co/qH63ZOEOy0).
Continue optimizing a model long after perfect training accuracy and it suddenly generalizes.
Figure:
https://gitlab.com/sophronesis/sphconf
hope someone will find this usefull
hope someone will find this usefull
GitLab
Sophronesis / sphconf · GitLab
uninitiated: Occam's razor is so cool! I just don't get mathematical intuition yet
initiated: P(X)≥P(Y)P(X), what's the deal?
initiated: P(X)≥P(Y)P(X), what's the deal?
I wish coMathematics were real (not real real, but usefully real), so we can turn back time and get back to the lowest entropy possible.
This is my ultimate wish, beyond my own ego, as deep as Asimov's last question
This is my ultimate wish, beyond my own ego, as deep as Asimov's last question