465 subscribers
478 photos
23 videos
36 files
942 links
Download Telegram
🎉4
http://flatkill.org/
who could have guessed
Forwarded from AbstractDL
Недообученные нейросети — лучшие feature экстракторы

К удивительному выводу пришли две независимые группы исследователей из Google и Baidu — чем дольше учить нейронную сеть, тем хуже выразительная способность её фичей. То есть, не смотря на рост top-1 accuracy по мере обучения, качество её репрезентаций в какой-то момент начинает падать!

VGG и AlexNet давно известны тем, что их фичи отлично подходят для оценки perceptual similarity, но оказалось, что и все современные SOTA модели тоже подходят — просто надо брать не самый последний чекпоинт.

Более того, похоже, что для down-stream задач тоже лучше использовать эмбеддинги от недообученных моделей.

P.S. Проблема в том, что в какой-то момент модель становится настолько умной, что её фичи только она сама и понимает 🤷‍♂️

статья1, статья2
Forwarded from Doque Embedded
Чувак делает процессор на дискретных транзисторах с довольно необычным подходом. Процессор пишется на VHDL, из которого генерируется схема в KiCad и потом запускается автороутер платы.
Выглядит безумно, но подход интересный.

https://forum.kicad.info/t/programmatically-generating-schematic/32518
🔥2
🔥2
🔥3