465 subscribers
478 photos
23 videos
36 files
942 links
Download Telegram
🎉4
http://flatkill.org/
who could have guessed
Forwarded from AbstractDL
Недообученные нейросети — лучшие feature экстракторы

К удивительному выводу пришли две независимые группы исследователей из Google и Baidu — чем дольше учить нейронную сеть, тем хуже выразительная способность её фичей. То есть, не смотря на рост top-1 accuracy по мере обучения, качество её репрезентаций в какой-то момент начинает падать!

VGG и AlexNet давно известны тем, что их фичи отлично подходят для оценки perceptual similarity, но оказалось, что и все современные SOTA модели тоже подходят — просто надо брать не самый последний чекпоинт.

Более того, похоже, что для down-stream задач тоже лучше использовать эмбеддинги от недообученных моделей.

P.S. Проблема в том, что в какой-то момент модель становится настолько умной, что её фичи только она сама и понимает 🤷‍♂️

статья1, статья2
Forwarded from Doque Embedded
Чувак делает процессор на дискретных транзисторах с довольно необычным подходом. Процессор пишется на VHDL, из которого генерируется схема в KiCad и потом запускается автороутер платы.
Выглядит безумно, но подход интересный.

https://forum.kicad.info/t/programmatically-generating-schematic/32518
🔥2
🔥2
🔥3
uninitiated: Occam's razor is so cool! I just don't get mathematical intuition yet
initiated: P(X)≥P(Y)P(X), what's the deal?
I wish coMathematics were real (not real real, but usefully real), so we can turn back time and get back to the lowest entropy possible.

This is my ultimate wish, beyond my own ego, as deep as Asimov's last question