The Epistemology of Deep Learning - Yann LeCun

Цікава доповідь за 2019 рік від Yann LeCun, VP and Chief AI Scientist at Facebook, де він розмірковує про наукові дослідження у Deep Learning, та різницю між інженерією та алхімією.

Лекун також підкреслює, що теоретичне розуміння часто приходить після винаходу артефакту, і згадує такі приклади, як телескоп і паровий двигун, які були винайдені до того, як була сформульована формальна теорія оптики і термодинаміки.

Суть його слів у тому, що сліпа довіра до теоретичних результатів, які виявилися нерелевантними, є основною причиною того, чому нейронні мережі довгий час майже ніхто не досліджував, зокрема, між 1995 і 2010 роками. Тобто він не критикує теоретичний підхід до експериментів, але критикує сліпу довіру до теорії.

@eiaioi

https://www.cut-the-knot.org/triangle/Hanoi.shtml
classics

https://www.pnas.org/doi/full/10.1073/pnas.2221311120

«An astonishing regularity in student learning rate» by Kenneth R. Koedinger et al. (2023)

Quite an optimistic paper, heavily implies that most students learn in the class at the very similar rate irrespective of g-factors and stuff.

"Some readers may object that near constant student learning rate unrealistically implies that everyone can master advanced level calculus or interpret abstract data. Indeed, not everyone has favorable learning conditions nor will everyone choose to engage in the substantial number of practice opportunities required. However, our results suggest that if a learner has access to favorable learning conditions and engages in the many needed opportunities, they will master advanced level calculus."

The catch-22s of reservoir computing: Researchers find overlooked weakness in powerful machine learning tool
https://phys.org/news/2023-09-catch-22s-reservoir-overlooked-weakness-powerful.html

Think before you speak: Training Language Models With Pause Tokens https://arxiv.org/abs/2310.02226

imagine teaching meditation to llms

Лишається рівно тиждень до мітапу «Автономний АІ: можливості та ризики» та 6 днів до кінця реєстрації💡

Вже 12 жовтня в Києві ми зберемо топових AI-спеціалістів/ок в одному місці задля нетворкінгу, шерингу знань та обміну інсайтами.

Разом поговоримо про автономний ШІ — про те, які питання треба вирішити, аби створити справді автономних агентів, та які після цього постануть виклики. Розберемося, чи можуть у штучних систем бути власні цілі, які це відкриває можливості, а які — ризики.

👉Серед спікерів: Олесь Петрів, CTO та співзасновник Reface, та Олександр Клименко, CTO в Zibra AI.
👉Київ. 12 жовтня. 17:30-21:00. Дедлайн реєстрації: 11/10.
🇺🇦Взяти участь можна за вільний донат від 500 грн.

Дізнатися більше про мітап та зареєструватися🔥

Predicting discrete-time bifurcations with deep learning | Nature Communications
https://www.nature.com/articles/s41467-023-42020-z