tldr алгебра

ЧИСТИЙ CHAOTIC EVIL
Виявилось, що для кожної схеми римування існує відповідне розбиття множини

https://en.wikiversity.org/wiki/Rhyme_schemes_by_set_partition

Как часто два плюс два равно пяти? Оказывается, в некотором смысле даже чаще, чем четырем!

https://mobile.twitter.com/andrejbauer/status/1296555230184837122

А именно, есть 2453 коммутативных полукольца с единицей размера не больше 6, в которых 2+2=5. Понятно, что такие вещи можно перечислять только алгоритмически, что и сделал этот пользователь твиттера (☝️ выводы программы на картинках). Полукольца, в которых 2+2=5, составляют почти 80% всех коммутативных полуколец с единицей размера не больше 6.

Интересно, какова асимптотическая доля полуколец, где 2+2=5 или 2+2=4?

The Core Computational Principles of a Neuron – найцікавіше.
To spike or not to spike

Convergence towards principles always leads to simplification and generalization, but it can be dangerous. The brain is too diverse. You can simplify too much and lose something important. Let’s dare to try.

Learning is essentially a search for the right function.

Some neurons transmit information by the frequency of spikes. For example, the more a motor-neuron activates in the spinal cord, the stronger the muscle contracts. For a long time, people thought that other neurons in the cerebral cortex send information in a similar way.

For many decades, the idea of frequency coding was dominant. Even now, artificial neural networks use the same coding (real numbers). But a nasty problem ruins the frequency view: to “measure” the rate of firing you need to wait for a long time (hundreds of milliseconds) to average spikes. (Сильно відчуваються співвідношення невизначеності для хвиль, приємно)
However, taking into account the time for spike generation, spike propagation and total path length there is just enough time to send 1–2 pulses… and no way to wait longer to “send” the frequency of firing.
Therefore, individual spikes (0 or 1) somehow should be enough to transmit information. Currently, the prevailing idea is that an individual neuron does not send a lot, but many of them can encode anything (population coding).

For the last 20 years, people showed that the [number of possible behaviors] of a biological neuron is much larger than previously thought. It turns out that the dendrites do not simply transmit the signal but also process it along the way. If a dendrite gets activated too much, it can amplify the signal (an event called a dendritic spike).Thus, synapses that are active close in space and time excite the cell much larger than simultaneous but non-local signals. Thus new learning paradigm: not only neurons' weights but their locations also store information.

In reality, synapses are very unreliable and stochastic. Often, neurons fail to transmit the signal. Interestingly, it may be not the weakness of evolution that could not invent reliable wires, but the discovery of how to make learning more efficient.
In contrast, the loss of some transistors could damage the whole chip and the computer stops working. Brain architecture is evolved to be stable to errors, to failure of neurons and synapses.
“will my algorithm still work if I remove 10% of neurons? Or 20%?”

Це перша частина. Друга буде у вигляді репосту з якого й дізнався про статтю

В очень хорошей статье о вычислительных принципах нейронов есть интересная идея. «Нейроны обучаются, чтобы выжить» – то есть нейрону надо стать активным, чтобы получить питательные вещества. И чем чаще он активен, тем дальше он от смерти [но тем больше ему надо питательных веществ]

Вообще запутанные отношения между нейронами можно отчасти описать через конкуренцию и сотрудничество: ещё одна задача нейрона – поддерживать гомеостаз, и для этого он активно влияет на своих соседей, в том числе подавляя активность некоторых различными способами. Ну и один из самых страшно интересных вопросов: как вообще из этого шума и борьбы получается в итоге сложное поведение и ещё более сложные переживания?

https://medium.com/the-spike/neuron-core-computational-principles-ed0fe9cfb711

https://en.m.wikipedia.org/wiki/Illegal_prime
One of the earliest illegal prime numbers was generated in March 2001 by Phil Carmody. Its binary representation corresponds to a compressed version of the C source code of a computer program implementing the DeCSS decryption algorithm, which can be used by a computer to circumvent a DVD's copy protection

До речі, з великим задоволенням пройшовся по цій статті з magic numbers
https://rachelbythebay.com/w/2020/11/26/magic
src

Головний тезіс: calculus (іноді можна перекласти як матаналіз) – це інструмент для роботи з довільно малими й довільно великими величинами, проте не з нескінченними та не з нульовими.
Основне поняття матаналізу – ліміт (границя) – це не кришталевий шар, який може показати, що буде на наскінченності чи в нулі; ліміт показує тенденції та закономірності. Єдине, на що схоже 1/n при n->+inf – це 0. Єдине, на що схожа середня швидкість за довільно малий момент часу – це похідна координати. Єдине, на що схожа сума купи малих прямокутників (тобто визначений інтеграл) при довільному зменшенні їх ширини – площа фігури.
Виглядає абстрактно, але це поки найкращий опис суті матаналізу що я бачив
https://youtu.be/EbHqtENNnSY

До речі, той же прикол з теорією ймовірності. Вона не може передбачити результат випадкової події – на те подія й випадкова. Скільки б підряд не було орлів, наступним все одно орел випаде рівноймовірно з решкою.
Проте теорія ймовірності може показати закономірності.
Що буде, якщо підкинути монету 1000 разів? – в середньому 500 орлів.
Наскільки ми впевнені, що наукове дослідження дійсно відкрило якийсь закон, а не просто вдало потрапило на відхилення випадкового шуму? – на p < 0.05

https://youtu.be/O85OWBJ2ayo

3blue1brown всегда интересно смотреть,

а отдельно приятно, что «The book shown at the start is Vladimir Arnold's (excellent) textbook on ordinary differential equations» ( https://biblio.mccme.ru/node/6102/ )

СЯУ что гауссиана - это парабола в логарифмическом масштабе, и меня буквально накрыло. Да как же так, помирать пора готовиться, а даже не приходило в голову!

Напишу немного про проклятье размерности. Это термин, которым, в частности, называют странности многомерных пространств, от которых человеческая интуиция начинает давать сбои.

Один популярный пример выглядит так: возьмём квадрат на плоскости и впишем в него круг. Ясно, что круг закроет большую часть площади квадрата. Дальше, возьмём куб и впишем в него шар. Опять же, шар займёт большую часть объёма куба. Но вот в четырёхмерном случае гиперсфера займёт меньше трети объёма гиперкуба, а при дальнейшем повышении размерности отношение их объёмов сходится к нулю. При этом евклидово расстояние от центра n-мерного куба до любого из его 2^n углов растёт как sqrt(n), т.е. неограниченно; а основной объём пространства (т.е., например, основная часть равномерно случайно взятых точек) внутри такого куба оказывается на расстоянии от центра с матожиданием sqrt(n/3) и с убывающей к нулю дисперсией. Короче, n-мерный куб — это очень странное место, с кучей углов и пустым центром.

Другой пример — гипотеза Борсука о возможности разбиения n-мерного тела диаметром 1 на n+1 тел диаметром меньше 1. Она доказана для n<=3 и опровергнута для n>=64. Посредине — томящая неизвестность.

Всё это обычно выглядит как игры разума, не отягощённого бытовыми мелочами, однако бум нейросетей принес нам популярность всяких многомерных эмбеддингов и представлений — слов, текстов или картинок, и там такие пакости случаются регулярно. Недавно, в одной из задач мне пришлось столкнуться с такой штукой:

Возьмём, скажем, 100-мерное пространство и выберем в нём равномерно случайно из единичного гиперкуба 42 точки. Пронумеруем их в некотором случайном, но фиксированном порядке, от 1 до 42. Какова вероятность, что в нашем пространстве найдётся такая ось, в проекции на которую наши точки выстроятся в нужном порядке? Ответ: больше 99%. Кому интересно, можете посмотреть мой скрипт на питоне, которым это эмпирически можно проверить (работает довольно долго, решает системы линейных неравенств, пересекая полупространства для каждой пары точек).

Найс
https://inscience.io/nm/

А вот ещё один (опять 100 точек).

Так вот — представьте себе примерно такую картину — но наложенную на карту Лондона. И представьте себе, что на дворе 1944-й год, а точки — это места падения (и взрыва!) "Фау". И явно видны, то здесь, то там, кластеры из близких попаданий. А у вас спрашивают — "эти кластеры, это немцы туда целятся [и, возможно, их ракеты умеют донаводиться на финальном участке траектории?], или это случайность?"

Статья R. D. Clarke 1946 года (одностраничная!) — как раз о том, как они проводили такой анализ (кстати, об этом есть рассказ в Britannica). Наложили на Лондон разумно-мелкую сетку — разделили область 12x12 км на 576=24^2 квадратов со стороной 0.5 км. И посмотрели, сколько из 537 бомб попали в какой квадрат — и сколько квадратов с 1, 2, 3, ... попаданиями. После чего оказалось, что соответствующие количества очень похожи на те, которые получались бы для пуассоновского распределения (то есть для равномерно-случайной стрельбы).

И вот таблица (как раз из той самой статьи Clarke).

2) картинка из статьи "Determinantal Processes and Independence", J. Ben Hough, Manjunath Krishnapur, Yuval Peres, Bálint Virág: слева-сверху пуассоновский процесс ( = случайное распределение точек), справа-сверху — детерминантный (точки "отталкиваются" друг от друга), снизу в центре — перманентный (точки "комкуются"); спасибо @qtasep за ссылку!

Як ніколи потужні вайби Криптономікону