Автор этого видео захотел сделать майнкрафт на апериодическом замощении! Вы наверняка знаете про апериодическое замощение на 2D, но вот для 3D вряд ли слышали. В этом видео автор рассказывает как раз про него.

По сути это больше видео про апериодическое замощение в 3D, чем про майнкрафт и то что автор сделал. Рекомендую смотреть первые 8 минут, остальное вам не нужно.

https://youtu.be/15LTqvZtrMo

#видео

Недавно прослушал книгу "Война с саламандрами", и ставлю этой книге твёрдую оценку +1.5 по моей шкале.

Это книга в жанре фантастики, написанная в 1936 году. Написал её Карел Чапек, на минуточку, автор слова "робот"! Рекомендую прочитать всем, кто любит научную фантастику. Можно сказать, это классика.

Далее, о ней я старался написать максимально без спойлеров, начиная с завязки, но кто любит вообще без спойлеров - не читайте.

Завязка книги в том, что люди обнаружили очень смышлённых животных - особых саламандр, метр ростом. А далее начали использовать их в своих целях, обучать разному труду, а саламандры стали становиться всё умнее и умнее за счёт постижения человеческой культуры. Книга повествует об этом процессе, и как это, в конечном счёте, привело к войне.

В книге нет какого-то особого развития персонажей, и в целом персонажей, так что это не для любителей людей. Книга больше про идею, про сюжет, про историю. Поэтому местами может быть не так захватывающе, как другие книги, но всё-равно очень интересно.

Книга является настоящей фантастикой, потому что она вводит какой-то необычный, но вполне реальный элемент и исследует как он повлияет на мир. Такое очень редко встретишь, щас очень много фантастики не про идею, а про людей в бесполезном фантастическом сеттинге. Причём в некоторых произведениях толком ничего бы принципиально не поменялось, замени фантастику на средневековье с магией.

И в какой-то степени книга очень похожа на рассуждения современных авторов о порабощении людей роботами. Прям читаешь и диву даёшься, что это написано в 1936 году! А в одном месте даже было **невероятно** похоже на современные LLM! Кто прочитает - отпишитесь, как думаете в каком месте, под спойлером))

#книга

Physics of Language Models

Я в своей жизни ML занимался довольно мало, но в последнее время решил все-таки по-лучше разобраться. Так что иногда (частота зависит от количества лайков 👍) буду постить краткие пересказы статей/докладов, которые мне показались интересными.

Мне очень не нравится идея смотреть на LLM, как на какой-то черный ящик, который каким-то магическим образом учится, и, нужно всего лишь увеличить количество параметров в нем, обучить на большем количестве данных, и тогда он станет гораздо умнее и вдруг научится решать всякие задачи.

В докладе Physics of language models авторы тренируют относительно маленькие модели (100М параметров) на синтетических данных, и смотрят, какие задачи LLM могут решать, а какие нет.

Например, оказывается что LLM даже теоретически не могут научиться отвечать на вопрос вида "Правда ли, что Байден родился в четном году?" при том, что они прекрасно знают в каком году он родился, и знают, какие числа четные. Оказывается, что дело в порядке токенов. Если бы ответ был в формате "Байден родился в году 1942, это четное число, ответ да", то все бы работало. Но если хочется получить ответ в формате "Да, потому что он родился в ...", то в момент написания первого токена у LLM еще не будет числа 1942 "в контексте" и она не сможет выбрать правильный ответ. И такая проблема есть у любых моделей вне зависимости от размера.

По аналогичным соображениям, если в датасете было написано только "X родился в городе Y", то модель никогда не сможет научиться правильно отвечать на обратный вопрос "кто родился в городе Y?" (потому что в "памяти" модели будет мапинг X->Y, но не в обратную сторону).

Еще из прикольного в докладе показывают, что можно обучить текстовую модель делать топологическую сортировку графа. При этом можно проследить, что в "состоянии" модели во время инференса действительно будет храниться множество посещенных вершин и тех вершин, которые можно посетить на следующем шагу.

Хороший, глубокий анализ концепции космического лифта, с научными работами и собственными расчётами от автора. Интересовался этой темой, и даже смотрел на английском ютубе всякое, но это самый крутой видос

https://youtu.be/fdG8SGumNOg

#видео

Видео о том как умирают заводы и что творится в России по этому поводу от человека, который всю жизнь управляет машиностроительным заводом. Как госконтракты выигрываются неправильными людьми, и как некачественные дешёвые китайские инструменты продают втридорого вместо отечественных.

https://youtu.be/dUJzTOugJE8

#видео

Это ролик не столько про математику, сколько про то как нужно думать. Очень кайфанул с повествования автора, прям так всё по полочкам разложено, в мозгу приятно щекочет. Рекомендуется к просмотру особенно тем, кто в школе не любил математику.

Очень хочу чтобы в школах появились уроки по просмотру избранного контента ютуба, и это видео было бы там в обязательной программе, наравне с некоторыми видео 3blue1brown.

https://youtu.be/zZH1nZyWYHg

Очень интересная документалка, не про машины, а про политику и всё вокруг. Может поначалу показаться что даётся куча несвязанных фактов, но нужно досмотреть до конца, оно того стоит, поверьте мне.

https://www.youtube.com/watch?v=7N0C8jH-utE

Я щас пишу симулятор дрифтинга для машинок, и для того чтобы получилось реалистично, приходится много гуглить и пытаться понять. И вот когда гуглил про slip angle, то обнаружил такое золото.

Чувак объяснил офигенно, ГЛУБОКО (как я люблю), показал шикарные визуализации (на лего колесе вообще гениально). В конце видео понял почему в NFS перед поворотоами оптимально было тормозить! Чтобы прийти в итоге к оптимальному slip angle. В общем я получил настоящее понимание. Рекомендую всем, даже если вы не заинтересованы в написании симулятора машинок.

https://youtu.be/MwrUz1WI5GY

Очень прикольный фильм, сделанный в майнкрафте. Я залип. Сюжет и задумка классные. Написание и текст иногда страдают, и видно непрофессионализм, но простительно, когда так интересно.

https://youtu.be/2pFwQiwRbcg

Это видео про то как решить задачу на клеточные автоматы с помощью SAT-солверов. Для меня стало откровением что так можно и что эти солверы так хорошо развиты.

Рекомендую это видео, но с натяжкой. Автор плохо рассказывает идею (например ни слова не сказал про обратимость и сад Эдема) и скипает самую главную матчасть, уделяя время скучным базовым понятиям.

Но самая главная идея этого видео стоит того. Наверное лучше по главам пролистать и смотреть только последнюю часть видео.

https://youtu.be/g8pjrVbdafY

Хорошее видео про базу ML. У автора немного видео, и я всех их посмотрел залпом и подписался, крайне рекомендую вообще весь канал.

https://www.youtube.com/watch?v=qJeaCHQ1k2w

Да чтож такое, ещё один маленький офигенный канал про ML! На этот раз шикарнейшее видео, объясняющее трансформеры. И теперь я понимаю главную их идею, ура!!! Очень просто, без всякой сложной математики, чисто концепция и идеи.

Ещё очень рекомендую самое первое видео на этом канале про "что же такое нейросеть". Такого объяснения вы наверняка ещё не видели. И в голове сразу щёлкнет.

https://youtu.be/kWLed8o5M2Y

Рекомендую смотреть это видео всем, независимо от уровня образования.

https://www.youtube.com/watch?v=FBpPjjhJGhk

Очень классное видео про ряды Тейлора, о чём не рассказывают в школе универе. Становится реально сильно понятней и проще. У видео незаслуженно мало просмотров, надо это исправлять.

https://www.youtube.com/watch?v=fMC4qk3S1Lw

Интересное видео про то как по-другому начать мыслить про готовку. Я вообще не умею и ненавижу готовить (рецепты получаются на вкус как говно в 95% случаев), так что для меня это откровение. Не факт что я начну учиться готовить, но как другой взгляд прям интересно.

https://youtu.be/srMEoe_5y6g

Интересное видео для мужчин. Мы не умеем выражать свои эмоции, и этот чувак рассказывает как это пофиксить в области отношений. Хотя после просмотра понимаю что это важно не только в отношениях, но и в дружбе с другими мужчинами тоже может пригодиться.

https://youtu.be/wXlNZ5AMqLU

Я обычно VSauce не смотрю, но заголовок привлёк. Там про то как и зачем эволюционно у людей могла появиться возможность рассуждать. Рассказывается про очень интересную социальную теорию о рассуждении, о которой я никогда не слышал. Очень познавательно. Может быть ИИ стоит обучать рассуждениям именно таким образом? 🤔

https://www.youtube.com/watch?v=_ArVh3Cj9rw

Всё что вы не хотели знать про Юникод, но придётся

Интересная и полезная статья про Юникод, рекомендуется прочитать всем программистам, независимо от возраста, пола и вероисповедания. Я её немного ревьюил.

https://t.me/gepardchan/147

Про то как надо изучать языки взрослым. Я тоже топлю за такой подход, но через просмотр сериалов и фильмов с субтитрами. Рад что кто-то собрал мои идеи и мысли в одно место и дал этому термин, на который я теперь могу ссылаться.

https://youtu.be/yW8M4Js4UBA