Aspiring Data Science
371 subscribers
425 photos
11 videos
10 files
1.88K links
Заметки экономиста о программировании, прогнозировании и принятии решений, научном методе познания.
Контакт: @fingoldo

I call myself a data scientist because I know just enough math, economics & programming to be dangerous.
Download Telegram
#math #fun

Народ, подпишитесь на математический блог в ВК, больше тонких шуток вам в ленту )

https://vk.com/secxsquad
1
Forwarded from New Yorko Times (Yury Kashnitsky)
О математике в искусстве Эшера
#random #math

В Нидерландах этот год – год Эшера. Если ни разу не слышали это имя, то представьте “невозможную фигуру” - вот это Мауриц Эшер, нидерландский художник-график, создатель миров, головоломок и визуализатор математических идей. Именно последнее – повод написать про творчество Эшера тут.

Парень ненавидел математику в школе, не только ее, а вообще учебу. Кое-как закончил среднюю школу, из технического училища Делфта был выгнан, потом закончил-таки высшую школу в Харлеме. Но все равно учиться терпеть не мог. И что же потом?

После некоторых экспериментов с оптикой и иллюзиями Эшер приходит к самой что ни на есть математике. Он изображает фракталы еще до того, как сам термин был предложен Мандельбротом. Эшер приобрел всемирную известность после выставки в музее современного искусства Stedelijk в Амстердаме, которая проходила параллельно со Всемирным математическим конгрессом в 1954, а Мандельброт ввел термин “фрактал” в 1975.

Увлечения мавританскими узорами привели Эшера к проблеме замощения плоскости (tessellation), a.k.a. к задаче о паркете. Это когда повторяешь одну фигуру “бесконечно” так, что она без зазоров замощает плоскость. Очевидно, замостить плоскость можно тривиально правильными треугольниками, четырёхугольниками и шестиугольниками, а вот с неправильными пятиугольниками - уже интересная история (только в 2017 году доказали, что есть ровно 15 видов пятиугольных “паркетов”, там одна американская домохозяйка с пхд штук 7 нашла, Савватеев любит про это рассказывать). У Эшера замощения просто дикие – ящерицы, рыбы, клоуны, перетекающие друг в друга. В самой известной его работе Metamorphosis II одни виды замощений перетекают в другие.

Человек, который ненавидел математику в школе, берет, ботает статью про гиперболические замещения плоскости и создает целую серию этюдов, из них моя любимая гравюра – Ангелы и Демоны.

Изучая замощения, симметрию и регулярность (и якобы прочитав пару трудов по теории групп; тут мнения разошлись. В тех источниках, что я читал, противоречивая информация о том, вникал ли Эшер собственно в формулы и теоремы). Эшер общается с кристаллографами и между делом выступает с лекцией о симметрии на международной кристаллографической конференции в Кембридже.

“Хотя я абсолютно несведущ в точных науках, мне иногда кажется, что я ближе к математикам, чем к моим коллегам-художникам”

Неудивительно, что Эшер был любимцем ученых-математиков, те делились с ним идеями, присылали работы. “Как жаль, что я ничего, абсолютно ничего не понимаю в этом” – признавался художник.

Если еще и учесть, что большинство произведений Эшера – литографии, то его головоломки дополнительно усложняются. Не вдаваясь в суть процесса литографии (вики): при рисовании надо учитывать инверсию, после оттиска с камня на бумагу рисунок отзеркалится по вертикали.

Если вас дорога приведет в Гаагу, посмотрите работы Эшера (причем не только в его именном музее, но и в Kunstmuseum. Кто в Нидерландах, спешите - выставка до 10 сент.). Если вы любите математику, невозможно не полюбить и Эшера.
2
#math #fun

Учитель алгебры очень расстроился, когда нашёл свою жену с двумя неизвестными.
❤‍🔥2
#math #education #agi #vorontsov

Воронцов классно выступил.

Очень понравилась его идея, что в школе все предметы нужно сделать более связанными с реальностью, практикой. На уроках литературы меньше учить классику, больше международную, литературу других религий. Жить сцуко где собираетесь, в 18 веке, в Российской империи? По химии, физике, биологии больше опытов. Математику и геометрию дополнять чисметодами и моделированием. По географии, наверное, путешествий? ) Было бы круто жить в такой стране мечты. "5-й А, собирайтесь, мы завтра летим вертолётами смотреть вулканы на Камчатке". Если управляет страной не питекантроп, это всё кажется возможным.

Ещё интересна его аргументация, что с появлением сильного ИИ не наступит сингулярности по Курцвейлу и ничего в нашем быте критически не изменится.

https://www.youtube.com/watch?v=_P2N5W-c9rQ
#fun #fantasy #math

"- Сэр царь, - обратился Принц к Соломону, - может быть, ваш знаменитый суд определит между мной и сэром Джихаром сильнейшего? Хотелось бы выяснить это до того, как мы окажемся снова среди людей, чтобы каждый из нас мог вести себя соответственно своему рангу.

- Извольте, - сказал царь Соломон, словно век ждал этого вопроса. - Я так думаю, тот из вас сильнее, кто сможет дольше пронести меня по дороге.

Китоврас тут заржал по-лошадиному.

- Но почему именно вас, сэр царь?

- А что, вы предпочитаете нести Китовраса?

Метнули жребий. Первому выпало Принцу, меч его и арбалет переложили на кентавроса. Шлем царь Соломон потребовал оставить, потому что за рога ему будет удобно держаться. Жихарь вызвался считать шаги и пошел сбоку.

***

Из смотровой щели в шлеме Принца повалил пар. Пар был горячий, и венценосный седок подобрал ноги. Уже и богатырь налегке притомился, а Яр-Тур все топал и топал. Пыхтел он так громко, что других звуков словно бы и не существовало. Но даже и птицы в лесу стихли, наблюдая состязание.

Наконец, к удовольствию Жихаря, шаги Принца стали реже, а царь на его плечах подозрительно закачался. Яр-Тур остановился, медленно опустился на колени и ткнулся рогами в пыль.

Царь перешагнул через его голову, отошел к обочине и вопросительно поглядел на Жихаря.
- Сколько вы насчитали, молодой человек?

Жихарь разинул рот. Вразумительного ответа он не мог дать по двум причинам: во-первых, путал всегда пятьдесят и шестьдесят, а во-вторых, все равно сбился, отвлекаемый размышлениями о своей неизбежной победе. Богатырь покраснел, замычал и стал что-то объяснять исключительно на пальцах.

Принц Яр-Тур лежал без памяти и не мог дать дельного совета.
Наконец Жихаря осенило:
- Раз так, я тебя назад потащу, тогда и считать ничего не надо будет! Не ошибемся!

Царь попробовал было возражать, но Китоврас закивал согласно головой, да и очнувшийся Принц простонал, что не к лицу благородному воителю знать какие-то там числа, а дорога не обманет."

М. Успенский. Там, где нас нет
#math #primes

"Самое большое простое число, известное человеку на данный момент — это 2^136 279 841-1; а обозначается оно как M136279841. Чтобы получить это число, потребуется умножать двойку на себя более 136 млн раз, а из получившегося результата вычесть единицу. До этого шестью годами ранее было найдено поставившее предыдущий рекорд число M82589933.

Новое открытие знаменательно тем, что его совершили, использовав графические процессоры в центрах обработки данных. Первым ресурсы графических процессоров задействовал в 2017 году Михай Преда (Mihai Preda) — он «написал программу GpuOwl для проверки чисел Мерсенна на простоту и сделал своё ПО доступным для всех пользователей GIMPS». В 2023 году к GIMPS подключился Люк Дюран, и участники проекта построили инфраструктуру, необходимую для развёртывания программы Преды на нескольких GPU-серверах в облаке. Работа заняла год, но усилия принесли плоды 11 октября, когда ускоритель Nvidia A100 в ирландском Дублине выдал результат M136279841, а подтвердил его расположенный в техасском Сан-Антонио Nvidia H100."

https://3dnews.ru/1112855/bivshiy-ingener-nvidia-otkril-samoe-bolshoe-prostoe-chislo-v-nyom-41-million-tsifr
#llms #ai #gpt #math #ensembling #diversity

Недавно на ютубе смотрел видео о применении компьютера (в частности, языка Julia для исследования проблемы 196), спросил в комментах математика (явно советской школы), который написал статью по модификации проблемы, не пробовал ли он ИИ для генерации кода, да и вообще обкатки идей, на что получил кажущийся высокомерным ответ, мол, этот ваш ИИ слишком слаб для моих задач. Повеяло Сурдиным, в общем ) Я такой думаю, да что ж вы за гиганты мысли такие, что он для вас слаб и неточен, я вот прекрасно с ним работаю и оочень доволен. А вот и пример.


Q.: Suppose i'm running HPT/HPO for some model on a particular dataset, and I plan to later use more than one HP combinations to form an ensemble. Now, am I looking for HPs producing un-correlated predictions (zero MI), or anti-correlated predictions (corrcoeff=-1)?

A.: You're looking for hyperparameter (HP) combinations that produce uncorrelated predictions (zero mutual information, MI ≈ 0) rather than strictly anti-correlated ones (corrcoeff=−1).

Why uncorrelated predictions?
Ensemble Diversity: The key to a strong ensemble is combining diverse but individually strong models. If two models are perfectly anti-correlated (ρ=−1), their predictions will cancel each other out when averaged, leading to little to no improvement.
Reduction in Variance: The goal of an ensemble is to reduce variance and improve generalization. If the models are uncorrelated, they make different kinds of errors, so their combination will smooth out those errors.
Avoiding Overcompensation: A correlation of −1 means that one model's overestimation is exactly another model's underestimation, which could lead to instability in the ensemble.

How to achieve this?
Optimize for performance first: Choose hyperparameters that result in good individual models.
Select diverse models: Instead of maximizing anti-correlation, look for models that make errors in different places (measured by MI or correlation).
Use decorrelation techniques: Cluster models based on prediction similarity and pick those with the lowest pairwise correlation.
In short, low correlation (not necessarily negative) is desirable, but enforcing perfect anti-correlation is counterproductive.


Вот эта интересная идея, о которой я и не подумал, Cluster models based on prediction similarity and pick those with the lowest pairwise correlation. А ведь интересная визуализация может получиться. Хоть какое-то реальное применение для unsupervised ML 😅

Q.: What are other practical means to look for models that make errors in different places, except MI?

A.: Aside from mutual information (MI), there are several practical ways to identify models that make errors in different places when forming an ensemble:

Disagreement Rate (Prediction Diversity Index)
For classification, measure how often two models make different predictions on the same data points.
Higher values indicate greater diversity.

Jaccard Similarity for Misclassified Samples
Compute the Jaccard index for misclassified examples between two models:
Lower values mean models make mistakes on different samples.

Double-Fold Cross-Validation Differences
Train models on different folds and analyze how much their predictions differ on holdout sets.
If a model performs well on Fold 1 but poorly on Fold 2, and another model shows the opposite behavior, they might complement each other.

Shapley Value or Feature Importance Differences
Compare the features each model relies on using SHAP, permutation importance, or Gini importance.
If two models prioritize different features, they likely capture different aspects of the data.

Orthogonality of Prediction Vectors (in High-Dimensional Spaces)
Compute cosine similarity between prediction vectors:
Lower cosine similarity implies more independent predictions.
2
#ai #llms #math

"Для анализа были использованы шесть задач с USAMO 2025 года, организованного Математической ассоциацией Америки. ИИ-модели тестировались сразу после публикации заданий для минимизации риска утечки данных в обучающие выборки. Средняя результативность по всем ИИ-моделям при генерации полных доказательств составила менее 5 % от максимально возможных баллов. Системы оценивались по шкале от 0 до 7 баллов за задачу с учётом частичных зачётов, выставляемых экспертами. Лишь одна модель — Gemini 2.5 Pro компании Google — показала заметно лучший результат, набрав 10,1 балла из 42 возможных, что эквивалентно примерно 24 %. Остальные модели существенно отставали: DeepSeek R1 и Grok 3 получили по 2,0 балла, Gemini Flash Thinking — 1,8 балла, Claude 3.7 Sonnet — 1,5 балла, Qwen QwQ и OpenAI o1-pro — по 1,2 балла. ИИ-модель o3-mini-high компании OpenAI набрала всего 0,9 балла. Из почти 200 сгенерированных решений ни одно не было оценено на максимальный балл.

Исследование подчёркивает фундаментальное различие между решением задач и построением математических доказательств. Стандартные задачи, такие как вычисление значения выражения или нахождение переменной, требуют лишь конечного правильного ответа. В отличие от них, доказательства требуют последовательной логической аргументации, объясняющей истинность утверждения для всех возможных случаев. Это качественное различие делает задачи уровня USAMO значительно более требовательными к глубине рассуждения.

Авторы исследования выявили характерные модели ошибок в работе ИИ. Одной из них стала неспособность поддерживать корректные логические связи на протяжении всей цепочки вывода. На примере задачи №5 USAMO 2025 года ИИ-модели должны были найти все натуральные значения k, при которых определённая сумма биномиальных коэффициентов в степени k остаётся целым числом при любом положительном n. Модель Qwen QwQ допустила грубую ошибку, исключив возможные нецелые значения, разрешённые условиями задачи, что привело к неправильному окончательному выводу, несмотря на правильное определение условий на промежуточных этапах.

Характерной особенностью поведения моделей стало то, что даже в случае серьёзных логических ошибок они формулировали свои решения в утвердительной форме, без каких-либо признаков сомнения или указаний на возможные противоречия. Это свойство имитации рассуждения указывает на отсутствие у ИИ-моделей механизмов внутренней самопроверки и коррекции вывода.

Авторы отметили также влияние особенностей обучения на качество решений. Тестируемые ИИ-модели демонстрировали артефакты оптимизационных стратегий, применяемых при подготовке к стандартным бенчмаркам: например, принудительное форматирование ответов с использованием команды \boxed{}, предназначенное для удобства автоматизированной проверки. Эти шаблонные подходы приводили к ошибкам в контексте задач, где требовалось развёрнутое доказательство, а не только числовой ответ."

https://3dnews.ru/1121911/uchenye-vyyavili-nesposobnost-ii-stroit-matematicheskie-dokazatelstva-na-zadachakh-usamo-2025-goda
Forwarded from asisakov
Теория покера

Если погуглить форумы про покер, то в большинстве тредов эта игра воспринимается как некоторая система, в которой есть определенность. Хотя казалось бы, что карты всегда раздаются случайно. Считается, что успех в игре зависит от глубокого понимания математики, статистики и психологии. Даже существует целая дисциплина - теория покера.

С точки зрения человеческих способностей, тут хотелось бы упомянуть в первую очередь память - попробуйте без подсказок держать в голове все вероятностные исходы раздач, когда известна информация только о нескольких картах среди большого числа тех, что сейчас разыгрываются.

При этом, важно не только помнить вероятности по вышедшим картам и например историю сыгранных партий, но и отыскивать и запоминать паттерны поведения соперников в различных ситуациях - кто и как играл в разных позициях за столом.

Где здесь статистика и вероятности

Покер построен на математических расчетах:

▫️Вероятность получить определенную стартовую руку
▫️Шансы улучшить руку на флопе, терне, ривере
▫️Pot odds (соотношение размера банка к ставке)
▫️Implied odds (потенциальные шансы с учетом будущих ставок)

Продвинутая аналитика:

▫️EV (Expected Value) — матожидание каждого решения
▫️ICM (Independent Chip Model) — модель оценки фишек в денежном выражении
▫️GTO (Game Theory Optimal) — теоретически оптимальная стратегия, если мы не знаем стили игры соперников

Покерные движки и софт (обычно всегда платный софт):

Солверы (решатели):
▫️PioSOLVER - рассчитывает GTO-стратегии
▫️MonkerSolver - анализирует сложные споты
▫️SimplePostflop - анализ постфлопа

Трекеры и анализаторы (солверы там тоже есть):
▫️PokerTracker - сбор и анализ статистики
▫️Holdem Manager - детальная аналитика игры
▫️ICMIZER - расчеты для турнирных ситуаций

Очевидно, что программ больше, я просто привел рандомный список из того, что насоветовала GPT

Где тут аналитика

Статистические показатели:

▫️VPIP (Voluntarily Put $ In Pot) - частота вложений в банк
▫️PFR (Pre-Flop Raise) - показатель агрессивности игрока
▫️3-bet% - частота ререйзов
▫️C-bet% - продолженные ставки на флопе

Позиционная аналитика:

▫️Статистика по каждой позиции за столом
▫️Анализ прибыльности в разных ситуациях
▫️Частота блефов в зависимости от позиции

Аналитика психологии:

▫️Тайминг ставок (время на принятие решения)
▫️Поведение в стрессовых или типичных ситуациях
▫️Тильт-контроль

Вообще, покер идеально подходит для изучения стратегических взаимодействий и развития навыков принятия решений в условиях неопределенности. Еще сверху это присыпается умением в риск-менеджмент и проработку поведения под эмоциональным давлением. В современное время теория покера включает и матмодели на основе теории игр, и AI-системы и ML алгоритмы, и даже поведенческие исследования

Покер давно перестал быть просто игрой. Это полноценная научная дисциплина, где успех зависит от глубокого понимания математики, умения анализировать данные и принимать оптимальные решения в условиях неопределенности.

Ну и напоследок ссылочка на открытый курс по теории покера от MIT. Весь пост родился вообще после того, как я нашел курс в рекомендациях ютуба. Очень круто просто понять, в каких случаях может пригодиться знание статистики и математики.

Надеюсь, было интересно ознакомиться.

Важно: в азартные игры играть не рекомендую!

#math #statistics #softskills #interesting
Please open Telegram to view this post
VIEW IN TELEGRAM
1