Лінейная (аг | рэг) рэсія
1.3K subscribers
85 photos
3 files
140 links
Пра даныя і як іх прыстасаваць да штодзённасці

Мяне можна знайсці

У твітары: https://twitter.com/aliaksandr_k
Англ: https://twitter.com/unfriendlydata
Ці ў тг: @shurackapalieski
Download Telegram
#statistics

Такое не ўсім будзе цікава. Але я фанат інтэрактыўных візуалізацый, а гэтая візуалізацыя - мастацкі твор. Да таго ж, канал называецца лінейная (рэ)грэсія.

Калі вы даўно хацелі зразумець, ці аднавіць веды пра тое, як працуе лінейная рэгрэсія, лепш часу не знайсці. Візуалізацыі іншых канцэптаў у машынным навучанні там таксама ёсць, настолькі ж чароўныя.

https://mlu-explain.github.io/linear-regression/
Пазнаёмлю вас з зоркай OnlyFans, якая цяпер не менш вядомая дата сайнцістка. Ладна, менш - дата сайнс людзей пакуль не настолькі ўзбуджае.

Наколькі я разумею, яна сваімі сіламі праводзіць тыя даследаванні, якія ёй самой цікавыя. Як арыстакраты 19 стагоддзя. У асноўным пра сэкс і наркотыкі. Таксама радуе, што яна з сям’і евангельскіх хрысціян-фундаменталістаў. Класіка.

Апошняе яе даследаванне - пра табу і сэксуальныя фантазіі, з разбіўкай па гендары. Трэнд даволі банальны - чым больш тэма табуяваная, тым менш яна папулярная.

Але ёсць і некалькі анамальна папулярных тэм для свайго ўзроўню табуяванасці - верхні правы вугал. З вясёлага, асіметрычна моцна мужчын узбуджаюць “вельмі нізкія людзі”. А жанчын - пярэварацень.

Вось тут графік у максімальнай рэзалюцыі. Добрых усім выходных!
Screenshot 2022-09-29 at 20.21.56.png
376.3 KB
Зрабіў графік з размеркаваннем літар па пазіцыі ў словах. Дадзеныя - з артыкулаў на беларускай вікіпедыі. Код на гітхабе - тут.
Я не давяраю дадзеным Андрэя Вардамацкага.

Адразу два дысклэймеры: калі б Вардамаці апублікаваў дадзеныя, дзе беларусы былі малайцы, я б гэты пост не напісаў; Я яго асабіста не ведаю, у мяне няма канфлікту інтарэсаў.

Па-першае, ягоныя прэзентацыі дрэнна аформленыя. Гэта тычыцца як стылю, так і больш факталагічных рэчаў - у пытанні пра ўдзел беларускага войска ў вайне дадзеныя за май не б’юцца ў 100%. Калі сумы кшталту 99.9% ці 100.1% тлумачацца памылкай акруглення, 99.6% для трох катэгорый - не.

Чаму я лічу гэта важным? Досвед. Калі я падымаю свой уласны аналіз, які я рабіў у мінулым і бачу, што ён аформлены дрэнна, я апрыёры менш яму давяраю. Бо карэляцыя паміж якасцю афармлення і факталагічнымі памылкамі заўважная. У мяне, у маіх калег майго ўзроўню, у джуноў, у тэставых заданнях пры прыёме на працу, у акадэмічных паперах - паўсюль.

Па-другое, ягоныя дадзеныя не публічныя. Іншыя людзі не могуць знайсці там памылкі. У Chatham House (CH), напрыклад, дадзеныя публічныя.

Канкрэтна гэтыя лічбы дрэнна карэлююць з дадзенымі СН. І гэта мой самы слабы аргумент. Па-першае, СН праводзіла свае апытанні не ў тыя ж даты, што і Вардамацкі. Па-другое, пытанні яны задаюць не ідэнтычныя. Па-трэцяе, у іх прынцыпова розныя выбаркі - тэлефоннікі супраць інтэрнэт-панэляў. У адпаведнасці, мой аналіз будуецца на дапушчэннях, якія я не магу эфектыўна абараніць. Я падзялюся, але ўспрымайце яго з вялікім скепсісам.

Тэзіс Вардамацкага наступны: Якому з бакоў узброенага канфлікту вы больш спачуваеце?» У траўні Украіне спачувалі 50,3% апытаных, а ўжо ў верасні — 33,9%. Расеі ў траўні спачувалі 21,1% рэспандэнтаў, а ў верасні — 32%.

Цяпер параўнаем з дадзенымі СН.

1.  Возьмем пытанне “Как вы в целом относитесь к России?”. Добра ці ў асноўным добра: чэрвень -> жнівень, з 70.9% да 71.2%. Дрэнна ці ў асноўным дрэнна: чэрвень -> жнівень, з 19.7% да 20.7%. Вардамацкі: спачуванне расіі ў канфлікце, май -> верасень, з 21.1% да 32%

2. Возьмем пытанне “Как вы в целом относитесь к Украине?”. Добра ці ў асноўным добра: чэрвень -> жнівень, з 67.3% да 68.3%. Дрэнна ці ў асноўным дрэнна: чэрвень -> жнівень, з 17.8% да 17.5%. Вардамацкі: спачуванне Украіне ў канфлікце, май -> верасень, з 50.3% да 33.9%

Можаце неяк узгадніць у галаве гэтыя дадзеныя? Я не магу. Глянуў яшчэ на два пытанні, а менавіта "Вы поддерживаете или не поддерживаете военные действия российских войск на территории Украины?" і “Что следует сделать Беларуси в контексте военных действий между Россией и Украиной сейчас?”.

Атрымліваецца дзіўна:

СН:
• Украіну любім крыху больш, расію любімы крыху больш, але расію і ненавідзім крыху больш
• Ваенныя дзеянні расіі падтрымліваем крыху менш (-3.3 пп)
• У плане дзеянняў РБ, крыху больш хочам выступаць на баку расіі (+1.8 пп)

Вардамацкі:
• Поўны калапс па ўсіх франтах, розніцы па 10-20 пп

Варыянтаў, як узгадніць гэта паміж сабой, я бачу тры:

1. Гэта непараўнальныя пытанні і перыяды
2. Выбаркі прынцыпова розныя, перасякаюцца слаба
3. У кагосьці з іх - памылкі ў аналізе. Калі ставіць грошы на тое, у каго - у СН ці Вардамацкага, мае грошы на Вардамацкім

P.S. - пакуль пісаў, на Зеркало выйшаў артыкул з такім ж аргументамі
Паразмаўляў з калегам і знаёмымі-сацыёлагамі пра ўчорашняга Вардамацкага. Вырашыў падсумаваць у сціслай форме, каб паставіць акцэнты:

1. Падзенне спачування да Украіны на 16.4 пп за 4 месяцы - гэта вельмі шмат. Не значыць, што такога не можа быць. Значыць, што ступень “сюрпрызнасці” гэтых дадзеных - высокая
2. У дадзеных СН за аналагічны перыяд нічога такога не назіраецца. Я паспрабаваў знайсці ў іхняй прэзентацыі максімальную абсалютную розніцу па ўсіх пытаннях, звязаных з вайной, расіяй і Украінай. За ўсе перыяды яна - 21 пп. Гэта падзенне жадання заставацца ў АДКБ, з 63% у лістападзе 2020 да 42% у чэрвені 2022. Спатрэбілася амаль 2 гады, Казахстан, вайна з Украінай, каб абраніць адказ на пытанне на 21 пп. Калі казаць пра стаўленне да расіі - максімальная розніца была 15 пп - падзенне з лістапада 2021 па красавік 2022
3. Дадзеныя не публічныя. З прыватных размоў я чуў, што Вардамацкі не распавядае, як напрыклад узважаная ягоная выбарка ці нават пра тое, у якія даты яна збіралася. Калі ён не хоча дзяліцца з калегамі, чаму ўсім астатнім яму давяраць?
4. Пра абыякавасць да афармлення і памылкі ў прэзентацыі я ўжо казаў. Памылкі робяць усе. Факт таго, што ў яго сумы ў 100% не б’юцца аўтаматычна не значыць, што ён дадзеныя ад рукі малюе. Проста змяншае давер.
5. Што магло выклікаць такі тэктанічны шыфт з мая па верасень пакуль ніхто не прыдумаў. Прынамсі, з маіх знаёмых

Не бачу сэнсу цалкам адкідаць гэтыя дадзеныя, бачу сэнс надаваць ім самую мінімальную вагу. Прынамсі да лепшага тлумачэння
Як часта даследчыкі нас падманваюць?

Гучыць смешна, але калі іх апытаць ананімна, яны шмат у чым прызнаюцца. Вядома як мінімум 12 такіх апытанняў, з 2012 па 2022 год. У твітэры іх сабралі ў адзін графік. У асноўным псіхолагі, але ёсць і іншыя дысцыпліны. Па маіх прыкідках, сумарна там адказы ~5.000-7.000 навукоўцаў. Будзем глядзець толькі на максімальныя лічбы па кожнай катэгорыі, бо а) мне лянота падлічваць сярэднія б) вядома, што людзі спрабуюць выглядаць лепш, чым яны ёсць нават у ананімных апытаннях.

Як і як часта нам хлусяць даследчыкі:

• Прамая фальсіфікацыя даных, калі яны малююцца ад рукі - 10% даследчыкаў
• Спроба замаскіраваць праблемы з аналізам, якія ставяць пад пытанне высновы аўтараў - 24% даследчыкаў
• Выкіданне даных, якія не падыходзяць пад гіпотэзу - 43% даследчыкаў
• Падгонка пад адказ, калі перабіраюць даныя, знаходзяць патэрн, пастфактум прыдумляюць гіпотэзу, якая б гэты патэрн “тлумачыла”, а потым робяць выгляд, што спачатку прыдумалі гіпотэзу, а потым даказалі яе данымі - 54% даследчыкаў
• Выбарачны рэпорцінг вынікаў, калі паказваюць толькі тое, што падыходзіць пад гіпотэзу аўтараў, а астатні аналіз апускаюць - 64% даследчыкаў

Мой любімы слоган 2020 году: СА-БАЧ-КУ TRUST THE SCIENCE!
Размеркаванне вынікаў 9.524.071 марафонскіх забегаў па часе. У паперы шмат цікавага, мне спадабаліся наступныя факты:

1. Людзям падабаюцца прыгожыя лічбы: "4:00", "3:30" і г.д. Не самы нечаканы факт
2. Людзі пачынаюць змяняць тэмп, каб трапіць у прыгожую лічбу, напрыканцы марафону
3. Працуе гэта ў абодва бакі: тыя, хто не паспявае да прыгожай лічбы, пачынаюць наганяць. А тыя, хто ідзе да яе з запасам, пачынаюць зніжаць тэмп
Мы недаацэньваем, наколькі выпадковым ёсць статыстычны аналіз. Ён падобны на латарэю, дзе дробныя змены ў метадалогіі прыводзяць да прынцыповых зменаў у высновах.

Я калісьці спрабаваў праілюстраваць гэта жартам пра аўтаматычны генератар навуковых артыкулаў. Абіраеш патрэбную выснову паўзунком, а пад яе генеруецца тэкст: даныя, статыстычная мадэль, тэарэтычныя аргументы, спіс літаратуры. Даныя рэальныя, метадалогія цалкам легальная, спіс літаратуры - агульнапрыняты. Ніякага падману.

За аснову я ўзяў даследаванні пра дэмакратыю і эканамічны рост. Простым пераборам скамбінаваў стандартныя метадалагічныя рашэнні і атрымаў 9.148 унікальных рэгрэсій. У гэтым генератары кожны знойдзе нешта для душы. Хочаш, згенеруе паперу, як дэмакратыя абвальвае эканомікі ў 90-ыя, да радасці Кірыла Рудага і адэптаў аўтарытарнай мадэрнізацыі. Хочаш - дэмакратыя будзе прыводзіць да эканамічнага росквіту і шчаслівага канца гісторыі, як завяшчаў дзядуля Фукуяма.

Код для генерацыі папер таксама ідзе ў камплекце.
Я неяк распавядаў пра ўстойлівасць “элітнасці” праз пакаленні - нашчадкі багатых фларэнтыйцаў сярэднявечча і ў 21 стагоддзі зарабляюць больш, чым астатнія італьянцы.

Пабачыў аналагічную паперу пра Кітай. З ~1945 па 1976 Кітай перажываў рэвалюцыі: ад камуністычнай да культурнай. Мерапрыемствы былі вясёлыя, з масавым забойствам старой эліты праз публічныя лінчаванні, пахаванні жыўцом і нават канібалізм.

Аднак, па стане на 2010 год нашчадкі старой кітайскай эліты зноў зарабляюць больш і адукаваныя таксама больш.

Мне падумалася, што не да ўсіх рэвалюцыя дабралася, кааптаваўшы частку элітаў у новыя інстытуты. Але графікі паказваюць іншае: тыя элітныя дзеці, хто нарадзіўся цягам актыўнай фазы, і зараблялі менш, і мелі меншы шанец атрымаць адукацыю, чым астатнія кітайцы (графік перасякае нуль). Але для тых, хто нарадзіўся пасля актыўнай фазы, сітуацыя заўважна выпраўляецца і яны зноў на кані.

У паперы цікавыя дыскусіі пра каналы перадачы дабрабыту. Іх даволі шмат. На месцы жыхароў Новай Баравой, таму, я б глядзеў у будучыню з аптымізмам.
Мяне здзіўляе, наколькі эфектыўныя антыдэпрэсанты. Яшчэ больш мяне здзіўляе, наколькі эфектыўным у лячэнні дэпрэсіі з’яўляецца плацэба.

Гэты мета-аналіз сцвярджае, што плацэба эфектыўнае на 68% ад эфектыўнасці антыдэпрэсанатаў. Гэты - што на 82%. Гэты - што розніца “маргінальная”. Гэты - што калі параўноўваць толькі з “актыўным” плацэба (пра гэта ніжэй), розніцы няма. Агульны матыў большасці мета-аналізаў (праглядзеў я штук 15) у тым, што статыстычная розніца ёсць, але клінічная значнасць яе маленькая. Напрыклад, тут па HDRS шкале (ад 0 да 52, дзе 52 - самая моцная дэпрэсія) перавага над плацэба ацэньваецца ў 2.5 пункты, тут - у 2.18 і 2.68, ну і г.д.

Цікава, што эфектыўнасць плацэба расце з гадамі (графік 1). Адна з гіпотэз у тым, што раней у антыдэпрэсантаў былі больш заўважныя пабочкі, а плацэба было часцей пасіўным. Цяпер пабочак менш, а плацэба часцей актыўнае - выклікае фізіялагічныя рэакцыі ў целе. Складаней таму зразумець, у эксперыментальнай ты ці кантрольнай групе, людзі адчуваюць, што нешта ў арганізме адбываецца і дэпрэсія праходзіць.

Другая асіметрычнасць - па cтупені: чым дэпрэсія больш цяжкая, тым большая розніца паміж антыдэпрэсантамі і плацэба (графік 2). Аўтары так і пішуць: перавагі антыдэпрэсантаў над плацэба для лёгкай, сярэдняй і цяжкай дэпрэсіі альбо не існуе, альбо яна нязначная, для вельмі цяжкай дэпрэсіі - значная.

Трэба памятаць да таго ж, што ў гэтых даных ёсць скажэнні на карысць антыдэпрэсантаў. Кшалту такога ці такога. Бо гэта мільярдны бізнес. За плацэба такіх фінансавых стымулаў няма.
Распавяду вам пра новае моднае даследаванне, пра якое гудзіць акадэмічны твітэр.

73 камандам (161 даследчык) раздалі аднолькавыя даныя каб адказаць на адное і тое ж пытанне: ці вядзе масавая іміграцыя да зніжэння ў грамадстве падтрымкі сацыяльных палітык. Само пытанне не вельмі важнае.

Важныя вынікі. Яны цудоўныя: адказы акуратна размазаныя ад моцна негатыўнай да моцна пазітыўнай залежнасці. Дакладней, 25.4% адказаў - за негатыўны эфект, 16.9% - за пазітыўны, а 57.7% каманд не знайшлі статыстычнай значнасці. Больш за тое - ніводныя 2 каманды не прыйшлі да аднаго і таго ж адказу. 73 унікальныя адказы на 73 каманды, тобок. Ні ўзровень навукоўцаў, ні асабістае стаўленне да пытання не прадказваюць вынікаў.

Чаму так адбываецца? Уявіце, што ў вас ёсць апытанне. На яго ў сярэднім адказвалі за 3 хвіліны. Але ёсць тыя, хто за <30 секунд. Вы можаце: нічога не рабіць, выкінуць 1% найбольш хуткіх адказаў, як нерэалістычны шум, выкінуць 5%, 10%, выкінуць не па працэнтах, а па абсалютным значэнні ў 30 секунд і г.д. Загадзя прадказаць, як гэта паўплывае на аналіз, цяжка. Сказаць, якая опцыя лепш - таксама, яны ўсе слушныя. Па выніку, мільёны ўнікальных камбінацый.

Калі вам распавядаюць, што колькасць зброі вядзе да росту забойстваў. Ці да падзення колькасці забойстваў. Ці порна вядзе да росту гвалту. Ці порна зніжае гвалт. Памятайце: вам прэзентуюць адзін з мільёнаў магчымых аналізаў.

Насамрэч, нічога новага. Гэта не першае такое даследаванне і не апошняе. Я сам удзельнічаю зараз у праекце па рэплікацыі вядомых папер пра эканоміку, псіхалогію, сацыялогію і г.д. Апублікуем - распавяду. Але адказ і так усім зразумелы.
Рабяты сабралі даныя па тым, як розныя культуры складаюць зоркі ў сузор’і. І прыйшлі да высновы, што складаюць іх падобным чынам. Графік чытаецца так: чым больш тлустыя рэбры паміж парамі зорак, тым часцей іх групуюць у сузор’е.

Аргумент у тым, што эвалюцыянавалі мы ўсе разам і схільнасці да фармавання візуальных патэрнаў у нас ва ўсіх падобныя. Культура можа гуляць ролю, але не такую значную.

Даставіла таксама што з 27 культур у датасэце ёсць і беларуская. Ну, не дзіва.
Калі вам знаёмы сіндром самазванца, ці вам падаецца, што на працы вы займаецеся не працай, а імітацыяй, згадайце гэты графік.

У часопісе Advances in Materials Science and Engineering ёсць вось такі артыкул. Галоўнае там - дзявяты графік. Часта на графікі дадаюць т.з. “error bars” - рыскі, якія дазваляюць ацаніць давяральныя інтэрвалы. На гэтым графіку яны таксама ёсць. Толькі гэта не error bars, а літары “T”, літаральна, якія на графік проста дамалявалі, каб ён выглядаў больш навукова.

Захапляльна
Спадабалася, шмат цікавага. Напрыклад:

- "Свядомых" заўважна больш (14%), чым "русіфікаваных" (4%)
- Але заўважна менш, чым "савецкіх" (29%)
- Важнасць беларускай мовы для самавызначэння нізкая, але пакрыху расце - з 19% да 25% за 2020-2022 год
- Аматараў "братского тріедінства" шмат, але робіцца менш - з 61% да 49% за апошнія 2 гады
- І маё любімае: свядомых, якія вераць у астралогію - 19%, русіфікаваных - 41%
Кароткая пятнічная гісторыя

Ёсць група акадэмікаў, якія вывучаюць экзістэнцыяльныя рызыкі, звязаныя са штучным інтэлектам. Пераедуць ці нас тэслы на дарогах, парабацяць ці нас нашыя галасавыя памочнікі, ці здабудуць свядомасць матрычныя перамнажэнні і г.д.

Ім надавалі столькі грошаў, што яны не ведаюць, што з імі рабіць і перажываюць. На днях яны набылі сабе палац, каб у ім тусавацца. Дакладней, цэлае абацтва - Wytham Abbey.

Не перажываю цяпер за будучыню чалавецтва. Расчараваны, што яны не набылі San Francisco Armory, але як ёсць

Зычу вам такіх ж праблем у жыцці і добрай пятніцы