А вот интересный душный оффтоп. Ранее в #мастерская@bottom_bottom я опубликовал не очень понятные картинки со сравнениями моделей у разных видов. Расскажу что они значат и как появились.

Я использовал скрипты написанные для другой статьи, вот только что вышедшей, о которой Дно писать не планировало. Дело в том “иногда ты ешь медведя, а иногда медведь есть тебя” (с). В научной работе второе бывает чаще. Вот тут я пытался на своих данных о пресноводных моллюсках Центральной Азии проверить насколько можно использовать всякие там биогеографические регионы для предсказания состава фауны.

Я взял три классификации, которые очень часто используются для описания распространения пресноводных зверюшек – пресноводные и наземные экорегионы, и ещё водосборные бассейны. С одной стороны это достаточно дробные классификации чтобы они были применимы для небольшой территории, с другой стороны – они совсем про разное. Наземные экорегионы отражают ландшафтно-зональное деление, то на есть степи, болота, леса, тундру, лишайниковая тундру, кустарничковая тундру, тундру островов южной части Индийского океана и ещё 100500 других видов тундры. Пресноводные экорегионы – про историческую связанной речных бассейнов, например если когда-то было одно озеро, а потом разделилось на два – оба современных озера входят в один экорегион, а если сейчас две части реки были более-менее изолированы, а теперь – нет, то это два разных экорегиона. С водосборными бассейнами всё просто – это современные отдельные реки и все лужи в их окрестностях.
🔻#пресноводные

🔺Часть 2
Вот, посмотрите на карту наземных и пресноводных экорегионов и водосборных бассейнов Казахстана. Как сейчас помню, как редактировал её в сидрерии на Моховой в свой прошлый День рождения в ожидании друзей. Просто хочу напомнить, что я рад тому, что у меня есть друзья 😍

На верхней карте территория разделена на прямоугольники. Запомните это, потом пригодится 😏
🔻#пресноводные

🔺Часть 3
Сначала я сделал офигительно красивую (на мой взгляд), хотя и черновую картинку. Если бы из неё хоть что-то получилось, то я бы доделал её в графическом редакторе, но сейчас смысла в этом нет. Регионы на картах из каждой классификации раскрашены по степени сходства с самым богатым по числу видов. А графики, похожие на филогенетические деревья – в общих чертах показывают насколько много общих видов между регионами.

Отдельно графики построены для всех моллюсков и отдельно для улитонек🐌 и двустворок🦪 (это всякие устрицы, перловицы и отцы пизидии).
🔻#пресноводные

🔺Часть 4
Картинки, хоть и понравились мне чисто по визуалу 💅, но почему-то не показывали какой-то тенденции, которую я бы посчитал позитивным результатом. Например ни одна из классификаций не давала более чёткой группировки, чем остальные, да и вообще уныло что всегда более близкие районы заселены более похожими моллюсоками – это и без картинки понятно 🙄

Я сделал ещё несколько ничего не давших анализов и решил попробовать сделать модели для семнадцати наиболее часто встречавшихся улитонек и одной двустворки. Потому что из модели можно в том числе и вытащить значимость факторов.

Чтобы оценить качество модели используются специальные метрики. Для этого модель обучается на части данных, а другая часть используется в качестве тестовой – насколько хорошо модель предсказывает и присутствия и отсутствия вида. Метрик довольно много, и они немного по-разному оценивают вклад присутствий и отсутствий вида, я использовал четыре (в финальной версии – три первых) из них – AUC, TSS, Kappa и LOOIC.

Сначала всё шло хорошо – я сравнивал какой прирост качества модели даёт добавление классификации относительно базовой модели с климатическими факторами. Оказалось, что наземные экорегионы в топчике 🔝 Это с одной стороны противоречит большинству работ, где водосборные бассейны рассматриваются как основной фактор влияющий на распространение значительной части пресноводной фауны. Логично – водным организмам гораздо проще расселяться используя непрерывную водную среду, чем перебираться по воздуху между наземными преградами.

С другой стороны, тип ландшафта на земле очень важен для улитонек большинство из которых потомки именно наземных моллюсок, а не морских. Они дышат атмосферным кислородом воздуха и привыкли пастись на огродах на цветковых растениях, которые либо растут в прибрежье, либо падают в воду. Например раньше я уже на Кольском полуострове и окрестностях обнаружил, что в тундре скачкообразно падает число пресноводных улитонек, хотя какая им разница до наземных ландшафтов? 🤷

Эта красивая теория подтверждалась до тех пор, пока я не решил добавить в модель простую сетку (это те самые прямоугольнички, о которых я писал в части 2), которая не несёт никакого биологического смысла – просто деление территории на равные по площади куски. Это должно было быть контролем – ведь метрики моделей могут улучшаться и просто из-за добавления не очень значащих факторов. То есть важно было показать, что экорегионы улучшают не просто климатическую модель, а это улучшение действительно отражает биологические закономерности.

Тут оказалось, что для большинства видов вообще нет разницы использовать бассейны, экорегионы или простую сетку. То есть я получил чисто математический прирост качества, который не имеет биологической основы. Чтобы в этом точно убедиться я добавил простые ландшафтные факторы, уже полученные на основе спутниковых снимков, которые, как мы помним, точно улучшают модель.
🔻#пресноводные

🔺Часть 6
А вот так выглядит влкад разных факторов в модель. Он оказался низким у экорегионов, водосборных бассейнов и случайной сетки, однако самыми высокими оказались ландшафтные и, в некоторых алгоритмах, климатические (они имеют “Bio” в названии) факторы. Это согласуется с моим первым опытом моделирования для слизней.
🔻#пресноводные

🔺Часть 7
Ну и наконец, почему такое возможно, что случайное разбиение территории на прямоугольники может дать такой же или лучший результат, чем построенные умными людьми классификации? Тем более, что не я первый начал использовать их в моделировании и у всех было 🆗 Вероятнее всего есть какие-то пространсвенные закономерности, которые не понять бездушным математическим алгоритмам не вошли в список моделируемых факторов. С другой стороны – проработка классификаций не всегда одинакова для всего мира и я мог выбрать просто неудачную территорию, где границы регионов проводили на глаз экспертно. С третьей – может быть много у кого не получалось, просто они это не публиковали. И наконец, никто же раньше не тестировал случайную пространственную сетку, может быть она бы развалила и предыдущие результаты 🤔

В итоге на все эти бесконечные рассчёты я потратил больше года. Мог бы и что-то хорошее за это время сделать 😭

Итак, в прошлый раз в #местерская@bottom_bottom я определился с видами улитонек, распространение которых в дальнейшем буду моделировать, некоторыми параметрами модели и сделал предварительный вывод – реальное распространение улитонек во многом соответствует пригодной территории, которую предсказывают модели.

С тех пор я дополнил свою базу данных. Явных артефактов теперь не осталось и можно уже более конкретно сравнивать предсказанную нишу с реализованной. Для сравнения я разделил территорию на большие квадраты – я протестировал три варианта их размера: со сторонами 50, 100 и 200 км. В итоге остановился на самых мелких пятидесятикилометровых. Ещё я придумал формулу, ещё в самом начале работы. Она должна показывать вероятность реальной находки вида в конкретном квадрате (правда пришлось её немного поменять). Она делит полное число точек находок вида на пригодной для его обитания территории на его на общее число записей в базе данных, попадающих в эту территорию. Так получается вероятность находки вида, если бы их распределение было бы полностью случайным.

Ну представьте себе – у вас есть сотня лотерейных билетов, из которых только двадцать выигрышных. То есть вероятность вытянуть случайно выигрышный билет равна 20/100 =1/5=0.2. Так же и с находкой сферической улитоньки в вакууме 😁

Но вероятность находки вида в конкретном пятидесятикилометровом квадрате зависит ещё и от того, как много в нём пригодной территории и как много проб в нём было отобрано. Поэтому умножаем на эти числа.

Пригодная территория – тоже понятие относительное. Модель даёт для каждого пикселя на карте значение вероятности того, что вид найдёт там хорошие для себя условия. Но эта вероятность может быть очень низкой, поэтому пиксели с маленькой пригодностью нужно исключить. Для этого я проверил в какие диапазоны пригодности попадают реальные точки находок видов и посчитал непригодными все пиксели куда попало менее 5% таких находок для каждого из видов.

Все эти рассчёты пришлось придумывать только потому что точки сборов моллюсков распределены очень неравномерно и если я хочу действительно проверить области где вид мог бы быть, но не смог заселиться – нужно попытаться исключить те территории где просто плохо искали, потому что при простом сравнении карты, которую предсказывает модель с реальным распространением улитонек, то в первую очередь нессоответстсвия будут именно в плохо изученных районах.
🔻 #мастерская@bottom_bottom #Морские #Арктика

🔺Часть 3
Нереализованный ареал в среднем оказался достаточно большим ~30% от реализованного и может располагаться в разных направлениях по отношению к реальному. Например – на западе или востоке. А может находиться и между фрагментов реального ареала, потому что отрисованный ареал часто разбит на куски (как на рисунке выше). А ещё улитоньки (как и мы с вами) живут в трёхмерном пространстве, поэтому есть ещё нереализованный ареал по глубине. Чтобы это как-то это визуализировать я решил сделать такие картинки 😍 И, да целый день ушёл только на их дизайн, но я очень доволен.

Сразу бросается в глаза, что у многих улитонек есть большой нереализованный ареал в юго-западной части района и на мелководье. Это артефакт. У меня действительно очень много данных из мелководной Мурмана (я даже список видов для него делал 🧐). Моя формула, которая считает вероятность находки вида в квадратах чувствительна к числу проб в регионе, поэтому если где-то много искали и там есть хоть немного пригодной территории то площадь нереализованного ареала в таких районах будет очень высокой.
🔻 #мастерская@bottom_bottom #Морские #Арктика

🔺Часть 4
Чтобы избавится от этого артефакта я попробовал вывести зависимость отдельно между числом проб, географическим пространством и глубиной. И полученный коэффициент использовал для отрисовки графиков. То есть если в диапазоне глубин 50-100 метров у меня в десять раз больше записей чем в диапазоне 1050-1100 метров, то число квадратов нереализованного ареала в мелководье делится на десять.

Вот получился такой же, но уже скорректированный с учётом неодинаковой изученности график. Здесь уже видно, что появляются виды, для которых основная часть нереализованного ареала лежит сильно глубже их основного распространения. И, наверно, это тоже не окончательный вариант. Я хочу попробовать отрисовать глубину не в абсолютных значениях (как сейчас) а в относительных, то есть если есть два вида, один из которых обитает на глубинах 100-200 метров, а второй 1100-1200, и оба согласно предсказаниям модели могут спускаться на сотню метров вниз, на графиках у них должен отрисовываться один диапазон (то есть -100 метров).

Важно ещё, что за всеми этими пересчётами я могу потерять реальную биологическую тенденцию – вдруг действительно нереализованный ареал лежит в Мурмане и на мелководье? Ведь маленькое количество глубоководных записей в моей базе данных не только потому что там мало собирали, а ещё и потому что большая часть проб оттуда – пустые (у нас, кстати, про это тоже висит статья в бесконечных кругах рецензирования 😡). Это, конечно, нужно указать в обсуждении.

Интересно, что хотя нет какой-то общей тенденции в географическом распространении для всех видов, расположение нереализованного ареала всё-таки достоверно отличается от случайного для всех видов. Пока я не могу этого объяснить, хотя также попытался исключить все возможные ошибки.
🔻 #мастерская@bottom_bottom #Морские #Арктика

🔺Часть 2
Ещё я попробовал выделить что-то вроде функциональных групп. Это когда виды объединяют по общим чертам их образа жизни (как долго живут, зарываются ли в грунт, кого кушают и прочая хурма) всякими статистическими анализами. Но так как про образ жизни улитонек известно чуть-чуть, я добавил то, что известно – размеры, наличие выростов на голове или ноге, форму раковины, тип развития – это всё хоть и на полшишечки связано с их образом жизни. А ещё я добавил туда распространение за пределами Арктики и получились trait-and-distribution groups (извините, я не придумал, как это прилично назвать по-русски).
Также я выделил группы видов по типу недооценённого арела (это вот обобщение картинки из части 1) и будущего ареала после апокалипсиса 2090 года. И эти группы между собой никак не сходятся. Пока я не знаю что делать с этим результатом – просто оставить его или сделать отдельный блок текста про тестирование разных групп с выводом о том, что закономерности выделить нельзя 🤔
🔻 #мастерская@bottom_bottom #Морские #Арктика