Ну вот и прошла неделя. Ранее я проверил, что построить модели распространения для арктических улитонек в принципе возможно.
На этом этапе очень хотелось бы сделать уже не тестовые, а реальные модели и их проекции с которыми можно работать дальше. Для этого мне надо собрать как можно больше сведений о находках улитонек. На самом деле к этому я готовился почти всю свою рабочую жизнь (ну не считая того периода, когда я работал на стройках и земснаряде ) – у меня ооооочень много данных о распространении улитонек в Арктике. Проблема в том, что они разбросаны по совсем разным файлам, с разными форматами и разной степенью подробности. И это ещё хорошо, что я давно не пишу ничего на бумаге – все старые блокноты потерялись во время бесконечного переезда из квартиры в квартиру и из лаборатории в лабораторию 😅.
Сводить эти данные в единый массив я начал много месяцев назад, потому что это мне нужно дляочередного списка видов диссертации, которую я пишу, хотя со стороны так и не кажется 👀 и сейчас я только завершил продолжил эту работу, а не сделал с нуля, добавив туда также и литературных данных для тех районов, откуда свои отсутствуют. Итого, у меня есть база данных с проверенными находками улитонек, состоящая из 6200+ записей с проверенными находками улитонек, 95% из которых прошли через мои руки. Выглядит она как на картинке. Для каждой записи пришлось проверять координаты и другие атрибуты, а часть пришлось выкинуть на этапе составления.
Вот, посмотрите на карту точек находок улитонек в Арктике и на то, как выглядит база данных.
🔻 #мастерская@bottom_bottom #Морские #Арктика
На этом этапе очень хотелось бы сделать уже не тестовые, а реальные модели и их проекции с которыми можно работать дальше. Для этого мне надо собрать как можно больше сведений о находках улитонек. На самом деле к этому я готовился почти всю свою рабочую жизнь (ну не считая того периода, когда я работал на стройках и земснаряде ) – у меня ооооочень много данных о распространении улитонек в Арктике. Проблема в том, что они разбросаны по совсем разным файлам, с разными форматами и разной степенью подробности. И это ещё хорошо, что я давно не пишу ничего на бумаге – все старые блокноты потерялись во время бесконечного переезда из квартиры в квартиру и из лаборатории в лабораторию 😅.
Сводить эти данные в единый массив я начал много месяцев назад, потому что это мне нужно для
Вот, посмотрите на карту точек находок улитонек в Арктике и на то, как выглядит база данных.
🔻 #мастерская@bottom_bottom #Морские #Арктика
🔺Часть 2
Моделировать распространение можно только для улитонек, которые были найдены по многу раз в разных по условиям районах. В моём случае нужно чтобы расстояния между точками находок было не менее 2.5 угловых минут (около 4-5 километров), потому что используемые для обучения карты с распределением условий среды имеют такой масштаб. Я отфильтровал виды у которых есть находки не менее чем в трёх десятках пятикилометровых квадратов, таких набралось всего 23. Именно с ними я и буду работать.
Дно уже писало, что для построения модели нужно знать не только где вид был найден, но и где его найдено не было. Такие места выбираются в случайном порядке на определённом расстоянии от мест находок. Такое расстояние называется буфером и выбирается исходя из возможностей моделируемых видов расселяться. Это обычно неизвестно, но для беспозвоночных варьирует от десятков до сотен километров. Чтобы выбрать оптимальный я построил для каждого вида по пять моделей с разными буферами и постарался выбрать ту, формальное качество которой лучшее для большинства видов.
Вот, посмотрите, что получилось. В целом значительной разницы между разными буферами не было (и это хорошо!), но буфер в 200 км оказался в среднем немного лучшим, и его я буду использовать в дальнейшем
Заодно посмотрите, какой вклад вносят разные факторы в разные алгоритмы моделирования. Самыми важными обычно оказываются глубина и покрытие льдом 🧐
🔻 #мастерская@bottom_bottom #Морские #Арктика
Моделировать распространение можно только для улитонек, которые были найдены по многу раз в разных по условиям районах. В моём случае нужно чтобы расстояния между точками находок было не менее 2.5 угловых минут (около 4-5 километров), потому что используемые для обучения карты с распределением условий среды имеют такой масштаб. Я отфильтровал виды у которых есть находки не менее чем в трёх десятках пятикилометровых квадратов, таких набралось всего 23. Именно с ними я и буду работать.
Дно уже писало, что для построения модели нужно знать не только где вид был найден, но и где его найдено не было. Такие места выбираются в случайном порядке на определённом расстоянии от мест находок. Такое расстояние называется буфером и выбирается исходя из возможностей моделируемых видов расселяться. Это обычно неизвестно, но для беспозвоночных варьирует от десятков до сотен километров. Чтобы выбрать оптимальный я построил для каждого вида по пять моделей с разными буферами и постарался выбрать ту, формальное качество которой лучшее для большинства видов.
Вот, посмотрите, что получилось. В целом значительной разницы между разными буферами не было (и это хорошо!), но буфер в 200 км оказался в среднем немного лучшим, и его я буду использовать в дальнейшем
Заодно посмотрите, какой вклад вносят разные факторы в разные алгоритмы моделирования. Самыми важными обычно оказываются глубина и покрытие льдом 🧐
🔻 #мастерская@bottom_bottom #Морские #Арктика
🔺Часть 3
Ну и наконец, я обрисовал ареалы распространения видов и построил первые варианты карт пригодности территории (то есть проекции моделей) и наложил одно на другое. Карты распространения видов я делал методике, которую я разработал для другого исследования, которое валяется на рецензии 😡 и когда-нибудь возможно станет темой истории для Дна. В целом этот алгоритм очерчивает крайние точки находок вида (convex-hull, ко в теме) а затем строит что-то вроде изолиний распространения видов по глубине. Накладывая одно на другое получается известный ареал распространения.
Исходная гипотеза о том, что распространение улитонек на восток может быть ограничено географическими барьерами не подтверждается – территория предсказанная моделью не слишком отличается от очерченного ареала. В будущем я придумаю как вырезать из проекции модели те участки, где было собрано мало проб и различия, как я полагаю совсем сойдут на нет. Вот, посмотрите на картинки – территория предсказанная моделью показана оттенками красного, а реальный ареал – однотонной заливкой.
У нескольких видов всё же значительные различия были (третья картинка). Однако это явный артетфакт моей базы данных, потому что эти виды в ней отсутствовали на части территорий, откуда они были указаны во всяких научных статьях. То есть нужен ещё один цикл дополнения базы данных хотя бы по выбранным видам, чем я и занимаюсь.
#мастерская@bottom_bottom #Морские #Арктика
Ну и наконец, я обрисовал ареалы распространения видов и построил первые варианты карт пригодности территории (то есть проекции моделей) и наложил одно на другое. Карты распространения видов я делал методике, которую я разработал для другого исследования, которое валяется на рецензии 😡 и когда-нибудь возможно станет темой истории для Дна. В целом этот алгоритм очерчивает крайние точки находок вида (convex-hull, ко в теме) а затем строит что-то вроде изолиний распространения видов по глубине. Накладывая одно на другое получается известный ареал распространения.
Исходная гипотеза о том, что распространение улитонек на восток может быть ограничено географическими барьерами не подтверждается – территория предсказанная моделью не слишком отличается от очерченного ареала. В будущем я придумаю как вырезать из проекции модели те участки, где было собрано мало проб и различия, как я полагаю совсем сойдут на нет. Вот, посмотрите на картинки – территория предсказанная моделью показана оттенками красного, а реальный ареал – однотонной заливкой.
У нескольких видов всё же значительные различия были (третья картинка). Однако это явный артетфакт моей базы данных, потому что эти виды в ней отсутствовали на части территорий, откуда они были указаны во всяких научных статьях. То есть нужен ещё один цикл дополнения базы данных хотя бы по выбранным видам, чем я и занимаюсь.
#мастерская@bottom_bottom #Морские #Арктика
1🔥5
А вот интересный душный оффтоп. Ранее в #мастерская@bottom_bottom я опубликовал не очень понятные картинки со сравнениями моделей у разных видов. Расскажу что они значат и как появились.
Я использовал скрипты написанные для другой статьи, вот только что вышедшей, о которой Дно писать не планировало. Дело в том “иногда ты ешь медведя, а иногда медведь есть тебя” (с). В научной работе второе бывает чаще. Вот тут я пытался на своих данных о пресноводных моллюсках Центральной Азии проверить насколько можно использовать всякие там биогеографические регионы для предсказания состава фауны.
Я взял три классификации, которые очень часто используются для описания распространения пресноводных зверюшек – пресноводные и наземные экорегионы, и ещё водосборные бассейны. С одной стороны это достаточно дробные классификации чтобы они были применимы для небольшой территории, с другой стороны – они совсем про разное. Наземные экорегионы отражают ландшафтно-зональное деление, то на есть степи, болота, леса, тундру, лишайниковая тундру, кустарничковая тундру, тундру островов южной части Индийского океана и ещё 100500 других видов тундры. Пресноводные экорегионы – про историческую связанной речных бассейнов, например если когда-то было одно озеро, а потом разделилось на два – оба современных озера входят в один экорегион, а если сейчас две части реки были более-менее изолированы, а теперь – нет, то это два разных экорегиона. С водосборными бассейнами всё просто – это современные отдельные реки и все лужи в их окрестностях.
🔻#пресноводные
Я использовал скрипты написанные для другой статьи, вот только что вышедшей, о которой Дно писать не планировало. Дело в том “иногда ты ешь медведя, а иногда медведь есть тебя” (с). В научной работе второе бывает чаще. Вот тут я пытался на своих данных о пресноводных моллюсках Центральной Азии проверить насколько можно использовать всякие там биогеографические регионы для предсказания состава фауны.
Я взял три классификации, которые очень часто используются для описания распространения пресноводных зверюшек – пресноводные и наземные экорегионы, и ещё водосборные бассейны. С одной стороны это достаточно дробные классификации чтобы они были применимы для небольшой территории, с другой стороны – они совсем про разное. Наземные экорегионы отражают ландшафтно-зональное деление, то на есть степи, болота, леса, тундру, лишайниковая тундру, кустарничковая тундру, тундру островов южной части Индийского океана и ещё 100500 других видов тундры. Пресноводные экорегионы – про историческую связанной речных бассейнов, например если когда-то было одно озеро, а потом разделилось на два – оба современных озера входят в один экорегион, а если сейчас две части реки были более-менее изолированы, а теперь – нет, то это два разных экорегиона. С водосборными бассейнами всё просто – это современные отдельные реки и все лужи в их окрестностях.
🔻#пресноводные
🔺Часть 2
Вот, посмотрите на карту наземных и пресноводных экорегионов и водосборных бассейнов Казахстана.Как сейчас помню, как редактировал её в сидрерии на Моховой в свой прошлый День рождения в ожидании друзей. Просто хочу напомнить, что я рад тому, что у меня есть друзья 😍
На верхней карте территория разделена на прямоугольники. Запомните это, потом пригодится 😏
🔻#пресноводные
Вот, посмотрите на карту наземных и пресноводных экорегионов и водосборных бассейнов Казахстана.
На верхней карте территория разделена на прямоугольники. Запомните это, потом пригодится 😏
🔻#пресноводные
🔺Часть 3
Сначала я сделал офигительно красивую (на мой взгляд), хотя и черновую картинку. Если бы из неё хоть что-то получилось, то я бы доделал её в графическом редакторе, но сейчас смысла в этом нет. Регионы на картах из каждой классификации раскрашены по степени сходства с самым богатым по числу видов. А графики, похожие на филогенетические деревья – в общих чертах показывают насколько много общих видов между регионами.
Отдельно графики построены для всех моллюсков и отдельно для улитонек🐌 и двустворок🦪 (это всякиеустрицы, перловицы и отцы пизидии).
🔻#пресноводные
Сначала я сделал офигительно красивую (на мой взгляд), хотя и черновую картинку. Если бы из неё хоть что-то получилось, то я бы доделал её в графическом редакторе, но сейчас смысла в этом нет. Регионы на картах из каждой классификации раскрашены по степени сходства с самым богатым по числу видов. А графики, похожие на филогенетические деревья – в общих чертах показывают насколько много общих видов между регионами.
Отдельно графики построены для всех моллюсков и отдельно для улитонек🐌 и двустворок🦪 (это всякие
🔻#пресноводные
🔥2🥰2
🔺Часть 4
Картинки, хоть и понравились мне чисто по визуалу 💅, но почему-то не показывали какой-то тенденции, которую я бы посчитал позитивным результатом. Например ни одна из классификаций не давала более чёткой группировки, чем остальные, да и вообще уныло что всегда более близкие районы заселены более похожими моллюсоками – это и без картинки понятно 🙄
Я сделал ещё несколько ничего не давших анализов и решил попробовать сделать модели для семнадцати наиболее часто встречавшихся улитонек и одной двустворки. Потому что из модели можно в том числе и вытащить значимость факторов.
Чтобы оценить качество модели используются специальные метрики. Для этого модель обучается на части данных, а другая часть используется в качестве тестовой – насколько хорошо модель предсказывает и присутствия и отсутствия вида. Метрик довольно много, и они немного по-разному оценивают вклад присутствий и отсутствий вида, я использовал четыре (в финальной версии – три первых) из них – AUC, TSS, Kappa и LOOIC.
Сначала всё шло хорошо – я сравнивал какой прирост качества модели даёт добавление классификации относительно базовой модели с климатическими факторами. Оказалось, что наземные экорегионы в топчике 🔝 Это с одной стороны противоречит большинству работ, где водосборные бассейны рассматриваются как основной фактор влияющий на распространение значительной части пресноводной фауны. Логично – водным организмам гораздо проще расселяться используя непрерывную водную среду, чем перебираться по воздуху между наземными преградами.
С другой стороны, тип ландшафта на земле очень важен для улитонек большинство из которых потомки именно наземных моллюсок, а не морских. Они дышат атмосферным кислородомвоздуха и привыкли пастись на огродах на цветковых растениях, которые либо растут в прибрежье, либо падают в воду. Например раньше я уже на Кольском полуострове и окрестностях обнаружил, что в тундре скачкообразно падает число пресноводных улитонек, хотя какая им разница до наземных ландшафтов? 🤷
Эта красивая теория подтверждалась до тех пор, пока я не решил добавить в модель простую сетку (это те самые прямоугольнички, о которых я писал в части 2), которая не несёт никакого биологического смысла – просто деление территории на равные по площади куски. Это должно было быть контролем – ведь метрики моделей могут улучшаться и просто из-за добавления не очень значащих факторов. То есть важно было показать, что экорегионы улучшают не просто климатическую модель, а это улучшение действительно отражает биологические закономерности.
Тут оказалось, что для большинства видов вообще нет разницы использовать бассейны, экорегионы или простую сетку. То есть я получил чисто математический прирост качества, который не имеет биологической основы. Чтобы в этом точно убедиться я добавил простые ландшафтные факторы, уже полученные на основе спутниковых снимков, которые, как мы помним, точно улучшают модель.
🔻#пресноводные
Картинки, хоть и понравились мне чисто по визуалу 💅, но почему-то не показывали какой-то тенденции, которую я бы посчитал позитивным результатом. Например ни одна из классификаций не давала более чёткой группировки, чем остальные, да и вообще уныло что всегда более близкие районы заселены более похожими моллюсоками – это и без картинки понятно 🙄
Я сделал ещё несколько ничего не давших анализов и решил попробовать сделать модели для семнадцати наиболее часто встречавшихся улитонек и одной двустворки. Потому что из модели можно в том числе и вытащить значимость факторов.
Чтобы оценить качество модели используются специальные метрики. Для этого модель обучается на части данных, а другая часть используется в качестве тестовой – насколько хорошо модель предсказывает и присутствия и отсутствия вида. Метрик довольно много, и они немного по-разному оценивают вклад присутствий и отсутствий вида, я использовал четыре (в финальной версии – три первых) из них – AUC, TSS, Kappa и LOOIC.
Сначала всё шло хорошо – я сравнивал какой прирост качества модели даёт добавление классификации относительно базовой модели с климатическими факторами. Оказалось, что наземные экорегионы в топчике 🔝 Это с одной стороны противоречит большинству работ, где водосборные бассейны рассматриваются как основной фактор влияющий на распространение значительной части пресноводной фауны. Логично – водным организмам гораздо проще расселяться используя непрерывную водную среду, чем перебираться по воздуху между наземными преградами.
С другой стороны, тип ландшафта на земле очень важен для улитонек большинство из которых потомки именно наземных моллюсок, а не морских. Они дышат атмосферным кислородом
Эта красивая теория подтверждалась до тех пор, пока я не решил добавить в модель простую сетку (это те самые прямоугольнички, о которых я писал в части 2), которая не несёт никакого биологического смысла – просто деление территории на равные по площади куски. Это должно было быть контролем – ведь метрики моделей могут улучшаться и просто из-за добавления не очень значащих факторов. То есть важно было показать, что экорегионы улучшают не просто климатическую модель, а это улучшение действительно отражает биологические закономерности.
Тут оказалось, что для большинства видов вообще нет разницы использовать бассейны, экорегионы или простую сетку. То есть я получил чисто математический прирост качества, который не имеет биологической основы. Чтобы в этом точно убедиться я добавил простые ландшафтные факторы, уже полученные на основе спутниковых снимков, которые, как мы помним, точно улучшают модель.
🔻#пресноводные
🔺Часть 5
Действительно, во всех случаях моделирования, включая все возможные комбинации климата, ландшафта и экорегионов (или их отсутствия) достоверно лучшими оказались модели с ландшафтными предикторами, а остальное – в пределах погрешности. Всего в финальной версии для каждого вида я рассчитал по 14 моделей, то есть всего 252, это без учёта моих экспериментов, которых было в разы больше 😅
Вот теперь посмотрите на картинки. Тут показан прирост метрик качества моделей относительно простой климатической (Cl) усреднённый для всех видов (поэтому там ещё показана погрешность). Отдельно для общей модели (ensemble) и для каждогоалкоалгоритма, который в неё входит. Видно что последние сценарии (с LC в названии) лучше, чем все остальные, по крайней для общей модели.
На второй картинке – тест Крускала-Валлиса с пост-хоками (для тех, кто ходит на мои лекции – это один из вариантов дисперсионного анализа, для тех, кто не ходит – советую начать ходить 😁) с попарным сравнениями разных сценариев. Чем ярче пиксель – тем достовернее различия.
🔻#пресноводные
Действительно, во всех случаях моделирования, включая все возможные комбинации климата, ландшафта и экорегионов (или их отсутствия) достоверно лучшими оказались модели с ландшафтными предикторами, а остальное – в пределах погрешности. Всего в финальной версии для каждого вида я рассчитал по 14 моделей, то есть всего 252, это без учёта моих экспериментов, которых было в разы больше 😅
Вот теперь посмотрите на картинки. Тут показан прирост метрик качества моделей относительно простой климатической (Cl) усреднённый для всех видов (поэтому там ещё показана погрешность). Отдельно для общей модели (ensemble) и для каждого
🔻#пресноводные
🔥3
🔺Часть 6
А вот так выглядит влкад разных факторов в модель. Он оказался низким у экорегионов, водосборных бассейнов и случайной сетки, однако самыми высокими оказались ландшафтные и, в некоторых алгоритмах, климатические (они имеют “Bio” в названии) факторы. Это согласуется с моим первым опытом моделирования для слизней.
🔻#пресноводные
А вот так выглядит влкад разных факторов в модель. Он оказался низким у экорегионов, водосборных бассейнов и случайной сетки, однако самыми высокими оказались ландшафтные и, в некоторых алгоритмах, климатические (они имеют “Bio” в названии) факторы. Это согласуется с моим первым опытом моделирования для слизней.
🔻#пресноводные
🔺Часть 7
Ну и наконец, почему такое возможно, что случайное разбиение территории на прямоугольники может дать такой же или лучший результат, чем построенные умными людьми классификации? Тем более, что не я первый начал использовать их в моделировании и у всех было 🆗 Вероятнее всего есть какие-то пространсвенные закономерности, которыене понять бездушным математическим алгоритмам не вошли в список моделируемых факторов. С другой стороны – проработка классификаций не всегда одинакова для всего мира и я мог выбрать просто неудачную территорию, где границы регионов проводили на глаз экспертно. С третьей – может быть много у кого не получалось, просто они это не публиковали. И наконец, никто же раньше не тестировал случайную пространственную сетку, может быть она бы развалила и предыдущие результаты 🤔
В итоге на все эти бесконечные рассчёты я потратил больше года. Мог бы и что-то хорошее за это время сделать 😭
Ну и наконец, почему такое возможно, что случайное разбиение территории на прямоугольники может дать такой же или лучший результат, чем построенные умными людьми классификации? Тем более, что не я первый начал использовать их в моделировании и у всех было 🆗 Вероятнее всего есть какие-то пространсвенные закономерности, которые
В итоге на все эти бесконечные рассчёты я потратил больше года. Мог бы и что-то хорошее за это время сделать 😭