астрология — расизм для девочек
соционика— психология для девочек
симс — майнкрафт для девочек
кейпоп — музыка для девочек
тру крайм — подкаст для девочек
мартинсы — берцы для девочек
соционика— психология для девочек
симс — майнкрафт для девочек
кейпоп — музыка для девочек
тру крайм — подкаст для девочек
мартинсы — берцы для девочек
Forwarded from Giovanni
Я несколько скептически смотрю на такие оценки на основе человеческого мозга.
Первый пойнт можно позаимствовать из статьи Элиезера Юдковски "Intelligence explosion microeconomics ". Там он упоминает о т.н. hundred-step rule. Фишка в том, что биохимия позволяет нейронам формировать, доносить до других нейронов и обрабатывать сигнал примерно за 5-10 миллисекунд. То есть мысль, которая родилась в голове за полсекунды, является результатом не более 50-100 последовательных срабатываний нейронов (причинно-следственных). В теории алгоритмов этот параметр называется serial depth.
И вот у нас есть, с одной стороны, кремний, в котором аналогичный показатель упирается в тактовую частоту и циклы работы с памятью, и который уже на ~7 порядков выше возможностей нейронов.
У нас есть мозг, который все эти миллионы лет был вынужден работать с той "элементной базой", которая имеется. И в котором эволюция очень нетривиальными путями выжимала максимальную производительность. За счёт избыточности, за счёт коннекционизма, за счёт параллелизации. За счёт чего угодно, что имеет мало смысла переносить в кремний.
И еще у нас есть искусственные нейросети, которые в наиболее развитых вариантах уже существенно превзошли серийную глубину мозга. GPT-4: 120 блоков * 7 матричных умножений в каждом. Даже больше с учётом механизма роутинга.
Второй пойнт касается релевантности архитектуры человеческого мозга для задачи интеллекта.
Возьмем homo sapiens sapiens 50 тыс. лет назад. Интеллектом он особо не блистал. Вряд ли хорошо умел оперировать абстракциями. Речь если и была, то зачаточная.
Тем не менее, в голове у него был ровно такой же хардвер, что и у современного homo. И возникает куча вопросов. Был ли хардвер 50 тыс. лет назад избыточным? Если был, не является ли он избыточным и сейчас? Если он не был избыточным, а обеспечивал (относительно) узкие задачи добывания еды и избегания хищников, плюс оказался достаточно адаптивным, чтобы играть в го и писать докторские диссертации - есть ли смысл отталкиваться от этой охотничье-собирательской базы?
Первый пойнт можно позаимствовать из статьи Элиезера Юдковски "Intelligence explosion microeconomics ". Там он упоминает о т.н. hundred-step rule. Фишка в том, что биохимия позволяет нейронам формировать, доносить до других нейронов и обрабатывать сигнал примерно за 5-10 миллисекунд. То есть мысль, которая родилась в голове за полсекунды, является результатом не более 50-100 последовательных срабатываний нейронов (причинно-следственных). В теории алгоритмов этот параметр называется serial depth.
И вот у нас есть, с одной стороны, кремний, в котором аналогичный показатель упирается в тактовую частоту и циклы работы с памятью, и который уже на ~7 порядков выше возможностей нейронов.
У нас есть мозг, который все эти миллионы лет был вынужден работать с той "элементной базой", которая имеется. И в котором эволюция очень нетривиальными путями выжимала максимальную производительность. За счёт избыточности, за счёт коннекционизма, за счёт параллелизации. За счёт чего угодно, что имеет мало смысла переносить в кремний.
И еще у нас есть искусственные нейросети, которые в наиболее развитых вариантах уже существенно превзошли серийную глубину мозга. GPT-4: 120 блоков * 7 матричных умножений в каждом. Даже больше с учётом механизма роутинга.
Второй пойнт касается релевантности архитектуры человеческого мозга для задачи интеллекта.
Возьмем homo sapiens sapiens 50 тыс. лет назад. Интеллектом он особо не блистал. Вряд ли хорошо умел оперировать абстракциями. Речь если и была, то зачаточная.
Тем не менее, в голове у него был ровно такой же хардвер, что и у современного homo. И возникает куча вопросов. Был ли хардвер 50 тыс. лет назад избыточным? Если был, не является ли он избыточным и сейчас? Если он не был избыточным, а обеспечивал (относительно) узкие задачи добывания еды и избегания хищников, плюс оказался достаточно адаптивным, чтобы играть в го и писать докторские диссертации - есть ли смысл отталкиваться от этой охотничье-собирательской базы?