LLM обретают пространственно-временную картину мира

Исследователи из MIT под руководством Макса Тегмарка сделали важное открытие в области искусственного интеллекта. Им удалось доказать, что современные языковые модели (LLM), обученные на огромных массивах текстов, формируют внутри себя целостные модели мира, включающие представления о таких фундаментальных понятиях, как пространство и время.
В рамках исследования утверждается, что полученные результаты свидетельствуют о том, что языковые модели и правда выстраивают целостную картину мира, а не просто накапливают статистику из датасетов.
Для подтверждения своих выводов ученые опубликовали код и данные. Любой желающий может проверить результаты, обучив модель Llama-2 на открытом наборе данных (70 млрд параметров).
https://habr.com/ru/companies/bothub/articles/770358/

Теоретики предположили, откуда взялись все объекты во Вселенной

Исследование опубликовано в журнале American Journal of Physics, а коротко о нем рассказывает Phys.org. Авторы работы пишут, что оно представляет собой наиболее полное обоснование всей истории Вселенной и предлагает новые идеи о том, как она могла возникнуть.
Когда Вселенная возникла 13,8 миллиарда лет назад в результате горячего Большого взрыва, не существовало таких объектов, как протоны, атомы, люди, планеты, звезды или галактики, — объясняет он. — Однако сейчас Вселенная полна таких объектов. Относительно простой ответ на вопрос, откуда все эти предметы взялись, заключается в том, что по мере охлаждения Вселенной они конденсировались из горячего фона.
Для наглядной демонстрации своей идеи австралийские ученые построили два графика. Первый отображает изменение температуры и плотности Вселенной по мере ее расширения и охлаждения, а второй — массу и размер всех объектов. В результате у исследователей получилась своего рода карта объектов Вселенной.
Части этого сюжета «запрещены» — там, где объекты не могут быть плотнее черных дыр или настолько малы, квантовая механика «размывает» саму природу того, что на самом деле должно быть единичным объектом.
Местом, где «встречаются» квантовая механика и общая теория относительности, является наименьший возможный объект — инстантон. График предполагает, что Вселенная, возможно, возникла как инстантон, имевший определенные размер и массу, а не сингулярность (гипотетическая точка бесконечной плотности и температуры).
Новое исследование также предлагает такую идею: если бы за пределами наблюдаемой Вселенной не было ничего, кроме полного вакуума, то она была бы большой черной дырой с низкой плотностью.
https://pubs.aip.org/aapt/ajp/article/91/10/819/2911822/All-objects-and-some-questions
https://phys.org/news/2023-10-view-universe.html
На русском https://rajonnievesti.ru/teoretiki-predpolozhili-otkuda-vzyalis-vse-obekty-vo-vselennoj/

О природе шаровой молнии...

По предположению некоторых ученых, шаровая молния — это электромагнитное излучение, возникающее в следствии разряда между облаками и землей. Другие же утверждают, что она образуется из пузырей плазмы, содержащих заряженные частицы и газы. Есть и более экзотические предположения, например, что шаровая молния — миниатюрная черная дыра, которая образовалась во время Большого взрыва, или что она связана с пятым измерением пространства.
Одна из самых свежих и оригинальных идей принадлежит теоретическому физику Андрее Айелло из Макс-Планковского института света в Германии. Он предполагает, что шаровая молния — это проекция четырехмерного объекта на наше трехмерное пространство.
Гипершар может быть создан электрическим полем во время грозы. Когда гипершар пересекает наше трехмерное пространство, мы видим его как шаровую молнию. Это объясняет, её способность проникать сквозь препятствия и бесследно исчезать. Шаровая молния может менять свой размер и форму в зависимости от того, под каким углом мы ее наблюдаем.
https://www.ixbt.com/live/offtopic/gipershary-iz-chetvertogo-izmereniya-ocherednaya-gipoteza-o-sharovoy-molnii.html

То что последние десятилетия статистически достоверно теплеет бесспорно... а вот на счет линейного тренда при таком разбросе точек есть сомнения...

Из истории вычислительной техники...
В доэлектронную эпоху было придумано много механических устройств для выполнения арифметических операций, самые известные из них: счеты и логарифмические линейки... Арифмометр намного сложнее... не все конструкции прижились... Арифмометр Чебышева...
https://habr.com/ru/companies/rshb/articles/770968/

Про теорию сборки (еще раз)

По мере усложнения у объектов увеличивается количество составных частей и повышается потребность в локальной памяти для хранения информации о том, как собирать этот объект из составных частей. Число шагов, необходимых для создания объекта из элементарных блоков, авторы "теории сборки" назвали "индексом сборки".
Один из ключевых аспектов теории сборки уже был проверен в лаборатории. Это определение индекса сборки с помощью масс-спектрометрии (аналитического инструмента, позволяющего измерять отношение массы к заряду в молекулах).
Можем буквально увидеть, сколько шагов требуется для того, чтобы различные фрагменты соединились вместе и образовали данную молекулу. Индекс сборки может быть измерен и с помощью других методов: инфракрасной спектроскопии и спектроскопии ядерного магнитного резонанса для различных типов молекул.
Использовав этот метод на биологических и небиологических образцах, ученые пришли к выводу, что молекулы с индексом сборки свыше 15 шагов можно обнаружить только в живых образцах.
Это доказывает, что есть способ проверки предположения, что жизнь — единственная система, способная генерировать сложные объекты. А единственный способ формирования столь сложных объектов — это эволюция.
В небиологических системах тоже возможен отбор и минимальная память (например, как наше Солнце образовало планеты, собрав вместе огромную массу материи). Но живые организмы и создаваемые ими технологии — будь то Lego или ракетостроение — без высокого уровня памяти и отбора невозможны.

https://arxiv.org/abs/2206.02279
На русском
https://hightech.plus/2023/04/06/soglasno-novoi-gipoteze-biofizikov-vremya---fundamentalnii-aspekt-zhizni
https://habr.com/ru/articles/771144/
https://hightech.plus/2023/10/05/teoriya-sborki-obyasnyaet-i-izmeryaet-estestvennii-otbor-i-evolyuciyu

Астрономы создали самую масштабную компьютерную модель от Большого взрыва до наших дней, чтобы исследовать, как эволюционировала Вселенная. Проект, получивший название «Фламинго», смог учесть все компоненты Вселенной — обычное вещество, тёмную материю и тёмную энергию в соответствии с законами физики.
https://www.ixbt.com/news/2023/10/24/samoe-masshtabnoe-kompjuternoe-modelirovanie-istorija-jevoljucii-vselennoj-ot-bolshogo-vzryva-do-nashih-dnej.html

Казалось бы, Chat GPT должен хорошо работать для выискивания всякой статистики по разным источникам... например, прошу его, перечисли планеты солнечной системы, укажи их массы и диаметры... это он легко справляется... а вот чуть сложнее задачка, перечисли самые распространенные противогриппозные вакцины и укажи доли их применения в общем количестве - эта информация есть и разбросана по большому количеству разных статей и отчетов... с помощью Гугла эти статьи можно найти... но вот чат боту лень перерывать статьи и он пишет что-то типа: обратитесь к фирмам производителям, чтобы выяснить их долю на рынке...

Об цифровых и аналоговых вычислительных машинах...
В истории вычислительной техники цифровые компьютеры на какое-то время почти полностью вытеснили аналоговые (я еще застал аналоговые вычислительные машины для моделирования сложных динамических систем в первой половине 90-х, после чего они были успешно отправлены на свалку).
Здесь уже писали о новых чипах, которые некоторые типовые сложные вычисления по обработке сигналов делают в аналоговом виде, что резко увеличивает быстродействие.
Вот новое сообщение, теперь уже не только аналоговые вычисления с помощью электронных схем, но и оптические аналоговые вычисления, что позволяет увеличить быстродействие в тысячи раз.
https://www.nature.com/articles/s41586-023-06558-8/
На русском https://habr.com/ru/companies/selectel/articles/770120/

Как выявить, написан ли текст человеком или AI?

У AI есть свой неподражаемый стиль...
Учёными химического факультета из Канзасского университета США описывается метод проверки текста с использованием машинного обучения (ML), где детектор анализирует 20 особенностей стиля письма, включая вариацию длины предложений, частоту повтора определённых слов и использование знаков препинания, чтобы определить, кто написал исследуемый текст: реальный человек или искусственный интеллект.
Для проверки точности детектора исследователи протестировали его на 200 публикациях в журнале Американского химического общества. Для 100 из них инструменту были предоставлены названия статей, а для других 100 — их аннотации.
По итогу, инструмент показал поразительные результаты и превзошёл онлайн-инструменты по типу ZeroGPT и прочие, идентифицировав написанные GPT-3.5 и GPT-4 тексты со 100% точностью.
https://www.sciencedirect.com/science/article/pii/S2666386423005015
На русском: https://www.securitylab.ru/news/543503.php

Испарение воды без нагрева

Одним из фундаментальных фактов является то, что вода испаряется при нагревании. Если в солнечный летний день поставить стакан воды на освещенную солнцем поверхность, то со временем воды в стакане станет явно меньше. Но, как уже не раз доказывала наука, даже самые явные и простые процессы могут оказаться куда сложнее. Ученые из Массачусетского технологического института (Кембридж, США) заметили, что вода в гидрогелях испаряется намного быстрее, чем должна была, при том или ином уровне нагрева. Они провели ряд опытов, которые показали, что испарение возможно и без нагрева за счет света, т. е. фотонов.
Это явление чем-то похоже на Фотоэффект — это явление «выбивания» электронов из вещества под действием света (электромагнитного излучения), здесь же под действием света "выбиваются" молекулы воды.
https://habr.com/ru/companies/ua-hosting/articles/772774/

Проходит ли ChatGPT-4 тест Тьюринга?

В исследовании ученые пытались это узнать. 652 человека общались через мессенджер с ИИ и/или людьми. Им нужно было определить, с кем они общаются, а также убедить других людей, что они общаются с людьми.
В лучшем, для СhatGPT4, задании, его восприняли за человека 41% респондентов. Людей же воспринимают людьми в 63% случаев.
30% достаточно, чтобы классический тест Тьюринга считался пройденным. Такого показателся GPT-4 добился в половине заданий.
https://arxiv.org/abs/2310.20216

Изучение морали способствует нравственному поведению?

Философов из Университета Калифорнии заинтересовал вопрос "какие философские книги чаще всего исчезают из академических библиотек?".
Выяснилось, что философские книги на тему этики не возвращают в библиотеку на 50% чаще, чем книги из других областей философии.
Возможно, это связано не только с психологическими особенностями читателей, но и востребованностью данных книг?
https://doi.org/10.1080/09515080903409952

Чтение мыслей...

Исследователи из Университета Дьюка создали мозговой имплантат, который может обеспечить общение на основе одних только мыслей. Устройство призвано помочь людям, страдающим речевыми расстройствами или неспособными на вербальное общение по тем или иным причинам.
Эксперименты по преобразованию мозговой активности в текст и голосовое общение путём сканирования сигналов головного мозга пациентов позволяют сегодня транслировать «мысли» в слова со скоростью до 78 слов в минуту. Это как слушать аудиокнигу на вдвое меньшей скорости, заявляют авторы исследования. Обычно человек проговаривает до 160 слов в минуту, что делает общение живым и естественным. Чтобы люди с поражением речевого аппарата также могли участвовать в таком общении, им нужны более точные датчики мозговой активности.
Группа учёных из Университета Дьюка совместно с лабораторией биомедицинской инженерии университета создали датчик активности мозга с 256 сенсорами на кусочке пластика размером с почтовую марку. Новый датчик способен улавливать сигналы от одиночных нейронов, что позволяет с высокой точностью определять их активность.
Учёные не собирались читать мысли напрямую. Но по комплексу сигналов для мышц речевого аппарата — языка, гортани и лицевых — они рассчитывали с высокой точностью определять невысказанные вслух мысли пациентов (речью управляют до 100 мышц, за сигналами к которым необходимо следить). Таким образом, мысленно произнесённая фраза должна была транслироваться в сигналы мышцам, и по этим прямо считанным с мозга данным нужно было воспроизвести всё, что пациент собирался сказать. В случае пациента с поражением речевого аппарата мысли так бы и остались в коре головного мозга и дальше сигналы бы не прошли, но считанные датчиком они получили возможность быть воспроизведёнными компьютером.
Эксперимент с четырьмя пациентами показал, что средняя точность распознавания мысленно произнесённых слов составляет 40 %, а максимальная — 84 %. Алгоритм распознавания обучался в режиме «слушай и повторяй». Пациент произносил бессмысленные короткие сочетания букв, на которых алгоритм учился распознавать мозговую активность для того или иного сочетания звуков.
https://www.sciencedaily.com/releases/2023/11/231106134844.htm
На русском https://3dnews.ru/1095578/uchyonie-ispitali-mozgovoy-implantat-dlya-obshcheniya-odnimi-tolko-mislyami

Научно-популярный обзор про гравитационные волны... что есть это такое...
https://habr.com/ru/articles/772910/

Обзор Llemma: новая математическая open-source модель

За последнее время было выпущено много больших языковых моделей, которые умеют поддержать диалог, решить математическую задачку, помочь составить презентацию и т.д. Однако, если обучать или дообучать модель на определенную сферу знаний, то это принесет больше пользы и к тому же на это будет потрачено меньше ресурсов. Например, модель Galactica, обученная на научных данных, превосходит более модели GPT3 и BLOOM. Также недавно выпущенная CodeLlama показывает результаты лучше, чем ее базовая модель Llama 2.
Авторы статьи решили создать открытую языковую модель Llemma, умеющую решать математические задачи. Также они собрали датасет Proof-Pile-2, на котором обучались. Модели, код для обучения и датасет были выложены в открытый доступ на GitHub и HuggingFace.
https://habr.com/ru/companies/mts_ai/articles/771476/

Транзистор для управления теплом — он поможет с терморегуляцией в микросхемах

Исследователи из Калифорнийского университета разработали первый в мире полевой транзистор, который управляет не электрическим током, а передачей тепла. Скорость переключения уникального прибора достигает 1 МГц. Он может быстро, дозировано и даже с увеличением мощности передавать тепло по цепи, что открывает целый спектр новых приложений для терморегуляции в электронике и не только.
Прибор показал способность менять тепловое сопротивление до 1300 %.
https://samueli.ucla.edu/ucla-researchers-develop-solid-state-thermal-transistor-for-better-heat-management/

На русском https://3dnews.ru/1095719/v-ssha-sozdali-upravlyayushchiy-teplom-tranzistor-on-pomoget-s-termoregulyatsiey-mikroshem

В статье обсуждается почему растения в своем строении подчиняются соотношениям Фибоначчи...

Если вы посчитаете, сколько витков спирали и сколько листьев умещается между двумя листьями, расположенными строго друг над другом, то, скорее всего, обнаружите, что эти числа из ряда Фибоначчи: один оборот и два листа, или два оборота и пять листов, или три оборота и восемь листов или 5 и 13, или 8 и 21... Причем если вы возьмете другое растение этого же вида, то и там это отношение будет точно таким же. А если вооружитесь линейкой, то можете заметить, что расстояния между соседними листьями укладываются в пропорции
золотого сечения.
Есть небольшая вероятность, что у вашего растения листья расположены как-то иначе, но у большинства растений — они прикреплены к стеблю по такой идеальной спирали.
https://nplus1.ru/material/2023/11/09/fibonacci-leaves

За зависть и злорадство отвечают очень близкие участки мозга (лимбической нервной системы) к тем, что и отвечающие за физическую боль и физическое удовольствие...
Видимо, где-то здесь же рядом и ревность, отличающаяся тем, что для зависти достаточно двоих, а для ревности нужны минимум трое... Мы завидуем лишь тем, кто схож с нами. Аристотель: гончар завидует гончару...
https://4everscience.com/2023/08/29/envy-and-schadenfreude/