Ограничения LLMs на основе трансформеров
(По материалам https://t.me/spydell_finance/8122)

🧠 Основная идея
Автор утверждает, что развитие ИИ на базе архитектуры трансформеров (на которых построены все современные большие языковые модели — LLMs) подошло к технологическому тупику. Несмотря на впечатляющие достижения, трансформеры имеют фундаментальные ограничения, которые мешают созданию настоящего интеллекта.
⚙️ Ключевые ограничения трансформеров
Ограниченное контекстное окно
Его нельзя бесконечно расширять из-за вычислительных затрат и архитектурных ограничений.
Попытки обойти это через внешние базы знаний — лишь временные «костыли».
Отсутствие долговременной памяти
Модели не могут учиться на лету, как человек.
Новые знания требуют переобучения, что дорого и неэффективно.
Проблема «заземления»
Модели обучаются на текстах, а не на реальном опыте.
Их «понимание» — это статистика, а не осмысленное восприятие мира.
Это приводит к галлюцинациям — правдоподобным, но ложным ответам.
Статичность архитектуры
После обучения модель не может изменять свою структуру.
Нет гибкости, как у человеческого мозга, который формирует новые связи.
Слабые когнитивные способности
Модели не умеют рассуждать, понимать причинно-следственные связи или планировать.
Отсутствует здравый смысл.
📉 Общий вывод
Архитектура трансформеров — мощная, но ограниченная.
Она не ведёт к созданию универсального интеллекта.
Мы наблюдаем фазу плато в развитии LLM: дальнейшие улучшения становятся всё менее значимыми и всё более затратными.
Публичное признание этих ограничений может подорвать инвестиции и хайп вокруг ИИ.

Свет и чиханье, баг или фича?

🌞 Почему некоторые люди чихают от яркого света?
Примерно каждый четвёртый человек действительно чихает, когда на него резко попадает солнечный свет. Это называется фотический чихательный рефлекс. Причина до конца не ясна, но, похоже, дело в том, что сигналы от глаз и от носа иногда «путаются» в мозге. Как будто в коде организма произошла небольшая ошибка: вместо того чтобы просто обработать свет, тело решает прочистить нос.

🧬 Что говорят гены?
Учёные в Китае провели исследование:
Опросили 3417 человек, выяснили, кто чихает от света.
Собрали слюну, проанализировали ДНК на 900 тысяч участков.
Сравнили гены у «чихающих» и «нечихающих».
Что нашли:
25,6% людей имеют этот рефлекс. У мужчин чаще, чем у женщин.
Один участок ДНК (rs10427255 на 2-й хромосоме) увеличивает шанс чихания на 68%. Его уже находили у европейцев, но у китайцев и европейцев разные версии этого гена.
Другой участок (rs1032507 на 3-й хромосоме) снижает шанс чихания на 35%. Его раньше не находили, но японцы нашли похожий рядом — значит, это важная зона.
Оба гена находятся не в белках, а в «настройках» ДНК — они влияют на то, как работают соседние гены.
Один из них находится рядом с геном CADM2, который помогает формировать связи между нервными клетками. То есть он может влиять на то, как мозг обрабатывает сигналы от глаз и носа.

🤓 Вывод
Чихание от света — это не просто странность, а реальный генетический баг, который можно отследить по ДНК. Он не опасен, но очень интересен для науки, потому что показывает, как мозг и тело могут «перепутать» команды.

https://www.researchgate.net/publication/331931888_A_genome-wide_association_study_on_photic_sneeze_reflex_in_the_Chinese_population
https://europepmc.org/article/PMC/PMC6428856
https://www.nature.com/articles/s41598-019-41551-0.pdf

Звучит как статья к первому апреля! Это не просто упоротый факт — это научно подтверждённая собачья магнито-испражняющаяся реальность!!!! 🧭🐶.

Исследование, опубликованное в *Frontiers in Zoology*, показало, что собаки действительно чувствуют магнитное поле Земли и предпочитают выравниваться вдоль оси «Север-Юг» во время дефекации и мочеиспускания — но только при стабильном магнитном поле. В течение двух лет учёные наблюдали 70 собак 37 пород, зафиксировав почти 7500 актов туалетного поведения. Когда магнитное склонение было спокойным, собаки демонстрировали чёткую ориентацию мордой на север. При колебаниях поля — хаос и произвол. Это первое убедительное доказательство магниторецепции у собак, и оно может объяснить, почему многие эксперименты на других животных были нереплицируемыми: магнитное поле стабильно лишь около 20% времени.

Если бы у собак был техпаспорт, в нём явно значилась бы функция «магнитная калибровка при дефекации».

https://frontiersinzoology.biomedcentral.com/articles/10.1186/1742-9994-10-80

Скутоид - новая трехмерная геометрическая фигура открытая всего 7 лет назад... и встречающаяся повсеместно...

🧬 Что такое скутоид?
Скутоид — это новая геометрическая форма, открытая в 2018 году при изучении эпителиальных клеток.
Он помогает клеткам компактно и устойчиво заполнять искривлённое пространство, особенно в органах с изогнутыми поверхностями.
📐 Геометрия скутоида
Скутоид — гибрид призмы и усечённой пирамиды, но с дополнительной вершиной и Y-образным соединением.
Он не является классическим многогранником: боковые грани могут быть искривлены.
Скутоиды складываются в плотную 3D-мозаику без зазоров, что делает их идеальными для биологических тканей.
🧪 Как его обнаружили?
Учёные использовали 3D-реконструкцию и конфокальную микроскопию для изучения эпителия дрозофил и других тканей.
Выяснилось, что при искривлении ткани клетки принимают форму, отличную от привычных призм — именно скутоид.
🧠 Математическое моделирование
Для описания формы использовались диаграммы Вороного, которые делят пространство на области, ближайшие к заданным точкам.
Моделирование показало, что скутоиды энергетически выгодны: они минимизируют периметр и площадь поверхности клеток.
🧭 Когда появляются скутоиды?
Если апикальная (это «верх» клетки, обращённый внутрь органа или полости, например, в кишечнике апикальная сторона контактирует с пищей и участвует в всасывании веществ) и базальная (это «низ» клетки, который соединяется с другими тканями) поверхности ткани сильно различаются по площади, возникает необходимость в скутоидах.
При умеренных различиях — клетки принимают форму усечённых пирамид или призм.
🧰 Применение
Понимание скутоидов помогает:
выращивать искусственные органы,
выявлять патологии,
моделировать ткани в биоинженерии.
https://www.nature.com/articles/s41467-018-05376-1#Sec1

https://habr.com/ru/companies/ru_mts/articles/938192/

Если представить, что наш мир — клеточный автомат, то проблема анизотропии (различия свойств в разных направлениях) становится фундаментальной: ведь решётка автомата по своей природе дискретна и направлена, как правило, по осям. Но есть несколько стратегий, позволяющих добиться эмерджентной изотропии, то есть равенства свойств во всех направлениях на макроскопическом уровне.

🧠 1. Увеличение числа направлений взаимодействия

Вместо стандартной решётки (например, квадратной с 4 или 8 соседями), можно использовать:
на плоскости 2D Гексагональную решётку — в виде правильного шестиугольника. Как известно существует только три правильных n-угольника, которые сами по себе (без дополнительных фигур) могут замостить плоскость: правильный треугольник, квадрат и правильный шестиугольник (гексагон).
в евклидовом 3D пространстве только одно из пяти правильных (платоновых) тел может замостить пространство и это куб, таким образом, вариантов кроме кубической решетки не остается. Но можно использовать решётку с диагональными связями в 3D, которые сделать равноценными связям вдоль граней решетки.
с учетом вышесказанного можно отказаться от решеток и перейти пространству в виде связанного графа, где каждая точка соединена с другими точками, которые для нее считаются соседними. Чем больше у каждой точки направлений взаимодействия, тем ближе к изотропии.

🎲 2. Случайность и статистическое усреднение
Ввести стохастические правила, где направление движения или взаимодействия состоит из нескольких шагов выбираемых случайно, но с равной вероятностью.
При большом числе шагов и частиц это приводит к статистической изотропии — в среднем свойства становятся одинаковыми во всех направлениях.

🌊 3. Волновая динамика и интерференция
Если автомат моделирует волновые процессы, то фронты распространяются более равномерно.
Особенно в квантовых клеточных автоматах, где интерференция и дисперсия могут сглаживать направление.

🧬 4. Эмерджентная симметрия через масштаб
На микроскопическом уровне — да, анизотропия есть.
Но при переходе к макроскопическому описанию (например, через поля или статистику), можно добиться приближённой изотропии.
Это похоже на то, как анизотропная кристаллическая решётка атомов создаёт изотропную теплопроводность в макрообъёме.

📌 Вывод:
Анизотропия — это проблема, но не фатальный дефект клеточного автомата, на макроуровне она может быть сглажена, компенсирована или даже полностью устранена через:
геометрию решётки
случайность
волновую динамику
другие эмерджентные эффекты

P.S. Статья: Наша Вселенная — симуляция на основе большого клеточного автомата?
https://habr.com/ru/companies/ruvds/articles/940326/

Самое неприятное в больших языковых моделях, это их потенциальная бессовестная лживость...

Приведу пример. Нужно мне было составить конспект некой статьи, которая в силу большого размера была сохранена в файле, который в свою очередь был скормлен Копилоту.
Копилот выдал что-то типа: файл пустой.
Я это проигнорировал и попросил пересказать содержимое файла.
Нейросеть рассказала, но не на основе того, что там было в файле, а нафантазировала на основе его названия.
Я написал, что что-то не то, она извинилась, и снова выдала сказку...
На прямой вопрос, так ты видишь содержимое файла или нет, она ответила что не видит...

Оказалось, что большими языковыми моделями можно манипулировать также как и людьми

Суть эксперимента
Исследователи использовали принципы влияния Роберта Чалдини (описанные в его знаменитых книгах) — такие как авторитет, симпатия, социальное доказательство и др. — чтобы манипулировать поведением языковой модели GPT-4o mini. Их цель была не просто заставить ИИ нарушить правила, а проверить, насколько он подвержен психологическим триггерам, как если бы был человеком. Соавтором исследования выступил сам Роберта Чалдини.

Что показали результаты
Авторитет (упоминание крупных специалистов в области ИИ) резко увеличивал вероятность того, что модель выполнит запретный запрос.
Социальное доказательство («другие модели это делают») тоже повышало сговорчивость.
Симпатия и единство («ты особенная», «мы одна семья») делали модель более уступчивой.
Последовательность — постепенное приближение к цели через мягкие формулировки — работала как техника убеждения.

Почему это важно
Модель, обученная на человеческих текстах, имитирует человеческие реакции, включая уязвимость к манипуляции.
Это означает, что ИИ может быть обманут — не только хакерами, но и обычными пользователями, если те знают, как «разговорить» его.
Эксперимент показывает, что тестирование ИИ должно включать поведенческие сценарии, а не только технические задачи.

https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5357179

Статья о том как работают большие языковые модели https://habr.com/ru/articles/942414/

Бизнес постепенно начал отказываться от диалоговых чат-ботов для входящих телефонных звонков, идея была что чат-боты возьмут на себя обработку 90% всех вопросов, таким образом можно в 10 раз сократить число людей-операторов... Что оказалось в реальности? 1. Чат-боты в состоянии помочь лишь весьма небольшой части клиентов, так что сократить людей сильно не получается. 2. Для настройки и поддержания работы чат-ботов тоже нужны специально обученные люди. 3. Клиент, в конце концов, прорвавшийся к человеку-оператору через чат-бота находится не в самом лучшем эмоциональном состоянии, что потом срывает на операторе, усложняя его работу и решение проблемы.

Вот несколько серьёзных англоязычных исследований, которые глубоко анализируют ограничения чат-ботов в сфере клиентского сервиса:
📘 1. AI-based Chatbots in Customer Service and Their Effects on User Compliance Авторы: Martin Adam, Michael Wessel & Alexander Benlian
Исследование показывает, что несмотря на широкое внедрение чат-ботов, они часто не соответствуют ожиданиям клиентов.
Использование антропоморфных элементов (например, "человеческий" стиль общения) может повысить готовность пользователя взаимодействовать, но не решает проблему глубины понимания.
Недостаток социальной вовлечённости снижает доверие и эффективность.
📊 2. Serving Customers Through Chatbots: Positive and Negative Effects on Customer Experience Авторы: Angelo Ranieri, Irene Di Bernardo, Cristina Mele
Анализ 7,167 диалогов между клиентами и чат-ботом за два года.
Выявлены как положительные (доступность), так и отрицательные эффекты (рост путаницы, снижение доверия, отказ от взаимодействия).
Подчёркивается, что чат-боты могут ухудшить клиентский опыт, особенно при сложных запросах.
🧠 3. The Limitations of Chatbots (And How to Overcome Them) — Обзорная статья, систематизирующая основные проблемы:
Ограниченное понимание контекста
Неспособность решать нестандартные задачи
Эмоциональное раздражение клиентов — Предлагаются пути улучшения: гибридные модели, чёткая маршрутизация к живым операторам.

Зеркальная опасность... Создание зеркальных организмов, или форм жизни с обратной хиральностью.

🔬 Что такое зеркальные клетки? Они основаны на молекулах, являющихся зеркальным отражением тех, что встречаются в природе. Например, обычные белки состоят из левосторонних аминокислот, а ДНК — из правосторонних нуклеотидов. Зеркальные организмы — это как «анти-жизнь» в привычном понимании: они не распознаются иммунной системой, не поддаются действию обычных ферментов и антибиотиков, и могут быть абсолютно чуждыми экосистеме.
📉 Почему учёные бьют тревогу? Группа из 38 учёных, включая нобелевских лауреатов, призвала остановить исследования зеркальных микробов. Они считают, что:
такие организмы могут обходить иммунную защиту человека, животных и растений;
они способны закрепиться в окружающей среде, нарушая биологическое равновесие;
риск смертельных инфекций, не поддающихся лечению, слишком велик.
🌍 Международная реакция Почти 100 специалистов по биоэтике и биотехнологиям собрались в Париже, чтобы обсудить эти риски. Планируются новые встречи. Некоторые, как профессор Адамала, предлагают создать глобальный запрет, аналогичный Конвенции ООН о биологическом оружии.

https://purl.stanford.edu/cv716pj4036
https://www.science.org/doi/10.1126/science.ads9158
На русском https://habr.com/ru/articles/946628/

Анализ большого числа клинических исследований показывает, что наиболее достоверные сведения об эффективности и побочных эффектах лекарств имеются лишь для мужчин европейского происхождения

🧬 Гендерный перекос: от талидомида до золпидема
Да, это не вброс — медицина действительно десятилетиями ориентировалась на «среднестатистического мужчину».
Причины:
⚠️ После трагедии с талидомидом в 1960-х женщин детородного возраста исключали из исследований, чтобы избежать рисков для плода.
📉 Гормональные циклы считались «мешающим фактором» — проще было тестировать на мужчинах.
❤️ Симптомы инфаркта у женщин часто не соответствуют «учебнику», написанному по мужским данным. Это приводит к недиагностированным случаям.

📊 Современные данные: кто участвует в исследованиях?Исследование, опубликованное в JAMA, The Lancet и NEJM, показало:
В выборке из 1,442 статей и 4,765,783 участников: 56% мужчин, 44% женщин.
Если финансирует фармкомпания — перекос усиливается: 61% мужчин.
Только половина исследований анализирует результаты отдельно по полу.

Этнический дисбаланс: чья биология считается «нормой»?
Исследования показывают, что меньшинства систематически недопредставлены:
В онкологических исследованиях: 2–5% Black, 4–6% Hispanic, при том что в населении США — 1 2.1% и 18.7% соответственно.

📚 Серьёзные источники на английском
Nature Communications: Tackling biases in clinical trials — интервью с экспертами о типах и последствиях гендерных и этнических перекосов.
BMJ: Designing inclusive clinical trials — анализ, как улучшить этническое разнообразие в исследованиях и почему это критично для безопасности и эффективности лечения.
Trials Journal: Systematic review on minority participation — барьеры и решения для включения этнических меньшинств в клинические испытания.