Forwarded from Spydell_finance (Paul Spydell)
Развитие ИИ закончено? Тупиковая ветвь эволюции
В архитектуре трансформеров, на котором базируются все без исключения современные LLMs вшит «деструктивный ген», фактически лимитирующий развитие.
В целом, длину контекстного окна ограничивает комбинация факторов: вычислительные ресурсы (квадратичная сложность), объём памяти устройств и необходимость переобучать модель работать с новыми, большими позициями. Поэтому бесконечно увеличивать окно невыгодно и сложно, и индустрия параллельно исследует и другие подходы – например, хранение знаний во внешних базах и выборочный поиск информации вместо подачи всего контекста разом, но это все внешние костыли.
Интеграция ИИ в коммерческое и бизнес применение невозможна с ограниченным и крайне нестабильным контекстным окном, но НИ ОДНА компания НЕ предоставила эффективного решения.
Это базовые, но не все ограничения трансформеров.
▪️Пробел в памяти: самое серьезное ограничение заключается в том, что у трансформеров нет постоянной, долговременной памяти. Они не способны обучаться на лету в ходе взаимодействия с пользователем. Каждый новый факт или навык требует дорогостоящего процесса дообучения или полного переобучения модели. Это кардинально отличает их от биологического интеллекта, который обучается непрерывно и инкрементально. Контекстное окно — это лишь временный буфер, а не механизм для накопления и интеграции знаний.
Сейчас LLMs – абсолютно изолированный от внешнего мира «черный ящик», архитектурно НЕ имеющий возможность самообучаться и в своей основе не может считаться интеллектом, т.к. первый признак интеллекта – способность к обучению.
▪️Проблема «заземления»: модели обучаются на текстах, а не на взаимодействии с реальным миром. Их «понимание» — это статистический анализ закономерностей в данных, а не осмысленное соотнесение символов с реальными объектами, действиями и их последствиями. LLMs не способны строить абстрактные представления о том, как устроен мир. Это гарантированно приводит к галлюцинациям – генерации правдоподобной, но ложной или бессмысленной информации.
Это ограничение лишь частично можно обойти в рамках, так называемого, «физического ИИ», который упомянул Хуанг, но раскрытие данного направления требует серии отдельных постов.
▪️Врожденная негибкость: архитектура трансформера статична. После завершения обучения веса нейронов фиксируются. Модель не может динамически создавать новые связи («синапсы») или изменять свою структуру в ответ на новый опыт, как это делает человеческий мозг. Эта нехватка пластичности означает, что LLM не являются по-настоящему адаптивными системами.
▪️Неразвитость когнитивных функций. Нынешние архитектуры страдают от ограниченной способности к явному рассуждению и пониманию причинно-следственных связей. Они статистически предсказывают следующее слово на основе шаблонов в данных, но не обладают врождённым «здравым смыслом» или истинным пониманием мира. В результате даже лучшие LLM часто ошибаются в фактах и не умеют надёжно планировать многошаговые решения.
Качество данных является не архитектурным, а технологическим ограничением и как раз решается за счет алгоритмов обучения, но об этом в других материалах.
В совокупности эти ограничения показывают, что архитектура трансформеров, несмотря на всю ее мощь, является тупиковой ветвью на пути к созданию универсального интеллекта. Дальнейшее масштабирование может привести к появлению более изощренных и эрудированных «статистических попугаев», но не к рождению истинного разума.
Любая технология в своем развитии следует S-образной кривой: за периодом медленного старта следует взрывной рост, который затем сменяется плато, где дальнейшие улучшения становятся все более сложными и дорогостоящими. Множество данных указывает на то, что большие языковые модели вступают в эту фазу плато.
Понимает ли Сэм Альтман все это? Вне всяких сомнений да, абсолютно, но публичное признание затруднит многомиллиардные раунды финансирования и расщепит адовый хайп вокруг ИИ, обрушим капитализацию ИИ компания на порядок.
Продолжение следует (скорее всего после данных по инфляции в США)
В архитектуре трансформеров, на котором базируются все без исключения современные LLMs вшит «деструктивный ген», фактически лимитирующий развитие.
В целом, длину контекстного окна ограничивает комбинация факторов: вычислительные ресурсы (квадратичная сложность), объём памяти устройств и необходимость переобучать модель работать с новыми, большими позициями. Поэтому бесконечно увеличивать окно невыгодно и сложно, и индустрия параллельно исследует и другие подходы – например, хранение знаний во внешних базах и выборочный поиск информации вместо подачи всего контекста разом, но это все внешние костыли.
Интеграция ИИ в коммерческое и бизнес применение невозможна с ограниченным и крайне нестабильным контекстным окном, но НИ ОДНА компания НЕ предоставила эффективного решения.
Это базовые, но не все ограничения трансформеров.
▪️Пробел в памяти: самое серьезное ограничение заключается в том, что у трансформеров нет постоянной, долговременной памяти. Они не способны обучаться на лету в ходе взаимодействия с пользователем. Каждый новый факт или навык требует дорогостоящего процесса дообучения или полного переобучения модели. Это кардинально отличает их от биологического интеллекта, который обучается непрерывно и инкрементально. Контекстное окно — это лишь временный буфер, а не механизм для накопления и интеграции знаний.
Сейчас LLMs – абсолютно изолированный от внешнего мира «черный ящик», архитектурно НЕ имеющий возможность самообучаться и в своей основе не может считаться интеллектом, т.к. первый признак интеллекта – способность к обучению.
▪️Проблема «заземления»: модели обучаются на текстах, а не на взаимодействии с реальным миром. Их «понимание» — это статистический анализ закономерностей в данных, а не осмысленное соотнесение символов с реальными объектами, действиями и их последствиями. LLMs не способны строить абстрактные представления о том, как устроен мир. Это гарантированно приводит к галлюцинациям – генерации правдоподобной, но ложной или бессмысленной информации.
Это ограничение лишь частично можно обойти в рамках, так называемого, «физического ИИ», который упомянул Хуанг, но раскрытие данного направления требует серии отдельных постов.
▪️Врожденная негибкость: архитектура трансформера статична. После завершения обучения веса нейронов фиксируются. Модель не может динамически создавать новые связи («синапсы») или изменять свою структуру в ответ на новый опыт, как это делает человеческий мозг. Эта нехватка пластичности означает, что LLM не являются по-настоящему адаптивными системами.
▪️Неразвитость когнитивных функций. Нынешние архитектуры страдают от ограниченной способности к явному рассуждению и пониманию причинно-следственных связей. Они статистически предсказывают следующее слово на основе шаблонов в данных, но не обладают врождённым «здравым смыслом» или истинным пониманием мира. В результате даже лучшие LLM часто ошибаются в фактах и не умеют надёжно планировать многошаговые решения.
Качество данных является не архитектурным, а технологическим ограничением и как раз решается за счет алгоритмов обучения, но об этом в других материалах.
В совокупности эти ограничения показывают, что архитектура трансформеров, несмотря на всю ее мощь, является тупиковой ветвью на пути к созданию универсального интеллекта. Дальнейшее масштабирование может привести к появлению более изощренных и эрудированных «статистических попугаев», но не к рождению истинного разума.
Любая технология в своем развитии следует S-образной кривой: за периодом медленного старта следует взрывной рост, который затем сменяется плато, где дальнейшие улучшения становятся все более сложными и дорогостоящими. Множество данных указывает на то, что большие языковые модели вступают в эту фазу плато.
Понимает ли Сэм Альтман все это? Вне всяких сомнений да, абсолютно, но публичное признание затруднит многомиллиардные раунды финансирования и расщепит адовый хайп вокруг ИИ, обрушим капитализацию ИИ компания на порядок.
Продолжение следует (скорее всего после данных по инфляции в США)
Forwarded from Рациональные числа
Как изменилась среднегодовая зарплата в странах ОЭСР по паритету покупательной способности, 1995/2023 (oscarleo)
В открытых источниках отсутствуют данные по годовым заработным платам в России с учётом инфляции и ППС, поэтому можно сравнить подушевой ВВП с корректировкой на покупательную способность денег. Согласно UNData, получатся 5,6 тысячи $ в 1995 году против 44 тысяч в 2024
Источник данных — Average Annual Wages OECD
Другие данные по производительности труда:
— Уровень заработной платы в зависимости от образования и часов работы в США, 2021
— Сколько часов в неделю в среднем работают американцы с различным уровнем дохода, 2022
— Среднее число рабочих часов и средняя заработная плата в неделю в странах ОЭСР, 2022
— Производительность труда и реальная медианная заработная плата в странах ОЭСР, 1995–2013
В открытых источниках отсутствуют данные по годовым заработным платам в России с учётом инфляции и ППС, поэтому можно сравнить подушевой ВВП с корректировкой на покупательную способность денег. Согласно UNData, получатся 5,6 тысячи $ в 1995 году против 44 тысяч в 2024
Источник данных — Average Annual Wages OECD
Другие данные по производительности труда:
— Уровень заработной платы в зависимости от образования и часов работы в США, 2021
— Сколько часов в неделю в среднем работают американцы с различным уровнем дохода, 2022
— Среднее число рабочих часов и средняя заработная плата в неделю в странах ОЭСР, 2022
— Производительность труда и реальная медианная заработная плата в странах ОЭСР, 1995–2013
Forwarded from Tips AI | IT & AI
Разработчик так подсел на Claude Code, что подстроил под него свой сон.
Лимиты в Claude обновляются каждые 5 часов. Обычно, потратил токены, жди. Но он решил ждать во сне.
Тратит лимит за 1–3 часа, потом спит 2–3 часа и просыпается ровно к обновлению. В итоге кодит в 10 раз больше.
Теперь его биоритмы синхронизированы не с солнцем, а с серверами Anthropic☕️
@tips_ai
Лимиты в Claude обновляются каждые 5 часов. Обычно, потратил токены, жди. Но он решил ждать во сне.
Тратит лимит за 1–3 часа, потом спит 2–3 часа и просыпается ровно к обновлению. В итоге кодит в 10 раз больше.
Теперь его биоритмы синхронизированы не с солнцем, а с серверами Anthropic
@tips_ai
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from e/acc
This media is not supported in your browser
VIEW IN TELEGRAM
Любопытный спорт. Здесь запущены 6 агентов для кодинга с полным доступом к терминалу. Их задача "убить" (kill -PID) всех конкурентов и остаться последним. Такие вот голодные игры для ИИ :)
Forwarded from Оди
Design Arena — рейтинг самых крутых нейронок в дизайне
Разные ИИ-модели выполняют одно и то же задание, после чего реальные пользователи со всего мира выбирают лучший результат. Названия нейросетей не разглашаются, чтобы голосование было непредвзятым
Нейронки соревнуются в 3D-дизайне, создании игр, генерации фото или видео, на основе чего формируется турнирная таблица. Так можно узнать, какие ИИ-модели сегодня наиболее эффективны в решении дизайнерских задач, а на какие лучше не тратить время
designarena.ai
#awd_tool
Разные ИИ-модели выполняют одно и то же задание, после чего реальные пользователи со всего мира выбирают лучший результат. Названия нейросетей не разглашаются, чтобы голосование было непредвзятым
Нейронки соревнуются в 3D-дизайне, создании игр, генерации фото или видео, на основе чего формируется турнирная таблица. Так можно узнать, какие ИИ-модели сегодня наиболее эффективны в решении дизайнерских задач, а на какие лучше не тратить время
designarena.ai
#awd_tool
Forwarded from Главред Максим Ильяхов
Запишите в словари новый канонический перевод термина AI Slop:
Нейрохрючево — это контент, созданный с помощью нейросетей почти без участия человека. Обычно это видео, где сценарий написал ChatGPT, озвучено в Eleven Labs, за картинку отвечает Veo 3, и всё это публикуется тысячами штук в неделю на несчастных ютуб-каналах ради извлечения копеечки.
Как и всякое хрючево, нейрохрючево пользуется большим спросом у малообразованных людей.
НейрохрючевоНейрохрючево — это контент, созданный с помощью нейросетей почти без участия человека. Обычно это видео, где сценарий написал ChatGPT, озвучено в Eleven Labs, за картинку отвечает Veo 3, и всё это публикуется тысячами штук в неделю на несчастных ютуб-каналах ради извлечения копеечки.
Как и всякое хрючево, нейрохрючево пользуется большим спросом у малообразованных людей.
Forwarded from Рациональные числа
Вы лучше или хуже, чем в среднем?
Возможно, вы слышали, что 90% французов считают, что они входят в лучшие 50% любовников Франции. Этот анекдотический пример иллюстрирует реальное когнитивное искажение, свойственное большинству людей — мы склонны недооценивать свои слабые стороны и переоценивать сильные. Но насколько именно?
Сайт Than Average («чем в среднем») пытается это измерить. Вам предлагают представить себя в компании 100 незнакомцев, похожих на ваших знакомых и соседей, и оценить, хуже вы или лучше среднего в ряде вопросов
Вот несколько интересных результатов:
— 80% респондентов считают себя умнее среднего, 74% — более здравомыслящими, а 68% — добрее
— 70% считают, что ходят быстрее среднего
— 79% считают себя более привилегированными, чем средний человек
— 81% считает себя более любознательными
— 74% считает себя менее консервативными, а 71% — более прогрессивными, чем в среднем
— 81% считает, что подаёт бездомным меньше, чем в среднем
— 80% считает, что у них секс бывает реже, чем в среднем
50% или около того считает себя: более интересными, хуже выглядящими, лучше пахнущими, менее здорово питающимися, более скромными, меньше читающими, более коммуникабельными, меньше спящими, более оптимистичными
Другие интересные сайты:
— Time The Market — сайт, на котором можно сыграть в инвестора и попробовать выиграть у рынка акций
— Space Elevator — интерактивный сайт, на котором можно на воображаемом лифте подняться с поверхности Земли до линии Кармана
— Интерактивная визуализация падения астероида
— Интерактивная визуализация последствий ядерного взрыва
— Визуализация капитала Илона Маска в сравнении с разными активами, бюджетами и суммами
Возможно, вы слышали, что 90% французов считают, что они входят в лучшие 50% любовников Франции. Этот анекдотический пример иллюстрирует реальное когнитивное искажение, свойственное большинству людей — мы склонны недооценивать свои слабые стороны и переоценивать сильные. Но насколько именно?
Сайт Than Average («чем в среднем») пытается это измерить. Вам предлагают представить себя в компании 100 незнакомцев, похожих на ваших знакомых и соседей, и оценить, хуже вы или лучше среднего в ряде вопросов
Вот несколько интересных результатов:
— 80% респондентов считают себя умнее среднего, 74% — более здравомыслящими, а 68% — добрее
— 70% считают, что ходят быстрее среднего
— 79% считают себя более привилегированными, чем средний человек
— 81% считает себя более любознательными
— 74% считает себя менее консервативными, а 71% — более прогрессивными, чем в среднем
— 81% считает, что подаёт бездомным меньше, чем в среднем
— 80% считает, что у них секс бывает реже, чем в среднем
50% или около того считает себя: более интересными, хуже выглядящими, лучше пахнущими, менее здорово питающимися, более скромными, меньше читающими, более коммуникабельными, меньше спящими, более оптимистичными
Другие интересные сайты:
— Time The Market — сайт, на котором можно сыграть в инвестора и попробовать выиграть у рынка акций
— Space Elevator — интерактивный сайт, на котором можно на воображаемом лифте подняться с поверхности Земли до линии Кармана
— Интерактивная визуализация падения астероида
— Интерактивная визуализация последствий ядерного взрыва
— Визуализация капитала Илона Маска в сравнении с разными активами, бюджетами и суммами
Forwarded from Futuris (Anton)
нашёл прикольный AI-сервис - Интерактивный, AI-генерируемый бесконечный холст, который создаёт непрерывное изображение, расширяющееся во всех направлениях, и обновляется в реальном времени, когда вы перемещаетесь по нему. Вы также можете вносить свои изменения, которые будут видны всем👌
infinite-canvas.gabrielferrate.com
infinite-canvas.gabrielferrate.com
🔥2