После 10 лет разработки линейки Эверест в аэропорту Толмачёво, стало понятно, что методология И-Цзин работает, т.е. И-Цзин позволяет заходить в любые дебри кода и не терять нить понимания (это его суть)
Возникла потребность как-то записать — выразить, сделать доступным для каждого
В конце 2022 года мы зашли с проектом "Эверест" в Научно-технологический парк Новосибирского Академгородка (там много мыслящих людей)
С 2023г по 2024 год велась интенсивная работа над формализацией И-Цзин, статьей: "Введение в Безымянную логику" М.В. Стручалин
Благодаря которой удалось выразить И-Цзин через категории Парменида: Единое, Многое
Учитывая специфику обсуждений (философия, логика и т.д.), работа велась в закрытом режиме: в автомобиле рядом с технопарком — на автостоянке (как позже выяснилось) расположенной напротив Института философии и права СО РАН
Возникла потребность как-то записать — выразить, сделать доступным для каждого
В конце 2022 года мы зашли с проектом "Эверест" в Научно-технологический парк Новосибирского Академгородка (там много мыслящих людей)
С 2023г по 2024 год велась интенсивная работа над формализацией И-Цзин, статьей: "Введение в Безымянную логику" М.В. Стручалин
Благодаря которой удалось выразить И-Цзин через категории Парменида: Единое, Многое
Учитывая специфику обсуждений (философия, логика и т.д.), работа велась в закрытом режиме: в автомобиле рядом с технопарком — на автостоянке (как позже выяснилось) расположенной напротив Института философии и права СО РАН
Минцифры разработало законопроект о регулировании, который вводит возможность ограничений для «трансграничных» моделей вроде ChatGPT, Claude и Gemini
В Роскомнадзоре уверены, что эти сервисы передают данные российских пользователей за рубеж, поэтому могут быть ограничены или заблокированы из-за нарушения законов о персональных данных
Кто-нибудь может Минцифре объяснить, что изменится после принятия, если все перечисленное в России и так Минцифрой заблокировано?
В Роскомнадзоре уверены, что эти сервисы передают данные российских пользователей за рубеж, поэтому могут быть ограничены или заблокированы из-за нарушения законов о персональных данных
Кто-нибудь может Минцифре объяснить, что изменится после принятия, если все перечисленное в России и так Минцифрой заблокировано?
О Telegram говорит Anthropic, и не просто говорит, а дает возможность писать запросы Claude Code через Telegram и Discord
Ребята эту функцию подсмотрели у OpenClaw - понятно, но они сделали это красиво и привлекают к себе ещё больше лояльной новой аудитории
Теперь можно написать запрос в мессенджере с мобильного телефона, и Claude пришлёт отчёт, когда закончит
Единственное - нужен запущенный фоновый процесс на компьютере, события приходят только пока сессия открыта
То есть компьютер должен работать, как и в случае с новой функцией Dispatch в Claude Cowork
Надо отметить, что OpenClaw изначально строился как облачный агент, там компьютер не нужен вообще, но с вопросами безопасности там намного хуже
Ребята эту функцию подсмотрели у OpenClaw - понятно, но они сделали это красиво и привлекают к себе ещё больше лояльной новой аудитории
Теперь можно написать запрос в мессенджере с мобильного телефона, и Claude пришлёт отчёт, когда закончит
Единственное - нужен запущенный фоновый процесс на компьютере, события приходят только пока сессия открыта
То есть компьютер должен работать, как и в случае с новой функцией Dispatch в Claude Cowork
Надо отметить, что OpenClaw изначально строился как облачный агент, там компьютер не нужен вообще, но с вопросами безопасности там намного хуже
Telegram
All about AI, Web 3.0, BCI
Anthropic released Claude Code channels, which allows you to control your Claude Code session through select MCPs, starting with Telegram and Discord.
Use this to message Claude Code directly from your phone.
Read here on how to setup Telegram.
Discord
Use this to message Claude Code directly from your phone.
Read here on how to setup Telegram.
Discord
Считается, что слово «баг» (bug) в значении ошибки, возникло в 1946 году, когда младший лейтенант Грейс Хоппер, работавшая на компьютере Harvard Mark II, нашла между замкнувшими контактами сгоревшего мотылька
Извлеченное насекомое было вклеено скотчем в технический дневник с надписью: «Первый реальный случай обнаружения жучка»
На самом деле слово «баг» в значении неуловимой технической ошибки употреблялось задолго до появления компьютеров персоналом телеграфных и телефонных компаний в отношении неполадок с электрооборудованием и радиотехникой
В 1878 году Томас Эдисон писал: «Так было со всеми моими изобретениями. Первый шаг — интуиция, которая приходит как вспышка, затем возникают трудности — устройство отказывается работать, и именно тогда проявляются «жучки» — как называют эти мелкие ошибки и трудности — и требуются месяцы пристального наблюдения, исследований и усилий, прежде чем дело дойдёт до коммерческого успеха или неудачи»
А еще во время Второй мировой войны словом «баг» именовали проблемы с радарной электроникой
Извлеченное насекомое было вклеено скотчем в технический дневник с надписью: «Первый реальный случай обнаружения жучка»
На самом деле слово «баг» в значении неуловимой технической ошибки употреблялось задолго до появления компьютеров персоналом телеграфных и телефонных компаний в отношении неполадок с электрооборудованием и радиотехникой
В 1878 году Томас Эдисон писал: «Так было со всеми моими изобретениями. Первый шаг — интуиция, которая приходит как вспышка, затем возникают трудности — устройство отказывается работать, и именно тогда проявляются «жучки» — как называют эти мелкие ошибки и трудности — и требуются месяцы пристального наблюдения, исследований и усилий, прежде чем дело дойдёт до коммерческого успеха или неудачи»
А еще во время Второй мировой войны словом «баг» именовали проблемы с радарной электроникой
В классической теории AML-агент получает сигналы из среды, перерабатывает их и возвращает воздействие обратно в среду
Сейчас в ядро агента вставили большую языковую модель
Модель умеет “думать на естественном языке” — по сути, продолжать текст с учётом контекста, знаний и цели
В итоге агент получает «мозг», который рассуждает словами, как мы с вами, а не просто гоняет числа в матрицах (впрочем, модель внутри себя именно это и делает)
Поэтому они так хорошо подходят для задач, которые раньше считались чисто «умственными»: анализ документов, подготовка отчётов, исследование рынка, поддержка клиентов, разработка кода, аналитика, даже научные исследования
И вот здесь лежит настоящая революция
Все предыдущие технологические волны автоматизировали физический труд или простую рутину: станки, конвейеры, роботы, RPA
Сейчас автоматизируется мозговая деятельность — то, что привыкли считать работой мозга белых воротничков
Человек с радостью отдаёт агентам всё, что можно описать как цепочку информационных шагов
А вот у кого он её «отберёт» — это уже другой вопрос
Работу заберёт не AML-агент, а человек, который раньше научился жить в связке с агентами
Тот, кто умеет ставить им задачи, проверять результаты и строить вокруг них процессы, станет новым «архитектором» в мире автоматизации
Сейчас в ядро агента вставили большую языковую модель
Модель умеет “думать на естественном языке” — по сути, продолжать текст с учётом контекста, знаний и цели
В итоге агент получает «мозг», который рассуждает словами, как мы с вами, а не просто гоняет числа в матрицах (впрочем, модель внутри себя именно это и делает)
Поэтому они так хорошо подходят для задач, которые раньше считались чисто «умственными»: анализ документов, подготовка отчётов, исследование рынка, поддержка клиентов, разработка кода, аналитика, даже научные исследования
И вот здесь лежит настоящая революция
Все предыдущие технологические волны автоматизировали физический труд или простую рутину: станки, конвейеры, роботы, RPA
Сейчас автоматизируется мозговая деятельность — то, что привыкли считать работой мозга белых воротничков
Человек с радостью отдаёт агентам всё, что можно описать как цепочку информационных шагов
А вот у кого он её «отберёт» — это уже другой вопрос
Работу заберёт не AML-агент, а человек, который раньше научился жить в связке с агентами
Тот, кто умеет ставить им задачи, проверять результаты и строить вокруг них процессы, станет новым «архитектором» в мире автоматизации
Берклеевский курс общей физики [5 книг]
Том I. Механика
Том II. Электричество и магнетизм
Том III. Волны
Том IV. Квантовая физика
Том V. Статистическая физика
Скачать
В России есть два популярных курса общей физики, переведённых с английского языка: знаменитые Фейнмановские лекции и Берклеевский курс, который предлагаем вам сохранить в своей библиотеке сегодня
Берклеевский курс общей физики несколько отличается от других курсов общей физики, который вам доводилось видеть
Эти книги были написаны специально для подготовки первоклассных физиков-теоретиков, и потому требуют достаточно серьёзной подготовки как математической, так и психологической
Будьте готовы к длительной и вдумчивой проработке материалов этих учебников.
Том 1. «Механика» (Ч. Киттель, У. Найт, М. Рудерман)
О чем: Начинается с векторов и относительности
Специальная теория относительности идет не в конце, а в начале!
Авторы сразу учат мыслить в рамках современной физики
Механика Ньютона подается как частный случай
Ощущения: Самый дружелюбный том, но заставляет перепрошить мозг
Том 2. «Электричество и магнетизм» (Э. Парселл)
О чем: Абсолютный бриллиант среди учебников
Парселл начинает не с зарядов и кулонов, а с принципа относительности и поля
Электромагнетизм здесь выглядит не набором формул, а стройной теорией поля
Ощущения: Красота математики и физики достигает апогея
После этой книги вы почувствуете поле
Том 3. «Волны» (Ф. Кроуфорд)
О чем: Механика, оптика, акустика
Кроуфорд показывает, что волны — это везде: от гитарной струны до световых лучей
Много внимания уделяется колебаниям и аналогиям между разными разделами.
Ощущения: Самый «лабораторный» том
Очень много картинок и объяснений, которые можно потрогать руками
Том 4. «Квантовая физика» (Э. Вихман)
О чем: Введение в кванты. Вихман гениально показывает крах классических представлений и рождение волновой функции
Без излишнего математического снобизма, но очень серьезно
Ощущения: Здесь начинается настоящая магия
Если вы боялись квантовой механики — этот том лучший психотерапевт
Том 5. «Статистическая физика» (Ф. Райф)
О чем: Термодинамика, энтропия, статистические распределения
Райф объясняет, как из хаоса миллионов частиц рождается порядок стрелы времени
Ощущения: Самый сложный
Меньше зрелищности, больше абстракции, но именно здесь приходит понимание, почему время не течет вспять
Том I. Механика
Том II. Электричество и магнетизм
Том III. Волны
Том IV. Квантовая физика
Том V. Статистическая физика
Скачать
В России есть два популярных курса общей физики, переведённых с английского языка: знаменитые Фейнмановские лекции и Берклеевский курс, который предлагаем вам сохранить в своей библиотеке сегодня
Берклеевский курс общей физики несколько отличается от других курсов общей физики, который вам доводилось видеть
Эти книги были написаны специально для подготовки первоклассных физиков-теоретиков, и потому требуют достаточно серьёзной подготовки как математической, так и психологической
Будьте готовы к длительной и вдумчивой проработке материалов этих учебников.
Том 1. «Механика» (Ч. Киттель, У. Найт, М. Рудерман)
О чем: Начинается с векторов и относительности
Специальная теория относительности идет не в конце, а в начале!
Авторы сразу учат мыслить в рамках современной физики
Механика Ньютона подается как частный случай
Ощущения: Самый дружелюбный том, но заставляет перепрошить мозг
Том 2. «Электричество и магнетизм» (Э. Парселл)
О чем: Абсолютный бриллиант среди учебников
Парселл начинает не с зарядов и кулонов, а с принципа относительности и поля
Электромагнетизм здесь выглядит не набором формул, а стройной теорией поля
Ощущения: Красота математики и физики достигает апогея
После этой книги вы почувствуете поле
Том 3. «Волны» (Ф. Кроуфорд)
О чем: Механика, оптика, акустика
Кроуфорд показывает, что волны — это везде: от гитарной струны до световых лучей
Много внимания уделяется колебаниям и аналогиям между разными разделами.
Ощущения: Самый «лабораторный» том
Очень много картинок и объяснений, которые можно потрогать руками
Том 4. «Квантовая физика» (Э. Вихман)
О чем: Введение в кванты. Вихман гениально показывает крах классических представлений и рождение волновой функции
Без излишнего математического снобизма, но очень серьезно
Ощущения: Здесь начинается настоящая магия
Если вы боялись квантовой механики — этот том лучший психотерапевт
Том 5. «Статистическая физика» (Ф. Райф)
О чем: Термодинамика, энтропия, статистические распределения
Райф объясняет, как из хаоса миллионов частиц рождается порядок стрелы времени
Ощущения: Самый сложный
Меньше зрелищности, больше абстракции, но именно здесь приходит понимание, почему время не течет вспять
This media is not supported in your browser
VIEW IN TELEGRAM
Экспонента представляет собой математическую функцию вида e^x, где e — это иррациональное число, называемое числом Эйлера
Термин происходит от латинского слова «exponere», что означает «выставить вперед» или «показать»
Значение числа e составляет примерно 2.71828 и продолжается бесконечно без повторяющихся последовательностей
Экспоненциальная функция обладает уникальным свойством: скорость ее роста в каждой точке равна значению самой функции в этой точке
Термин происходит от латинского слова «exponere», что означает «выставить вперед» или «показать»
Значение числа e составляет примерно 2.71828 и продолжается бесконечно без повторяющихся последовательностей
Экспоненциальная функция обладает уникальным свойством: скорость ее роста в каждой точке равна значению самой функции в этой точке
Уже рассказывали про DS Lab – нашу облачную IDE, где можно запускать проекты любой сложности на мощном арендованном железе (H100, H200 и т.д.)
Не нужно тратить время на настройки и разбираться с окружением: вы выбираете нужную конфигурацию одной кнопкой и тут же начинаете работать в своем проекте
Теперь добавили в DS Lab кодинг-агента, и он работает прямо в тг: @data_secrets_bot
Пишете задачу в чат, агент сам запускает проект, пишет код, создает файлы, скачивает данные, запускает скрипты и обучает модели
Таким образом можно работать на удаленных ресурсах с проектом любой сложности, даже если под рукой только телефон, а компьютер выключен
Весь ваш код, файлы и состояние сохраняются в DS Lab
Можно вернуться в любой момент или открыть тот же проект в облачной IDE с любого устройства
Агент доступен на всех тарифах
На выбор – лучшие SOTA-модели рынка
Пробуйте в @data_secrets_bot
Не нужно тратить время на настройки и разбираться с окружением: вы выбираете нужную конфигурацию одной кнопкой и тут же начинаете работать в своем проекте
Теперь добавили в DS Lab кодинг-агента, и он работает прямо в тг: @data_secrets_bot
Пишете задачу в чат, агент сам запускает проект, пишет код, создает файлы, скачивает данные, запускает скрипты и обучает модели
Таким образом можно работать на удаленных ресурсах с проектом любой сложности, даже если под рукой только телефон, а компьютер выключен
Весь ваш код, файлы и состояние сохраняются в DS Lab
Можно вернуться в любой момент или открыть тот же проект в облачной IDE с любого устройства
Агент доступен на всех тарифах
На выбор – лучшие SOTA-модели рынка
Пробуйте в @data_secrets_bot
Forwarded from НИИ Антропогенеза (ARI)
В «Хабре» обсуждается проблема использования искусственного интеллекта в образовании, в частности, сможет ли AML заменить учителя и репетитора
Аргументы ЗА
Доступность 24/7
Репетитор спит ночью, AML- нет
Если озарение пришло в три часа ночи перед экзаменом, то нейросеть всегда готова откликнуться на зов
Бесконечное терпение
Человек-репетитор, объясняя одно и то же в пятый раз, начинает незаметно закипать (даже самый добрый)
Нейросеть объяснит 500-й раз теми же словами, с той же интонацией
Не надоест
Полная персонализация
Как подчеркивает эксперт РТУ МИРЭА, AML не просто добавляет удобные функции к существующим курсам - он полностью меняет саму логику обучения
От унифицированного подхода к индивидуальному, от шаблонных упражнений - к адаптивным сценариям
Цена
$20 в месяц против ₽2.000 в час - выбор очевиден для большей части населения
Кроме того, как отмечает специалист РГСУ, заменить учителя на AML экономически более выгодно, чем готовить преподавателя, а затем оплачивать его работу
Огромная база знаний
Один репетитор помнит свою узкую тему
AML помнит всё
Он может одновременно объяснить уравнение, написать сочинение по литературе и набросать код на Python
Мгновенная обратная связь
Не нужно ждать следующего занятия, чтобы узнать, правильно ли решил задачу
AML ответит сразу
В обучении чем быстрее обратная связь, тем быстрее прогресс
Аргументы ПРОТИВ
Образование - это социальный процесс, руководитель Секции ЮНЕСКО по технологиям и AML в образовании, формулирует жестко: «AML может управлять передачей данных, но он не способен управлять развитием человека
Образование по своей сути является социальным, человеческим и культурным процессом, а не технической загрузкой данных»
Идея о том, что AML способен заменить учителей, это, по ее словам, фундаментальная ошибка
Сведение роли педагога к функции администратора данных подрывает саму основу обучения
Миф о персонализации
То, что часто называют персонализацией обучения с помощью AML, на деле представляет собой, как выражаются в ЮНЕСКО, «стандартизированную индивидуализацию» - учащийся в одиночестве перед экраном следует алгоритмическому маршруту
Подлинное обучение носит социальный характер
Миф о скорости
В доминирующих дискуссиях об AML успех измеряется тем, как быстро ученик находит правильный ответ
Но в образовании скорость часто является врагом глубины
Галлюцинации
Нейросети врут и делают это уверенно и красиво
Проблема мотивации
Чтобы заниматься с AML, нужна железная самодисциплина
Потому что в любой момент можно закрыть вкладку и пойти смотреть тиктоки
Репетитор физически присутствует, ждет ответа, давит авторитетом
Для многих учеников (особенно детей) внешний контроль - единственное, что заставляет двигаться
Обучение плагиату
Это обратная сторона доступности
Легче скопировать готовое решение, чем вникнуть
AML не ругается, не стыдит, он просто выдает ответ
В итоге отключается критический анализ
Навык решения не формируется
Этические вопросы и приватность
Все диалоги с ChatGPT уходят в никуда (точнее, в сервера OpenAI)
В образовании, особенно детском, вопросы приватности - это не паранойя, а реальная проблема
Аргументы ЗА
Доступность 24/7
Репетитор спит ночью, AML- нет
Если озарение пришло в три часа ночи перед экзаменом, то нейросеть всегда готова откликнуться на зов
Бесконечное терпение
Человек-репетитор, объясняя одно и то же в пятый раз, начинает незаметно закипать (даже самый добрый)
Нейросеть объяснит 500-й раз теми же словами, с той же интонацией
Не надоест
Полная персонализация
Как подчеркивает эксперт РТУ МИРЭА, AML не просто добавляет удобные функции к существующим курсам - он полностью меняет саму логику обучения
От унифицированного подхода к индивидуальному, от шаблонных упражнений - к адаптивным сценариям
Цена
$20 в месяц против ₽2.000 в час - выбор очевиден для большей части населения
Кроме того, как отмечает специалист РГСУ, заменить учителя на AML экономически более выгодно, чем готовить преподавателя, а затем оплачивать его работу
Огромная база знаний
Один репетитор помнит свою узкую тему
AML помнит всё
Он может одновременно объяснить уравнение, написать сочинение по литературе и набросать код на Python
Мгновенная обратная связь
Не нужно ждать следующего занятия, чтобы узнать, правильно ли решил задачу
AML ответит сразу
В обучении чем быстрее обратная связь, тем быстрее прогресс
Аргументы ПРОТИВ
Образование - это социальный процесс, руководитель Секции ЮНЕСКО по технологиям и AML в образовании, формулирует жестко: «AML может управлять передачей данных, но он не способен управлять развитием человека
Образование по своей сути является социальным, человеческим и культурным процессом, а не технической загрузкой данных»
Идея о том, что AML способен заменить учителей, это, по ее словам, фундаментальная ошибка
Сведение роли педагога к функции администратора данных подрывает саму основу обучения
Миф о персонализации
То, что часто называют персонализацией обучения с помощью AML, на деле представляет собой, как выражаются в ЮНЕСКО, «стандартизированную индивидуализацию» - учащийся в одиночестве перед экраном следует алгоритмическому маршруту
Подлинное обучение носит социальный характер
Миф о скорости
В доминирующих дискуссиях об AML успех измеряется тем, как быстро ученик находит правильный ответ
Но в образовании скорость часто является врагом глубины
Галлюцинации
Нейросети врут и делают это уверенно и красиво
Проблема мотивации
Чтобы заниматься с AML, нужна железная самодисциплина
Потому что в любой момент можно закрыть вкладку и пойти смотреть тиктоки
Репетитор физически присутствует, ждет ответа, давит авторитетом
Для многих учеников (особенно детей) внешний контроль - единственное, что заставляет двигаться
Обучение плагиату
Это обратная сторона доступности
Легче скопировать готовое решение, чем вникнуть
AML не ругается, не стыдит, он просто выдает ответ
В итоге отключается критический анализ
Навык решения не формируется
Этические вопросы и приватность
Все диалоги с ChatGPT уходят в никуда (точнее, в сервера OpenAI)
В образовании, особенно детском, вопросы приватности - это не паранойя, а реальная проблема
Воображаемая логика вносит в логику принцип относительности, основной принцип нового времени
Логик может быть много, смешным самомнением мне представляется убеждение, что все мыслящие существа связаны логикой Аристотеля
Логик может быть много, смешным самомнением мне представляется убеждение, что все мыслящие существа связаны логикой Аристотеля
Основоположник отечественной школы искусственного интеллекта Дмитрий Александрович Поспелов об ограниченности ИИ:
Из интервью "Литературной газете" 28 апреля 1976 года
...Пишутся рассказы, стихи, что называется, по алгоритму "как у такого-то"...
Но в искусстве этому есть имя — эпигонство.
Творчество же предполагает новые мысли и образы.
Оно тем и отличается от эпигонства, что его источник — жизнь, а не описание жизни
Возьмите пушкинское "Я вас любил...".
Что здесь программировать? Стихотворное изложение цепи "любил... страдал ... разлюбил... будь счастлива"? Получится банальщина.
У Пушкина ведь говорят не только слова.
Такое может написать лишь человек, который действительно любит сильно и самоотреченно
Любовь и ЭВМ — вещи далекие
Эту мысль впервые высказал американский кибернетик Хьюберт Дрейфус: "Мышление без физического тела, находящегося в физическом мире, невозможно"
И это один из аргументов против возможности создания полноценного ИИ, поскольку машинная программа "живет" не в физическом мире, а в мире символов.
Отсутствие физического тела ведет к тому, что машина "ничего не хочет".
Она не знает ни любви, ни голода, ни усталости, ни потребности в комфорте
Ну, а так как никаких потребностей у машины пока нет, то она и не в состоянии сама выбирать цели своего поведения и, стало быть, без понуждения человеком остается мертвой грудой металла...
ИИ будет возможен, если машина сумеет сама осуществить весь мыслительный процесс, начиная от выбора задачи. Пока же за нее решает программист
И даже если мы сымитируем в машине человеческие потребности и чувства, это не будет гарантией того, что она сможет создать второе "Я вас любил".
Может быть, она создаст что-то не менее великое, но... для себе подобных
Представляете, картина — машина-читатель вводит в себя стихи машины-поэта и от наслаждения меняет ток в питающем трансформаторе. Но мы-то будем подходить к ней с нашими мерками!
Она должна будет отражать не свои, а наши чувства, а для этого мало имитировать человека, — надо быть человеком
Из интервью "Литературной газете" 28 апреля 1976 года
Попросите самую умную нейросеть сложить в столбик два случайных 30-значных числа, и она почти наверняка выдаст уверенный, но совершенно неправильный ответ
Потому что современные AML не умеют думать «пошагово» Они смотрят на весь пример целиком и пытаются статистически «угадать» ответ
Из-за этого в машинном обучении есть нерушимое правило: чем длиннее математический пример, тем глупее становится нейросеть
С каждой новой цифрой вероятность ошибки растёт
Корпорации пытаются решить это грубой силой, скармливая AML терабайты данных, но архитектурная проблема остаётся
Он пошёл совершенно другим, изящным путём
Вместо создания очередного неповоротливого монстра он собрал микроскопическую нейросеть всего на 3.851 параметр
Для понимания: в ChatGPT их сотни миллиардов, а программа автора «весит» буквально пару десятков килобайт — меньше, чем одна фотография на вашем телефоне!
Свою архитектуру он назвал «Бикамеральный разум» (двухкамерный мозг)
Суть гениально проста: сеть жёстко разделена на две части
Первая часть («Голос») только читает пример
А вторая («Автомат») работает как слепой рабочий
Она не пытается угадать ответ, а просто шаг за шагом складывает цифры, честно держа «единицу в уме», как обычный калькулятор
Обучив свою микросеть, автор обнаружил математическую аномалию, аналогов которой просто нет в мировой открытой науке
На коротких простых примерах (сложение двузначных чисел) сеть иногда ошибалась — её точность составила 97.8 %
Но когда ей дали складывать огромные 30-значные числа — её точность внезапно выросла до идеальных 100 %!
Задача усложнилась в 15 раз, а крошечная нейросеть поумнела и перестала ошибаться вообще
Этот парадокс автор назвал «Инверсией сложности»
То, что сделал автор, — это элегантное доказательство того, что для создания умного, абсолютно логичного AML нам не обязательно строить монструозные дата-центры, сжигающие электричество целых городов
Иногда правильная, математически выверенная архитектура размером с простой текстовый документ способна решать строгие алгоритмические задачи лучше, чем корпоративные гиганты за миллиарды долларов
Потому что современные AML не умеют думать «пошагово» Они смотрят на весь пример целиком и пытаются статистически «угадать» ответ
Из-за этого в машинном обучении есть нерушимое правило: чем длиннее математический пример, тем глупее становится нейросеть
С каждой новой цифрой вероятность ошибки растёт
Корпорации пытаются решить это грубой силой, скармливая AML терабайты данных, но архитектурная проблема остаётся
Он пошёл совершенно другим, изящным путём
Вместо создания очередного неповоротливого монстра он собрал микроскопическую нейросеть всего на 3.851 параметр
Для понимания: в ChatGPT их сотни миллиардов, а программа автора «весит» буквально пару десятков килобайт — меньше, чем одна фотография на вашем телефоне!
Свою архитектуру он назвал «Бикамеральный разум» (двухкамерный мозг)
Суть гениально проста: сеть жёстко разделена на две части
Первая часть («Голос») только читает пример
А вторая («Автомат») работает как слепой рабочий
Она не пытается угадать ответ, а просто шаг за шагом складывает цифры, честно держа «единицу в уме», как обычный калькулятор
Обучив свою микросеть, автор обнаружил математическую аномалию, аналогов которой просто нет в мировой открытой науке
На коротких простых примерах (сложение двузначных чисел) сеть иногда ошибалась — её точность составила 97.8 %
Но когда ей дали складывать огромные 30-значные числа — её точность внезапно выросла до идеальных 100 %!
Задача усложнилась в 15 раз, а крошечная нейросеть поумнела и перестала ошибаться вообще
Этот парадокс автор назвал «Инверсией сложности»
То, что сделал автор, — это элегантное доказательство того, что для создания умного, абсолютно логичного AML нам не обязательно строить монструозные дата-центры, сжигающие электричество целых городов
Иногда правильная, математически выверенная архитектура размером с простой текстовый документ способна решать строгие алгоритмические задачи лучше, чем корпоративные гиганты за миллиарды долларов
Telegram
Техножнец
Mixed Precision: Метод Поповича на FP16
Почти закончил ( ещё надо саму скорость поднять) полный бенчмарк mixed precision для Попович-ядра замены SGEMM
🎯 Точность
Чистый FP16 — не работает ( пока что, т.к. делал из аэропорта). ~5% ошибки, 16 бит мантиссы…
Почти закончил ( ещё надо саму скорость поднять) полный бенчмарк mixed precision для Попович-ядра замены SGEMM
🎯 Точность
Чистый FP16 — не работает ( пока что, т.к. делал из аэропорта). ~5% ошибки, 16 бит мантиссы…
Классическая точка зрения на математику, которая для многих представляет собой фундаментальную мотивацию философского исследования, состоит в том, что она представляет собой знание, имеющее характер необходимости и неизбежности
Такой характер математики, видимо, «не от мира сего», порождает определенную проблему согласования его с безусловным и признанным аспектом ее применимости к самому этому миру, которому она не принадлежит
Отмечается в этой связи удивительный успех ее приложений или ее непостижимая эффективность
Оба взгляда восходят к Платону, который рассуждал как о божественной натуре математики (кто ей не владеет, не может быть богом или героем, способным служить человечеству), так и о ее универсальном присутствии во всех искусствах и во всех видах интеллектуальной деятельности
Габриэле Лолли, "Философия математики"