Частные заметки одного лица
250 subscribers
196 photos
29 videos
8 files
316 links
Статейки, мысли, заметки @shiryaeff
Download Telegram
Forwarded from ТехноЛоджия
В 70-х годах в одной больнице в Пенсильвании врач Роджер Ульрих заметил, что необъяснимым образом в одних палатах пациенты восстанавливаются после хирургии лучше, чем в других. Другой бы ну заметил и заметил, мало ли странностей бывает, но Роджер решил применить научный метод и собрать данные! Для чистоты эксперимента ему нужно было собрать достаточное количество пациентов с одинаковой операцией, за которыми следят одни и те же медсестры, чтобы отличались действительно только палаты. В качестве операции было выбрано удаление желчного пузыря. На сбор данных ушло 9 лет.

В 1984 году Роджер опубликовал статью в журнале Science (Top 2 мировой научный журнал) с аккуратным названием: «View through a window may influence recovery from surgery».

Данные указывали на то, что ключевым фактором является вид из окна. Пациенты, у которых из окна был виден сад, восстанавливались лучше, требовали меньше обезболивающих и меньше жаловались медсестрам. В палатах с видом на стену дела обстояли заметно хуже.

Эта работа считается основополагающей в области изучения влияния природы на человеческое здоровье. 

В 2019 году в журнале Nature Scientific Reports (не совсем Nature, который второй в Топ 2 мировой научный журнал, но тоже довольно серьезно) вышла статья, которая говорит о серьезном улучшении и физического и психологического здоровья, если хотя бы 2 часа в неделю проводить на природе. Причем не важно, это 2 часа раз в неделю или по 20 минут в день. Дополнительный час ещё дает улучшение, а вот 5 или 10 или 20 часов уже разницы особой не дают.

Похожее исследование показывало, что если 90 минут гулять на природе, меньше руминации (это когда негативные мысли по кругу ходят в голове и не отпускают) и стресса по этому поводу. И именно на природе, 90-минутная прогулка в городе от руминации не помогает. В Японии есть даже специальный термин — лесные ванны. Shinrin-yoku. Исследование показало, что неплохо повышают иммунитет.

Очень интересно, что картинки с природой тоже улучшают самочувствие.

Это я к чему. «Иди потрогай траву» — не просто мемный совет, а вполне себе научно обоснованный способ улучшить свое самочувствие. Ну и к тому, что ИИ, похоже, не заменит только лошадей 🐎
👍2🔥2
Forwarded from ⚡️INVESTBLOG⚡️
Media is too big
VIEW IN TELEGRAM
🇷🇺На ПМЭФ заявили, что многие россияне воспринимают будущее через призму исторических страхов — «ссылок и лагерей», из-за чего общество избегает неопределённости и с опаской смотрит вперёд. Декан экономфака МГУ Александр Аузан считает, что стране нужно научиться не бояться ошибок и экспериментов, иначе будет сложно конкурировать в будущем.
💯2👍1😢1
Или есть там всё-таки этот бэкпроп...

This is how the Neocortex Learns
Randall C. O'Reilly
Paper: https://compcogneuro.org/oreilly-2026-cortlearn (https://arxiv.org/abs/2606.08720)
Review: https://arxiviq.substack.com/p/this-is-how-the-neocortex-learns
Code: N/A
Model: N/A

# TL;DR

ЧТО сделали: Автор представил масштабный междисциплинарный теоретический синтез, доказывающий, что неокортекс млекопитающих обучается путём аппроксимации алгоритма обратного распространения ошибки. Эта аппроксимация реализуется через «модель временной производной» (temporal derivative model): градиенты ошибок неявно кодируются как разность между последовательными состояниями активации предсказания и результата в рамках 200-миллисекундного тета-цикла. Биологически модель опирается на двунаправленные кортикоталамические петли, а на субклеточном уровне — на конкурентную синаптическую пластичность под управлением киназ.

ПОЧЕМУ это важно: Эта работа разрешает давний, длившийся десятилетиями спор о биологической правдоподобности глубокого распределения ответственности (credit assignment) в мозге. Показывая, как неокортекс может неявно выполнять градиентный спуск без выделенных «нейронов ошибок» или физически невозможных обратных связей, предложенный фреймворк даёт единую теорию обучения млекопитающих.

Для практиков: Работа предлагает чёткий чертёж для проектирования энергоэффективных аппаратных правил обучения на чипе и нейроморфных архитектур, способных масштабироваться подобно глубоким нейросетям.

Искать бэкпроп здесь: https://t.me/gonzo_ML_podcasts/4031
Forwarded from AI Projects (Vladimir Ivanov)
🧠 Поскольку способность ИИ решать математические задачи уже на уровне PhD, это ставит под вопрос практическую ценность таких навыков. Поэтому возникает действительно важная тема — насколько доказано влияет математика на общие способности.

Тут важно понимать, что даже в чате у нас начался спор без определения понятий: на что должно влиять изучение математики как целевой фактор.

Важный момент — понятие ученых о «ближнем и дальнем трансфере знаний». Что занятие любой деятельностью улучшает показатели в близкой деятельности — это очевидно без экспериментов. Однако в случае тезиса, что математика влияет на «общее развитие», как раз подразумевается «дальний трансфер» (Far Transfer). Вот как раз с Far Transfer и возникает проблема.

Еще в начале XX века психолог Эдуард Торндайк сформулировал закон, который подтверждается и сегодня: перенос навыка происходит только тогда, когда новая задача содержит «тождественные элементы» с ранее изученной. Иными словами, если тождественных элементов нет, то перенос знаний не происходит. Это доказывается и современными работами на примере шахмат, где легко делать контрольные группы. Чем больше целевая область отдалена от изучаемой, тем сильнее затухает эффект переноса.

Что изучение математики оказывает даже физиологическое влияние — доказано. В Великобритании подростки могут отказаться от изучения математики в старших классах. После этого отмечается снижение уровня ГАМК (гамма-аминомасляной кислоты) в средней лобной извилине (MFG). Однако это доказывает влияние на область мозга, традиционно соотносимую с математикой, но не решает проблему Far Transfer способностей на области деятельности, удаленные от математики.

Важный факт: нет доказательств роста IQ именно от математики. Есть доказательства роста IQ в среднем на 3 балла в год от общего образования (Ritchie & Tucker-Drob, 2018). Однако доказанная корреляция возникает только при наличии сбалансированного обучения, а не математики в отдельности. Строго говоря, даже не математика, а вообще любое образование не позволит среднему человеку с IQ = 100 каким-то образом достигнуть элитной группы, где врожденный IQ > 140. Интеллект примерно на 80% имеет генетическую, а не образовательную природу. Это доказал Роберт Пломин на известных сравнениях интеллекта близнецов с разным образованием.

Ближний трансфер математических знаний работает хорошо и это доказано в работах Инглиса и Эттридж (Inglis & Attridge, 2013, 2016) или Крессвелл и Спилмана (Cresswell & Speelman, 2020). Это самый далекий объективно наблюдаемый трансфер математического образования, но он ограничен абстрактно-логическим анализом IF-подобного вида («Если P, то Q») и когнитивной рефлексией (способностью подавлять быстрые интуитивные ответы в пользу аналитических).

Однако доказательств того, что математика делает человека более успешным в творчестве, менеджменте или бизнесе, отсутствуют. Такой Far Transfer у математики просто не работает.

🔹 Если подвести итог, то математика развивает общие способности абстрактно-логического мышления, но проявятся они только если задачи перед человеком аналогичны математической логике и тому, как она преподавалась. Если кейс жизненной ситуации не совпадает с математическим кейсом обучения человека, то никакого положительного эффекта математика не дает как «общий интеллект».

Строго говоря, понятие концепции слабости Far Transfer и силы Near Transfer говорит о том, что реально эффективно образование, где обучение максимально приближено к реальным кейсам, которые человек встретит в жизни. Тогда перенос обучения работает, а любое абстрактное обучение быстро затухает при изменении типа реальной задачи и никак не влияет на «общий интеллект» в широком смысле слова.

Я на деле и призываю "быть практичными". Если вы учите детей работать с ИИ, то когда они встретят ИИ вам просто гарантируется Near Transfer обучения, любые "сферические кони в вакууме" это не гарантируют или эффект крайне слабый.

https://www.researchgate.net/publication/296632861_Do_the_Benefits_of_Chess_Instruction_Transfer_to_Academic_and_Cognitive_Skills_A_Meta-Analysis
Forwarded from AI Projects (Vladimir Ivanov)
Из чатика даже перенесу пример со стейтом из React насчет споров «за математику». Оспаривается на самом деле не бесполезность математики, а во многом бесполезность «школьной математики», которая не создает у детей нужных математических абстракций. Даже универ не всегда создает.

На самом деле React как декларативная система максимально близок к тому, как ИИ понимает задачу. ИИ рассматривает ваш контекст как граф ключевых понятий (векторов), где ребра — корреляции в attention. Динамика его представления — это «динамика belief state». Иными словами, как тот же стейт у React меняется во времени.

Что ИИ так хорошо пишет на React, во многом понятно не только из-за SFT-обучения на него, а потому что для ИИ максимально удобны декларативные контексты.

Обычная математика школы — это «математика винтиков в большой машине», т.е. императивная, а не декларативная математика. Вас готовят быть исполнителями чужой воли, поэтому вы должны уметь «делать по инструкции».

Однако ИИ сам исполнитель инструкций и ему это не надо. ИИ требуется понимать цель, а это не императивные, а декларативные модели.

Таким занимаются разные графовые разделы математики, а также Теория Категорий. Вот только нет ничего такого в школьном курсе, да и на физматных специальностях в университетах обычно тоже нет.

«Математика» — слишком абстрактное слово. Если вы занимались дробями в столбик и линейной алгеброй, то вряд ли вы сильно приблизились к пониманию моделей belief state.

Не все равно, какой математикой заниматься, если речь про управление ИИ.
👍1
Forwarded from AI Projects (Vladimir Ivanov)
В горячем холиваре в нашем чате вокруг значимости математики в свете того, что ИИ уже может решать почти любые математические задачи. Я не сразу догадался, что далеко не все знают, как текущий статус математики формировался и что многие находятся на уровне заблуждений XIX века.

Хотя не многие сейчас смогут провести параллель между латынью и математикой, но реальный статус математики унаследован именно от латыни.

До начала XIX века европейское элитарное образование в школах для дворянства было почти полностью гуманитарным. Основой обучения были древнегреческий язык и латынь.
Когда защитники этой системы сталкивались с вопросом: «Зачем будущему дипломату или судье тратить годы на латинскую грамматику, если в реальной жизни он на ней не говорит?», они выдвигали аргумент о формальной дисциплине (Theory of Formal Discipline):

«Латынь учит не для того, чтобы на ней разговаривать. Она развивает сам орган мышления. Трудность перевода и строгая грамматика тренируют "мыслительные мышцы", делая ум гибким, сильным и готовым к любой другой работе».
Если не заметили, что тут надо заменить слово "латынь" на "математика" и получится "современный" уровень аргументации многих защитников статуса математики, хотя это концепция XIX века, причём сделанная трансформацией даже идей позднего средневековья.

Надо сказать, что статус математики совсем не был исторически высоким, а ровно наоборот. В Китае в экзаменах Кэцзюй математика не входила. С точки зрения китайской традиции даже XIX века "благородный муж" должен:
- Наизусть знать конфуцианский канон (Четырехкнижие и Пятикнижие).
- Обладать каллиграфическим почерком.
- Уметь писать сложнейшие, жестко структурированные эссе — «восьмичленные сочинения» (багувэнь).

А вот математика (суань) относилась к «низкому искусству» (сяодао — 小道), т.к. "счетоводство" — это занятие для прислуги, а не для стратега как мандарин.

На самом деле примерно также в Великобритании математика сначала имела такой же статус "низкого ремесла", которое недостойно джентльмена, а удел его слуг.
Вопрос заключается в том, что Промышленная революция требовала от элиты заняться инженерным делом и бухгалтерией, а так там математика нужна и нужно было решать вопрос её статуса.

Уильям Уэвелл в 1835 году перехватывает у латыни её статус через аргумент о Теории Формальной Дисциплины в знаменитом эссе «Thoughts on the Study of Mathematics». Фактически там он заменяет латынь на математику, но аргументация остаётся фактически такой же: что математика — это лучший инструмент для развития «способности к рассуждению», так как тренирует мозг мыслить системно и строго. Важный аспект, что Уэвелл там же доказывал более низкий статус гуманитарных наук, т.к. философия и литература ведут к субъективным спорам, а математика состоит исключительно из цепочки неопровержимых дедуктивных истин.

Это имеет последствия: до 1850 года в Кембридже существовало удивительное правило — студент, желающий сдать престижные экзамены по гуманитарным наукам (Classics), был обязан сначала сдать Математический Трипос. Без математики карьера гуманитария была заблокирована, т.к. у него "неразвитый мозг без математики". Известные математики, Г. Х. Харди, правда, заранее замечают изъяны гипертрофированного математического образования, где система обучения и экзаменов математики стимулировала "математический механицизм" в духе тех же дробей в столбик, что для развития общей математики ничего не давало.

Одновременно начинается подъём математики в Пруссии на фоне германского милитаризма и национализма, т.к. армия и промышленность нуждались в математических знаниях. Однако важный момент, что математика быстро становится культом. Вильгельм фон Гумбольдт формирует концепцию Bildung (гармоничного формирования личности), где "истинный ариец" должен владеть математикой как частью своей гармонии.

Фактически текущий статус математики — наследие Викторианской эпохи и прусского милитаризма, причём в той же Азии статус математики не признавался. Однако довольно быстро подход был подвергнут научной критике, т.к. в основе статуса математики была псевдонаука френология Франца Йозефа Галля. Френологи утверждали, что мозг состоит из отдельных «органов» (способностей), физический размер которых можно увеличить упражнениями.

Научный крах этой концепции наступил на рубеже XIX и XX веков:
- В 1901 году американские психологи Эдуард Торндайк и Роберт Вудворт провели серию экспериментов, проверявших теорию формальной дисциплины.
- Они доказали, что тренировка в одной задаче (например, аккуратный подсчёт слов или оценка площади фигур) практически не улучшает результаты в других, даже близких задачах. Эффект «дальнего переноса» оказался мифом. Мозг не работает как единая мышца, которую можно «накачать» одним упражнением для решения всех жизненных проблем.

Тем не менее государственные бюрократические машины к тому моменту уже прочно зафиксировали математику в школьных программах как удобный инструмент для ранжирования и фильтрации учеников.

Тем не менее и Великобритания, и Китай смогли дальше успешно развиваться. Дело в том, что в спорах об математике упускается важный фактор: экзамены на деле важны государству как "социальный фильтр". Сам по себе IQ больше врожденный, а не педагогический эффект, поэтому селекция элиты экзаменами важнее даже способа образования. В Великобритании и Пруссии выбирали в элиту по математике, в Китае — за знание Конфуция. Самое главное тут было не что преподаётся как полезный навык, а просто сложность задания, что позволяет селектировать самых способных.

Забавность ситуации в том, что ИИ скорее также продолжит эту традицию, просто "математическое мышление" сменится на некоторое "векторное мышление", которое более престижное. Просто если окажется, что владение декларативным стилем постановки задач для ИИ действительно важнее императивных способностей, то быстро сделается рационализация за декларативным мышлением как самым статусным и элитным. Для него скорее тоже появятся фильтрационные экзамены для элиты. Но забавность в том, что всё началось с латыни, а не с математики, хотя для многих, вероятно, это новость.

https://www.youtube.com/watch?v=M0cgg89tbIk
👍1🔥1
https://t.me/big3russia/7692

Роман разобрал, что там на самом деле сказал Зюганов. Дословно про изъятие вкладов он не говорил, но по контексту это иначе как изъятием считать невозможно.

Впрочем, даже если бы Зюганов всего лишь требовал "направить 30 трлн вкладов в реальный сектор", разница была бы невелика. В разжиженных мозгах электората КПРФ банкиры собранные на депозиты деньги не направляют в реальный сектор (в виде кредитов), а собирают в гигантскую кучу, садятся сверху и мерзко хихикают.

Мы не знаем, на сколько миллиардов (а может и десятков миллиардов) одно это гениальное высказывание древнего деда из Мымрино уменьшит объём депозитов в стране. Понятно, что Зюганов в стране не решает примерно ничего, но для обычного телевизионного пенсионера он - большое и очень важное начальство, заявления которого очень-очень многое значат. Но проблема не в Зюганове. Рано или поздно нечто подобное должно было случиться.

Проблема в том, что единственный орган власти, который в нынешней России можно безнаказанно критиковать - это Центробанк. Критика силовиков есть прямой путь к уголовному делу. Министерства, губернаторов критиковать вроде можно, но только на свой страх и риск. А вот ЦБ совершенно безобиден: он ничего не сделал ни одному своему критику. Представьте одиночный пикет НОДа у здания любого силового ведомства - что было бы с пикетирующим и с организацией, которого его послала стоять с плакатиком.

ЦБ можно ругать, обвиняя его во всех смертных грехах, не только в тг-каналах, а в пропагандистских передачах по телевизору, в газетах, с трибуны Госдумы, где угодно. И ничего плохого в этом бы не было, но ругать можно ТОЛЬКО Центробанк. Нет у Набиуллиной "крыши" ни на Лубянке, ни на Старой площади, ни на Краснопресненской набережной. Стоит ЦБ, как грозный часовой, один во всей Вселенной.

Что плохого случится, если ругать какое-нибудь министерство, даже по надуманным поводам? Да ничего особенного. А что если годами обвинять ЦБ во всех бедах в стране? Если годами рассказывать со всех трибун бесконечную идиотию про то, что для снижения инфляции нужно понизить ставку, что нужно "изъять деньги у банков и вложить их в реальный сектор", что нужно начать напрямую кредитовать промышленность государственными деньгами без ограничений и так далее? И если это будут делать не проклятые иноагенты и даже не "военкоры", а главные государственные пропагандисты и депутаты Госдумы? А будет то, что огромное число людей предпочтёт переложить свои деньги в доллары, купить "мёртвую" недвижку, задирая при этом цены, просто хранить деньги под подушкой - в общем, люди будут готовы на что угодно, только бы не нести деньги в банки, то есть не вкладывать их в тот самый "реальный" сектор.

Парадокс в том, что ЦБ оказался единственным органом власти, полностью справляющимся со своими задачами в последние годы. Несмотря на невиданные санкции и войну, в банковской системе не рухнул ни один значимый банк, рубль не рухнул гиперинфляцию и даже обменный курс сегодня примерно такой же, как в январе 2022. Да что уж там: летом 2026, на пятый год масштабной войны, в которой противника снабжают десятки стран во главе с США, и в условиях невиданных санкций, совершенно реальные люди, из крови и плоти, продолжают продавать и покупать квартиры за рубли. Если вы зумер и не понимаете, что тут такого - спросите у родителей, с какой планки в девяностые все сделки переходили в доллары. Я ещё помню телемагазины из начала нулевых, где всякую дребедень вроде серёжек продавали за "30 условных единиц". Олды вспомнят валютные продуктовые в 1992-5 годах (правда, такие были почти только в Москве и Питере). Попытайтесь сегодня прийти в любой продуктовый в стране и расплатиться долларами; на вас посмотрят, как на идиота.

Да, ЦБ мог справиться со своими задачами лучше. Да, инфляция всё ещё высокая (по меркам развитых стран - очень высокая). Инфляция не может быть низкой в условиях, когда расходы правительства за год растут на 15-25 процентов (а правительство, в свою очередь, не может себе позволить резко сократить траты). Обменный курс рубля явно болезненно крепкий для бизнеса, но у ЦБ сейчас вряд ли есть инструменты, чтобы сделать рубль дешевле к доллару, не разгоняя при этом инфляцию. (Привет, кекенавт). Ещё раз: само сохранение банковской системы и сохраняющееся доминирование платежей в рублях уже являются крупными достижениями в сложившихся условиях.

Шок-ньюз: ЦБ не несёт ответственности за состояние экономики страны. Как и центробанки большинства развитых стран мира. Как и де-факто Народный Банк Китая. (Важное исключение из общего правила - ФРС США, у которой главная задача - поддержание ценовой стабильности, но задача номер два - поддержание занятости населения).

ЦБ также не несёт ответственности за зарплаты врачей и учителей, за авто- и авиапром, за предотвращение терактов, за борьбу с мошенничеством и коррупцией, за угольную промышленность, металлургию и газпром, за "производство" электроники, за "развитие" интернета, за обстановку на фронте, за ПВО, за бензин, за почту, за качество жилищного строительства - и за многие другие сферы, в которых у нас дела обстоят просто изумительно, лучше не придумать. Зато ЦБ можно обвинять во всём и сразу, из каждого утюга. Никого другого нельзя, ЦБ можно. Такая замечательная "исключительность", повторюсь, обходится стране во много триллионов недополученных банковских депозитов. Кто-то боится вполне реального "глазьевского" варианта монетарной политики, кто-то опасается мифического изъятия вкладов (в котором просто нет никакого смысла), кто-то заменил мозги телевизором и считает, что раз уж если в ЦБ пробрались враги, то и всей банковской системе верить нельзя. Результат один - огромный ущерб экономике страны. Но когда и кого из пропагандистов такие мелочи волновали.

На страже ЦБ остаётся последний паладин Баженов, за что мы его и любим.
👍4
Forwarded from Data Secrets
В будущем не будет продактов, инженеров и дизайнеров: создатель Claude Code Борис Черный сказал, что нас ждет всего 5 архетипов

1. Prototyper: генератор множества идей, только некоторые из которых будут реализованы.

2. Builder: быстро превращает прототипы и идеи в продукт.

3. Sweeper: чистит UX, упрощает код, оптимизирует систему.

4. Grower: берет продукт и итеративно улучшает его с точки зрения Product-Market Fit.

5. Maintainer: владеет зрелой системой и следит за ее безопасностью, надежностью и эффективностью.


При этом эти архетипы не будут зависеть от домена или специфического стека, как большинство современных ролей, и один человек сможет объединять в себе до трех статусов.

В новой системе не нашлось места только эйчарам 🤷‍♂️
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4
Forwarded from Data Secrets
Anthropic нашли внутри Claude внутреннее пространство, где хранятся его мысли

Стартап выпустил одну из самых интересных работ по интерпретируемости за последнее время. Они обнаружили, что в LLM есть отдельный небольшой внутренний набор нейронных активаций, который используется как рабочая память для сложного мышления: так называемый J-space.

Мы часто представляем LLM как огромную мешанину чисел, где знания и рассуждения размазаны по миллиардам параметров. Но похоже, что это не совсем так.

Любопытно, что человеческий мозг работает похожим образом. Есть когнитивная теория, утверждающая, что он состоит из множества специализированных подсистем, которые работают независимо; но иногда какая-то информация попадает в небольшой общий workspace, становится доступной сразу многим областям мозга и может использоваться для рассуждений и принятия решений. И вот именно такой механизм исследователи обнаружили в Claude.

Вот как работает J-space:

— Название происходит от разработанной учеными техники Jacobian Lens. Она позволяет по текущим активациям понимать, какие токены с большей вероятностью появятся в будущем. При этом то, что они появятся – далеко не факт, но это значит, что модель о них думает и держит их в J-space, чтобы использовать в рассуждениях. По сути, это чтение мыслей Claude.

— Если спросить Claude, о чем он думает, то содержимое J-space хорошо совпадает с ответом модели. Другие внутренние представления таким свойством не обладают. А еще модель умеет сознательно менять J-space. Например, если сказать ей «думай о слонах, пока решаешь задачу», то эта концепция появится в J-space. При решении сложной задачи промежуточные шаги тоже появляются именно внутри J-space, даже если их при этом нет в цепочках мыслей.

Если полностью отключить J-space, то у модели почти исчезают способности, требующие сложного мышления и многошагового рассуждения. Например, она больше не может сочинять стихи.

Самое важное во всем этом то, что J-space можно читать и менять. Anthropic приводят пример: исследователи специально внедряли модели скрытую цель во время обучения и затем наблюдали, как эта цель проявляется в J-space, хотя в ответах напрямую она ни разу не озвучивалась. При этом изменяя активации в J-space, они могли менять дальнейшие решения модели.

Потенциально это путь к тому, чтобы создавать (полностью?) безопасные и контролируемые модели. По крайней мере, сегодня Anthropic уже сделали черный ящик немного более прозрачным.

www.anthropic.com/research/global-workspace
🔥5👍2🤯2