Это странный пост, синтеты. Но он нужен!

Понимаете, вайбкодинг это реально "прикол". Потому что увлекаясь ты можешь заниматься областью в которой ничего не понимаешь. Прям вот смотришь в биологические изыскания на тему сворачивания белков и прочего...Жан Клод Отпуск 4.7 даёт отчёты, а ты просто смотришь на это двумя зенками обезьяньими и ничего не соображаешь...тунтунтун захур.

Т.е. реально полная тьма, черная дыра, забвение, бездна неизведанного и так далее. Что делать? В точности то. что описано на картинке, которая приложена к этому посту.

Я знаю, знаю, что меня читают взрослые и очень серъёзные люди. Но кто как не вы оцените такой подход к такому тонкому вопросу как программирование с помощью агентов и работа со своими амбициями как с сумасшедшими сбежавшими из дурдома в режиме 24/7.

Отпуская данное сообщение своему агенту вы не обрекаете беседу на то, что она начнёт разваливаться или улетучится контекст или произойдёт что-то не системное...успокойтесь.

Агенты созданы для того, чтобы разъяснять сложные вопросы, в которых вы нихрена не понимаете. Смело пишите насколько вы плохо осведомлены с темой. Периодически спрашивайте у Жан Клода:

" Я что похож на абонента? Откуда я по-твоему буду знать эти детали? Кому и что ты всасываешь?"

И сразу всё встаёт на свои места. Всегда нужно осознавать своё место в пищевой цепочке твоих абстрактных идей.

Да, идеи могут быть ВЕЛИКОЛЕПНЫЕ, но т.к. понимания у тебя ноль, то пробуй разобраться с тем, что тебе выдал агент после первой попытки. Не улетай в дебри откуда будет лишь твой мизинец торчать из чёрной жижи неизведанного.

Нет ничего лучше грубой, жёсткой, быстрой беседы "по душам", "по существу", "ножом по живому" чтобы избавиться от сомнений.

Ты же не абонент?

Техножнец всё делает на свои средства. 🥶
Если есть желание поддержать его, то вот ссылки: 🫡

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ

Делюсь ситуацией.

RuKallama вышла из крутого пике когда механизм внимания ломался и циклился на первом токене. Проблема устранена.

Эксперты ок. Все 32 штуки благополучно обучаются. Баланс - идеальный.

Посмотрел все бумаги современные по повторам. Интересно, что все исследования самые последние показывают , что семплинг (обычные методы повторов) вообще не будут работать никак.

Поэтому мои архитектурные решения вовремя спасли модель и я перезапустив тренировку - всё сделал правильно.

Теперь следующие этапы - SFT, DPO, resoning SFT, math / code grpo.

Работаю пристально, внимательно.

На данный момент step 10k из 32k шагов.

Щас будет часть 2.

Техножнец всё делает на свои средства. 🥶
Если есть желание поддержать его, то вот ссылки: 🫡

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ

Что там PromeTorch ?

Нормально. Скоро буду проверять issue, пока что прилетело немножко звёзд, что очень и очень приятно.

Если кто найдёт ошибки - пишите сюда, буду править.

Эльбрус - идёт работа над распределенным инференсом. Т.е. 4 процессора 8С2 должны тянуть квен 3:4 млрд параметров. Результаты будут на гитхаб, а отдельно по этой теме сделаю пост.

Типа пост будет: "Что можно запускать/тренирвать на Эльбрус благодаря PromeTorch?"

В посте будет подробный гайд + обзор. Попробую написать в виде статьи на телегра.ф - тема полезная, т.к. можно крупные статейки запиливать.

Техножнец всё делает на свои средства. 🥶
Если есть желание поддержать его, то вот ссылки: 🫡

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ

Но не по теме немножко, а по игровым вопросам.

Некоторые из синтетов задаются вопросом: Нахрена Техножнец распыляется на игровые проекты? Ему бы конкретные закончить, а потом что-то двигаться по теме дальше.

Отвечаю:

Я отдыхаю в работе. Т.е. я нашёл занятия по жизни, которые меня радуют в любой форме - платят мне за это или нет, делаю я исследование для себя или для кого-то или для чего-то = не важно. Эффект всегда один и тот же - кайф, кайф, кайф.

Но вот можно так выгореть постоянно концентрируясь на одном проекте, тем более некоторые идеи работают только после переосмысления в режиме "обработка на заднем фоне". Да, наш мозг умеет делать обобщения со временем, такой эффект наблюдается у людей с навыками, которые завязаны на руках и микромоторике. Т.е. спустя время и осознание предыдущего опыта человек без прибегания к ручному труду и заучиванию может в голове смоделировать свои предстоящие действия и сделать то, что было озарением уже перенося в механические движения.

И вот иногда надо отвлечься на какую-нибудь не очень сложную задачку типа игрового процесса какого-нибудь личного проекта. Вот и вся математика. Ты делаешь это налегке, ты кайфуешь - ты потом в это играешь, ты закрываешь детские мечты. Во всех отношениях это реализация , тренировка, а также модернизация мышления для синтеза новых идей из уже сложившегося опыта.

Каждый игровой проект связан с самыми тёплыми внутренними порывами. Короче - это реальный отдых. Когда математики слишком много, нейронные болваны трахают голову тупыми ошибками...всё, что требуется - чилл.

Техножнец всё делает на свои средства. 🥶
Если есть желание поддержать его, то вот ссылки: 🫡

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ

Почему дверной проём и Alt-Tab убивают мысль!

1. Doorway effect / Location updating effect

Ключевые статьи Radvansky и коллег
Radvansky & Copeland (2006). «Walking through doorways causes forgetting: Situation models and experienced space».
Memory & Cognition, 34(5), 1150–1156. DOI: 10.3758/bf03193261.

Первая работа: в виртуальной среде испытуемые переносили объекты со стола на стол. Доступность информации об объекте падала, если между кодированием и пробой испытуемый пересекал дверь, — сильнее, чем при движении на то же расстояние внутри одной комнаты. Эффект сильнее для «ассоциированных» объектов (несомых в руках) vs «диссоциированных» (только что положенных).

Radvansky, Tamplin & Krawietz (2010). «Walking through doorways causes forgetting: Environmental integration». Psychonomic Bulletin & Review, 17(6), 900–904. DOI: 10.3758/PBR.17.6.900.

Показали, что эффект возникает не только с вербальными, но и с визуальными пробами, и при слабо интегрированных парах слов.

Radvansky, Krawietz & Tamplin (2011). «Walking through doorways causes forgetting: Further explorations». QJEP, 64(8), 1632–1645. DOI: 10.1080/17470218.2011.571267.

Три эксперимента:

в реальных комнатах с коробками эффект сохраняется (не артефакт VR);
возврат в исходную комнату НЕ устраняет эффект → это не encoding specificity
прохождение через две двери усиливает эффект по сравнению с одной (больше event models → сильнее интерференция).

А что это значит в рамках увлечения работой, гиперфокусом и как DOORWAY эффект избегается мозгом подсознательно, заставляя вас сидеть и терпеть голод, желание пойти в туалет, поспать и другие потребности организма?

продолжение в следующем посте...

Техножнец всё делает на свои средства. 🥶
Если есть желание поддержать его, то вот ссылки: 🫡

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ

Почему ты сидишь и терпишь голод, когда кодишь?

Представь: ты держишь в голове архитектуру проекта. Переменные, связи, гипотезы, что откуда течёт. Это не "знание" — это карта. Буквально карта.

Наука этого не метафора. Те же самые нервные клетки, которыми ты находишь дорогу до туалета — те же самые клетки рисуют у тебя в голове структуру твоего кода. Нобелевку в 2014 дали за открытие, что в мозге есть "решётка" — клетки, которые расчерчивают пространство на шестиугольники. А в 2016 выяснили: эта же решётка работает, когда ты думаешь о чём-то абстрактном. Любая сложная мысль — это прогулка по внутренней карте.

Когда ты в гиперфокусе — ты в этой карте. Ходишь по ней. Помнишь где что лежит.
Теперь про дверь. Мозг режет жизнь на "сцены". Пока ты в одной сцене — карта работает. Как только ты пересекаешь границу — новая комната, новое окно, новый разговор — мозг закрывает предыдущую сцену. Физически, в гиппокампе вспышка активности: закрыли, открываем новую. И всё, что было в старой — становится труднодоступным. Не стёрлось, но теперь надо откапывать.

Это и есть дверной эффект. И alt-tab эффект. И "сходил на кухню — забыл зачем".

И вот главное. Твой мозг это знает. Он научился этому за миллионы лет. Поэтому когда ты в глубине задачи и тело кричит "жрать, ссать, спать" — мозг подсознательно считает: если я сейчас встану, я пересеку границу, карта обнулится, и мне потом 15-40 минут её пересобирать. Лучше потерпеть.

Замеряли на программистах: после прерывания только 10 человек из 100 возвращаются к написанию кода в первую минуту. Остальные по 15-40 минут ходят по файлам и вспоминают, где они были. Гиперфокус — это защита от этого ада. Мозг правильно считает: терпеть мочевой дешевле, чем пересобирать карту.

Но он ошибается в одном.

Голод, жажда, невыспанность — это не бесплатно. Когда ты голодный, в кровь идёт кортизол. Кортизол сужает рабочую память. То есть карта, которую ты так героически защищаешь от распада — начинает распадаться сама. Без всякой двери. Ты сидишь, терпишь, держишься за мысль — а мысль уже дырявая, ты просто не замечаешь. В flow отключается та часть мозга, которая отслеживает "а я вообще ещё соображаю или уже туплю". Поэтому кажется, что всё ок. А на самом деле ты уже час пишешь хуйню.

Что с этим делать:

Первое. Выгружай карту наружу до того, как тело сломается. Коммит, TODO, заметка в файл — что угодно. Когда карта есть снаружи, возврат почти бесплатный. Мозгу не надо всё держать — он может снова поднять карту из файла за минуту.

Второе. Сходить поссать — это не граница. Если ты идёшь в туалет с той же мыслью в голове, не хватаешь телефон, не открываешь телеграм — карта не ломается. Ломается не движение тела, ломается переключение контекста. Телефон в другой комнате. Туалет это не дверь, если ты не открываешь там новую сцену.

Третье, и это главное. Тело — это не "накладные расходы". Тело — это компьютер, на котором крутится твоя мысль. Голодный мозг считает хуже сытого. Это не "соберись". Это физика. Кортизол режет working memory быстрее, чем любой alt-tab.

Гиперфокус — это не сила воли. Это мозг, который правильно посчитал, что двери — дорого. Просто он не знает, что голод тоже дорого. Это ты должен знать.

Техножнец всё делает на свои средства. 🥶
Если есть желание поддержать его, то вот ссылки: 🫡

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ

Блин, решил прилечь отдохнуть из-за самочувствия странного, в итоге минус день. Круто! Че теперь делать...вот так всегда - встаёшь пораньше, потом посреди дня срубает. Ложишься попозже - встаешь поздно. Золотая середина раз в 700 лет.

Ок. Буду попадать как ниточкой в иголочку.

Техножнец всё делает на свои средства. 🥶
Если есть желание поддержать его, то вот ссылки: 🫡

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ