https://habr.com/ru/companies/ruvds/articles/754796/
Сегодня прочитал статью про курсанты и пико-спутники. В статье рассказывалось как ребята выводили спутник на орбиту вожатые сроки, за 4 месяца, а так же как у них не запустился один из спутников
Сегодня прочитал статью про курсанты и пико-спутники. В статье рассказывалось как ребята выводили спутник на орбиту вожатые сроки, за 4 месяца, а так же как у них не запустился один из спутников
Хабр
Что пошло не так с нашим космическим запуском: сама авария на орбите [это не про лунную миссию]
Итак, есть космический корабль с разгонным блоком «Фрегат», из него пружиной выбрасывается материнская маааленькая такая «орбитальная станция», т.е. по сути — разгонный блок для пико-спутников. Из неё...
Прочитал статью, в которой описывается что проводились исследования способности приобретать непредпологаемые навыки у мат моделей с ростом числа параметров. К примеру что чат гпт научился шутить или отгадывать загадки. Эти исследования проводились так как хотелось узнать возможность появления сознания у моделей при росте числа обучаемых параметров.
Учёные обучали две модели. Первая из них была языковая. Они подавали на вход загадку в виде текста, а на выход получали текст с ответом на загадку. Метрикой была функция, которая выводила 1 если текст в точности совпадал, и 0 если не совпадал. Вторая моделать была CIFAR 1000.
Из исследования было получено, что чем дискретней метрика, тем лучше модель начинает приобретать непредпологаемые навыки и это связанно с тем, что при увеличении числа обучаемых параметров, вероятности для правильных ответов сдвигаются в пространстве и изменяются для улучшения метрики которая описывается дискретной функциией.
Учёные обучали две модели. Первая из них была языковая. Они подавали на вход загадку в виде текста, а на выход получали текст с ответом на загадку. Метрикой была функция, которая выводила 1 если текст в точности совпадал, и 0 если не совпадал. Вторая моделать была CIFAR 1000.
Из исследования было получено, что чем дискретней метрика, тем лучше модель начинает приобретать непредпологаемые навыки и это связанно с тем, что при увеличении числа обучаемых параметров, вероятности для правильных ответов сдвигаются в пространстве и изменяются для улучшения метрики которая описывается дискретной функциией.
Forwarded from DLStories
Увидела в одном из чатов обсуждение AGI (да, опять) и того, погубит ли оно в конце концов человечество. Одна из причин страха такого развития событий — наблюдения, что большие модели типа GPT-4 часто начинают "внезапно" демонстрировать способности, которых у моделей поменьше, кажется, нет и в помине. Ну, например, если обучить языковую модель с количеством параметров 10B, то она, внезапно, начинает уметь в zero-shot question answering или отгадывание загадок. А у моделей с меньшим количеством параметров, сколько их ни обучай, таких способностей не возникает.
(на всякий случай: количество 10B и примеры задач взяты тут с потолка. Надеюсь, общая идея понятна)
Этот эффект называется "emerging abilities of Large Language Models". Из-за него кажется, что большое количество параметров каким-то магическим образом позволяет модели развить умение решать сложные задачи, развить абстрактные высокоуровневые способности типа reasoning, abstract thinking, понимание связей, юмора и т.п. И если эту мысль экстраполировать, то появляется идея, что при еще большем увеличении количества параметров модели у нее также внезапно может появиться и условное "сознание". На этом и основываются многие страхи AGI-апокалипсиса.
Так вот. Это все напомнило мне одну статью, про которую я уже давно хотела написать в канал, но как-то руки не доходили. Называется она "Are Emergent Abilities of Large Language Models a Mirage?". В ней авторы говорят, что эффект emerging abilities — это мираж. И на самом деле его нет (или почти нет). А способности к reasoning, abstract thinking и т.п. у модели появляются не внезапно, а очень даже предсказуемо. Вся проблема в том, что мы неправильно считаем метрики.
Давайте пример. Возьмем задачу "отгадай загадку". Модели подается на вход загадка на естественном языке. В ответ модели нужно выдать ответ тоже на естественнос языке.
В качестве метрики качества ответов LLM на такой задаче обычно берется exact string match. Т.е. metric=1, если модель ввыдала текст, полностью совпадающий с правильным ответом, и metric=0 в любом остальном случае. И вот если смотреть на то, как меняется эта метрика для моделей с разным количеством обучаемых параметров, тут как раз и наблюдается тот самый внезапный эффект. Маленькие модели получают acc = eps, а модели тяжелее условных 10B параметров внезапно показывают acc>0.5.
В чем тут проблема? А в том, что метрика супердискретна. Она не учитывает то, как при увеличении параметров модели меняется распределение вероятностей модели на ответы. И на самом деле дела обстоят так: при увеличении размера модели она научается давать все больше вероятности адекватным вариантам ответа на загадку, и все меньше — бредовым. Короче, на самом деле учится все лучше и лучше решать задачу. И при каком-то значении размера модели она становится способна давать настолько много вероятности правильным ответам, что нашу дискретную метрику exact string match "прорывает" от почти 0 сразу до большого значения.
Короче, мысль такова: на самом деле способности по большинству задач растут вполне предсказуемо с ростом размера моделей. Заменив дискретные метрики на более непрерывные, авторы этой статьи показали, что по крайне мере на 92% задач из Big Bench никакого "внезапного" прорыва у больших моделей не происходит. Качество на них растет плавно и предсказуемо при увеличении размера моделей.
А еще авторы показали, что такой же эффект "emerging ability" можно смоделировать и на обычных автоэнкодерах на датасете CIFAR100. Нужно только поменять метрику качества на чуть более дискретную, чем обычно используется (об этом в разделе 5 статьи)
Вот так. Конечно, этот результат не означает, что у моделей точно никаких "emerging abilities" быть не может, и сознание она никак не получит. Нет. Но это, как минимум, повод задумываться над всеми "странными" результатами, которые получают исследователи, и лучше их изучать. А не просто экстраполировать и сразу делать страшные выводы.
📄Статья
(на всякий случай: количество 10B и примеры задач взяты тут с потолка. Надеюсь, общая идея понятна)
Этот эффект называется "emerging abilities of Large Language Models". Из-за него кажется, что большое количество параметров каким-то магическим образом позволяет модели развить умение решать сложные задачи, развить абстрактные высокоуровневые способности типа reasoning, abstract thinking, понимание связей, юмора и т.п. И если эту мысль экстраполировать, то появляется идея, что при еще большем увеличении количества параметров модели у нее также внезапно может появиться и условное "сознание". На этом и основываются многие страхи AGI-апокалипсиса.
Так вот. Это все напомнило мне одну статью, про которую я уже давно хотела написать в канал, но как-то руки не доходили. Называется она "Are Emergent Abilities of Large Language Models a Mirage?". В ней авторы говорят, что эффект emerging abilities — это мираж. И на самом деле его нет (или почти нет). А способности к reasoning, abstract thinking и т.п. у модели появляются не внезапно, а очень даже предсказуемо. Вся проблема в том, что мы неправильно считаем метрики.
Давайте пример. Возьмем задачу "отгадай загадку". Модели подается на вход загадка на естественном языке. В ответ модели нужно выдать ответ тоже на естественнос языке.
В качестве метрики качества ответов LLM на такой задаче обычно берется exact string match. Т.е. metric=1, если модель ввыдала текст, полностью совпадающий с правильным ответом, и metric=0 в любом остальном случае. И вот если смотреть на то, как меняется эта метрика для моделей с разным количеством обучаемых параметров, тут как раз и наблюдается тот самый внезапный эффект. Маленькие модели получают acc = eps, а модели тяжелее условных 10B параметров внезапно показывают acc>0.5.
В чем тут проблема? А в том, что метрика супердискретна. Она не учитывает то, как при увеличении параметров модели меняется распределение вероятностей модели на ответы. И на самом деле дела обстоят так: при увеличении размера модели она научается давать все больше вероятности адекватным вариантам ответа на загадку, и все меньше — бредовым. Короче, на самом деле учится все лучше и лучше решать задачу. И при каком-то значении размера модели она становится способна давать настолько много вероятности правильным ответам, что нашу дискретную метрику exact string match "прорывает" от почти 0 сразу до большого значения.
Короче, мысль такова: на самом деле способности по большинству задач растут вполне предсказуемо с ростом размера моделей. Заменив дискретные метрики на более непрерывные, авторы этой статьи показали, что по крайне мере на 92% задач из Big Bench никакого "внезапного" прорыва у больших моделей не происходит. Качество на них растет плавно и предсказуемо при увеличении размера моделей.
А еще авторы показали, что такой же эффект "emerging ability" можно смоделировать и на обычных автоэнкодерах на датасете CIFAR100. Нужно только поменять метрику качества на чуть более дискретную, чем обычно используется (об этом в разделе 5 статьи)
Вот так. Конечно, этот результат не означает, что у моделей точно никаких "emerging abilities" быть не может, и сознание она никак не получит. Нет. Но это, как минимум, повод задумываться над всеми "странными" результатами, которые получают исследователи, и лучше их изучать. А не просто экстраполировать и сразу делать страшные выводы.
📄Статья
Есть важная вещь понимание которой я закрепил - это режим дня. Когда я был в школе или в вузе, я особо не придавал внимание этому аспекту жизни. В более юном возрасте усталость от недосыпа чувствовалась менее явно. К тому же когда ты часто пьешь энергетики и находишься в таком состоянии, оно становится для тебя более обыденным, что является очень опасным заблуждением.
Ты как минимум выглядишь плохо, у тебя может плохо работать смекалка и мозг, хотя ты можешь ощущять это на оборот.
Твоя мотивация не стабильна, то она на высоте, то ты в полной дипрессии и прокрастинации.
В худшем случае недосып может привести к проблемам со здоровьем с неожиданной стороны.
Ты как минимум выглядишь плохо, у тебя может плохо работать смекалка и мозг, хотя ты можешь ощущять это на оборот.
Твоя мотивация не стабильна, то она на высоте, то ты в полной дипрессии и прокрастинации.
В худшем случае недосып может привести к проблемам со здоровьем с неожиданной стороны.
👍1🔥1
Вести трекинг своего времени это полезно и практично, ко как только ты ставишь какие либо ограничения на свой хронометраж или хронометраж твоих сотрудников, это сразу делает из табеля не инструмент продуктивности, а инструмент сжигания времени. Происходит ситуация как с бюджетом, время надо освоить и распределить. Уйти пораньше нельзя, даже если сделал свою работу распределенную на месяц.
В офисе я пробыл чуть больше 8 часов, активности в пк у меня 7 часов, но из за того, что я бы в столовой, а она находится вне турникетов, то время в столовой не тречится как время пробывания в офисе. И вот сейчас я сижу и докуручиваю себе 15 минут онлайна, что бы в табеле циферки не были красными(
В офисе я пробыл чуть больше 8 часов, активности в пк у меня 7 часов, но из за того, что я бы в столовой, а она находится вне турникетов, то время в столовой не тречится как время пробывания в офисе. И вот сейчас я сижу и докуручиваю себе 15 минут онлайна, что бы в табеле циферки не были красными(
Вчера читал статью про демографию и как она влияет на будущее. Это достаточно больная статья, в не затрагиваются темы сокращения научных работ, и публикаций, сокращение образования людей, кризис в медицине и в военном секторе. И это все в совокупности с экономическим кризисом, вызванным демографическим упадком населения и их покупательной способности.
Логика на самом деле достаточно простая. Статья начинается с того, почему к нам в страну заводят мигрантов? Делается это под предлогом что некому работать на грязных низких работах, не могу выполнять строительные работы. Но на самом деле гражданства для ребят из ближнего зарубежья выдается поголовно что бы наращивать объемы потребителей, для хотя бы поддержки экономики, не то что бы для её развития.
Если людей становится мало, уменьшается и приток бюджета в казну, как следствие правительству нужно уменьшать затраты или оптимизировать их. Одна из статей которую могу оптимизировать это образование в дальних регионах, тем самым меньше детей будут грамотными и меньше из них пойдут в науку и уменьшится кол-во научных публикаций. На сколько это будет иметь эффект - не понятно, было бы интересно посчитать это в цифрах.
Оптимизировать могут так же и медицину. Молодых людей будет рождаться все меньше, а старых все больше. Они потребляют в разы больше медицинского сервиса, который нужно оплачивать. И либо это будут делать совместно со страховыми, либо будут уменьшать мед сервис.
Страховые при увеличении затрат на обслуживание пожилых людей повысят цены что бы оставаться рентабельними, но большинство этого себе позволить себе смогут. Уменьшение финансирования медицины скажется на качестве услуг и на развитии медицинской науки в том числе.
Старые люди более консервативны, они не будут покупать товары и услуги которые двигают мир и технологии вперед. Как следствие рентабельность инноваций снизится. Чем взрослее человек, тем менее он способен к агрессии, как следствие государству меньше нужно тратится на силовые ведомости и это тоже не очень хорошо.
https://habr.com/ru/articles/756524/
Логика на самом деле достаточно простая. Статья начинается с того, почему к нам в страну заводят мигрантов? Делается это под предлогом что некому работать на грязных низких работах, не могу выполнять строительные работы. Но на самом деле гражданства для ребят из ближнего зарубежья выдается поголовно что бы наращивать объемы потребителей, для хотя бы поддержки экономики, не то что бы для её развития.
Если людей становится мало, уменьшается и приток бюджета в казну, как следствие правительству нужно уменьшать затраты или оптимизировать их. Одна из статей которую могу оптимизировать это образование в дальних регионах, тем самым меньше детей будут грамотными и меньше из них пойдут в науку и уменьшится кол-во научных публикаций. На сколько это будет иметь эффект - не понятно, было бы интересно посчитать это в цифрах.
Оптимизировать могут так же и медицину. Молодых людей будет рождаться все меньше, а старых все больше. Они потребляют в разы больше медицинского сервиса, который нужно оплачивать. И либо это будут делать совместно со страховыми, либо будут уменьшать мед сервис.
Страховые при увеличении затрат на обслуживание пожилых людей повысят цены что бы оставаться рентабельними, но большинство этого себе позволить себе смогут. Уменьшение финансирования медицины скажется на качестве услуг и на развитии медицинской науки в том числе.
Старые люди более консервативны, они не будут покупать товары и услуги которые двигают мир и технологии вперед. Как следствие рентабельность инноваций снизится. Чем взрослее человек, тем менее он способен к агрессии, как следствие государству меньше нужно тратится на силовые ведомости и это тоже не очень хорошо.
https://habr.com/ru/articles/756524/
Я давно не писал что либо в этот блог.
В конце сентября начал больше читать, сходил к психотерапевту, взял отпуск на первую неделю октября.
Начал проходить курс по трейдингу. На курсе дали паттерны и я уже их начал применять.
С одной стороны, внутридневная торговля может быстрее раскачать депозит и дать больше опыта, с другой стороны у меня нет столько времени что бы каждый день сидеть за графиком и искать активы.
Ещё нужно продолжить учить английский, и проходить курсы по менеджменту. На почему то не очень хочется это делать.
В конце сентября начал больше читать, сходил к психотерапевту, взял отпуск на первую неделю октября.
Начал проходить курс по трейдингу. На курсе дали паттерны и я уже их начал применять.
С одной стороны, внутридневная торговля может быстрее раскачать депозит и дать больше опыта, с другой стороны у меня нет столько времени что бы каждый день сидеть за графиком и искать активы.
Ещё нужно продолжить учить английский, и проходить курсы по менеджменту. На почему то не очень хочется это делать.
Я сегодня проснулся, принял контрастный душ, выпил воду с лимоном, а в столовой поел кашу. Чувствую себя отлично
👍3😁2
Привычки это очень важная часть жизни. Она отображает как ты себя ведёшь и будешь вести бальше.
Есть привычки положительные, есть отрицательные. От последних я стараюсь отучиться, но получается струдом.
На выработку плохой привычки ушло более 5 лет. Интересно, смогу ли я избавится от нее за год?
Есть привычки положительные, есть отрицательные. От последних я стараюсь отучиться, но получается струдом.
На выработку плохой привычки ушло более 5 лет. Интересно, смогу ли я избавится от нее за год?
Почти каждое утро я пишу список дел, на которых нужно определить свой фокус внимания. Это помогает делать важные дела и двигаться к целям.
Этот список часто включаются мелкие задачки, которые долго откладываются, к примеру записаться куда нибудь или отправить что либо, на которые уходит до 30 минут. Это освобождает меня от давления многих мелких дел, которые не хочется или забываются сделать.
Тогда у меня появляется кислород для больших и важных вещей.
Этот список часто включаются мелкие задачки, которые долго откладываются, к примеру записаться куда нибудь или отправить что либо, на которые уходит до 30 минут. Это освобождает меня от давления многих мелких дел, которые не хочется или забываются сделать.
Тогда у меня появляется кислород для больших и важных вещей.
👍2
Делегирование прям очень важный навык. Но приобрести его не так уж и просто. А овладеть мастерски ещё сложней. Пока не знаю как, но скоро думаю что появится больше практики.
Я делегировал ремонт новой квартиры и понимаю насколько я счастлив.
Я делегировал ремонт новой квартиры и понимаю насколько я счастлив.
Сегодня +- спокойный свободный день. Ничего важного и срочного на работе нет. Есть время на то, что бы подумать над чем-то действительно глобально важным для своей жизни.
Я выспался, сытый, хорошая погода и я не тревожный. Такой вайб свободы и умиротворения очень ценный, потому что его сложно достич. Впервые понять, прочувствовать и осознать такое состояние я смог во вьетнаме. И тогда я понял, что только в таком состоянии можно планировать свой жизненный roadmap и понимать что тебе по по настоящему нравится. Но что бы войти в такое состояние нужно освободится от "гонки" и тревоги.
Я выспался, сытый, хорошая погода и я не тревожный. Такой вайб свободы и умиротворения очень ценный, потому что его сложно достич. Впервые понять, прочувствовать и осознать такое состояние я смог во вьетнаме. И тогда я понял, что только в таком состоянии можно планировать свой жизненный roadmap и понимать что тебе по по настоящему нравится. Но что бы войти в такое состояние нужно освободится от "гонки" и тревоги.
❤2