Думаю сделать скрипт для бенчмарка железа (CPU(s) & GPU(s)), чтобы понимать, насколько быстро может обучиться бустинг и какой сервер лучше взять в облаке. Как вам идея?
Anonymous Poll
15%
Ерунда
55%
Возможно, кому-то будет полезно
30%
Мне будет полезно. Поучаствую в тестировании
0%
Помогу закодить!
#hardware #benchmarks #mlperf #opticloud
Постараюсь прояснить идею с либой ML бенчмарка. Зачастую непонятно, какой сервер лучше взять под конкретную ML-задачу. Если дело касается нейросетей, то вроде бы есть бенчмарки dlperf. Также при выходе новых CPU/GPU указывают производительность в Stockfish, WinZip, Pytorch/Tensorflow.
А если у вас табличные данные? Брать ли сервер на AMD Rome с 112 vcores, Xeon Gold с 80 vcores, или одна RTX 4090 их легко зарулит? А две RTX 3090? А насколько быстрее/медленнее будет одна H100? А может, вообще стоит посмотреть в сторону GPU от AMD?
У меня одного такие проблемы выбора, или отсутствие подобной информации и, как следствие, выбор наобум по принципу ХЗ всех смущает?
Может, есть какие-то сводные таблицы перформанса, которые вы смотрите и по которым принимаете решение? Или как-то пытаетесь экстраполировать результаты существующих бенчмарков?
На текущий момент у меня есть идея разработки простенькой питон либы с открытым исходным кодом, на базе, скажем, catboost, с методами
run_ml_benchmarks(tabular=True,training=True,inference=True,nreps=10)
get_ml_rankings(query='rtx 3090')
get_ml_leaderboard()
которая сможет автоопределять ваше железо, запускать несколько задач с фиксированными сидами и гиперпараметрами, прогонять nreps раз, и сохранять результат в общее облако. ну и, конечно, показывать лидерборд и результаты конкретного железа (медиану, дисперсию). При наличии такой либы все вопросы выше отвечаются pip install-ом + одним вызовом get_ml_leaderboard.
Постараюсь прояснить идею с либой ML бенчмарка. Зачастую непонятно, какой сервер лучше взять под конкретную ML-задачу. Если дело касается нейросетей, то вроде бы есть бенчмарки dlperf. Также при выходе новых CPU/GPU указывают производительность в Stockfish, WinZip, Pytorch/Tensorflow.
А если у вас табличные данные? Брать ли сервер на AMD Rome с 112 vcores, Xeon Gold с 80 vcores, или одна RTX 4090 их легко зарулит? А две RTX 3090? А насколько быстрее/медленнее будет одна H100? А может, вообще стоит посмотреть в сторону GPU от AMD?
У меня одного такие проблемы выбора, или отсутствие подобной информации и, как следствие, выбор наобум по принципу ХЗ всех смущает?
Может, есть какие-то сводные таблицы перформанса, которые вы смотрите и по которым принимаете решение? Или как-то пытаетесь экстраполировать результаты существующих бенчмарков?
На текущий момент у меня есть идея разработки простенькой питон либы с открытым исходным кодом, на базе, скажем, catboost, с методами
run_ml_benchmarks(tabular=True,training=True,inference=True,nreps=10)
get_ml_rankings(query='rtx 3090')
get_ml_leaderboard()
которая сможет автоопределять ваше железо, запускать несколько задач с фиксированными сидами и гиперпараметрами, прогонять nreps раз, и сохранять результат в общее облако. ну и, конечно, показывать лидерборд и результаты конкретного железа (медиану, дисперсию). При наличии такой либы все вопросы выше отвечаются pip install-ом + одним вызовом get_ml_leaderboard.
#hunting #cruelty #law
Недавно ютуб услужливо подсунул мне видео, где африканское племя hzade (или как-то так) охотится на бабуинов. Ну их как-то понять можно, жрать там нечего, они с утра выходят на охоту и ловят каждую белочку, суслика, обезъянку, которую могут вытащить из норы или снять с дерева. Они особо не задумываются, что обезьяньи руки, которые они обгладывают, очень похожи на человечьи, и даже имеют папиллярные узоры на пальцах. Ну это ладно, там выхода нет другого особо.
Но после этого просмотра посыпалось. Оказывается, есть ******, которые покупают дорогую винтовку с оптическим прицелом, и потом за 300 метров расстреливают животных, тех же бабуинов, просто ХЗ зачем. Ну и выкладывают видео с миллионами просмотров. Есть и более смелые, расстреливают львицу из современного спортивного лука/арбалета с близкого расстояния. Оказывается, даже льву достаточно одной современной стрелы. Иногда 3-4.
У меня есть предложение. Чтобы для подобных пидоров сделать жизнь интереснее, а ощущения острее, предлагаю их выпускать на ограниченную территорию друг против друга. Можно даже денежные призы учредить для выживших, я бы им даже донатил немного. А на законодательном уровне считаю необходимым убийство животных без их съедения запретить. Убил не в рамках самозащиты - сожри, сука, иначе сядешь.
Вспомнил высказывание недоиерея Андрея Ткачёва, что-то типа "Человек- венец творения. Всё живое на Земле с восторгом внемлет ему и дивится на него." На кого дивится, на этих ублюдков?
Ну и вот такое доброе виде в конце ) Всем добра и бабуинчиков.
https://www.youtube.com/shorts/B3I4QGrbHZU
Недавно ютуб услужливо подсунул мне видео, где африканское племя hzade (или как-то так) охотится на бабуинов. Ну их как-то понять можно, жрать там нечего, они с утра выходят на охоту и ловят каждую белочку, суслика, обезъянку, которую могут вытащить из норы или снять с дерева. Они особо не задумываются, что обезьяньи руки, которые они обгладывают, очень похожи на человечьи, и даже имеют папиллярные узоры на пальцах. Ну это ладно, там выхода нет другого особо.
Но после этого просмотра посыпалось. Оказывается, есть ******, которые покупают дорогую винтовку с оптическим прицелом, и потом за 300 метров расстреливают животных, тех же бабуинов, просто ХЗ зачем. Ну и выкладывают видео с миллионами просмотров. Есть и более смелые, расстреливают львицу из современного спортивного лука/арбалета с близкого расстояния. Оказывается, даже льву достаточно одной современной стрелы. Иногда 3-4.
У меня есть предложение. Чтобы для подобных пидоров сделать жизнь интереснее, а ощущения острее, предлагаю их выпускать на ограниченную территорию друг против друга. Можно даже денежные призы учредить для выживших, я бы им даже донатил немного. А на законодательном уровне считаю необходимым убийство животных без их съедения запретить. Убил не в рамках самозащиты - сожри, сука, иначе сядешь.
Вспомнил высказывание недоиерея Андрея Ткачёва, что-то типа "Человек- венец творения. Всё живое на Земле с восторгом внемлет ему и дивится на него." На кого дивится, на этих ублюдков?
Ну и вот такое доброе виде в конце ) Всем добра и бабуинчиков.
https://www.youtube.com/shorts/B3I4QGrbHZU
YouTube
My sister Cindy the baboon always tells me when she's hungry 🤤🐒#animallover #animalrescue #animals
*None of the animals featured on this channel are pets, they all live a natural life outside (no cages or captivity) where they feed on natural food around o...
#energy
"Как сообщает издание Tweak Town, микрореактор Rolls-Royce сможет генерировать от 1 до 10 МВт энергии, а благодаря своей компактности станет мобильным источником питания. Система поместится всего в нескольких транспортных контейнерах, так что, по сути, можно говорить о передвижном современном ядерном генераторе. Компания сравнивает его с малым модульным реактором, который вырабатывает 0,5 ГВт мощности и работает со стационарной площадки размером примерно с два футбольных поля.
Rolls-Royce предлагает четыре сценария применения своей разработки: для обороны, для обеспечения энергетической безопасности в отдалённых гражданских районах, для промышленных зон и в космосе. Любой из этих сценариев может стать «переломным для нашей цивилизации», считает компания."
https://3dnews.ru/1106924/rollsroyce-predstavil-mikroreaktor-dlya-virabotki-elektroenergii-s-nulevim-urovnem-vibrosov
"Как сообщает издание Tweak Town, микрореактор Rolls-Royce сможет генерировать от 1 до 10 МВт энергии, а благодаря своей компактности станет мобильным источником питания. Система поместится всего в нескольких транспортных контейнерах, так что, по сути, можно говорить о передвижном современном ядерном генераторе. Компания сравнивает его с малым модульным реактором, который вырабатывает 0,5 ГВт мощности и работает со стационарной площадки размером примерно с два футбольных поля.
Rolls-Royce предлагает четыре сценария применения своей разработки: для обороны, для обеспечения энергетической безопасности в отдалённых гражданских районах, для промышленных зон и в космосе. Любой из этих сценариев может стать «переломным для нашей цивилизации», считает компания."
https://3dnews.ru/1106924/rollsroyce-predstavil-mikroreaktor-dlya-virabotki-elektroenergii-s-nulevim-urovnem-vibrosov
3DNews - Daily Digital Digest
Rolls-Royce рассказала о разработке мобильного микрореактора — до 10 МВт в любой точке Земли и не только
Британская компания Rolls-Royce представила первые детали о своём микрореакторе следующего поколения, который будет сочетать инновационные технологии и урановое ядро, окружённое множественными защитными слоями.
#astronomy #dangers
https://3dnews.ru/1106940/nasa-podtverdilo-nesposobnost-zashchitit-zemlyu-ot-stolknoveniya-s-asteroidom
https://3dnews.ru/1106940/nasa-podtverdilo-nesposobnost-zashchitit-zemlyu-ot-stolknoveniya-s-asteroidom
3DNews - Daily Digital Digest
NASA призналось в неспособности защитить Землю от столкновения с астероидом
Управление по координации планетарной обороны Национального управления по аэронавтике и исследованию космического пространства (NASA) США, которое занимается поиском и отслеживанием перемещений потенциально опасных для Земли астероидов и комет, опубликовало…
#design
"Проект разработки сложных инженерных конструкций с помощью искусственного интеллекта продвигает компания LEAP 71, работающая в Дубае (ОАЭ). Специалисты компании создали большую вычислительную модель Noyron с «компактным и надёжным геометрическим ядром» PicoGK, которое позволяет создавать очень сложные физические объекты. Тем самым Noyron способна проектировать конструкции, машины и механизмы для любой сферы использования, а не только для аэрокосмической отрасли, от детской игрушки до космического челнока. В процессе проектирования программы САПР ни разу не использовались."
https://3dnews.ru/1106988/sproektirovanniy-ii-s-nulya-raketniy-dvigatel-zarabotal-s-pervoy-popitki-na-razrabotku-ushlo-dve-nedeli
"Проект разработки сложных инженерных конструкций с помощью искусственного интеллекта продвигает компания LEAP 71, работающая в Дубае (ОАЭ). Специалисты компании создали большую вычислительную модель Noyron с «компактным и надёжным геометрическим ядром» PicoGK, которое позволяет создавать очень сложные физические объекты. Тем самым Noyron способна проектировать конструкции, машины и механизмы для любой сферы использования, а не только для аэрокосмической отрасли, от детской игрушки до космического челнока. В процессе проектирования программы САПР ни разу не использовались."
https://3dnews.ru/1106988/sproektirovanniy-ii-s-nulya-raketniy-dvigatel-zarabotal-s-pervoy-popitki-na-razrabotku-ushlo-dve-nedeli
#hardware #etched
Кандидат на взрывной рост капитализации?
"Чип Sohu, разработанный Etched, представляет собой интегральную схему специального назначения (ASIC), изготовленную по 4-нм техпроцессу TSMC. По словам генерального директора компании Гэвина Уберти (Gavin Uberti), новый чип может обеспечить значительно лучшую производительность вывода, чем графические процессоры и другие ИИ-чипы общего назначения, потребляя при этом меньше энергии.
«Sohu на порядок быстрее и дешевле, чем даже следующее поколение графических процессоров Nvidia Blackwell GB200 при работе с преобразователями текста, изображений и видео, — утверждает Уберти. — Один сервер Sohu заменяет 160 графических процессоров H100. Sohu станет более доступным, эффективным и экологически чистым вариантом для бизнес-лидеров, которым нужны специализированные чипы».
Эксперты предполагают, что подобных результатов Etched могла добиться при помощи оптимизированного под трансформеры аппаратно-программного конвейера вывода. Это позволило разработчикам отказаться от аппаратных компонентов, нужных для поддержки других платформ и сократить накладные расходы на программное обеспечение.
Etched выходит на сцену в переломный момент в гонке инфраструктур генеративного ИИ. Помимо высоких стартовых затрат на оборудование, ускорители вычислений потребляют огромное количество электроэнергии и водных ресурсов. По прогнозам, к 2030 году ИИ-бум приведёт к увеличению спроса на электроэнергию в ЦОД на 160 %, что будет способствовать значительному увеличению выбросов парниковых газов. ЦОД к 2027 году потребуют до 6,5 миллионов кубометров пресной воды для охлаждения серверов."
https://3dnews.ru/1107025/kompaniya-etched-predstavila-uzkospetsializirovanniy-iichip-kotoriy-deshevle-i-bistree-nvidia-blackwell
Кандидат на взрывной рост капитализации?
"Чип Sohu, разработанный Etched, представляет собой интегральную схему специального назначения (ASIC), изготовленную по 4-нм техпроцессу TSMC. По словам генерального директора компании Гэвина Уберти (Gavin Uberti), новый чип может обеспечить значительно лучшую производительность вывода, чем графические процессоры и другие ИИ-чипы общего назначения, потребляя при этом меньше энергии.
«Sohu на порядок быстрее и дешевле, чем даже следующее поколение графических процессоров Nvidia Blackwell GB200 при работе с преобразователями текста, изображений и видео, — утверждает Уберти. — Один сервер Sohu заменяет 160 графических процессоров H100. Sohu станет более доступным, эффективным и экологически чистым вариантом для бизнес-лидеров, которым нужны специализированные чипы».
Эксперты предполагают, что подобных результатов Etched могла добиться при помощи оптимизированного под трансформеры аппаратно-программного конвейера вывода. Это позволило разработчикам отказаться от аппаратных компонентов, нужных для поддержки других платформ и сократить накладные расходы на программное обеспечение.
Etched выходит на сцену в переломный момент в гонке инфраструктур генеративного ИИ. Помимо высоких стартовых затрат на оборудование, ускорители вычислений потребляют огромное количество электроэнергии и водных ресурсов. По прогнозам, к 2030 году ИИ-бум приведёт к увеличению спроса на электроэнергию в ЦОД на 160 %, что будет способствовать значительному увеличению выбросов парниковых газов. ЦОД к 2027 году потребуют до 6,5 миллионов кубометров пресной воды для охлаждения серверов."
https://3dnews.ru/1107025/kompaniya-etched-predstavila-uzkospetsializirovanniy-iichip-kotoriy-deshevle-i-bistree-nvidia-blackwell
3DNews - Daily Digital Digest
Etched представила ИИ-чип для нейросетей-трансформеров — он в разы быстрее и дешевле ускорителей Nvidia
Компания Etched основана два года назад двумя выпускниками Гарварда с целью разработать специализированный ускоритель ИИ.
Показано решение ML-задачи с различными плюшками (понижение размерности, кластеризация, ансамблирование). Будет интересно для новичков и среднего уровня.
https://www.youtube.com/watch?v=nGOPAt9LE8s
https://www.youtube.com/watch?v=nGOPAt9LE8s
YouTube
Евгений Путин - Решение задач на Kaggle (практическая часть) - DataStart.ru
🔴 Регистрация на следующую БЕСПЛАТНУЮ конференцию:
https://datastart.ru/
На видео - первая конференция DataStart 18/11/2017
Евгений Путин - Решение задач на Kaggle (практическая часть)
На практике будет разобрано самое популярное по количеству участников…
https://datastart.ru/
На видео - первая конференция DataStart 18/11/2017
Евгений Путин - Решение задач на Kaggle (практическая часть)
На практике будет разобрано самое популярное по количеству участников…
#astronomy #moon
https://3dnews.ru/1107161/obraztsi-grunta-s-obratnoy-storoni-luni-dostavleni-v-pekin-dlya-sortirovki-pervimi-ih-poluchat-kitayskie-uchyonie
https://3dnews.ru/1107161/obraztsi-grunta-s-obratnoy-storoni-luni-dostavleni-v-pekin-dlya-sortirovki-pervimi-ih-poluchat-kitayskie-uchyonie
3DNews - Daily Digital Digest
Образцы грунта с обратной стороны Луны извлекли из космического зонда — первыми их получат китайские учёные
Возвращаемый аппарат миссии «Чанъэ-6» во вторник доставил на Землю образцы грунта с обратной стороны Луны.
#openai #gpt
"Интересно, что возможности CriticGPT выходят за рамки простой проверки кода. В экспериментах модель применили к множеству тренировочных данных ChatGPT, ранее оцененных людьми как безупречные. Удивительно, но CriticGPT выявил ошибки в 24-% случаев, которые впоследствии были подтверждены экспертами. OpenAI считает, что это демонстрирует потенциал модели не только для работы с техническими задачами, но и подчёркивает её способность улавливать тонкие ошибки, которые могут ускользнуть даже от тщательной проверки человеком."
https://3dnews.ru/1107194/novaya-model-openai-criticgpt-obuchena-kritikovat-rezultati-gpt4
"Интересно, что возможности CriticGPT выходят за рамки простой проверки кода. В экспериментах модель применили к множеству тренировочных данных ChatGPT, ранее оцененных людьми как безупречные. Удивительно, но CriticGPT выявил ошибки в 24-% случаев, которые впоследствии были подтверждены экспертами. OpenAI считает, что это демонстрирует потенциал модели не только для работы с техническими задачами, но и подчёркивает её способность улавливать тонкие ошибки, которые могут ускользнуть даже от тщательной проверки человеком."
https://3dnews.ru/1107194/novaya-model-openai-criticgpt-obuchena-kritikovat-rezultati-gpt4
3DNews - Daily Digital Digest
Новая модель OpenAI CriticGPT обучена «критиковать» результаты GPT-4
Компания OpenAI представила CriticGPT — новую модель искусственного интеллекта, предназначенную для выявления ошибок в коде, сгенерированном непосредственно ChatGPT.
#gpt #audi
Будущее наступает.
"Audi внедряет ChatGPT в свою информационно-развлекательную систему MIB3 для расширения возможностей голосового управления. С июля около двух миллионов автомобилей Audi, выпущенных с 2021 года, включая Audi A3, получат обновлённые функции. Новые модели, такие как Q6 e-tron, также будут оснащены ChatGPT.
Интеграция ChatGPT в систему MIB3 открывает новые, ранее недоступные возможности, сообщает в своём блоге компания. Водители Audi смогут использовать расширенное голосовое управление для работы с информационно-развлекательной системой, навигацией и системой кондиционирования воздуха, а также задавать общие вопросы. Возможность запрашивать информацию в реальном режиме времени, не отвлекаясь от дороги, делает вождение безопаснее."
https://3dnews.ru/1107252/audi-integriruet-chatgpt-v-sistemu-mib3-vogdenie-stanet-eshchyo-udobnee-i-bezopasnee
Будущее наступает.
"Audi внедряет ChatGPT в свою информационно-развлекательную систему MIB3 для расширения возможностей голосового управления. С июля около двух миллионов автомобилей Audi, выпущенных с 2021 года, включая Audi A3, получат обновлённые функции. Новые модели, такие как Q6 e-tron, также будут оснащены ChatGPT.
Интеграция ChatGPT в систему MIB3 открывает новые, ранее недоступные возможности, сообщает в своём блоге компания. Водители Audi смогут использовать расширенное голосовое управление для работы с информационно-развлекательной системой, навигацией и системой кондиционирования воздуха, а также задавать общие вопросы. Возможность запрашивать информацию в реальном режиме времени, не отвлекаясь от дороги, делает вождение безопаснее."
https://3dnews.ru/1107252/audi-integriruet-chatgpt-v-sistemu-mib3-vogdenie-stanet-eshchyo-udobnee-i-bezopasnee
3DNews - Daily Digital Digest
Audi интегрирует ChatGPT в свои автомобили — это расширит голосовое управление
Audi внедряет ChatGPT в свою информационно-развлекательную систему MIB3 для расширения возможностей голосового управления.
#nextbestoffer #nextbestaction
Оказывается, опенсорсные симплекс-оптимизаторы задыхаются в задачах NBO уже на тысячах клиентов. Такое ощущение, что в этой области (линейном программировании) научно-технический прогресс сильно отстаёт.
https://www.youtube.com/watch?v=rp5O2Eh34NI
Оказывается, опенсорсные симплекс-оптимизаторы задыхаются в задачах NBO уже на тысячах клиентов. Такое ощущение, что в этой области (линейном программировании) научно-технический прогресс сильно отстаёт.
https://www.youtube.com/watch?v=rp5O2Eh34NI
YouTube
Семинар: Вазген Амбарцумов - Маркетинговая оптимизация и задача Next Best Offer
Вопросы и комментарии - в Telegram-чате сообщества:
https://t.me/noml_community
Презентация:
https://noml.notion.site/Next-Best-Offer-3cffe9e7232441a9ba8b2dca656d3afb
Анонсы новых мероприятий и другая полезная информация - в канале сообщества:
https://…
https://t.me/noml_community
Презентация:
https://noml.notion.site/Next-Best-Offer-3cffe9e7232441a9ba8b2dca656d3afb
Анонсы новых мероприятий и другая полезная информация - в канале сообщества:
https://…
#churn #uplift #lifetimes
Подача материала по оттоку прям чётенькая. Учитываются и индивидуальные клиентские пороги активности, и даже возможный фрод в оттоке (!).
https://www.youtube.com/watch?v=NgZSgmI0sZ0
Подача материала по оттоку прям чётенькая. Учитываются и индивидуальные клиентские пороги активности, и даже возможный фрод в оттоке (!).
https://www.youtube.com/watch?v=NgZSgmI0sZ0
YouTube
NoML Семинар: Анализ данных в задачах прогноза и предотвращения оттока клиентов
Вопросы и комментарии - в чате сообщества:
https://t.me/noml_community
Выступил:
😎 Дмитрий Забавин, эксперт направления моделирования в клиентской аналитике, GlowByte Advanced Analytics и преподаватель курса “Анализ данных в целевом маркетинге”, a2nced.ai…
https://t.me/noml_community
Выступил:
😎 Дмитрий Забавин, эксперт направления моделирования в клиентской аналитике, GlowByte Advanced Analytics и преподаватель курса “Анализ данных в целевом маркетинге”, a2nced.ai…
#astronomy
"Мысль о том, что астероид, диаметр которого изменяется в пределах 120-260 метров, может быть замечен людьми всего за две недели до потенциального столкновения с Землёй, пугает. По данным Европейского космического агентства (ESA), астероид такого размера слишком мал, чтобы привести к катастрофическим последствиям в случае столкновения с нашей планетой, но и он бы причинил «значительный ущерб». Если бы 2024 MK приближался к Земле, а не пролетел примерно в 290 тыс. км от неё, у людей попросту не было бы достаточного количества времени для подготовки и осуществления какой-либо операции по изменению траектории полёта астроида, подобной миссии DART, которую NASA провела ранее."
https://3dnews.ru/1107279/asteroid-razmerom-s-egipetskuyu-piramidu-cherez-neskolko-dney-proletit-megdu-zemlyoy-i-lunoy
"Мысль о том, что астероид, диаметр которого изменяется в пределах 120-260 метров, может быть замечен людьми всего за две недели до потенциального столкновения с Землёй, пугает. По данным Европейского космического агентства (ESA), астероид такого размера слишком мал, чтобы привести к катастрофическим последствиям в случае столкновения с нашей планетой, но и он бы причинил «значительный ущерб». Если бы 2024 MK приближался к Земле, а не пролетел примерно в 290 тыс. км от неё, у людей попросту не было бы достаточного количества времени для подготовки и осуществления какой-либо операции по изменению траектории полёта астроида, подобной миссии DART, которую NASA провела ранее."
https://3dnews.ru/1107279/asteroid-razmerom-s-egipetskuyu-piramidu-cherez-neskolko-dney-proletit-megdu-zemlyoy-i-lunoy
3DNews - Daily Digital Digest
Астероид размером с египетскую пирамиду сегодня пролетел вблизи Земли
Менее двух недель назад Национальное управление по аэронавтике и исследованию космического пространства (NASA) США обнаружило астероид размером с одну из египетских пирамид, который направляется в сторону Земли.