Apple M1, память и муки выбора

Пришлось сделать небольшой тест: https://github.com/inv2004/bench_nim_build для лучшего понимания производительности компьютеров под домашние нужды. Потому как другие синтетические тесты из интернета не очень понятно говорят о том какой результат будет на конкретно вашей задаче. Для себя выбрал компиляцию https://nim-lang.org/ , не думаю что это очень важно, что именно собирать - nim, rust или golang, главное чтобы не яву. Просто Ним чуть меньше, и, из-за этого, удобнее для замера. Почему компиляция - на последнем этапе она плохо распараллеливается - количество ядер тут играет немного меньшую роль. А править строчку кода в одном файле и пересобрать - самая частая задача, как мне кажется, по-этому в тесте компиляция в два этапа.

На удивление, померяли свои системы довольно много народу и вы тоже можете.

Ещё хуже - что M1 и тут ушёл с отрывом вперед, не говоря о M1 Max - картинка ниже или по ссылке. И ещё - WSL2 не отстаёт от сильно оптимизированного ClearLinux. Последнее, окончательно поставило точку в выборе системе на домашнем компе.

Так как на работе предложили выбрать новый ноут, то, казалось бы привычный выбор снова взять что-то типа lenovo, омрачают мысли о том, что это, хоть это и удобный в плане системы вариант, но, небольшой M1 air, мало того, что в корпусе ноутбука и без вентилятора, но по скорости даёт фору самому современному x64. Исключая игры конечно.

Почитав спеки, особенно про память, ужаснулся отставанию памяти в десктопных x86: DDR4-3200 имеет в пике теоретические 25GBs на один канал, когда как у М1 air 60GBs (на 8 каналов). Если посмотреть на M1 pro - то это 200Gbs, а M1 max безумные 400Gbs - только на один из лучших x86 серверов типа Threadripper в 4 канала или Graviton это теоретически может дотянуть до ~200Gbs, но цена отличается на порядки даже от самого дорого M1 max.

Думаю, что подобный разгон памяти скажется и на развитии in-memory баз данных в том числе, и, особенно, векторных, где последовательное чтение куска памяти приближает скорость к теоретически заявленной. Конечно, пока не понятно какой объём памяти смогут сделать на таком чипе, вероятно значительно меньше, но это актуально только для тех, кто держит в памяти большие объёмы.

А пока, как ни печально, хотя windows в текущий момент очень универсальная и удобная система, но перейти на новый уровень производительности, хоть и простого домашнего компьютера, но всё же хочется.

--update--
Одна из особенностей - бенчмарк использует стандартный cc в системе, для linux это gcc, но для mac это clang, который быстрее на ~15%, так что разница между x86 и маком зарыты не только в железе и топовый десктопный x86 всё же догонит M1 при смене компилятора. Добавлена колонка с компилятором.

100M Taxi Rides benchmark. 3/3 - не туда свернул

Пройду по в-каждой-бочке-затычка-Rust, так как на него ушло больше всего времени:

Итого, На C или Nim решение в лоб пишется за 10-15минут. Лучшее время 11.89ms в режиме -d:danger, в немного более безопасном -d:release 13.79ms. А вот с Rust всё было интереснее и даже немного ностальгически, и тут я подробнее:

- Выяснилось, что за два года встроенные бенчмарки как были в nightly так там и остались, criterion заработал.
- Нужные интрисики нашлись в core::arch, но первая реализация показала какое-то жуткое время 300ms, пришлось идти на godbolt https://rust.godbolt.org/z/bW6EaK7f1 . Оказалось, что надо руками указать target-feature=+avx2 и непонятный +popcnt и только тогда они станут нормально инлайниться. С этим разобрались - инлайнится, но не сильно помогло ...
- Макросы везде - уже начав профилировать ещё раз переспросил в чате что не уверен про addr_of!, и, действительно, кто-то, раскрыв макрос, указал на ошибку где я дважды делал deref - большое спасибо ему. С одной стороны я сам виноват - не очень внимательно разглядел что макрос сам делает &, с другой, если в языке даже для взятия указателя нужен макрос. Какие-то гарантии на макросах предоставить сложно - надо или очень внимательно читать описание или, ещё надёжнее, читать во что он раскроется. Макрос пришлось применить, потому как иначе нужно делать двойной каст, хотя зачем это так - я с ходу не понял.
- Показательный пример, это ручное разворачивание цикла - понадеявшись это сделать просто - одной-двумя строками шаблона, но не вышло и я обратился к старожилам. Замечу, что и для них эта задача оказалась не очень простой по причине специфики макросов раста и пришлось применить чужой крейт, но и тут не так всё просто - крейт собирался под nightly-только, хотя починить легко. Казалось бы, всё просто, но дежавю - раст это всегда тяжело: https://t.me/inv2004_dev_blog/29
- В итоге Rust выдал вполне хороший результат с временем 13.11ms
- Это всё про unsafe, пошёл разговор, что safe в nightly лучше чем unsafe в stable - мне пришлось закатать рукава и посмотреть на packed_simd - вроде то что надо, но не удавалось найти movemask, хотя, видно, что они сами его используют. Начал искать, и опять наткнулся на гору макросов. Далеко не самые страшные из тех что я видел, но разбирать их не нашлось желания. Так что, я просто заменил на что-то аналогичное, но считающее не совсем верно, Не уверен, что тут вообще можно замерять при разном результате, но, как бы то ни было, в этом варианте safe выдал неплохой результат 15.36ms. Так что safe это не совсем zero-cost, а, с другой стороны, если посмотреть на issues этой обвязки - то тяжело понять много ли безопасности она добавила.
- Ну, и не стоить забывать, что этот крейт уже забросили - классика раста. Так что ориентир на производительность при таком SIMD под вопросом.
- Сам бенч тут: https://github.com/inv2004/100m_taxi_bench/

Так что, окунувшись в раст на несколько вечеров я немного огорчён тем что, казалось популярность растёт, но каких-то знаковых отличий от того что было два года назад я не заметил. Всё так же stable не слишком популярен. Issue, про генераторы висит открытым два года - всё ещё оптимизируют минимальный пример. И, самое главное, - макросы наступают, кажется что большинство проблем раста обходят именно макросами, которых, кажется, уже перебор. Не уверен что вообще остались крейты где не пришлось бы изучать новые макросы, а при отладке и того хуже. Брр, изначально тема была не про раст, но я скатился.

#bench #rust

laptop => desktop

Держа в одном окне Air M1, с крутым (для ноутбука) процессором, но с экраном и клавиатурой как у планшета, а с другой стороны смотря на цены нового intel 12го поколения, победила, разумеется, жадность. Да, я лишаюсь очень быстрого ноутбука, но зато получаю аналогичный по производительности десктоп за четверть треть цены мака. Наверное стоило бы сравнивать с M1 mini, но тут все преимущества M1 как десктопа быстро сгорают в термовыхлопе интела на 200w. Сказано - сделано, и, с ходу, начинаются приключения: первая новость - сокет LGA 1700 гнёт процессор, но лечится разбором и подкладыванием шайбочек из леруа-мерлен. Шайб не нашёл, но зато пригодился опыт пропуск со старой работы. Новость два - Intel отключает avx512 на alder lake в новых биосах, а ведь эта одна из фишек, которую хотелось попробовать. Неновость номер три - теперь мы все бета-тестеры. С трудом заведя комп из-за сырого биоса пошёл запускать привычные бенчи - отлично, оно теперь быстрее чем мой древной проц аж на 2%. Немного погрустив от такого факта, я всё же обновил биос - всё заметно ускорилось, но и avx512 пропал. Что с последним делать - не понятно, может потом что-нибудь придумаю.

Итого: i5-12600 non-K, немного, но, всё же обогнал M1, дополнительный плюс, что это не SoC - можно лёгким движением руки за копейки докинуть память или диск.

https://user-images.githubusercontent.com/4949069/152769295-1ecc5f58-3712-41b6-a785-dd46d4e90e6a.jpg

Удалось восстанoвить AVX-512 на B660m bios.

Сначала я полез на форум где ковыряют биосы, нашёл что кто-то что-то нашёл, и, по своей наивности, решил - сдамплю bios с включённым и выключенным avx2, сравню, найду нужный байт и поменяю ... нужный байт я, конечно, не нашёл, зато нашёл того, кто мне прислали непубличную версию F4 - спасибо, - ссылка в комменте. Там исправили проблемы производительности non-K, но не отключили AVX512 - наверное, потому её и убрали с сайта. Тем не менее, обновился - и AVX-512 вернулся уже в нормальном виде. При стресс-тесте от CPU-Z сброса частот, которым пугали раньше, - не заметил.

Заняло время переписать гистограмму с AVX2 на AVX512, и, я понял жалобы на сложность,- части инструкций, которые были на AVX2, не удалось найти, и пришлось переписывать по-другому.

В моём случае, AVX512 дал прирост 25%. было 8.21ms, стало 6.15ms. Не много, но и не мало.

Вывод: CPU на 1/2 шага ближе к GPU по векторизации, пользоваться им можно, а почему его заблокировали - не очень ясно.

100M Taxi Rides benchmark - постскриптум.

Понимаю, что подзадолбал с этим тестом, по поставлю точку:
Играя со всякими SIMD, я хотел сравнить скорость данного бенчмарка из векторных баз, и нативную имплементацию. Почему так - сейчас анализ данных частично перешёл в питон или R, и иметь под капотом SQL-подобный язык уже не обязательно. Пишите ли вы SQL или делаете какой-то chain из функций - нет большой разницы. Отличие тут только в том, что SQL - строго типизированный, chain из функций - типизированный в зависимости от языка, а вот K/Q - совсем не типизированный, и, именно это и является причиной почему, я считаю, он не особо нужен в современных больших и не очень системах (тема о статике/динамике стара как IT). Из этого я делаю вывод, что на чём писать - нету особой разницы, но стоит сравнить производительность даже этих разных подходов. Если мы не говорим о многопоточности, а о ней нет смысла говорить, без предварительной оптимизации решения на одном потоке, то результат такой:
- select count pc by ct from trips На первом запросе k9/Shakti показывает что умеет оптимизировать по типам через SIMD, но, при этом, немного не дотягивает до нативного решения. q/Kdb при этом точно не применяет эвристик и при этом отстаёт от нативного решения в лоб в два раза.
- select avg am by pc from trips Второй запрос не получается оптимизировать на SIMD, но k9/Shakti опять показывает сравнимую с нативной производительность, а вот Q/Kdb отстаёт более чем в 5 раз от нативного решения. Немного странно, что такая "векторная" база не только плохо утилизирует SIMD, но и на простом проходе по вектору так сильно отстаёт.

Код тут: https://github.com/inv2004/100m_taxi_bench

#k9 #kdb #bench

Coub https://coub.com закрывается

Жаль, - это была такая предтеча тик-тока, но, если тик-ток мне не зашёл вообще, то Coub имел ролики более нагруженные смыслом и своеобразной атмосферой сайта, и, даже, немного гипнотические из-за зацикливания видео. Пишут, что поддержка этого сервиса стоит около 1.5млн рублей в месяц.

atop

Очередной, недавно поставленный, демо-сервер непонятным образом отвалился. Не то чтобы большая проблема, но тот кто его ставил забыл поставить atop на чём я всегда настаиваю. Почему atop: О сохраняет переодические снепшоты в течении дня, которые можно просматривать. Как правило, есть в любом дистрибутиве и очень легко ставится. Не требует никакой настройки. Да, только локально и нет нотификаций, но в остальном простота побеждает. atop -r /var/log/atop/DATE и можешь спокойно листать 10-минутные интервалы за весь день куда угодно - наблюдая за активными процессами, разными io, cpu и памятью. если что-то отвалилось или росло по памяти - наверняка это будет заметно - в моём понимании обязательная штука, по крайней мере пока не подъедет что-то серьёзнее. Есть один серьёзный недостаток - не показывает свободное место на диске без хитрых патчей. Кто-то знает что-то подобное по простоте, но с диском и нотификациями в телеграм?

#linux

https://podlodka.io/282

@gavr123456789 интересно и очень качественно прошёлся по основам и целям https://nim-lang.org, одновременно проводя параллели с другими языками. Вторая часть будет копать глубже (ссылка в комментарии).

#nim

Придумал довольно простой тест для адекватности linux-дистрибутива:

* обозначены опциональные желания

1) на старте не показывать 5 страниц текста с надписями типа "запускаю драйвер blueman [OK]" *
2) после запуска позволить легко подключиться к hidden wifi
если ещё сумеет это сделать с каким-то не самым популярным свистком типа mercusys - то это вершина *
3) запустить браузер за ~1 секунду
4) открыть и показать видео в 4k при этом не начав фризиться и не забив все ядра проца на 100%
5) проделать всё тоже самое на ноутбуке не первой свежести
—added—
6) уметь включать night-light палитру *
7) на ноутбуке: шифровать диск без ввода пароля на старте *
8) телега должна показывать нотификации

#linux

Когда над миром нависла угроза, то не остаётся ничего другого как заниматься той же фигнёй что и обычно, например - замерить как едят батарейку старого ноута разные операционки. Почему просто не посмотреть цифры, потому как там чаще всего перекос в какую-то сторону - или 100% видео или браузер или 100% загрузка. У программистов чаще всё немного не так - медленно клацаешь по вс-коду, потом компилируешь, а потом уже браузер читать. В общем автоматизировал самый типичный для себя сценарий и запустил. По-началу вперёд вырвался linux, я ещё подумал, что в общем-то не удивительно, так как отсутсвует прослойка WSL2, потом win11 немного отстала, хотя тут в пределах погрешности, а потом, удивительно, но win10 даже с WSL2 показала лучшее время:

Чем бы ещё заняться - попробовать сравнить сколько батареи ест vscode vs vim

https://github.com/inv2004/battery_test

#linux #windows

Открыл для себя RTS Supreme Commander. 1/2

https://www.youtube.com/watch?v=evyslDnFyuc

Преамбула:
Я почти не играю в компьютерные игры, скорее просто собираю те, которые можно будет посмотреть на пенсии. Тут вспомнил как https://t.me/nikitonsky_pub/13 писал о том что Dead Cells типа лучший платформер, а тут и очередная распродажа в steam, купил, потратил час, но что-то не вошло, если смотреть именно на геймплей, то это лучшии традиции приставок - бежишь, возле врага тыкаешь много раз удар (типа примитивное комбо) - бежишь дальше. Сравнивая с Cuphead, который интересен именно сложностью.

Раньше было лучше (c):
Отсюда перейду к тому что какое-то время назад был задан тренд на примитивизм игр, чтобы продажи были больше, о чём говорится дальше про вторую часть.

Неожиданно, в ютубе попалось это безумное видео https://www.youtube.com/watch?v=evyslDnFyuc

... с трудом отлипнув через час от экрана, поразившись не столько эмоциональстью комментатора, сколько масштабом, увидел что стратегия 2007го года (ещё бы, кто сейчас захочет такое), что сделало её для меня ещё интереснее, ну если в неё до сих пор проходят турниры. Почитал - интересная судьба: она немного потерялась на фоне громких релизов StarCraft и C&C, но это не сделало её хуже. Когда-то я продолжительное время провёл в StarCraft, но когда игра перешла в сплошные тайминги микро-контроль - то понял, что для дальнейшее продолжения нужно много времени и тренировок, а это немного далеко от того что хотелось. Supreme Commander менее критична к таймингам и более к стратегии.

Интересная судьба самого Supreme Commander - потому как в 2010м появилась вторая часть, но она полностью была зашеймлена фанатами как раз из-за попытки упростить всё что было в первой части, в результате даже студия развалилась.

Собственно, после полного провала второй части, коммунити решило взять всё в свои руки - кучу модов и патчей, редакторы настроек, включая кучу кнопок и подобного. Отдельный клиент для online.

А во второй части я напишу про свои первые впечатления

#supremecommander

Supreme Commander. 2/2
... Так вот. Начал проходить только первую миссию, но уже это было с приключениями. Называется она Black Day. В общем начинается всё просто - переплыть небольшое море и расстрелять пару пушек и базу за ними. Казалось бы обычная вводная миссия как во многих играх, но, не тут-то было - воздух целиком у противника, и, если на своей базе ты успешно отстреливаешься, то послать транспорт уже не получается, нужное количество самолётов бысто не сделать. Причём, тут ещё важно что именно послать, потому как без щитов и противовоздушных орудий толку от пехоты мало, но, худо-бедно, это задание выполнить можно.

Но это ладно, как только ты расстрелял пушки, карта вдруг открывается (оказывается ты играл на 1/4 её части) и говорят что надо бы ещё защитить город, к которому надо бы ещё и пробиться, ты туда кое-как доходишь, и, вроде время выдохнуть, но ... карта открывается опять (оказывается ты начинал на 1/16 её части) и тут тебе сообщают, что противник послал себе отряд для поддержки. Отряд поддержки состоит из каких-то пауков и какого-то огромного робота с лазером который выносит любой твой юнит за десятые доли секунды, в попытках сопротивляться оказываться что ещё по морю со стороны тебе прислали крейсеры которые расстреливают твою базу.

Я было думал что я, видимо, первый кто запоролся на первом же задании, но в ютубе есть видео что и более опытным игрокам это не всегда просто. В итоге я прошёл, за вторую пока боюсь приниматься.

#supremecommander

Advent of Code

В 2021м году я решил для себя никогда не решать это больше. Это было хорошим развлечением, чтобы потратить рабочее время в офисе. Я очень рад за тех, кто тратит не более часа на любую задачу оттуда, но после условных 50% задач ты находишь себя что потратил уже 2.5 часа, дальше больше - 3 и уже 4 часа. Потом находится задача в которую упираешься, и решение продолжается на следующий день. Естественно, в этот момент ты уже отключен от мира и думаешь только о задаче - и после работы, и рано утром, и поздно ночью. Потом, я обнаружил в интернете целый жанр стримеров занимающиеся этим. Да, первая половина, как правило, полна бодрости, но вторая половина часто заканчивается уже к новому году в бледных тонах от лиц решающих.

В итоге минус месяц жизни, хорошо если офисной, Спасибо, но пожалуй нет. Для себя я решил что лучше будет перебороть это желание.

Думаю, особенно дурны начальники или сотрудники (с них спросу меньше) которые начинают это вбрасывать в какой-то рабочий чат, чтобы проверить у кого ещё есть порох, как бы кидая кость в стаю.

Кстати вот Project Euler https://projecteuler.net/ был хорош - вроде там не было каких-то особых таймеров и это не напоминало современную IT-потогонку. Может я как-то неправильно воспринимаю это, и надо просто решать, например, растянув удовольствие до конца следующего года, но что-то не получалось.

А на картинке решение восьмого дня на восходящей звезде семейства APL, а именно на BQN: https://mlochbaum.github.io/BQN/

ttop

В продолжении этого старого поста https://t.me/inv2004_dev_blog/55 вспомнил и доделал ttop до юзабельного состояния

ttop - утилита для мониторинга и сбора статистики о системе

Основные цели которые преследовал:
- сделать без особых страданий
- всe основнy параметры системы на одном экране
- снепшоты и можно бегать по истории парой кнопок
- видно график за день, что может помочь с нахождением точного снепшота

С удивлением обнаружил что не каждый современный Linux имеет установленный cron => все таймеры в systemd.timers

https://github.com/inv2004/ttop

#linux #ttop #nim