Forwarded from Записки админа
⚙️ Eget - утилита, с помощью которой можно устанавливать ПО из репозиториев Github, в которых авторы разместили бинарные файлы своих программ.
https://github.com/zyedidia/eget
#github #будничное
https://github.com/zyedidia/eget
#github #будничное
Forwarded from HN Best Comments
Re: End the Streaming Struggle with Plex
I got so fed up with Plex constantly shoving their streaming service and nagging me to log into Plex servers when I just want to stream my own files locally that I threw my hands up and installed Jellyfin[0]. It's severely lacking in the same polish and functionality as Plex, but I'm pleased that I can run Jellyfin without ads or having to create a non-local account.
[0] https://github.com/jellyfin/jellyfin
keb_, 10 hours ago
I got so fed up with Plex constantly shoving their streaming service and nagging me to log into Plex servers when I just want to stream my own files locally that I threw my hands up and installed Jellyfin[0]. It's severely lacking in the same polish and functionality as Plex, but I'm pleased that I can run Jellyfin without ads or having to create a non-local account.
[0] https://github.com/jellyfin/jellyfin
keb_, 10 hours ago
GitHub
GitHub - jellyfin/jellyfin: The Free Software Media System - Server Backend & API
The Free Software Media System - Server Backend & API - jellyfin/jellyfin
Forwarded from Записки админа
🛠 xj - интересная утилита, которая позволяет html страницу конвертировать в json для дальнейшей её обработки.
#json #xj #будничное
$ wget -qO- "https://google.com" | xj | jqhttps://idiomdrottning.org/xj
$ wget -qO- "https://google.com" | xj | jq '..|select(.title?)[][]'
$ wget -qO- "https://google.com" | xj | jq '..|select(.link?)[][]'
#json #xj #будничное
Forwarded from Big Data Science [RU]
💥Зачем вам Modin: альтернатива Pandas для быстрой обработки Big Data
Обработка больших датафреймов с помощью Pandas происходит медленно, поскольку эта Python-библиотека не поддерживает работу с данными, которые не помещаются в доступную память. В результате рабочие процессы Pandas, которые хорошо работают для прототипирования нескольких МБ данных, не масштабируются до десятков или сотен ГБ реального датасета. Поэтому из-за однопоточного выполнения операций в оперативной памяти Pandas не очень подходит для обработки действительно больших наборов данных. с большими наборами данных. Есть альтернатива – Python-библиотека Modin с Pandas-подобным API, которая масштабируется по всем ядрам процессора, используя Dask или Ray движок.
Modin поддерживает работу с данными, которые не помещаются в памяти, так что вы можете комфортно работать с сотнями ГБ, не беспокоясь о существенном замедлении или ошибках памяти. Благодаря поддержке кластера и вне ядра Modin представляет собой библиотеку DataFrame с отличной производительностью на одном узле и высокой масштабируемостью в кластере.
В локальном режиме (без кластера) Modin создаст и будет управлять локальным (Dask или Ray) кластером для выполнения. При этом не нужно указывать, как распределять данные, или даже знать, сколько ядер у системы. Фактически, можно продолжать использовать код с Pandas, просто изменив оператор импорта библиотек с pandas на modin.pandas и получая значительное ускорение даже на одной машине. Modin обеспечивает ускорение до 4 раз на ноутбуке с 4 физическими ядрами.
Документация: https://modin.readthedocs.io/en/latest/index.html
Github: https://github.com/modin-project/modin
Обработка больших датафреймов с помощью Pandas происходит медленно, поскольку эта Python-библиотека не поддерживает работу с данными, которые не помещаются в доступную память. В результате рабочие процессы Pandas, которые хорошо работают для прототипирования нескольких МБ данных, не масштабируются до десятков или сотен ГБ реального датасета. Поэтому из-за однопоточного выполнения операций в оперативной памяти Pandas не очень подходит для обработки действительно больших наборов данных. с большими наборами данных. Есть альтернатива – Python-библиотека Modin с Pandas-подобным API, которая масштабируется по всем ядрам процессора, используя Dask или Ray движок.
Modin поддерживает работу с данными, которые не помещаются в памяти, так что вы можете комфортно работать с сотнями ГБ, не беспокоясь о существенном замедлении или ошибках памяти. Благодаря поддержке кластера и вне ядра Modin представляет собой библиотеку DataFrame с отличной производительностью на одном узле и высокой масштабируемостью в кластере.
В локальном режиме (без кластера) Modin создаст и будет управлять локальным (Dask или Ray) кластером для выполнения. При этом не нужно указывать, как распределять данные, или даже знать, сколько ядер у системы. Фактически, можно продолжать использовать код с Pandas, просто изменив оператор импорта библиотек с pandas на modin.pandas и получая значительное ускорение даже на одной машине. Modin обеспечивает ускорение до 4 раз на ноутбуке с 4 физическими ядрами.
Документация: https://modin.readthedocs.io/en/latest/index.html
Github: https://github.com/modin-project/modin
GitHub
GitHub - modin-project/modin: Modin: Scale your Pandas workflows by changing a single line of code
Modin: Scale your Pandas workflows by changing a single line of code - modin-project/modin
Forwarded from Записки админа
⚙️ The smallest Docker image to serve static websites - пост об очень маленьком образе контейнера для хостинга статического сайта. tl;dr - в контейнере запускают thttpd.
#container #thttpd #напочитать
#container #thttpd #напочитать
Florin Lipan
The smallest Docker image to serve static websites
Forwarded from DevOps&SRE Library
polaris
Validation of best practices in your Kubernetes clustershttps://github.com/FairwindsOps/polaris
Forwarded from Мониторим ИТ
Упрощаем мониторинг и управление контейнерами Docker при помощи инструментов CLI
Dockly, Dive, Ctop, Dry, Lazy Docker, Poco, Sen и Skopeo.
Dockly, Dive, Ctop, Dry, Lazy Docker, Poco, Sen и Skopeo.
Forwarded from DevOps&SRE Library
validkube
ValidKube combines the best open-source tools to help ensure Kubernetes YAML best practices, hygiene & security.https://github.com/komodorio/validkube
Forwarded from Технологический Болт Генона
Для тех, кто питонами балуется Bloomberg открыл интересный тул
Memray is a memory profiler for Python
https://github.com/bloomberg/memray
Тред, который подглядел в @nocproject
https://twitter.com/1st1/status/1516859294896906241
Memray is a memory profiler for Python
https://github.com/bloomberg/memray
Notable features:+
- Traces every function call so it can accurately represent the call stack, unlike sampling profilers.
- Also handles native calls in C/C++ libraries so the entire call stack is present in the results.
- Blazing fast! Profiling causes minimal slowdown in the application. Tracking native code is somewhat slower, but this can be enabled or disabled on demand.
- It can generate various reports about the collected memory usage data, like flame graphs.
- Works with Python threads.
- Works with native-threads (e.g. C++ threads in native extensions)
Memray can help with the following problems:
- Analyze allocations in applications to help discover the cause of high memory usage.
- Find memory leaks.
- Find hotspots in code which cause a lot of allocations.
Тред, который подглядел в @nocproject
https://twitter.com/1st1/status/1516859294896906241
Forwarded from OpenNews (HK-47)
Новый выпуск системы синтеза речи Silero
Доступен новый публичный выпуск нейросетевой системы синтеза речи Silero Text-to-Speech. Проект в первую очередь нацелен на создание современной высококачественной системы синтеза речи, не уступающей коммерческим решениям от корпораций и доступной для всех желающих без использования дорогого серверного оборудования.
Доступен новый публичный выпуск нейросетевой системы синтеза речи Silero Text-to-Speech. Проект в первую очередь нацелен на создание современной высококачественной системы синтеза речи, не уступающей коммерческим решениям от корпораций и доступной для всех желающих без использования дорогого серверного оборудования.