Python-инструмент для создания сложных пакетных конвейеров

Luigi - это полезный инструмент для Python, который помогает создавать сложные конвейеры пакетных заданий. Это значит, что с его помощью вы можете упростить управление своими проектами и организовать многочисленные задачи в одном месте.

Он умеет обрабатывать зависимости между задачами, управлять процессом выполнения работы, отображать прогресс и многое другое. Это все делает создание и управление сложными проектами намного проще и эффективнее.

Доступен на GitHub

Ставьте «❤️», если пост был полезным!

✔ Меню канала

ИИ не повышает продуктивность программистов!

Исследование компании Uplevel, в котором участвовали 800 разработчиков, показало, что использование ассистента CitHub Copilot и других инструментов для написания кода не повысило производительность работы.

Разработчики признались, что код, написанный с помощью ИИ, сложно анализировать, а также такой код имеет на 41% больше ошибок.

Ставьте «❤️», и пишите, что лучше ИИ или форумы в ИТ интернете!

✔ Меню канала

Почему троичный процессор - будущее?

Понятно, что бесконечно повышать производительность компьютер с помощью транзисторов не получится. Двоичная система счисления подходит к своему пределу.

Исследователи рассматривают два варианта: использовать троичную логику или перейти на квантовые компьютеры.

Троичная система счисления имеет свои преимущества: обработка отрицательных чисел, быстрое округление чисел с плавающей точкой. Это приводит к приросту производительности в диапазоне 20-25%. Троичная система счисления считается самой сбалансированной и ёмкой по объему чисел.

Ставьте «❤️», и пишите, вы об этом думаете!

✔ Меню канала

Алгоритмическая задача | №1

Напишите функцию, которая принимает массив чисел (arr) и число (target). Функция должна вернуть новый массив, в котором все числа, кроме target, отсортированы по возрастанию, но target остаётся на тех же позициях, что и в исходном массиве.

Пример:

Входные данные:
arr = [8, 3, 2, 8, 1, 7]
target = 8

Выходные данные:
[8, 1, 2, 8, 3, 7]

Пояснение: Числа, кроме 8, отсортированы по возрастанию, но 8 остаётся на своих исходных позициях.



Присылайте свои решения в комментарии! :)

✔ Меню канала

Голосовое управления для Minecraft на Python!

Всем привет, я автор этого канала, пользуясь возможностью хочу в очередной раз прорекламировать свой ютуб канал :D

Наконец то закончил делать новое видео. Из за учебы не так много времени и оно задержолось почти на месяц, зато я доволен результатом. В этом ролике я написал голосовое управление для майнкарафта, используя язык программирования Python. Буду безумно вам благодарен, если уделите 5 минут просмотру и напишите комментарий с критикой :)

🖤 Приятного просмотра!

Мошенники до сих пор не опустошили ваши карточки только благодаря TLS

TLS (Transport Layer Security) - протокол, который обеспечивает защиту данных во время их передачи по сети. Он работает на транспортном уровне сетевой модели OSI (пост про модели OSI) и отвечает за безопасную передачу данных между браузером и сервером.

TLS изначально использовался для оплаты в интернете, но сейчас он используется почти на всех серьёзных сайтах, а проверить использование TLS просто: адрес сайта начинается с https и рядом есть замок.

Ставьте «❤️», если пост был интересным!

✔ Меню канала

Hadoop: для чего он нужен?

Hadoop - это открытый платформенный проект Apache, который позволяет хранить и обрабатывать огромные наборы данных. Он делит данные на маленькие фрагменты и распределяет их по группе компьютеров, которые работают вместе, чтобы выполнить задачи параллельно и эффективно.

Hadoop состоит из четырех ключевых компонентов: HDFS (Hadoop Distributed File System), YARN (Yet Another Resource Negotiator), MapReduce и Common. Сегодня вечером рассмотрим компонент HDFS.

Ставьте «❤️», если пост оказался полезным!

✔ Меню канала

HDFS: как хранятся большие данные?

HDFS (Hadoop Distributed File System) - это файловая система для работы с большими данными в экосистеме Hadoop на распределенных кластерах. То есть все хранилища распределены между сотнями и тысячами устройств.

Большие данные - это данные с разнообразием и быстрым накоплением, невозможные для обработки на одном компьютере. HDFS - метод для обработки и хранения таких данных.

Ставьте «❤️», если пост понравился!

✔ Меню канала

Кто лучший друг Java-разработчика?

Главный его друг - Maven. Это инструмент для автоматической сборки проектов на Java и других языках. Он помогает разработчикам управлять зависимостями и структурировать проекты.

Maven является золотым стандартом в индустрии, хотя существуют и другие сборщики проектов, такие как Gradle и Ant.

Ставьте «❤️», и пишите, вы об этом думаете!

✔ Меню канала

Как работает процессор?

Мозг вашего компьютера - это процессор. Он состоит из 4 элементов: КЭШ L3, Ядер, контроллеров и опционально графического чипа. Схема работы процессора разделена на 4 этапа.

1 этап: чтобы процессор понял как выполнять программу требуется инструкция, которую он извлекает из оперативной памяти и отправляет в КЭШ L3, а затем уже в КЭШ L2 (который находится в каждом ядре) для выполнения вычислений, а от туда в КЭШ для инструкций.

2 Этап: инструкция превращается в команды микроопераций в декодере (он тоже находится в ядре), btw процессор может предсказать следующие инструкции, чтобы сэкономить время, отбрасывая неправильные предсказания.

Эти два этапа называются front-end :)

Ставьте «❤️», если пост вам понравился!

✔ Меню канала

JSON - что за формат?

JSON - стандартный текстовый формат для хранения и передачи данных. Основан на синтаксисе JavaScript,а также поддерживается многими языками.

До JSON, запросы к серверу требовали обновления страницы, замедляя работу сайтов. AJAX-запросы с JSON-форматом выполняются в фоновом режиме, ускоряя работу с веб-ресурсами.

Ставьте «❤️», если пост оказался интересным!

✔ Меню канала

Как работает процессор? | 2 часть

Продолжим тему процессора и рассмотрим последние два этапа.

3 этап: команды микроопераций, требующие определенного порядка, сначала упорядочиваются в буфере "переупорядочивания", а затем поступают в планировщик для постановки места и очереди выполнения.

4 этап: упорядоченные команды поступают через порт в регистр, а затем в "арифметико-логические" устройства ALU, где выполняются все вычисления. Результат записывается в КЭШ L2 или при необходимости в КЭШ L3 и в оперативную память.

Эти два этапа называются back-end 👩‍💻

Ставьте «❤️», если пост был полезным!

✔ Меню канала

Что такое хостинг и как он устроен?

Хостинг — это сервис для размещения сайтов или приложений. Грубо говоря, где-то далеко находится компьютер, который работает 24/7 без остановки. Этот компьютер имеет постоянный доступ к сети и на нем запущена какая-то программа.

По сути, услуга хостинга — это аренда серверных мощностей у компании, которая занимается этим профессионально. Приложение размещается на серверах компании-хостинга, которая обслуживает оборудование и поддерживает работоспособность ресурса.

Это только определение того, что такое хостинг. Если будет много реакций, сделаю серию постов, в которых разберем, что такое хостинг и как он устроен от А до Я!

✔ Меню канала

#чтотакое #хостинг

Вот поэтому Linux лучше Windows!

Linux - это популярная альтернатива операционной системе Windows и активно используется многими из-за своей конфиденциальности.

Мы все знаем, что Windows активно собирает данные пользователей и часто показывает рекламу, даже в меню "Пуск".

Linux же является open source, что означает, что любой может просмотреть, изучить и даже внести свои изменения в его коде.

Linux не собирает ваши данные, и в большинстве дистрибутивов сбора данных происходит только при согласии пользователя. Даже в таком случае объем собираемой информации минимизирован.

Ставьте «❤️», если уже перешли на 👩‍💻

✔ Меню канала

Релиз Python 3.13

7 октября 2024 года состоялся релиз Python 3.13 с экспериментальным JIT-компилятором. Давайте рассмотрим главный "плюс" новый версии Python.

В CPython добавлена экспериментальная реализация JIT-компилятора, ускоряющего выполнение кода. Этот режим сборки без GIL позволяет параллелизировать операции на многоядерных системах.

Отключение GIL приводит к дополнительным накладным расходам, но они могут компенсироваться распараллеливанием операций.

Ставьте «❤️», если тебя удивило отключение GIL в Python!

✔ Меню канала

Хостинг: Что такое дата центр?

Дата центр – большое помещения, в котором размещены серверные стойки, на которых находятся сервера. Сервер - это тот же компьютер, но с очень мощным процессором, быстрой оперативной памятью и огромным количеством жестких дисков для хранения данных.

Сервера имеют постоянный доступ к интернету и именно на них хранится и запущен тот сайт, который был загружен на хостинг.

Своими собственными дата-центрами могут похвастаться такие компании, как Google, Yandex, Facebook и многие другие.

Главное помнить, что дата-центры это не просто хранилища данных, а ключевая инфраструктура для работы интернета и облачных сервисов.

Ставьте «❤️», если ждете больше постов про хостинг!

✔ Меню канала

#хостинг #чтотакое

Утечка данных 31 млн пользователей

Сайт Internet Archive подвергся хакерской атаке, из-за которой утекли данные 31 миллиона пользователей. На сайте появилось JavaScript-уведомление о взломе, оставленное злоумышленником.

Утекшие данные включают электронные адреса, имена пользователей, пароли и другие внутренние данные.

Пользователям рекомендуется проверить, попали ли их данные в утечку, на сайте Have I Been Pwned.

Ставьте «❤️», если пост был познавательным!

✔ Меню канала

Какие бывают хостинг провайдеры?

Хостинг-провайдер или хостинговая компания, это компания, указывающая услуги хостинга. Всего они делятся на 3 типа:

Выделенный (dedicated) сервер - в этом случае клиент получает целый сервер для своего использование. Покупая выделенный сервер вы получаете очень много ресурсов, а именно многоядерный процессор и свыше 32гб оперативной память. Такой вариант подходит для сайтов с посещаемостью от 30 000 пользователей в сутки.

Виртуальный выделенный сервер (VPS/VDS) - тут один физический сервер виртуально разделяется на несколько более мелких серверов. Он конечно уступает в производительности, но стоит гораздно меньше чем выделенный сервер. Подходит для сайтов с посещаемостью 1000 - 30 000 пользователей в сутки.

Виртуальный хостинг - самый популярный вариант. В этом случае один сервер поделен на очень много маленьких. Идеально подойдет для простых сайтов или телеграмм ботов с посещаемостью до 1000 пользователей в сутки.

Ставьте «❤️», если этот пост оказался полезным для вас!

✔ Меню канала

#хостинг

Улучшение PostgreSQL с помощью PL/Python

PL/Python - расширение для PostgreSQL, которое позволяет создавать функции на Python. Это аналогично стандартной SQL-функции, но вместо SQL-запросов выписываете код на Python.

PL/Python предназначен для случаев, когда обычная SQL недостаточна. Когда требуется выполнить что-то действительно интересное: сложные вычисления, массивы данных или интеграция с аналитикой прямо в базе данных. Самое крутое, что вы можете использовать любые Python-библиотеки.

Ставьте «❤️», если пост был полезным!

✔ Меню канала

Как устроен хостинг?

Для того чтобы ваш сайт работал, недостаточно просто разместить его на мощном компьютере, который находится где то далеко работает безостановочно. Этот мощный компьютер также нужно правильно настроить, чтобы превратить его в сервер.

На серверах, где физически хранится сайт, установлено специальное серверное ПО: веб-сервер, сервер базы данных, FTP-сервер для обмена файлами и многое другое. Благодаря этому ваш сайт будет отображаться в интернете, а также будет корректно работать. Также на серверах установлены специальные операционные системы. Самые популярные из них — Microsoft Windows Server и Red Hat Enterprise Linux.

Ставьте «❤️», если хотите больше постов про хостинг!

✔ Меню канала

#хостинг

Микросервисная архитектура простыми словами

Микросервисная архитектура - это метод разработки программного обеспечения, который предполагает деление системы на небольшие независимые сервисы, каждый из которых выполняет определенную функцию и взаимодействует с другими сервисами через API.

Представьте, что вы организуете файлы на своём компьютере. Можно сложить всё в одну папку: и семейные фото, и любимые фильмы, и рабочие документы. Если у вас всего несколько файлов, несложно найти то, что нужно. Но если их сотни, придётся долго листать, прежде чем вы найдёте вторую часть «Гарри Поттера». Поэтому мы сортируем файлы по разным папкам.

Таким образом, микросервисы работают похоже: каждый сервис выполняет одну изолированную функцию, а затем взаимодействуют друг с другом через API.

Ставьте «❤️», если пост был полезным!

✔ Меню канала