Завёл кворк под это дело, посмотрим спрос)
Все же я тут не только про IT, но и про фриланс 💰

🔗 Chainable async Python Queue Runner

Честно - мне сложно по-русски коротко назвать утилити)
Это инструмент очень сильной абстракции, использовать только в редких случаях!

Если в проекте удобно сначала собрать очередь задач, а только затем их последовательно запустить, а у меня такая ситуация и случилась, то предлагаю этот Gist

• Создаем объект QueueRunner
• Затем через метод .task - передаем в него аасинхронную функцию
• Если нужны аргументы, то чейним, как в некоторых конструкциях JavaScript следующий метод .args, и в него передаем требуемые аргменты для функции "Как есть".
Этот метод запишет в класс QueueTask аргументы для последней добавленной задачи
• Чтобы добавить новую задачу - достаточно так же чейном вызвать снова ту же последовательность, либо на объекте, сохраненном в переменной

Так к примеру - можно вынести крупные части логики, которая должна исполняться последовательно в разные файлы, у меня в проекте это Actions
Потом их собрать в нужном порядке в QueueRunner, при этом, между каждым вызовом метода можно выполнить доп логику основного потока логики.

И под конец вызвать асинхронный метод .run, который выполнит все сохраненные задачи последовательно.

Это позволяет построить достаточно сильную абстракцию, пихать где попало не стоит)
Но если у вас более 500 строк кода, в котором можно выделить явные последовательные блоки логики, при том некоторые из них условные (выполняются при соблюдении условий в операторе if), то вполне может пригодиться данная фишка)

🖼️ Gist

Попробую для начала себя в переводах, прежде чем делать свои ролики
Нужно поработать с голосом, привыкнуть, сложно с нуля и без опыта делать качественно 🤫

Самописная система кеширования запросов Playwright и ее польза

Реализовал систему кеширования, пока не универсальную, под мой проект.
Для разработки ботов для сайтов - пушка!

В моем кейсе кол-во запросов к реальному серверу сократилось с 80 до 10
А скорость загрузки с 8 сек до 0.8 сек (в 10 раз!) 🤫

Кроме ускорения загрузки страниц, как и скорости работы бота - еще более мощный бенефит в следующем:
Если сайт жестко ограничивает кол-во запросов, то мы их и не будем отправлять.
Так в моем кейсе на одну загрузку страницы тратится 50 запросов через playwright, тк часть кеширования урезана.
При работе через обычный браузер - это 16 запросов.
Сайт же ограничивает кол-во запросов до 200шт за 5 минут, после чего блокирует до окончания этого периода.
В таком режиме бот будет работать медленнее человека...

А с такой системой кеширования, бот не то-что просто будет работать быстрее, за счет мгновенного выполнения всех действий на странице, так еще и в 1.5 раза больше действий имеет право делать, не выходя из лимитов!

Я рад, мне нравится, надеюсь я правильно определил bottleneck, и теперь работа попрёт 😈

Подключается она всего в две строки сейчас, в будущем интерфейс будет изменен, естественно:

const browser = await chromium.launch(launchOptions);
const context = await browser.newContext();
const page = await context.newPage();

const cache = new PWCache(page);
await cache.run();

await page.goto('https://example.com');

Начал еще один проект 💻

На скрине промежуточный этап с таблицей, а в ней данные, с которыми будет вестись работа.

Кстати стек для меня полностью новый (FullStack Typescript):
• NextJS (React) + PrimeReact
• Drizzle (Для работы с базой данных)
• CCXT (Для работы с крипто биржами)
Интерпретатор и пакетный менеджер сейчас использую bun, с ним оказалось в таких проектах не всё гладко, но легко решаемо
А для работы с базой данных перебрал вручную около 5 библиотек, полноценно их развернув и опробовав в работе.
Среди которых запомнил были Knex, Prisma, MicroORM, TypeORM, но остановился на Drizzle, его концепция мне зашла больше всего, но могу отметить еще интересное решение Kysely

Если наберем 15 реакций на посте - расскажу подробнее о каждой, их отличиях и нюансах.
(Будет сложно, но можно привлечь друзей) 🤫

Угадает кто-то, что запланировано?
Подсказка: рабочее название "CArbitr"

🔴 Прошел стрим по Python, где я сделал форк библиотеки MailTm

Сделал перестановку, убрал с рабочего места все лишнее, чтобы не отвлекаться от работы, после чего запустил тестовый стрим.

В форке улучшил функционал, добавил типизацию, опубликовал его в PyPi и подключил к реальному проекту!

Для самых любопытных в конце поста ссылка на запись стрима 🫡
В целом получилось неплохо, если будет время нарежу его в видос (но это не точно, тк неплохо бы переозвучить)

В чем суть библиотеки?
Бывают проекты по автоматизации работы с сайтами, где требуется регистрировать новые аккаунты.
В таком случае супер удобно использовать временную почту. Для этого можно просто взять существующую библиотеку MailTm.
Но сервис, с которым она работает, дает возможность повторного использования почт, которые мы регистрируем. А бибиотека НЕТ!
Я был конечно удивлен... Особенно тем, что она лежит на официальном сайт, рядом с библиотекой для TypeScript, в которой весь этот функционал, внимание... ЕСТЬ!
Думал уже переписать свой проект с python на typescript, и даже начал это, как можно было заметить в предыдущих постах.
Сегодня же я принял решение переписать саму библиотеку, сделав форк и опубликовав её в официальные репозитории PyPi, чтобы можно было легко подключить и использовать в любом проекте. Ну и поделиться ей со всеми, естественно)

Что вышло
Теперь после регистрации аккаунта - можно сохранить не только адрес почты, но и пароль. Функция регистрации сама выдает pydantic модель Credentials с полями address и password
А затем, можно переиспользовать полученные данные без регистрации, сразу на новом методе login, вместо register
Плюс меня бесило отсутствие хоть каких подсказок при работе с библиотекой, например получая message в хэндлере для listener, который передается в start - мы получаем просто, какой-то dict...
Сейчас это pydantic модель Message, с довольно конкретным набором полей. Ну и плюсом будет, что ее можно обратно конвертировать в dict, просто вызвав message.model_dump() (из функционала pydantic)
Второе, чего мне не хватало, это остановка выполнения кода, пока не придет новое письмо, например с кодом подтверждения почты.
Приходилось реализовать класс-обертку для прошлой библиотеки, где все же реализовать удалось такой функционал, но в каждом проекте делать это не особо хотелось бы)
Теперь просто на нашем объекте класса Email достаточно вызвать wait_for_new_message(), и он будет ждать, пока не придет новое письмо, после чего вернет как результат модель Message и продолжится выполнение скрипта)

Итог:
Я с вдохновлением подошел к процессу, потому половину работы прокомментировал, хотя и вышло это непроизвольно, но подконец немного разошелся, подключил наушники и более активно стал выдавать детали, показал как подключить её в реальный проект, пофиксил баги, обновил в репозитории.
И даже показал на реальном проекте результат.

📹YouTube
🖼️ PyPi
🖼️ Github

Все таки нашли нормальное применение для Apple Vision PRO 😃

До этого все что придумали было довольно сомнительным

Кстати буду иногда подчищать тех, кто давно не был в сети
(2+ месяца)

Добавляйтесь в чат, появляется небольшой актив, буду поддерживать

Ну и зачисток не предвидится 😉

🔗 Чат канала

🖼️ Python urlpattern matching

Простая, но эффективная имплементация мэтчинга url запросов, для собственного роутинга на Python

Написал себе для проекта с узкоспециализированным самописным HTTP сервером

Более функциональная альтернатива этому - routes
Мне было интересно разобраться, как же все таки можно парсить url, и нужно было более легкое по синтаксису решение.

Сейчас, когда уже разобрался - считаю, что лучше написать обертку для routes, и использовать её.
Если понадобится расширить функционал сложной логикой - скорее всего перепишу с использованием библиотеки.

🖼️ Gist