گزارش تیم مهندسی یکی دیگه از شرکت‌ها برای سالی بین ۲۰۲۳-۲۰۲۵ توی اون رنج بود که شرکت خیلی خیلی بزرگی هم هست و تعداد درخواست‌هاش تازه به ۵۰۰۰ رسیده

توی دوران جنگ اخیر توی گروه گذاشتم ولی متاسفانه الان پیداش نکردم؛ حتما اگر پیدا کردم اون مورد رو هم اضافه می‌کنم.

ولی بنظرم همین مورد Stackoverflow هم مورد به اندازه ملموسی هست برای درک این موضوع.

خلاصه مشکل سواد و معماری هست؛ نه فریمورک و زبان برنامه‌نویسی

LLM
قراره جای برنامه نویس‌هارو بگیره ؟
من که کدم رو + دستورالعمل ریفکتور دادم تا برام تمیز کنه و خروجی که توی تصویر هست

نصف باگ‌های مدل‌های LLM رو من درآوردم باید بهم هزینه پرداخت کنند واقعا

پینوشت:
تازه ۳۵ دقیقه هم طول کشید. خودم میزدم ۲۰ دقیقه‌ای تموم می‌شد.

#Quick

from pydantic import SecretStr

لطفا ازین مورد استفاده کنید؛ نشستم لاگ سرور یک پروژه رو میخونم تمام اطلاعات سرور و اطلاعات کاربراش خیلی زیبا و خوانا توی لاگ هست.
قبلا هم یک موردی رو توی
@pyhints
یاد دادم برای لاگ نویسی موارد مهم.
لطفا از هر دو استفاده کنید؛ هیچ چیز مهمی نباید توی لاگ نوشته بشه.
بخصوص ایمیل و شماره‌تماس کاربر.

یادآوری :

https://t.me/pyHints/423

#Backend_RoadMap
#Sample_Project

زحمت این فایل رو شایان عزیز کشیده (با استفاده درست از AI) و توی گروه گذاشت من چندتا نکته رو اضافه کردم و با اجازه‌اش گفتم بعنوان نمونه اینجا منتشر کنم

پست بعدی نکاتی هست که من اضافه کردم.

Background jobs
رو توی دو مرحله پیاده‌سازی کن
مرحله اول رو با خود
Fastapi
پیاده سازی کن ببرش زیر لود تست بعد ببین چه اتفاقی میوفته
ADR-0015
رو نمیدونم چی هست ولی اینکه بدونی تا چه زمانی از خود
Fastapi
میتونی استفاده کنی خیلی مهمه بعدش برو روی Dramatiq
——————
Auth
رو با
Argon2
هم چک کن (خیلی واجب نیست فقط برای اینکه بهش آشنا باشی)‌
————————
برای متریک
prometheus_client
استاندارد اصلی هست
————————

چندتا چیز دیگه که بهتره اضافه کنی :
۱- لاگ رو وقتی با structlog زدی بعدش باید قابل خوندن و تحلیل هم باشه اما لزوما این کار رو روی سروری که اپ لانچ هست ممکنه انجام ندی :
پس یک چیزی برای جمع کردن لاگ همه اپ‌ها لازم میشه (توی پروداکشن معمولا)‌ یک نسخه خیلی خوب و سبک و عالی :
https://vector.dev/
هست
۲- نمایش همه این‌ها؛ خیلی وقتا لاگ - تریس - متریک جمع می‌کنیم ولی تا وقتی آنالیزش نکنیم نمی‌دونیم درست هست یا نه
https://grafana.com/

گرافانا برای این وقتا خیلی خوبه (البته نیازی نیست ساخت داشبورد و ... توش رو یاد بگیری اون کار تیم‌های دیگه‌اس)
ولی همین که ببینی دیتات توی این داشبورد چطوری نشون داده میشه نکته خوبی هست


پینوشت:
اگر از نظرت مشکلی نداره plan رو بذارم تو کانال به اسم خودت.
بعنوان نمونه اگر کسی خواست انجام بده

اینو یادداشت کرده بودم که بذارم:

تقریبا ۱.۵ سال پیش روی یک پروژه‌ای کار می‌کردم (فکر کنم گفتم جزو معدود پروژه‌هایی بود که از اول توی پروژه بودم)

امشب با مدیرعامل شرکت و صاحب پروژه صحبت می‌کردم (شاید پروژه دوم) می‌گفت علاوه بر دولوپر‌های بعدی ادمین دیتابیس هر چندوقت یکبار که روی دیتابیس کار می‌کنه ی دمش گرم هم به ما می‌گه.

من استاندارد‌های زیادی رو رعایت کردم روی اون پروژه ولی این ۵ خط بنظر میاد خیلی بچه‌هایی که روی دیتابیس کار می‌کنند رو راضی نگه‌داشته

class Base(AsyncAttrs, DeclarativeBase):
    metadata = sa.MetaData(
        naming_convention={
            "ix": "ix_%(column_0_label)s",
            "uq": "uq_%(table_name)s_%(column_0_name)s",
            "ck": "ck_%(table_name)s_%(column_0_name)s",
            "fk": "fk_%(table_name)s_%(column_0_name)s_%(referred_table_name)s",
            "pk": "pk_%(table_name)s",
        }
    )

من همیشه اینکار رو برای خودم می‌کنم که توی همه پروژه‌هام یک استاندارد رعایت شده باشه و راحت بتونم دیباگ کنم و بخونم؛ خلاصه برای راحتی خودم هست.

این حرفا رو که امشب شنیدم گفتم بذارم شما هم توی پروژه‌هاتون رعایت کنید.

امیدوارم مفید باشه

این ترکیب به راحتی می‌تونه خیلی از پروژه‌ها رو از Postgres به Sqlite منتقل کنه؛

Sqlite + Litestream

توی خیلی پروژه‌ها برای خودم پیش اومده که یک دیتابیس نیاز داشتم؛ شاید ۵-۱۰ تا جدول ولی اینکه فقط روی یک سرور نباشه هم برام مهم بوده که خب سرویس‌های کلاد رو استفاده می‌کردم.

همزمان هم Latency میرفت بالا هم کلی هزینه پرفورمنس واسه سربارهایی کار کردن با Postgres میدادم درحالی که به ۹۰٪ اون ویژگی‌ها نیازی نداشتم.

الان داشتم دنبال یک راهکار برای یک پروژه دیگه میگشتم و واقعا دلم نمی‌خواد Latency و Throughput ام بخاطر استفاده از Postgres کم بشه و بعد بشینم اپتیمایز کنم. بخصوص اینکه این دیتابیس هیچ دیتای حساسی نداره و فقط همین که دیتاها از بین نره برام مهم هست.

به چندتا راهکار رسیدم که بنظرم این ترکیب برای کار من برنده هست بخصوص اینکه RustFS رو همین الان داریم :

Turso + Litestream + Rustfs

بعد از پروژه یادم باشه نتایجش رو هم میذارم.

پینوشت: اگر خواستید بیشتر بررسی کنید
Turso
Litestream
Rustfs

یک آپشن روی sqlalchemy برای relationship هست که شخصا خیلی دوسش دارم؛ باعث میشه به کوئری که سمت دیتابیس میفرستم فکر کنم بجای اینکه ساده‌ترین راه رو انتخاب کنم.
هرجا هم که نیاز دارم دولوپر‌ها به کوئری‌هاشون دقت کنند حتما ازش استفاده می‌کنم.

lazy = "raise"

الان داشتم خروجی پروفایلینگ یک پروژه رو نگاه میکردم؛‌ توی RandRng گفتم راجبش.
دیدم خیلی کوئری‌های دیتابیس زمان بر هست؛ ی سرچ توی مدل‌های دیتابیس زدم و همه‌ی relationship هارو بهش؛
lazy = "raise"
اضافه کردم؛‌ تا دلتون بخواد ارور میگیریم حالا ولی باعث میشه همه به کوئری‌هاشون فکر کنند.

گفتم اینجا هم بذارم شاید بدرد کسی خورد.

بنظرم ویدئوهای کنفرانس امسال خیلی کم داره دیده میشه

PyData Youtube

داشتم داستان ۲ هفته troubleshoot کردنم برای یک شرکت رو می‌نوشتم و اینکه ۷ نفر قبل من رفته بودند و راهکاری پیدا نشده بود.
حتی بهشون جابجایی استک پایتون رو هم پیشنهاد داده بودند.
و حتی اینکه خرید سرور تا ۳ برابر قویتر هم کمکی نکرده بود.

که سیستمم خاموش شد (نوسان برق)

خلاصه‌اش رو بگم،
تیبل refresh token رو براش بکگراند جاب بنویسید تمیز کنه.
که اگر یکی refresh token رو اشتباهی گذاشت روی 1 ساعت و ۵ میلیون یوزر داشتید

توی چندین ساعت تیبل بزرگ نشه، شما اون باگ رو توی ۳ ساعت بعدش حل می‌کنید
ولی ماها بعد حجم اون تیبل چندین برابر میشه و سرچ کردن توش تمام کوئری‌ها رو کند می‌کنه و می‌شه چیزی که نباید بشه و خفت می‌شید.

تقریباً داشتم از پیدا کردن راهکار ناامید می‌شدم که مشکل رو پیدا کردم.

پینوشت:
۱- دسترسی گرفتن به سرور پروداکشن سخت بود، شاید تنبلی شایدم هرچیز دیگری نفرات قبلی اینکار رو نکرده بودند.

۲- من بعد از اطمینان از کد و البته تست لود و پروفایل روی سرور dev مطمئن شدم باید روی پروداکشن دنبالش بگردم

۳- حتی فکرشم نمی‌کردم مشکل از refresh باشه چون کد تغییری نکرده بود (۱ سال این بخش کدها دست نخورده بود، گیت‌لاگ) و البته آخرین تغییر فایل .env روی سرور هم برای ۷ ماه قبل بود ولی مشکل ۲ ماه پیش شروع شده بود.

۴- اگر سوال پیش اومد چرا refresh رو توی دیتابیس داریم در مورد jti, family id توی jwt بخونید.