🔵 عنوان مقاله
Tom Lane on 30 Years of Postgres Architecture
🟢 خلاصه مقاله:
تیم توسعهدهنده پایدار و پرافتخار Postgres همواره در عرصه بانکهای اطلاعاتی، نقش مهمی ایفا کرده است. یکی از اعضای کلیدی این تیم، تام لِین، که علاوه بر این نقش، در نوشتن استاندارد اولیه PNG هم مشارکت داشته است، در مصاحبهای مفصل درباره تجربیات و نظرات خود صحبت کرده است. در این مصاحبه، او دلایل استفادهی Postgres از فرایندها به جای نخها را توضیح میدهد و بر اهمیت قابلیت اطمینان، کانسپت MVCC و تفاوتهای نسخههای مختلف تأکید میکند، از جمله اینکه نسخهی ۱۳ برای او کمدوستداشتنیترین نسخه بوده است.
در این گفتگو، لِین به جزئیات فنی زیادی میپردازد، از مواردی که سبب شده است معماری Postgres به این شکل باقی بماند تا چالشهایی که در طول مسیر با آن مواجه شدهاند و راهحلهای مورد استفاده. او همچنین به مزایای و معایب استفاده از فرایندها اشاره میکند و دلایل اینکه چرا این معماری در عین حال مقاوم و قابل اعتماد است، را بازگو میکند. علاوه بر این، نظرات او دربارهی نسخههای مختلف و تغییرات آنها نشان میدهد که چطور توسعهدهندگان این سیستم، در برابر نیازهای در حال تحول، انعطافپذیر باقی ماندهاند.
در کنار متن نوشتاری، یک ویدیوی یک ساعته حاوی گفتگو کامل نیز موجود است که میتواند برای علاقهمندان به مباحث فنی و معماری سیستمهای مدیریت پایگاه داده منبع بسیار مفیدی باشد. این مصاحبه نه تنها نگاهی تخصصی به تاریخچه و ساختار Postgres است، بلکه دیدی عمیقتر نسبت به فرآیندهای توسعه و فرآیندهای تصمیمگیری در تیمهای فناوری اطلاعات ارائه میدهد.
#پایگاه_داده #Postgres #مهندسی_نرمافزار #معماری_سیستم
🟣لینک مقاله:
https://www.snowflake.com/en/blog/engineering/30-years-of-postgres-architecture-tom-lane/
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Tom Lane on 30 Years of Postgres Architecture
🟢 خلاصه مقاله:
تیم توسعهدهنده پایدار و پرافتخار Postgres همواره در عرصه بانکهای اطلاعاتی، نقش مهمی ایفا کرده است. یکی از اعضای کلیدی این تیم، تام لِین، که علاوه بر این نقش، در نوشتن استاندارد اولیه PNG هم مشارکت داشته است، در مصاحبهای مفصل درباره تجربیات و نظرات خود صحبت کرده است. در این مصاحبه، او دلایل استفادهی Postgres از فرایندها به جای نخها را توضیح میدهد و بر اهمیت قابلیت اطمینان، کانسپت MVCC و تفاوتهای نسخههای مختلف تأکید میکند، از جمله اینکه نسخهی ۱۳ برای او کمدوستداشتنیترین نسخه بوده است.
در این گفتگو، لِین به جزئیات فنی زیادی میپردازد، از مواردی که سبب شده است معماری Postgres به این شکل باقی بماند تا چالشهایی که در طول مسیر با آن مواجه شدهاند و راهحلهای مورد استفاده. او همچنین به مزایای و معایب استفاده از فرایندها اشاره میکند و دلایل اینکه چرا این معماری در عین حال مقاوم و قابل اعتماد است، را بازگو میکند. علاوه بر این، نظرات او دربارهی نسخههای مختلف و تغییرات آنها نشان میدهد که چطور توسعهدهندگان این سیستم، در برابر نیازهای در حال تحول، انعطافپذیر باقی ماندهاند.
در کنار متن نوشتاری، یک ویدیوی یک ساعته حاوی گفتگو کامل نیز موجود است که میتواند برای علاقهمندان به مباحث فنی و معماری سیستمهای مدیریت پایگاه داده منبع بسیار مفیدی باشد. این مصاحبه نه تنها نگاهی تخصصی به تاریخچه و ساختار Postgres است، بلکه دیدی عمیقتر نسبت به فرآیندهای توسعه و فرآیندهای تصمیمگیری در تیمهای فناوری اطلاعات ارائه میدهد.
#پایگاه_داده #Postgres #مهندسی_نرمافزار #معماری_سیستم
🟣لینک مقاله:
https://www.snowflake.com/en/blog/engineering/30-years-of-postgres-architecture-tom-lane/
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Snowflake
30 Years of Postgres Architecture: Tom Lane Interview
Explore 30 years of Postgres architecture with core committer Tom Lane. Learn about process isolation, MVCC, write-ahead logging, and threads.
🔵 عنوان مقاله
Jetpack: Consensus Made Generally Fast (OSDI '26) (4 minute read)
🟢 خلاصه مقاله:
در دنیای فناوریهای توزیعشده، سرعت و کارایی سیستمهای اجماع نقش بسیار مهمی دارند. یکی از چالشهای اصلی در این زمینه، کاهش تأخیر زمانی در اجرای عملیات است، به خصوص در سیستمهایی که حجم بالای نوشتن داده دارند. مقاله «Jetpack: اجماع سریعتر در حالت عمومی» در کنفرانس OSDI 2026 به بررسی رویکردی نوین در این حوزه میپردازد که هدف آن افزایش سرعت تأیید و ثبت تراکنشها است.
نسخه جدید Jetpack یک مسیر سریع و قابل حمل برای تایید سریع ۱-RTT را به سیستمهای اجماع موجود اضافه میکند. این افزونه، با کاهش چشمگیر تأخیر در پردازش عملیات نوشتن، تا ۶۰ درصد بهبود در کارایی را ممکن میسازد. در حالی که این روش ممکن است نیاز به کار اضافه، تاخیر در اجرای دستورها، و همچنین استفاده دقیق از مکانیزمهای بازیابی برای حفظ امنیت سیستم در زمان تغییر رهبرها داشته باشد، اما در نتیجه فرایندهای نوشتن سریعتر و بهینهتر اجرا میشوند.
در نتیجه، Jetpack با افزایش سرعت عملیاتهای مهم در سیستمهای توزیعشده، یک راهکار مؤثر برای بهبود عملکرد و کاهش زمان انتظار در تراکنشهای نوشتنی محسوب میشود، البته با توجه به چالشهای فنی و ضرورتی که برای نگهداری ثبات و امنیت سیستم وجود دارد. این نوآوری میتواند تحولی بزرگ در مدیریت تراکنشها در سیستمهای بزرگ و مقیاسپذیر باشد و دستاوردهای قابل توجهی در کاهش تاخیر و افزایش کارایی ارائه دهد.
#سیستمهای_توزیعپذیر #مفهوم_اجماع #پایگاهداده #فناورینوین
🟣لینک مقاله:
https://muratbuffalo.blogspot.com/2026/09/jetpack-consensus-made-generally-fast.html?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Jetpack: Consensus Made Generally Fast (OSDI '26) (4 minute read)
🟢 خلاصه مقاله:
در دنیای فناوریهای توزیعشده، سرعت و کارایی سیستمهای اجماع نقش بسیار مهمی دارند. یکی از چالشهای اصلی در این زمینه، کاهش تأخیر زمانی در اجرای عملیات است، به خصوص در سیستمهایی که حجم بالای نوشتن داده دارند. مقاله «Jetpack: اجماع سریعتر در حالت عمومی» در کنفرانس OSDI 2026 به بررسی رویکردی نوین در این حوزه میپردازد که هدف آن افزایش سرعت تأیید و ثبت تراکنشها است.
نسخه جدید Jetpack یک مسیر سریع و قابل حمل برای تایید سریع ۱-RTT را به سیستمهای اجماع موجود اضافه میکند. این افزونه، با کاهش چشمگیر تأخیر در پردازش عملیات نوشتن، تا ۶۰ درصد بهبود در کارایی را ممکن میسازد. در حالی که این روش ممکن است نیاز به کار اضافه، تاخیر در اجرای دستورها، و همچنین استفاده دقیق از مکانیزمهای بازیابی برای حفظ امنیت سیستم در زمان تغییر رهبرها داشته باشد، اما در نتیجه فرایندهای نوشتن سریعتر و بهینهتر اجرا میشوند.
در نتیجه، Jetpack با افزایش سرعت عملیاتهای مهم در سیستمهای توزیعشده، یک راهکار مؤثر برای بهبود عملکرد و کاهش زمان انتظار در تراکنشهای نوشتنی محسوب میشود، البته با توجه به چالشهای فنی و ضرورتی که برای نگهداری ثبات و امنیت سیستم وجود دارد. این نوآوری میتواند تحولی بزرگ در مدیریت تراکنشها در سیستمهای بزرگ و مقیاسپذیر باشد و دستاوردهای قابل توجهی در کاهش تاخیر و افزایش کارایی ارائه دهد.
#سیستمهای_توزیعپذیر #مفهوم_اجماع #پایگاهداده #فناورینوین
🟣لینک مقاله:
https://muratbuffalo.blogspot.com/2026/09/jetpack-consensus-made-generally-fast.html?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Blogspot
Jetpack: Consensus Made Generally Fast (OSDI '26)
Aleksey and I are back to reading papers live. This paper, Jetpack(OSDI '26), attempts building a universal 1-RTT fast-path framework that ...
🔵 عنوان مقاله
The Unbearable Lightness of 'One More Index'
🟢 خلاصه مقاله:
اضافه کردن یک شاخص جدید برای حل مشکلی در یک جدول پرکاربرد ممکن است در نگاه اول تصمیم منطقی و مفید به نظر برسد. این روش به مدیران و تحلیلگران کمک میکند تا سریعتر به مشکلات دست یافته و تصمیمگیریهای مربوطه را تسهیل کنند. اما باید توجه داشت که هر شاخص جدید، علاوه بر مزایای احتمالی، هزینهها و چالشهای خاص خودش را دارد. این هزینهها در طولانیمدت ممکن است افزایش یابند و تاثیر منفی بر کارایی و سادگی سیستم داشته باشند، مخصوصاً زمانی که تعداد شاخصها بیشتر و روند بهروزرسانی آنها پیچیدهتر میشود.
در این مقاله، نگاهی به معایب و مزایای وارد کردن شاخص جدید خواهیم داشت و چگونه میتوان ارزیابی دقیقی از تاثیرات آن انجام داد. درک تعادل بین فایدهها و هزینهها کلیدی است تا تصمیمات بهینهای اتخاذ شود؛ تصمیماتی که ضمن بهبود عملکرد، از پیچیدگی و هدررفت منابع جلوگیری کنند. در نتیجه، لازم است پیش از افزودن هر شاخص، بررسیهای لازم صورت گیرد تا بدانیم آیا واقعاً ارزش دارد و چه تاثیراتی بر فرآیندهای جاری خواهد داشت.
اضافه کردن شاخص ممکن است در ظاهر ساده و سودمند به نظر برسد، اما در عمل میتواند باعث افزایش بار کاری، پیچیدگی مدیریت دادهها و در نتیجه کاهش بازدهی شود. بنابراین، ارزیابی جامع و دقیق قبل از اجرای چنین تغییراتی اهمیت زیادی دارد تا بتوان تصمیمی آگاهانه گرفت و از مشکلات احتمالی جلوگیری کرد.
در نهایت، باید توجه داشت که موفقیت در مدیریت دادهها و شاخصها، نیازمند توازن هوشمندانه بین نیازهای عملیاتی و هزینههای اجرایی است. ارزیابی مداوم و منظم میتواند کمک کند تا شاخصها همواره مفید و کارآمد باقی بمانند و از ایجاد بار غیرضروری بر سیستم جلوگیری شود.
#مدیریت_داده #شاخص_های_کلیدی #تحلیل_داده #بهبود_عملکرد
🟣لینک مقاله:
https://boringsql.com/posts/unbearable-lightness-of-one-more-index/
➖➖➖➖➖➖➖➖
👑 @Database_Academy
The Unbearable Lightness of 'One More Index'
🟢 خلاصه مقاله:
اضافه کردن یک شاخص جدید برای حل مشکلی در یک جدول پرکاربرد ممکن است در نگاه اول تصمیم منطقی و مفید به نظر برسد. این روش به مدیران و تحلیلگران کمک میکند تا سریعتر به مشکلات دست یافته و تصمیمگیریهای مربوطه را تسهیل کنند. اما باید توجه داشت که هر شاخص جدید، علاوه بر مزایای احتمالی، هزینهها و چالشهای خاص خودش را دارد. این هزینهها در طولانیمدت ممکن است افزایش یابند و تاثیر منفی بر کارایی و سادگی سیستم داشته باشند، مخصوصاً زمانی که تعداد شاخصها بیشتر و روند بهروزرسانی آنها پیچیدهتر میشود.
در این مقاله، نگاهی به معایب و مزایای وارد کردن شاخص جدید خواهیم داشت و چگونه میتوان ارزیابی دقیقی از تاثیرات آن انجام داد. درک تعادل بین فایدهها و هزینهها کلیدی است تا تصمیمات بهینهای اتخاذ شود؛ تصمیماتی که ضمن بهبود عملکرد، از پیچیدگی و هدررفت منابع جلوگیری کنند. در نتیجه، لازم است پیش از افزودن هر شاخص، بررسیهای لازم صورت گیرد تا بدانیم آیا واقعاً ارزش دارد و چه تاثیراتی بر فرآیندهای جاری خواهد داشت.
اضافه کردن شاخص ممکن است در ظاهر ساده و سودمند به نظر برسد، اما در عمل میتواند باعث افزایش بار کاری، پیچیدگی مدیریت دادهها و در نتیجه کاهش بازدهی شود. بنابراین، ارزیابی جامع و دقیق قبل از اجرای چنین تغییراتی اهمیت زیادی دارد تا بتوان تصمیمی آگاهانه گرفت و از مشکلات احتمالی جلوگیری کرد.
در نهایت، باید توجه داشت که موفقیت در مدیریت دادهها و شاخصها، نیازمند توازن هوشمندانه بین نیازهای عملیاتی و هزینههای اجرایی است. ارزیابی مداوم و منظم میتواند کمک کند تا شاخصها همواره مفید و کارآمد باقی بمانند و از ایجاد بار غیرضروری بر سیستم جلوگیری شود.
#مدیریت_داده #شاخص_های_کلیدی #تحلیل_داده #بهبود_عملکرد
🟣لینک مقاله:
https://boringsql.com/posts/unbearable-lightness-of-one-more-index/
➖➖➖➖➖➖➖➖
👑 @Database_Academy
boringSQL | Supercharge your SQL & PostgreSQL powers
The unbearable lightness of one more index
Thirty PostgreSQL schemas written by coding agents, loaded and measured. The indexes are competent; the cumulative cost is not.
🔵 عنوان مقاله
Diskless Kafka: What Happens When Brokers Stop Owning the Data? (16 minute read)
🟢 خلاصه مقاله:
در دنیایی فناوری پیشرفته، سیستمهای مدیریت پیام مانند Kafka نقش حیاتی در انتقال دادههای بیوقفه و مطمئن ایفا میکنند. اما چگونه میتوان این سیستم را به سمت بهرهوری بیشتر و هزینههای کمتر هدایت کرد؟ یکی از فناوریهای نوین که در این مسیر بسیار مورد توجه قرار گرفته است، «Kafka بدون دیسک» یا همان Diskless Kafka است. این فناوری، با حفظ رابط برنامهنویسی Kafka، به جای نگهداری دادههای مهم روی دیسکهای محلی بروکرها، آنها را به فضای ابری و حافظههای جامد و دائمی منتقل میکند، و در عین حال، اطلاعات متا دیتا را با سطح اطمینان بسیار بالا نگهداری مینماید.
در واقع، این تحول، هزینههای نگهداری را کاهش میدهد و مزایای دیگری نیز به همراه دارد. با حذف نیاز به ذخیرهسازی دیسک، فرآیندهایی مانند دستهبندی دادهها، تخصیص آفست، بازیابی اطلاعات، فشردهسازی پیامها و مدیریت تراکم دادهها، دستخوش تغییراتی اساسی میشوند. این تغییرات باعث میشود که امکان پشتیبانی از ویژگیهای مختلف در هر نمونهکاربری یا بار کاری ویژه، به جای یک راهحل عمومی برای تمامی موارد، وجود داشته باشد. بنابراین، استفاده از Kafka بدون دیسک، نه تنها روشی اقتصادیتر، بلکه رویکردی منعطفتر است که نیازهای خاص هر پروژه را بهتر برآورده میکند.
در نتیجه، فناوری Diskless Kafka به عنوان یک گزینه نوین، در آینده میتواند بخش مهمی از زیرساختهای انتقال دادههای مقیاس بزرگ و پیچیده باشد، اما مهم است توجه داشت که این تغییرات، میتواند بر عملکردهایی مانند زمان پاسخ، امکان بازیابی و مدیریت دادهها تأثیرگذار باشد و باید بر اساس نیازهای خاص هر سازمان ارزیابی شود.
#کافکا #فناوری_نوین #مدیریت_داده #پایگاه_داده
🟣لینک مقاله:
https://softwaremill.com/diskless-kafka-object-storage-kip-1150-and-kafkas-future/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Diskless Kafka: What Happens When Brokers Stop Owning the Data? (16 minute read)
🟢 خلاصه مقاله:
در دنیایی فناوری پیشرفته، سیستمهای مدیریت پیام مانند Kafka نقش حیاتی در انتقال دادههای بیوقفه و مطمئن ایفا میکنند. اما چگونه میتوان این سیستم را به سمت بهرهوری بیشتر و هزینههای کمتر هدایت کرد؟ یکی از فناوریهای نوین که در این مسیر بسیار مورد توجه قرار گرفته است، «Kafka بدون دیسک» یا همان Diskless Kafka است. این فناوری، با حفظ رابط برنامهنویسی Kafka، به جای نگهداری دادههای مهم روی دیسکهای محلی بروکرها، آنها را به فضای ابری و حافظههای جامد و دائمی منتقل میکند، و در عین حال، اطلاعات متا دیتا را با سطح اطمینان بسیار بالا نگهداری مینماید.
در واقع، این تحول، هزینههای نگهداری را کاهش میدهد و مزایای دیگری نیز به همراه دارد. با حذف نیاز به ذخیرهسازی دیسک، فرآیندهایی مانند دستهبندی دادهها، تخصیص آفست، بازیابی اطلاعات، فشردهسازی پیامها و مدیریت تراکم دادهها، دستخوش تغییراتی اساسی میشوند. این تغییرات باعث میشود که امکان پشتیبانی از ویژگیهای مختلف در هر نمونهکاربری یا بار کاری ویژه، به جای یک راهحل عمومی برای تمامی موارد، وجود داشته باشد. بنابراین، استفاده از Kafka بدون دیسک، نه تنها روشی اقتصادیتر، بلکه رویکردی منعطفتر است که نیازهای خاص هر پروژه را بهتر برآورده میکند.
در نتیجه، فناوری Diskless Kafka به عنوان یک گزینه نوین، در آینده میتواند بخش مهمی از زیرساختهای انتقال دادههای مقیاس بزرگ و پیچیده باشد، اما مهم است توجه داشت که این تغییرات، میتواند بر عملکردهایی مانند زمان پاسخ، امکان بازیابی و مدیریت دادهها تأثیرگذار باشد و باید بر اساس نیازهای خاص هر سازمان ارزیابی شود.
#کافکا #فناوری_نوین #مدیریت_داده #پایگاه_داده
🟣لینک مقاله:
https://softwaremill.com/diskless-kafka-object-storage-kip-1150-and-kafkas-future/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
SoftwareMill
Diskless Kafka: Object Storage, KIP-1150, and Kafka’s Future
Diskless Kafka moves the active log to object storage. See how KIP-1150, WarpStream, AutoMQ and Redpanda reshape Kafka’s write path, metadata and cost.
🔵 عنوان مقاله
Troubleshooting Row Lock Contention in Amazon Aurora PostgreSQL
🟢 خلاصه مقاله:
در سیستمهای پایگاه داده، برخورد با مشکل مسدود شدن ردیفها یا همان "رولاک کنتِنت" یکی از چالشهای رایج و مهم است که ممکن است عملکرد کلی دیتابیس را تحت تاثیر قرار دهد. هنگامی که چندین تراکنش همزمان سعی در دسترسی یا تغییر یک ردیف خاص داشته باشند، امکان دارد قفلهایی ایجاد شود که باعث کند شدن یا توقف عملیات میشود. برای مدیران پایگاه داده و توسعهدهندگان، تشخیص و حل سریع این نوع تداخلها اهمیت بالایی دارد تا از کاهش کارایی و تجربه کاربری منفی جلوگیری شود.
در قسمت دوم این راهنمای جامع، به شما نشان داده میشود چگونه با بهرهگیری از ابزارهای داخلی سیستم مانند نماهای (ویوهای) پیشفرض، ابزارهای خاص مانند pgrowlocks و همچنین ثبت و تحلیل لاگهای انتظار قفلها، به ردگیری منشأ و منبع این تداخل بپردازید. این روشها امکان مانیتورینگ دقیق وضعیت قفلها و شناسایی تراکنشهایی که باعث مسدودیت میشوند را فراهم میآورد و در نتیجه توانایی شما در مدیریت منابع و بهبود عملکرد سیستم افزایش مییابد. پس از شناسایی مشکل، مقاله به بررسی راهکارهای موثری میپردازد تا بتوانید این وضعیتها را برطرف کرده و سیستم را به حالت بهینه برگردانید.
در این فرآیند، استفاده از ابزارهای مجهز AWS و تکنیکهای تشخیص سریع مشکل، به شما کمک میکند تا در کمترین زمان ممکن، مشکل تداخل قفلها را حل و فصل کنید و از بروز خطاهای احتمالی در سامانههای حساس جلوگیری نمایید.
#پایگاه_داده #AuroraPostgreSQL #مدیریت_قفلها #توسعه_نرمافزار
🟣لینک مقاله:
https://aws.amazon.com/blogs/database/troubleshooting-row-lock-contention-in-amazon-aurora-postgresql-part-1-understanding-row-lock-contention-in-postgresql/
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Troubleshooting Row Lock Contention in Amazon Aurora PostgreSQL
🟢 خلاصه مقاله:
در سیستمهای پایگاه داده، برخورد با مشکل مسدود شدن ردیفها یا همان "رولاک کنتِنت" یکی از چالشهای رایج و مهم است که ممکن است عملکرد کلی دیتابیس را تحت تاثیر قرار دهد. هنگامی که چندین تراکنش همزمان سعی در دسترسی یا تغییر یک ردیف خاص داشته باشند، امکان دارد قفلهایی ایجاد شود که باعث کند شدن یا توقف عملیات میشود. برای مدیران پایگاه داده و توسعهدهندگان، تشخیص و حل سریع این نوع تداخلها اهمیت بالایی دارد تا از کاهش کارایی و تجربه کاربری منفی جلوگیری شود.
در قسمت دوم این راهنمای جامع، به شما نشان داده میشود چگونه با بهرهگیری از ابزارهای داخلی سیستم مانند نماهای (ویوهای) پیشفرض، ابزارهای خاص مانند pgrowlocks و همچنین ثبت و تحلیل لاگهای انتظار قفلها، به ردگیری منشأ و منبع این تداخل بپردازید. این روشها امکان مانیتورینگ دقیق وضعیت قفلها و شناسایی تراکنشهایی که باعث مسدودیت میشوند را فراهم میآورد و در نتیجه توانایی شما در مدیریت منابع و بهبود عملکرد سیستم افزایش مییابد. پس از شناسایی مشکل، مقاله به بررسی راهکارهای موثری میپردازد تا بتوانید این وضعیتها را برطرف کرده و سیستم را به حالت بهینه برگردانید.
در این فرآیند، استفاده از ابزارهای مجهز AWS و تکنیکهای تشخیص سریع مشکل، به شما کمک میکند تا در کمترین زمان ممکن، مشکل تداخل قفلها را حل و فصل کنید و از بروز خطاهای احتمالی در سامانههای حساس جلوگیری نمایید.
#پایگاه_داده #AuroraPostgreSQL #مدیریت_قفلها #توسعه_نرمافزار
🟣لینک مقاله:
https://aws.amazon.com/blogs/database/troubleshooting-row-lock-contention-in-amazon-aurora-postgresql-part-1-understanding-row-lock-contention-in-postgresql/
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Amazon
Troubleshooting row lock contention in Amazon Aurora PostgreSQL: Part 1 – Understanding row lock contention in PostgreSQL | Amazon…
Row lock contention can collapse database throughput during a flash sale even when CPU and I/O look healthy. In Part 1 of this series, learn how PostgreSQL row locking works and how to monitor lock contention in Amazon Aurora PostgreSQL and Amazon RDS for…
🔵 عنوان مقاله
Plan Advice in Postgres 19
🟢 خلاصه مقاله:
در نسخه ۱۹ پستگرس، قابلیتهای جدیدی برای بهبود فرآیند برنامهریزی و بهینهسازی اجرای کوئریها معرفی شده است. یکی از این امکانات، دو ماژول جدید به نامهای pg_plan_advice و pg_stash_advice است که به مدیران پایگاهداده این امکان را میدهند تا راهنماییهای مربوط به برنامهریز (planner advice) را جمعآوری کرده، به صورت انتخابی اعمال کنند و حتی این راهنماییها را به طور خودکار بر اساس شناسهی کوئریها پیادهسازی نمایند. این قابلیتها به توسعهدهندگان و مدیران متخصص کمک میکند تا بهینهسازیهای دقیقتر و هدفمندتری برای کوئریها انجام دهند، به طوری که بهترین عملکرد سیستم در حین اجرای تراکنشها حفظ شود. در این مقاله، دیمیتری روند کاری این سیستم را به صورت گامبهگام توضیح میدهد و نشان میدهد چگونه میتوان از این ابزارهای جدید در محیطهای مختلف بهرهمند شد.
در نسخه جدید پستگرس، ابزارهای مبتکرانهای برای جمعآوری و مدیریت نکات مربوط به برنامهریز طراحی شدهاند که به صاحبان پایگاهداده کمک میکنند به صورت مؤثرتر به بهبود کارایی سیستم بپردازند. این ابزارها امکان ضبط راهنماییهایی را فراهم میآورند که معمولاً در طول فرآیند برنامهریزی کوئریها دریافت میشوند و میتوان آنها را بر اساس نیازهای خاص، به صورت دستی یا خودکار به اجرا درآورد. ترکیب این امکانات، تحول چشمگیری در مدیریت و بهینهسازی کوئریها ایجاد میکند و انعطاف و کنترل بیشتری در دسترس مدیران قرار میدهد تا سیستم را مطابق با معیارهای دقیقتر بهبود بخشند.
در نهایت، این فناوریها نشان میدهند که توسعه مداوم در پستگرس، چطور میتواند فرآیندهای مدیریت، نظارت و بهینهسازی پایگاهداده را هوشمندانهتر و کارآمدتر سازد. با استفاده از این ابزارها، میتوان استراتژیهای بهبود کارایی را به صورت هدفمند پیادهسازی کرد و از بهرهوری بالاتر در اجرای عملیات داده بهرهمند شد، مسیری که مطمئناً آیندهی مدیریت پایگاهدادهها را تغییر خواهد داد.
#پستگرس #پایگاه_داده #بهینهسازی #برنامهریزی
🟣لینک مقاله:
https://tapoueh.org/blog/2026/09/plan-advice-in-postgresql-19/
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Plan Advice in Postgres 19
🟢 خلاصه مقاله:
در نسخه ۱۹ پستگرس، قابلیتهای جدیدی برای بهبود فرآیند برنامهریزی و بهینهسازی اجرای کوئریها معرفی شده است. یکی از این امکانات، دو ماژول جدید به نامهای pg_plan_advice و pg_stash_advice است که به مدیران پایگاهداده این امکان را میدهند تا راهنماییهای مربوط به برنامهریز (planner advice) را جمعآوری کرده، به صورت انتخابی اعمال کنند و حتی این راهنماییها را به طور خودکار بر اساس شناسهی کوئریها پیادهسازی نمایند. این قابلیتها به توسعهدهندگان و مدیران متخصص کمک میکند تا بهینهسازیهای دقیقتر و هدفمندتری برای کوئریها انجام دهند، به طوری که بهترین عملکرد سیستم در حین اجرای تراکنشها حفظ شود. در این مقاله، دیمیتری روند کاری این سیستم را به صورت گامبهگام توضیح میدهد و نشان میدهد چگونه میتوان از این ابزارهای جدید در محیطهای مختلف بهرهمند شد.
در نسخه جدید پستگرس، ابزارهای مبتکرانهای برای جمعآوری و مدیریت نکات مربوط به برنامهریز طراحی شدهاند که به صاحبان پایگاهداده کمک میکنند به صورت مؤثرتر به بهبود کارایی سیستم بپردازند. این ابزارها امکان ضبط راهنماییهایی را فراهم میآورند که معمولاً در طول فرآیند برنامهریزی کوئریها دریافت میشوند و میتوان آنها را بر اساس نیازهای خاص، به صورت دستی یا خودکار به اجرا درآورد. ترکیب این امکانات، تحول چشمگیری در مدیریت و بهینهسازی کوئریها ایجاد میکند و انعطاف و کنترل بیشتری در دسترس مدیران قرار میدهد تا سیستم را مطابق با معیارهای دقیقتر بهبود بخشند.
در نهایت، این فناوریها نشان میدهند که توسعه مداوم در پستگرس، چطور میتواند فرآیندهای مدیریت، نظارت و بهینهسازی پایگاهداده را هوشمندانهتر و کارآمدتر سازد. با استفاده از این ابزارها، میتوان استراتژیهای بهبود کارایی را به صورت هدفمند پیادهسازی کرد و از بهرهوری بالاتر در اجرای عملیات داده بهرهمند شد، مسیری که مطمئناً آیندهی مدیریت پایگاهدادهها را تغییر خواهد داد.
#پستگرس #پایگاه_داده #بهینهسازی #برنامهریزی
🟣لینک مقاله:
https://tapoueh.org/blog/2026/09/plan-advice-in-postgresql-19/
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Dimitri Fontaine
Plan Advice in PostgreSQL 19
There is a conversation that happens in every PostgreSQL shop eventually. A query that has been fine for a year gets slow overnight. Nothing was deployed. The …
🔵 عنوان مقاله
WalShadow: Replicating Postgres to ClickHouse from Physical WAL
🟢 خلاصه مقاله:
در دنیای مدیریت پایگاههای داده، یکی از چالشهای اصلی، انتقال سریع و کارآمد دادهها است. اخیراً، توسعهدهندگان بر روی ابزارهای نوین تمرکز کردهاند که فرآیند تکرار یا همگامسازی دادهها را سادهتر و سریعتر میکند. یکی از این ابزارهای جدید، WalShadow نام دارد که برای تکثیر دادههای پایگاه داده Postgres به ClickHouse طراحی شده است.
این فناوری جدید، راهکاری متن باز است که بدون نیاز به رمزگشایی منطقی (logical decoding)، قادر است دادههای PostgreSQL را در زمان واقعی به ClickHouse منتقل کند. مهمترین مزیت این سیستم، کاهش چشمگیر زمان تا نمایش دادهها است؛ بر اساس گزارشها، زمان تأخیر قبل از نشان دادن تراکنشها در ClickHouse حدود ۲۰۰ میلیثانیه است که این رقم در اکثر سیستمهای مشابه بسیار بهتر است و امکان واکنش سریعتر در تحلیلهای دادهای را فراهم میآورد.
استفاده از WalShadow نه تنها فرآیند همگامسازی را سادهتر میکند، بلکه با بهینهسازی بهرهوری، فضای ذخیرهسازی و منابع سیستم را نیز بهبود میبخشد. این ابزار، راهکاری قدرتمند برای تیمهای تحلیل داده و توسعهدهندگانی است که نیاز دارند دادههای زنده و بهروز را در اکوسیستمهای مختلف مقیاسپذیر نگه دارند، بدون اینکه دچار تأخیرهای ناشی از روشهای سنتی شوند.
در مجموع، WalShadow نشان میدهد که آینده انتقال دادهها به سمت راهکارهای سریع و کارآمد حرکت میکند، جایی که زمان تأخیر در کارهای تحلیلی دچار کاهش چشمگیر میشود و فرآیندهای تصمیمگیری سریعتر و موثرتر انجام میگیرد.
#انتقال_داده #PostgreSQL #ClickHouse #علوم_داده
🟣لینک مقاله:
https://clickhouse.com/blog/introducing-walshadow
➖➖➖➖➖➖➖➖
👑 @Database_Academy
WalShadow: Replicating Postgres to ClickHouse from Physical WAL
🟢 خلاصه مقاله:
در دنیای مدیریت پایگاههای داده، یکی از چالشهای اصلی، انتقال سریع و کارآمد دادهها است. اخیراً، توسعهدهندگان بر روی ابزارهای نوین تمرکز کردهاند که فرآیند تکرار یا همگامسازی دادهها را سادهتر و سریعتر میکند. یکی از این ابزارهای جدید، WalShadow نام دارد که برای تکثیر دادههای پایگاه داده Postgres به ClickHouse طراحی شده است.
این فناوری جدید، راهکاری متن باز است که بدون نیاز به رمزگشایی منطقی (logical decoding)، قادر است دادههای PostgreSQL را در زمان واقعی به ClickHouse منتقل کند. مهمترین مزیت این سیستم، کاهش چشمگیر زمان تا نمایش دادهها است؛ بر اساس گزارشها، زمان تأخیر قبل از نشان دادن تراکنشها در ClickHouse حدود ۲۰۰ میلیثانیه است که این رقم در اکثر سیستمهای مشابه بسیار بهتر است و امکان واکنش سریعتر در تحلیلهای دادهای را فراهم میآورد.
استفاده از WalShadow نه تنها فرآیند همگامسازی را سادهتر میکند، بلکه با بهینهسازی بهرهوری، فضای ذخیرهسازی و منابع سیستم را نیز بهبود میبخشد. این ابزار، راهکاری قدرتمند برای تیمهای تحلیل داده و توسعهدهندگانی است که نیاز دارند دادههای زنده و بهروز را در اکوسیستمهای مختلف مقیاسپذیر نگه دارند، بدون اینکه دچار تأخیرهای ناشی از روشهای سنتی شوند.
در مجموع، WalShadow نشان میدهد که آینده انتقال دادهها به سمت راهکارهای سریع و کارآمد حرکت میکند، جایی که زمان تأخیر در کارهای تحلیلی دچار کاهش چشمگیر میشود و فرآیندهای تصمیمگیری سریعتر و موثرتر انجام میگیرد.
#انتقال_داده #PostgreSQL #ClickHouse #علوم_داده
🟣لینک مقاله:
https://clickhouse.com/blog/introducing-walshadow
➖➖➖➖➖➖➖➖
👑 @Database_Academy
ClickHouse
Introducing WalShadow: Sub-second Postgres replication to ClickHouse from physical WAL | ClickHouse
WalShadow replicates Postgres data directly from physical WAL into ClickHouse, delivering around 200 ms latency and 289,000 rows per second in benchmarks.
🔵 عنوان مقاله
Evolving Pinterest's Embedding Retrieval Platform (8 minute read)
🟢 خلاصه مقاله:
پلتفرم بازیابی و کاوش بر پایه نشانکهای تصویری پینترست، در حال حاضر میلیونها نشانک مختلف را در بخشهای متنوعی مانند فید خانه، جستجو، پینهای مرتبط، تبلیغات و اعلانها مدیریت میکند. این سیستم با بهرهگیری از فناوریهای نوین، توانسته است هزینههای پردازش را تا ۲۰ تا ۳۰ درصد کاهش دهد؛ یکی از این فناوریها، فشردهسازی یا کیوبیزهسازی است که میزان نیاز به منابع سروری را به شدت کاهش میدهد. همچنین، آزمایشهایی که بر روی جستجوهای مبتنی بر الگوریتمهای تقریبی نزدیکترین همسایگی (ANN) و بر پایه درایوهای حالتدار (SSD) انجام شده، باعث محدود کردن نیازهای حافظه و پردازنده میشوند و بهبودهای قابل توجهی در کارایی سیستم به همراه داشته است.
در کنار این، پلتفرم پینترست در حال حرکت به سمت استفاده از چند نشانک (multi-embedding) برای بازیابی و رتبهبندی بهتر محتوا است. این روش، تغییراتی است که صرفاً بر روی مقایسه یک واژه یا نشانک واحد تمرکز ندارد، بلکه توانایی ارزیابی چند نشانک مختلف و غنیتر کردن فرآیند امتیازدهی به کاندیداهای محتوا را داراست. این رویکرد، ما را فراتر از حالت پیشین میبرد که تنها بر شباهت میان دو وکتور تمرکز داشت و نمونههایی با ویژگیهای چندگانه و جامعتر را بهتر شناسایی میکند، در نتیجه تجربه بهتری برای کاربران فراهم میآورد و نتایج جستجو را دقیقتر و مرتبطتر میسازد.
در مجموع، این فناوریهای نوین، سرعت و بهرهوری پلتفرم پینترست را افزایش داده، هزینهها را کاهش داده و کارایی سیستم را به حد چشمگیری ارتقاء میبخشد. آینده این سیستم، بهرهگیری بیشتر از تکنولوژیهای پیشرفته برای درک بهتر محتوا و ارائه نتایج جستجوی شخصیسازیشدهتر است که جذابیت و رضایت کاربران را افزایش میدهد.
#پینترست #هوش_مصنوعی #توسعه_پایدار #فناوری
🟣لینک مقاله:
https://medium.com/pinterest-engineering/evolving-pinterests-embedding-retrieval-platform-aede4e831e01?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Evolving Pinterest's Embedding Retrieval Platform (8 minute read)
🟢 خلاصه مقاله:
پلتفرم بازیابی و کاوش بر پایه نشانکهای تصویری پینترست، در حال حاضر میلیونها نشانک مختلف را در بخشهای متنوعی مانند فید خانه، جستجو، پینهای مرتبط، تبلیغات و اعلانها مدیریت میکند. این سیستم با بهرهگیری از فناوریهای نوین، توانسته است هزینههای پردازش را تا ۲۰ تا ۳۰ درصد کاهش دهد؛ یکی از این فناوریها، فشردهسازی یا کیوبیزهسازی است که میزان نیاز به منابع سروری را به شدت کاهش میدهد. همچنین، آزمایشهایی که بر روی جستجوهای مبتنی بر الگوریتمهای تقریبی نزدیکترین همسایگی (ANN) و بر پایه درایوهای حالتدار (SSD) انجام شده، باعث محدود کردن نیازهای حافظه و پردازنده میشوند و بهبودهای قابل توجهی در کارایی سیستم به همراه داشته است.
در کنار این، پلتفرم پینترست در حال حرکت به سمت استفاده از چند نشانک (multi-embedding) برای بازیابی و رتبهبندی بهتر محتوا است. این روش، تغییراتی است که صرفاً بر روی مقایسه یک واژه یا نشانک واحد تمرکز ندارد، بلکه توانایی ارزیابی چند نشانک مختلف و غنیتر کردن فرآیند امتیازدهی به کاندیداهای محتوا را داراست. این رویکرد، ما را فراتر از حالت پیشین میبرد که تنها بر شباهت میان دو وکتور تمرکز داشت و نمونههایی با ویژگیهای چندگانه و جامعتر را بهتر شناسایی میکند، در نتیجه تجربه بهتری برای کاربران فراهم میآورد و نتایج جستجو را دقیقتر و مرتبطتر میسازد.
در مجموع، این فناوریهای نوین، سرعت و بهرهوری پلتفرم پینترست را افزایش داده، هزینهها را کاهش داده و کارایی سیستم را به حد چشمگیری ارتقاء میبخشد. آینده این سیستم، بهرهگیری بیشتر از تکنولوژیهای پیشرفته برای درک بهتر محتوا و ارائه نتایج جستجوی شخصیسازیشدهتر است که جذابیت و رضایت کاربران را افزایش میدهد.
#پینترست #هوش_مصنوعی #توسعه_پایدار #فناوری
🟣لینک مقاله:
https://medium.com/pinterest-engineering/evolving-pinterests-embedding-retrieval-platform-aede4e831e01?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Medium
Evolving Pinterest’s Embedding Retrieval Platform
Authors: Bowen Zhou | Staff Software Engineer; Shan Gao | Senior Software Engineer; Jingwen Hu | Software Engineer II; Wenjiang Chu | Staff…
🔵 عنوان مقاله
The Half-Life of a Query (7 minute read)
🟢 خلاصه مقاله:
در دنیای امروز، ابزارهایی مانند dbt نقش مهمی در تبدیل تحلیلهای ناپایدار و بدون مستندسازی به سیستمهایی قابل تکرار و معتبر ایفا میکنند. این ابزارها با ساختن ساختارهای منسجم و استاندارد، فرآیندهای تحلیل داده را پایدارتر و قابل اطمینانتر میسازند، به طوری که در صورت نیاز، میتوان به راحتی نتایج قبلی را تایید و بازتولید کرد. این خصوصیت به ویژه در محیطهای کاری که دقت و سازگاری برای تصمیمگیریهای حیاتی بسیار مهم است، اهمیت فراوانی دارد.
در مقابل، هوش مصنوعی در بسیاری موارد نمیتواند محدودیتها و شروط خاص محل کار را به خوبی درک کند. سیستمهای هوشمند ممکن است فرضهایی را بپذیرند که در دنیای واقعی کاربرد ندارند، یا از رعایت محدودیتهای محیط کار ناتوان باشند. بنابراین، هرچند فناوریهای نوین قدرتمند هستند، اما در زمینههای عملی و محدودیتهای متنوع شرکتها، نیاز به درک عمیق و نظارت انسانی همچنان احساس میشود، و نمیتوان به طور کامل به هوش مصنوعی اعتماد کرد.
در نتیجه، برای پایداری و صحت تحلیلهای داده، ترکیب ابزارهای خودکار مانند dbt با نظارت و مدیریت انسانی بهترین راهحل است. این روش نه تنها اطمینان میدهد که تحلیلها قابل اعتماد هستند، بلکه انعطافپذیری لازم برای انطباق با شرایط متغیر محیط کاری را فراهم میآورد.
#تحلیل_داده #مدیریت_پایدار #هوش_مصنوعی #ابزارهای_تحلیلی
🟣لینک مقاله:
https://covertaltruism.substack.com/p/the-half-life-of-a-query?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
The Half-Life of a Query (7 minute read)
🟢 خلاصه مقاله:
در دنیای امروز، ابزارهایی مانند dbt نقش مهمی در تبدیل تحلیلهای ناپایدار و بدون مستندسازی به سیستمهایی قابل تکرار و معتبر ایفا میکنند. این ابزارها با ساختن ساختارهای منسجم و استاندارد، فرآیندهای تحلیل داده را پایدارتر و قابل اطمینانتر میسازند، به طوری که در صورت نیاز، میتوان به راحتی نتایج قبلی را تایید و بازتولید کرد. این خصوصیت به ویژه در محیطهای کاری که دقت و سازگاری برای تصمیمگیریهای حیاتی بسیار مهم است، اهمیت فراوانی دارد.
در مقابل، هوش مصنوعی در بسیاری موارد نمیتواند محدودیتها و شروط خاص محل کار را به خوبی درک کند. سیستمهای هوشمند ممکن است فرضهایی را بپذیرند که در دنیای واقعی کاربرد ندارند، یا از رعایت محدودیتهای محیط کار ناتوان باشند. بنابراین، هرچند فناوریهای نوین قدرتمند هستند، اما در زمینههای عملی و محدودیتهای متنوع شرکتها، نیاز به درک عمیق و نظارت انسانی همچنان احساس میشود، و نمیتوان به طور کامل به هوش مصنوعی اعتماد کرد.
در نتیجه، برای پایداری و صحت تحلیلهای داده، ترکیب ابزارهای خودکار مانند dbt با نظارت و مدیریت انسانی بهترین راهحل است. این روش نه تنها اطمینان میدهد که تحلیلها قابل اعتماد هستند، بلکه انعطافپذیری لازم برای انطباق با شرایط متغیر محیط کاری را فراهم میآورد.
#تحلیل_داده #مدیریت_پایدار #هوش_مصنوعی #ابزارهای_تحلیلی
🟣لینک مقاله:
https://covertaltruism.substack.com/p/the-half-life-of-a-query?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Substack
The Half-Life of a Query
“You have shown me a strange image, and they are strange prisoners.” — Glaucon
🔵 عنوان مقاله
Postgres Development Activity Over 28 Years
🟢 خلاصه مقاله:
در طول ۲۸ سال فعالیت توسعه PostgreSQL، تغییرات قابل توجهی در روند توسعه این پایگاه داده بزرگ و مهم رخ داده است. در ابتدا، روند فعالیتها نسبتاً کموبیش ثابت بود، اما به تدریج و با گذشت زمان، حجم فعالیتهای توسعهدهندگان به شدت افزایش یافت.
تیترهای نمودارهایی که توماس ارائه داده، نشان میدهند که گروه توسعهدهندگان و علاقهمندان به پروژه، در طول سالها بسیار فعالتر شدهاند. این افزایش فعالیتها در قالب افزایش تعداد ارسالهای کد، اصلاحات، و افزودن ویژگیهای جدید نمایان است. هرچند تعداد تغییرات جدید در قالب commits و عملیات افزودن و حذف کدها به صورت آهسته اما پیوسته رشد کرده است، اما این روند نشاندهنده توسعه مداوم و پشتکار در مسیر بهبود و توسعه PostgreSQL است.
این رشد مستمر و پیوسته نشان میدهد که جامعه توسعهدهندگان PostgreSQL چقدر در طول زمان پرجنبوجوش و فعال باقی مانده و همواره در حال پیشرفت است. این روند نه تنها نشاندهنده پویایی پروژه است، بلکه اهمیت و محبوبیت PostgreSQL را در حوزه بانکهای اطلاعاتی جهانی نیز بیشتر میکند.
پروژهای که پس از این سالها، همچنان در حال رشد و توسعه است و روز به روز بر قدرت و کارایی آن افزوده میشود، نشان دهنده تعهد و تلاش بیوقفه جامعه توسعهدهندگان تخصصی است که از فناوریهای متنباز حمایت میکنند.
#پستگرس #توسعه_پایدار #پایگاهداده #کدباز
🟣لینک مقاله:
https://vondra.me/posts/postgres-development-activity/
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Postgres Development Activity Over 28 Years
🟢 خلاصه مقاله:
در طول ۲۸ سال فعالیت توسعه PostgreSQL، تغییرات قابل توجهی در روند توسعه این پایگاه داده بزرگ و مهم رخ داده است. در ابتدا، روند فعالیتها نسبتاً کموبیش ثابت بود، اما به تدریج و با گذشت زمان، حجم فعالیتهای توسعهدهندگان به شدت افزایش یافت.
تیترهای نمودارهایی که توماس ارائه داده، نشان میدهند که گروه توسعهدهندگان و علاقهمندان به پروژه، در طول سالها بسیار فعالتر شدهاند. این افزایش فعالیتها در قالب افزایش تعداد ارسالهای کد، اصلاحات، و افزودن ویژگیهای جدید نمایان است. هرچند تعداد تغییرات جدید در قالب commits و عملیات افزودن و حذف کدها به صورت آهسته اما پیوسته رشد کرده است، اما این روند نشاندهنده توسعه مداوم و پشتکار در مسیر بهبود و توسعه PostgreSQL است.
این رشد مستمر و پیوسته نشان میدهد که جامعه توسعهدهندگان PostgreSQL چقدر در طول زمان پرجنبوجوش و فعال باقی مانده و همواره در حال پیشرفت است. این روند نه تنها نشاندهنده پویایی پروژه است، بلکه اهمیت و محبوبیت PostgreSQL را در حوزه بانکهای اطلاعاتی جهانی نیز بیشتر میکند.
پروژهای که پس از این سالها، همچنان در حال رشد و توسعه است و روز به روز بر قدرت و کارایی آن افزوده میشود، نشان دهنده تعهد و تلاش بیوقفه جامعه توسعهدهندگان تخصصی است که از فناوریهای متنباز حمایت میکنند.
#پستگرس #توسعه_پایدار #پایگاهداده #کدباز
🟣لینک مقاله:
https://vondra.me/posts/postgres-development-activity/
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Tomas Vondra
Postgres development activity
How did the development activity on the Postgres mailing list evolve over time?
Forwarded from Gopher Academy
اپدیت به زودی 🚀 تلگرام از میانگین زمان سین زدن و جواب دادن به پیامهای پیوی! 💬
اینجوریه که مثلا وقتی وارد پروفایل یک شخص میشید، اون قسمت بالای شمارش میزنه بطور میانگین، چقدر سریع به پیامها پاسخ میده؛ مثلا 5 دقیقه، 2 ساعت یا 3 روز! ⏱️
اینجوریه که مثلا وقتی وارد پروفایل یک شخص میشید، اون قسمت بالای شمارش میزنه بطور میانگین، چقدر سریع به پیامها پاسخ میده؛ مثلا 5 دقیقه، 2 ساعت یا 3 روز! ⏱️
🔵 عنوان مقاله
lists what's still shipping
🟢 خلاصه مقاله:
در این فهرست، مواردی مانند عملیات خودکار موازی (parallel autovacuum) و دستور ON CONFLICT DO SELECT همچنان در حال عرضه و در دسترس هستند. این امکانات، نقش مهمی در بهبود کارایی و مدیریت بهتر بانکهای اطلاعاتی بازی میکنند و نشان میدهد تیم توسعه به طور پیوسته در حال افزودن ویژگیهای جدید و بهبود قابلیتهای موجود است. کاربران و توسعهدهندگانی که به دنبال بهرهبرداری حداکثری از امکانات PostgreSQL هستند، میتوانند با اطمینان به استفاده از این ویژگیها ادامه دهند و مطمئن باشند که این موارد در نسخههای آینده نیز فعال و پشتیبانی میشود.
این قابلیتها، امکانات کاربردی و مهمی برای توسعهدهندگان و مدیران بانکهای اطلاعاتی فراهم میکنند تا عملیات همزمان و مدیریت خطاها را به شکل بهتری انجام دهند، بدون نگرانی در مورد توقف یا محدودیتهای سیستم. پیوسته بودن عرضه این ویژگیها، نشانگر رشد و توسعه مداوم اکوسیستم پایگاه داده است که در نهایت موجب بهبود تجربه کاربری و کارایی سیستمهای مبتنی بر این فناوری میشود.
#پایگاه_داده #توسعه_نرمافزار #PostgreSQL #ارتقاء_سیستم
🟣لینک مقاله:
https://www.snowflake.com/en/blog/engineering/postgresql-19-release-delay-feature-reverts/
➖➖➖➖➖➖➖➖
👑 @Database_Academy
lists what's still shipping
🟢 خلاصه مقاله:
در این فهرست، مواردی مانند عملیات خودکار موازی (parallel autovacuum) و دستور ON CONFLICT DO SELECT همچنان در حال عرضه و در دسترس هستند. این امکانات، نقش مهمی در بهبود کارایی و مدیریت بهتر بانکهای اطلاعاتی بازی میکنند و نشان میدهد تیم توسعه به طور پیوسته در حال افزودن ویژگیهای جدید و بهبود قابلیتهای موجود است. کاربران و توسعهدهندگانی که به دنبال بهرهبرداری حداکثری از امکانات PostgreSQL هستند، میتوانند با اطمینان به استفاده از این ویژگیها ادامه دهند و مطمئن باشند که این موارد در نسخههای آینده نیز فعال و پشتیبانی میشود.
این قابلیتها، امکانات کاربردی و مهمی برای توسعهدهندگان و مدیران بانکهای اطلاعاتی فراهم میکنند تا عملیات همزمان و مدیریت خطاها را به شکل بهتری انجام دهند، بدون نگرانی در مورد توقف یا محدودیتهای سیستم. پیوسته بودن عرضه این ویژگیها، نشانگر رشد و توسعه مداوم اکوسیستم پایگاه داده است که در نهایت موجب بهبود تجربه کاربری و کارایی سیستمهای مبتنی بر این فناوری میشود.
#پایگاه_داده #توسعه_نرمافزار #PostgreSQL #ارتقاء_سیستم
🟣لینک مقاله:
https://www.snowflake.com/en/blog/engineering/postgresql-19-release-delay-feature-reverts/
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Snowflake
PostgreSQL 19 Delayed: Key Feature Reversions & Release Updates
Postgres 19 is delayed due to late-stage feature reversions and AI-driven bug detection. Learn what features were pulled and what to expect next.
🔵 عنوان مقاله
Teaching a 4B Model to Write 81% Faster Query Plans
🟢 خلاصه مقاله:
در یک پروژه تعطیلات در مرکز ریکورس، یک توسعهدهنده از تکنیکهای یادگیری تقویتی برای آموزش یک مدل کوچک استفاده کرد تا بتواند برنامههای پرسوجوی بهبود یافتهتری را تولید کند. هدف این بود که با کمک این مدل، روند نوشتن برنامههای پرسوجو که نیاز به بریدن و اتصالهای پیچیده دارند، سریعتر انجام شود. نتایج این تلاش نشان داد که این مدل توانسته است تا ۸۱ درصد سریعتر از روشهای سنتی، طرحهای پرسوجویی را تهیه کند.
در حین آزمایشها، این مدل نه تنها در صرفهجویی زمان موفق ظاهر شد، بلکه در برخی موارد، حتی از برنامههای خود سیستم مدیریت پایگاه داده پستگرس نیز بهتر عمل کرد. این دستاورد قابل توجه، نشاندهنده پتانسیل بالای یادگیری ماشینی در بهبود فرآیندهای مرتبط با نوشتن پرسوجوها است و میتواند شروعی باشد بر کاربرد گستردهتر این فناوری در بهینهسازی سیستمهای پایگاه داده.
این مطالعه جذاب و الهامبخش، اثبات میکند که با استفاده از روشهای نوین آموزش ماشین، میتوان به نتایج شگفتانگیزی در زمینه بهبود عملکرد برنامههای پایگاه داده دست یافت و آیندهای نوین در این حوزه رقم زد.
#یادگیری_تقویتی #پایگاه_داده #بهینهسازی_پرسوجو #فناوری
🟣لینک مقاله:
https://rohanbansal.com/qorl
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Teaching a 4B Model to Write 81% Faster Query Plans
🟢 خلاصه مقاله:
در یک پروژه تعطیلات در مرکز ریکورس، یک توسعهدهنده از تکنیکهای یادگیری تقویتی برای آموزش یک مدل کوچک استفاده کرد تا بتواند برنامههای پرسوجوی بهبود یافتهتری را تولید کند. هدف این بود که با کمک این مدل، روند نوشتن برنامههای پرسوجو که نیاز به بریدن و اتصالهای پیچیده دارند، سریعتر انجام شود. نتایج این تلاش نشان داد که این مدل توانسته است تا ۸۱ درصد سریعتر از روشهای سنتی، طرحهای پرسوجویی را تهیه کند.
در حین آزمایشها، این مدل نه تنها در صرفهجویی زمان موفق ظاهر شد، بلکه در برخی موارد، حتی از برنامههای خود سیستم مدیریت پایگاه داده پستگرس نیز بهتر عمل کرد. این دستاورد قابل توجه، نشاندهنده پتانسیل بالای یادگیری ماشینی در بهبود فرآیندهای مرتبط با نوشتن پرسوجوها است و میتواند شروعی باشد بر کاربرد گستردهتر این فناوری در بهینهسازی سیستمهای پایگاه داده.
این مطالعه جذاب و الهامبخش، اثبات میکند که با استفاده از روشهای نوین آموزش ماشین، میتوان به نتایج شگفتانگیزی در زمینه بهبود عملکرد برنامههای پایگاه داده دست یافت و آیندهای نوین در این حوزه رقم زد.
#یادگیری_تقویتی #پایگاه_داده #بهینهسازی_پرسوجو #فناوری
🟣لینک مقاله:
https://rohanbansal.com/qorl
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Rohan Bansal
Training a 4B model to produce 81% faster query plans than Postgres
...or how to make Qwen learn query optimization via agentic reinforcement learning
🔵 عنوان مقاله
How Adaptive Tail Sampling Works in the OpenTelemetry Collector (7 minute read)
🟢 خلاصه مقاله:
در فرآیند جمعآوری دادهها در سیستمهای پایش و نظارت، روش نمونهگیری از بخشهای انتهایی (tail sampling) نقش مهمی در تعیین صحت و ارزش اطلاعات دارد. روشهای ثابت که بر اساس نرخ از پیش تعیینشده کار میکنند، ممکن است نادیده گرفتن موارد نادر یا استثنایی در تریکهای خاص را در زمان وقوع حوادث ایجاد کنند، زیرا این تریکها اغلب بهعنوان نمونههای کمیاب در نظر گرفته میشوند. از سوی دیگر، روشهای معمول نمونهگیری انتهای مسیر (tail sampling)، که بر اساس آمار و ارقام انجام میشوند، ممکن است وزنهای آماری مهم را از دست بدهند و در نتیجه تحلیلهای دقیقتر را مختل کنند.
در این میان، توسعه یک سامانه نمونهگیری تطبیقی (adaptive tail sampler) برای جمعآوریکننده OpenTelemetry، یک پیشرفت مهم محسوب میشود. این سامانه قادر است دادههای تریک را در حافظه موقت نگهداری، قوانین مرتب و استوار را اعمال کند و از طریق تعیین حد نصابهای احتمالی W3C، وزنهای شمارش در مراحل بعدی تحلیل را مجدد تنظیم کند. این ویژگی باعث میشود تا مقادیر مربوط به تلاشهای نظارتی و تشخیص مشکلات با دقت بیشتری ارزیابی شود و اطلاعات مهم حفظ شود، حتی در زمان بارگذاری بالا و حجم زیاد دادهها.
علاوه بر این، این سامانه تطبیقی بر اساس مسیر و سرویسهای مورد استفاده، به گونهای هوشمندانه سازگار میشود و حافظه مصرفی را در شرایط فشار کاری محدود میکند. این ویژگیها باعث میشود سیستم انعطافپذیرتر و کارآمدتر شود، و در مسیر توسعه به سمت نسخه آزمایشی اولیه (آلفا) پیش برود. با این رویکرد، برنامهنویسان و تیمهای نظارتی قادر خواهند بود تا به صورت موثرتری تریکهای نادر و حیاتی را کنترل و تحلیل کنند، فرآیندی که در نهایت به بهبود کیفیت زیرساختهای مانیتورینگ و تجزیه و تحلیل کمک میکند.
#نظارت #سامانه_تطبیقی #جمعآوری_داده #پایش
🟣لینک مقاله:
https://www.honeycomb.io/blog/how-adaptive-tail-sampling-works?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
How Adaptive Tail Sampling Works in the OpenTelemetry Collector (7 minute read)
🟢 خلاصه مقاله:
در فرآیند جمعآوری دادهها در سیستمهای پایش و نظارت، روش نمونهگیری از بخشهای انتهایی (tail sampling) نقش مهمی در تعیین صحت و ارزش اطلاعات دارد. روشهای ثابت که بر اساس نرخ از پیش تعیینشده کار میکنند، ممکن است نادیده گرفتن موارد نادر یا استثنایی در تریکهای خاص را در زمان وقوع حوادث ایجاد کنند، زیرا این تریکها اغلب بهعنوان نمونههای کمیاب در نظر گرفته میشوند. از سوی دیگر، روشهای معمول نمونهگیری انتهای مسیر (tail sampling)، که بر اساس آمار و ارقام انجام میشوند، ممکن است وزنهای آماری مهم را از دست بدهند و در نتیجه تحلیلهای دقیقتر را مختل کنند.
در این میان، توسعه یک سامانه نمونهگیری تطبیقی (adaptive tail sampler) برای جمعآوریکننده OpenTelemetry، یک پیشرفت مهم محسوب میشود. این سامانه قادر است دادههای تریک را در حافظه موقت نگهداری، قوانین مرتب و استوار را اعمال کند و از طریق تعیین حد نصابهای احتمالی W3C، وزنهای شمارش در مراحل بعدی تحلیل را مجدد تنظیم کند. این ویژگی باعث میشود تا مقادیر مربوط به تلاشهای نظارتی و تشخیص مشکلات با دقت بیشتری ارزیابی شود و اطلاعات مهم حفظ شود، حتی در زمان بارگذاری بالا و حجم زیاد دادهها.
علاوه بر این، این سامانه تطبیقی بر اساس مسیر و سرویسهای مورد استفاده، به گونهای هوشمندانه سازگار میشود و حافظه مصرفی را در شرایط فشار کاری محدود میکند. این ویژگیها باعث میشود سیستم انعطافپذیرتر و کارآمدتر شود، و در مسیر توسعه به سمت نسخه آزمایشی اولیه (آلفا) پیش برود. با این رویکرد، برنامهنویسان و تیمهای نظارتی قادر خواهند بود تا به صورت موثرتری تریکهای نادر و حیاتی را کنترل و تحلیل کنند، فرآیندی که در نهایت به بهبود کیفیت زیرساختهای مانیتورینگ و تجزیه و تحلیل کمک میکند.
#نظارت #سامانه_تطبیقی #جمعآوری_داده #پایش
🟣لینک مقاله:
https://www.honeycomb.io/blog/how-adaptive-tail-sampling-works?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
www.honeycomb.io
How Adaptive Tail Sampling Works in the OTel Collector
How the adaptive_tail_sampling processor makes sampling decisions in the OpenTelemetry Collector: buffering, rules, samplers, and more.
🔵 عنوان مقاله
pgwrh 1.0 Alpha: Read Scaling with Sharded Replicas
🟢 خلاصه مقاله:
در دنیای پایگاههای داده، مقیاسپذیری و بهبود عملکرد اهمیت بسیار زیادی دارد. یکی از فناوریهای نوآورانه در این زمینه، پروژهای آزمایشی است که به نام PGWRH 1.0 Alpha شناخته میشود. این پروژه به طور خاص به توسعه روشهای جدید برای افزایش توان عملیاتی و بهرهوری در سیستمهای پایگاه دادههای توزیعشده میپردازد.
این فناوری نوین با هدف تقسیمبندی جداول بزرگ، آنها را در چندین نسخه کپی در نظر میگیرد که در قالب «شاردینگ» یا تقسیمبندی شید شدهاند. اما نکته برجسته این است که هر کپی تنها بخشی از دادهها را در بر میگیرد و در ادامه، بخشهای باقیمانده از طریق ارتباط با سایر رپلیکاهای خواندنی دریافت میشود. این رویکرد باعث کاهش فشار روی هر سرور مستقل میشود و امکان پاسخدهی سریعتر به درخواستها را فراهم میآورد. البته باید توجه داشت که این فناوری در مراحل آزمایشی قرار دارد و برای کاربردهای تولیدی مناسب نیست.
در مجموع، این پروژه یک قدم نوآورانه در مسیر توسعه سیستمهای مقیاسپذیر است، که به کمک آن میتوان در آینده نزدیک راهحلهای قدرتمندتری برای مدیریت دادههای بزرگ و سیستمهای توزیعشده ارائه کرد. حال، در حالی که این فناوری هنوز در مرحله آزمایش است، نشان میدهد که مسیر پیش رو در زمینه مدیریت پایگاههای داده چقدر امیدوارکننده و پر از نوآوری است.
#پایگاه_داده #مقیاس_پذیری #توزیع_داده #پروژه_آزمایشی
🟣لینک مقاله:
https://github.com/mkleczek/pgwrh
➖➖➖➖➖➖➖➖
👑 @Database_Academy
pgwrh 1.0 Alpha: Read Scaling with Sharded Replicas
🟢 خلاصه مقاله:
در دنیای پایگاههای داده، مقیاسپذیری و بهبود عملکرد اهمیت بسیار زیادی دارد. یکی از فناوریهای نوآورانه در این زمینه، پروژهای آزمایشی است که به نام PGWRH 1.0 Alpha شناخته میشود. این پروژه به طور خاص به توسعه روشهای جدید برای افزایش توان عملیاتی و بهرهوری در سیستمهای پایگاه دادههای توزیعشده میپردازد.
این فناوری نوین با هدف تقسیمبندی جداول بزرگ، آنها را در چندین نسخه کپی در نظر میگیرد که در قالب «شاردینگ» یا تقسیمبندی شید شدهاند. اما نکته برجسته این است که هر کپی تنها بخشی از دادهها را در بر میگیرد و در ادامه، بخشهای باقیمانده از طریق ارتباط با سایر رپلیکاهای خواندنی دریافت میشود. این رویکرد باعث کاهش فشار روی هر سرور مستقل میشود و امکان پاسخدهی سریعتر به درخواستها را فراهم میآورد. البته باید توجه داشت که این فناوری در مراحل آزمایشی قرار دارد و برای کاربردهای تولیدی مناسب نیست.
در مجموع، این پروژه یک قدم نوآورانه در مسیر توسعه سیستمهای مقیاسپذیر است، که به کمک آن میتوان در آینده نزدیک راهحلهای قدرتمندتری برای مدیریت دادههای بزرگ و سیستمهای توزیعشده ارائه کرد. حال، در حالی که این فناوری هنوز در مرحله آزمایش است، نشان میدهد که مسیر پیش رو در زمینه مدیریت پایگاههای داده چقدر امیدوارکننده و پر از نوآوری است.
#پایگاه_داده #مقیاس_پذیری #توزیع_داده #پروژه_آزمایشی
🟣لینک مقاله:
https://github.com/mkleczek/pgwrh
➖➖➖➖➖➖➖➖
👑 @Database_Academy
GitHub
GitHub - mkleczek/pgwrh: Not-so-simple PostgreSQL sharding using partitioning, logical replication and foreign data wrappers
Not-so-simple PostgreSQL sharding using partitioning, logical replication and foreign data wrappers - mkleczek/pgwrh
🔵 عنوان مقاله
Profile your Polars queries (2 minute read)
🟢 خلاصه مقاله:
در دنیای پردازش دادههای بزرگ، بهبود کارایی و سرعت اجرای کوئریها اهمیت زیادی دارد. حالا، فریمورک Polars ابزار جدیدی را برای پروفایل کردن کوئریها ارائه کرده است که به توسعهدهندگان اجازه میدهد عملکرد کوئریهای محلی و متنباز خود را به راحتی ارزیابی و بهبود بخشند. این ابزار، نقش مهمی در شناسایی نقاط ضعف و بهینهسازی سریع کدها ایفا میکند.
با استفاده از پروفایلر جدید Polars، میتوانید بخشهای مختلف اجرای کوئریها را بررسی کنید، زمان صرف شده در هر مرحله را اندازهگیری کنید و در نتیجه، تصمیمهای بهتر برای بهبود عملکرد بگیرید. این قابلیت بخصوص برای توسعهدهندگانی که در پروژههای متنباز و محیطهای محلی کار میکنند، بسیار کاربردی است و سرعت توسعه و تست را به شدت افزایش میدهد.
در نهایت، این ویژگی جدید نشان میدهد که Polars به عنوان یک ابزار قدرتمند و متنباز در حوزه پردازش دادههای بزرگ، همچنان در حال توسعه و افزودن امکانات کاربرپسند است. بهرهبرداری از پروفایلر این فریمورک میتواند به بهبود چشمگیر کارایی پروژههای دادهمحور کمک کند و توسعهدهندگان را در مسیر بهبود مداوم کدهای خود یاری رساند.
#پردازش_داده #پروفایلر #Polars #کدنویسی عالی
🟣لینک مقاله:
https://pola.rs/posts/profile-local-queries/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Profile your Polars queries (2 minute read)
🟢 خلاصه مقاله:
در دنیای پردازش دادههای بزرگ، بهبود کارایی و سرعت اجرای کوئریها اهمیت زیادی دارد. حالا، فریمورک Polars ابزار جدیدی را برای پروفایل کردن کوئریها ارائه کرده است که به توسعهدهندگان اجازه میدهد عملکرد کوئریهای محلی و متنباز خود را به راحتی ارزیابی و بهبود بخشند. این ابزار، نقش مهمی در شناسایی نقاط ضعف و بهینهسازی سریع کدها ایفا میکند.
با استفاده از پروفایلر جدید Polars، میتوانید بخشهای مختلف اجرای کوئریها را بررسی کنید، زمان صرف شده در هر مرحله را اندازهگیری کنید و در نتیجه، تصمیمهای بهتر برای بهبود عملکرد بگیرید. این قابلیت بخصوص برای توسعهدهندگانی که در پروژههای متنباز و محیطهای محلی کار میکنند، بسیار کاربردی است و سرعت توسعه و تست را به شدت افزایش میدهد.
در نهایت، این ویژگی جدید نشان میدهد که Polars به عنوان یک ابزار قدرتمند و متنباز در حوزه پردازش دادههای بزرگ، همچنان در حال توسعه و افزودن امکانات کاربرپسند است. بهرهبرداری از پروفایلر این فریمورک میتواند به بهبود چشمگیر کارایی پروژههای دادهمحور کمک کند و توسعهدهندگان را در مسیر بهبود مداوم کدهای خود یاری رساند.
#پردازش_داده #پروفایلر #Polars #کدنویسی عالی
🟣لینک مقاله:
https://pola.rs/posts/profile-local-queries/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Polars
Profile your Polars queries
You can now query profile your locally running queries live & historically in our platform.
Forwarded from AI
با کدوم نام موافق هستی برای هوش مصنوعی
Anonymous Poll
76%
🔴AI = Artificial Intelligence
29%
🔵SI = Super Intelligence
🔵 عنوان مقاله
Real-time LLM guardrails with Jev: comparing latency and cost (13 minute read)
🟢 خلاصه مقاله:
در دنیای پیشرفته هوش مصنوعی، تضمین امنیت و کنترل در لحظه اهمیت فراوانی دارد. سیستم Jev شرکت TypeSafe، با هدف فراهمسازی خطکشهای حفاظتی در زمان واقعی، از مدلی تصمیمگیری خاص و منحصربهفرد بهره میبرد که قبل از اجرای هر ورودی، پاسخ یا فراخوانی ابزار، آنها را بررسی و کنترل میکند. این رویکرد، امکان نظارت و کنترل دقیق بر فعالیتهای هوش مصنوعی را فراهم میسازد و از وقوع خطاها یا سوءاستفادههای احتمالی جلوگیری میکند.
در آزمایشهای انجامشده توسط شرکت Arize، سیستم Jev توانست همان تصمیماتی را بگیرد که نسخهی کوچک GPT-5.4 nano اتخاذ مینمود، اما با سرعتی بین ۱۵ تا ۱۸ برابر بیشتر و با هزینهای تنها ۱۲ تا ۱۴ برابر کمتر در هر درخواست. این نتایج نشان میدهد که استفاده از مدلهای خاص و بهینهسازی شده در کنار فناوریهای زمانواقعی، میتواند عملکرد سیستمهای هوش مصنوعی را به شدت بهبود بخشد و هزینههای عملیاتی را به طور چشمگیری کاهش دهد.
به طور خلاصه، Jev ترکیبی است از امنیت، سرعت و صرفهجویی اقتصادی که میتواند در توسعه و پیادهسازی هوش مصنوعی در صنایع مختلف تاثیرگذار باشد، و راهکارهای آیندهنگرانهای برای کنترل و مدیریت هوش مصنوعی ارائه دهد. این فناوری نوآورانه، به صنایع امکان میدهد ضمن حفظ امنیت، بهرهوری و هزینههای عملیاتی خود را ارتقاء دهند.
#هوش_مصنوعی #کنترل_زمان_واقعی #صرفهجویی_هزینه #امنیت_سیستم
🟣لینک مقاله:
https://arize.com/blog/llm-guardrails-jev/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Real-time LLM guardrails with Jev: comparing latency and cost (13 minute read)
🟢 خلاصه مقاله:
در دنیای پیشرفته هوش مصنوعی، تضمین امنیت و کنترل در لحظه اهمیت فراوانی دارد. سیستم Jev شرکت TypeSafe، با هدف فراهمسازی خطکشهای حفاظتی در زمان واقعی، از مدلی تصمیمگیری خاص و منحصربهفرد بهره میبرد که قبل از اجرای هر ورودی، پاسخ یا فراخوانی ابزار، آنها را بررسی و کنترل میکند. این رویکرد، امکان نظارت و کنترل دقیق بر فعالیتهای هوش مصنوعی را فراهم میسازد و از وقوع خطاها یا سوءاستفادههای احتمالی جلوگیری میکند.
در آزمایشهای انجامشده توسط شرکت Arize، سیستم Jev توانست همان تصمیماتی را بگیرد که نسخهی کوچک GPT-5.4 nano اتخاذ مینمود، اما با سرعتی بین ۱۵ تا ۱۸ برابر بیشتر و با هزینهای تنها ۱۲ تا ۱۴ برابر کمتر در هر درخواست. این نتایج نشان میدهد که استفاده از مدلهای خاص و بهینهسازی شده در کنار فناوریهای زمانواقعی، میتواند عملکرد سیستمهای هوش مصنوعی را به شدت بهبود بخشد و هزینههای عملیاتی را به طور چشمگیری کاهش دهد.
به طور خلاصه، Jev ترکیبی است از امنیت، سرعت و صرفهجویی اقتصادی که میتواند در توسعه و پیادهسازی هوش مصنوعی در صنایع مختلف تاثیرگذار باشد، و راهکارهای آیندهنگرانهای برای کنترل و مدیریت هوش مصنوعی ارائه دهد. این فناوری نوآورانه، به صنایع امکان میدهد ضمن حفظ امنیت، بهرهوری و هزینههای عملیاتی خود را ارتقاء دهند.
#هوش_مصنوعی #کنترل_زمان_واقعی #صرفهجویی_هزینه #امنیت_سیستم
🟣لینک مقاله:
https://arize.com/blog/llm-guardrails-jev/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Arize AI
Real-time LLM guardrails with Jev: comparing latency and cost
Compare Jev and GPT-5.4 nano for real-time LLM guardrails, with demo results on latency, cost, and checks on agent inputs, replies, and tool calls.
🔵 عنوان مقاله
How Concurrence governs clinical AI at a trillion-token scale with Unity Gateway (7 minute read)
🟢 خلاصه مقاله:
در جهان پیشرفتهی مراقبتهای بهداشتی، مدیریت هوش مصنوعی بالینی در مقیاس عظیم یکی از چالشهای اصلی است. شرکت Concurrence با بهرهگیری از پلتفرم قدرتمند Databricks، توانسته است هوش مصنوعی بالینی را در سطحی بینظیر مدیریت و نظارت کند. این سیستم هر سال تقریباً ۱.۲ تریلیون توکن ورودی شامل اطلاعات بیماران، وضعیت عاملهای هوشمند، نتایج آزمایشها، ارزیابیها و کنترلهای دسترسی را در بر میگیرد. ادغام این دادهها در یک بستر واحد امکان مدیریت متمرکز، تحلیل سریع و تضمین امنیت و رعایت استانداردهای مرتبط را فراهم میآورد، که در نهایت به افزایش دقت و کارایی در فرآیندهای بالینی منجر میشود.
پلتفرم Unity Gateway نقش مهمی در این سیستم ایفا میکند؛ این ابزار مرکزیت دسترسی به مدلها و ابزارهای تاییدشده هوش مصنوعی را فراهم میآورد. با استفاده از Unity Gateway، شرکت قادر است نحوه استفاده از فناوریهای هوش مصنوعی را پیگیری کرده، مطمئن شود که تمام فرآیندها مطابق با مقررات و استانداردهای اخلاقی انجام میگیرد، و در عین حال توانایی توسعه و گسترش ایمن عاملهای بالینی و کدگذاری را دارد. این رویکرد، نه تنها امنیت و انطباق را تضمین میکند بلکه امکان نوآوری و توسعه سریع در حوزه هوشمندسازی مراقبتهای بهداشتی را فراهم میسازد.
در نتیجه، Concurrence با ترکیب فناوریهای پیشرفته و استراتژیهای نظارتی قوی، مسیر را برای آیندهی هوش مصنوعی در مراقبتهای پزشکی هموار میسازد و نشان میدهد چگونه میتوان در مقیاس وسیع، همزمان با رعایت استانداردهای بالای ایمنی و کیفیت، فرآیندهای بالینی را بهبود بخشید.
#هوش_مصنوعی #مراقبتهای_سلامتی #مدیریت_پزشکی #توسعه_مبتنی_بر_داده
🟣لینک مقاله:
https://www.databricks.com/blog/how-concurrence-governs-clinical-ai-trillion-token-scale-unity-gateway?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
How Concurrence governs clinical AI at a trillion-token scale with Unity Gateway (7 minute read)
🟢 خلاصه مقاله:
در جهان پیشرفتهی مراقبتهای بهداشتی، مدیریت هوش مصنوعی بالینی در مقیاس عظیم یکی از چالشهای اصلی است. شرکت Concurrence با بهرهگیری از پلتفرم قدرتمند Databricks، توانسته است هوش مصنوعی بالینی را در سطحی بینظیر مدیریت و نظارت کند. این سیستم هر سال تقریباً ۱.۲ تریلیون توکن ورودی شامل اطلاعات بیماران، وضعیت عاملهای هوشمند، نتایج آزمایشها، ارزیابیها و کنترلهای دسترسی را در بر میگیرد. ادغام این دادهها در یک بستر واحد امکان مدیریت متمرکز، تحلیل سریع و تضمین امنیت و رعایت استانداردهای مرتبط را فراهم میآورد، که در نهایت به افزایش دقت و کارایی در فرآیندهای بالینی منجر میشود.
پلتفرم Unity Gateway نقش مهمی در این سیستم ایفا میکند؛ این ابزار مرکزیت دسترسی به مدلها و ابزارهای تاییدشده هوش مصنوعی را فراهم میآورد. با استفاده از Unity Gateway، شرکت قادر است نحوه استفاده از فناوریهای هوش مصنوعی را پیگیری کرده، مطمئن شود که تمام فرآیندها مطابق با مقررات و استانداردهای اخلاقی انجام میگیرد، و در عین حال توانایی توسعه و گسترش ایمن عاملهای بالینی و کدگذاری را دارد. این رویکرد، نه تنها امنیت و انطباق را تضمین میکند بلکه امکان نوآوری و توسعه سریع در حوزه هوشمندسازی مراقبتهای بهداشتی را فراهم میسازد.
در نتیجه، Concurrence با ترکیب فناوریهای پیشرفته و استراتژیهای نظارتی قوی، مسیر را برای آیندهی هوش مصنوعی در مراقبتهای پزشکی هموار میسازد و نشان میدهد چگونه میتوان در مقیاس وسیع، همزمان با رعایت استانداردهای بالای ایمنی و کیفیت، فرآیندهای بالینی را بهبود بخشید.
#هوش_مصنوعی #مراقبتهای_سلامتی #مدیریت_پزشکی #توسعه_مبتنی_بر_داده
🟣لینک مقاله:
https://www.databricks.com/blog/how-concurrence-governs-clinical-ai-trillion-token-scale-unity-gateway?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
🔵 عنوان مقاله
Benchmarks are more broken than we could have imagined (15 minute read)
🟢 خلاصه مقاله:
در دنیای هوش مصنوعی، معیارها و بنچمارکها نقش مهمی در سنجش و ارزیابی پیشرفتهای فناوری دارند. ولی بر اساس تحقیقات اخیر، این معیارها بیشتر از آنچه تصور میکردیم، ناپایدار و مشکلدار شدهاند. تیم بررسیکننده horizon با بررسی بیش از ۵۰۰۰ وظیفه بنچمارک در ۲۰ مجموعه داده مختلف، مشخص کردند که ۲۹ مورد از این بنچمارکها با مشکلات جدی روبهرو هستند. این مشکلات شامل نشت پاسخها، آزمایشهای ناتمام، graders قابل فریب و راهحلهای مرجع ناقص بودند. این خطاها نه تنها ارزشیابیهای نادرستی ایجاد میکنند، بلکه در برخی موارد باعث بالا رفتن نمرات مدلها شده و در نتیجه تصویر نادرستی از تواناییهای واقعی آنها به دست میدهند. چنین یافتههایی نشان میدهد که نتایج بنچمارکها در صورت وجود این نواقص، ممکن است اغراقی و گمراهکننده باشند؛ زیرا زیرساختهای اصلی ارزیابیها قابل اعتماد نبوده و میتواند تواناییهای واقعی مدلها را نادرست نشان دهند.
در نتیجه، این کاستیها اهمیت بازنگری و اصلاح سیستمهای ارزیابی در حوزه هوش مصنوعی را بیش از پیش روشن میکند، تا بتوان تصویر واقعیتری از پیشرفتهای فناوری در اختیار داشت و مسیر توسعه مدلهای هوشمند را بهتر هدایت کرد.
#هوش_مصنوعی #بنچمارک #ارزیابی_مدل #پیشرفت_هوش
🟣لینک مقاله:
https://www.horizonanalyticslabs.com/research/public-benchmark-dataset-audit?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Benchmarks are more broken than we could have imagined (15 minute read)
🟢 خلاصه مقاله:
در دنیای هوش مصنوعی، معیارها و بنچمارکها نقش مهمی در سنجش و ارزیابی پیشرفتهای فناوری دارند. ولی بر اساس تحقیقات اخیر، این معیارها بیشتر از آنچه تصور میکردیم، ناپایدار و مشکلدار شدهاند. تیم بررسیکننده horizon با بررسی بیش از ۵۰۰۰ وظیفه بنچمارک در ۲۰ مجموعه داده مختلف، مشخص کردند که ۲۹ مورد از این بنچمارکها با مشکلات جدی روبهرو هستند. این مشکلات شامل نشت پاسخها، آزمایشهای ناتمام، graders قابل فریب و راهحلهای مرجع ناقص بودند. این خطاها نه تنها ارزشیابیهای نادرستی ایجاد میکنند، بلکه در برخی موارد باعث بالا رفتن نمرات مدلها شده و در نتیجه تصویر نادرستی از تواناییهای واقعی آنها به دست میدهند. چنین یافتههایی نشان میدهد که نتایج بنچمارکها در صورت وجود این نواقص، ممکن است اغراقی و گمراهکننده باشند؛ زیرا زیرساختهای اصلی ارزیابیها قابل اعتماد نبوده و میتواند تواناییهای واقعی مدلها را نادرست نشان دهند.
در نتیجه، این کاستیها اهمیت بازنگری و اصلاح سیستمهای ارزیابی در حوزه هوش مصنوعی را بیش از پیش روشن میکند، تا بتوان تصویر واقعیتری از پیشرفتهای فناوری در اختیار داشت و مسیر توسعه مدلهای هوشمند را بهتر هدایت کرد.
#هوش_مصنوعی #بنچمارک #ارزیابی_مدل #پیشرفت_هوش
🟣لینک مقاله:
https://www.horizonanalyticslabs.com/research/public-benchmark-dataset-audit?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Horizonanalyticslabs
Benchmarks are more broken than we could have imagined.
We audited public AI benchmark datasets from well-known vendors and found leaked answers, incomplete tests, gameable graders, and tasks their own solutions could not pass.
🔵 عنوان مقاله
pgBackRest Compression: How Much CPU is a Smaller Backup Worth?
🟢 خلاصه مقاله:
در دنیای مدیریت پشتیبانگیریهای پایگاه داده، فشردهسازی دادهها نقش مهمی در کاهش حجم و صرفهجویی در فضای ذخیرهسازی دارد. در این راستا، ابزار pgBackRest یکی از محبوبترین راهکارها است که از الگوریتمهای مختلف فشردهسازی بهره میبرد. اما سوال این است که چه میزان مصرف CPU برای اجرای این عملیات لازم است و آیا افزایش مصرف CPU در نهایت منجر به کاهش قابل توجه حجم پشتیبان میشود؟ در این مطالعه، به بررسی سطحهای مختلف فشردهسازی در pgBackRest و میزان سودمندی هر کدام میپردازیم تا تعیین کنیم کجای این فرآیند، دیگر صرف CPU ارزش ندارد و نرخ کاهش حجم دادهها به حداقل میرسد.
در این ارزیابی، آزمایشهای متعددی بر روی الگوریتمهای گوناگون انجام شد تا بهترین تعادل بین مصرف CPU و کاهش حجم پشتیبان پیدا شود. نتایج نشان میدهد که در اکثر موارد، استفاده از الگوریتم «Zstandard» در سطوح پایینترین گزینهها، بهترین نتیجه را ارائه میدهد؛ یعنی، این الگوریتم در سطح پایین، کمترین مصرف CPU را دارد و در عین حال، بهرهوری قابل قبولی در کاهش حجم دادهها نشان میدهد. این کشف، برای مدیران پایگاه داده بسیار حیاتی است، زیرا نشان میدهد نیازی نیست برای کسب کاهش حجم بیشتر، صرف منابع بیشتری کرد؛ چراکه سود حاصل در سطحهای کمتر، بیشتر است.
در نهایت، این مطالعه چراغ راهی است برای تصمیمگیری هوشمندانه در تنظیمات پشتیبانگیری، تا پیش از صرف هزینههای بیمورد در مصرف CPU، بهترین کاهش حجم دادهها حاصل شود و سیستمهای پایگاه داده بهینهتر و کارآمدتر عمل کنند. نتیجهگیری کلیدی این است که در مورد pgBackRest، «زماستند در سطح کم، نقطه عطف استراتژیک است»، که میتواند بهرهوری سیستم پشتیبانگیری شما را به طور چشمگیری بهبود بخشد.
#پشتیبان_گیری #مدیریت_کایفا_پایگاه_داده #فشردهسازی #زماستند
🟣لینک مقاله:
https://www.percona.com/blog/pgbackrest-compression-how-much-cpu-is-a-smaller-backup-worth/
➖➖➖➖➖➖➖➖
👑 @Database_Academy
pgBackRest Compression: How Much CPU is a Smaller Backup Worth?
🟢 خلاصه مقاله:
در دنیای مدیریت پشتیبانگیریهای پایگاه داده، فشردهسازی دادهها نقش مهمی در کاهش حجم و صرفهجویی در فضای ذخیرهسازی دارد. در این راستا، ابزار pgBackRest یکی از محبوبترین راهکارها است که از الگوریتمهای مختلف فشردهسازی بهره میبرد. اما سوال این است که چه میزان مصرف CPU برای اجرای این عملیات لازم است و آیا افزایش مصرف CPU در نهایت منجر به کاهش قابل توجه حجم پشتیبان میشود؟ در این مطالعه، به بررسی سطحهای مختلف فشردهسازی در pgBackRest و میزان سودمندی هر کدام میپردازیم تا تعیین کنیم کجای این فرآیند، دیگر صرف CPU ارزش ندارد و نرخ کاهش حجم دادهها به حداقل میرسد.
در این ارزیابی، آزمایشهای متعددی بر روی الگوریتمهای گوناگون انجام شد تا بهترین تعادل بین مصرف CPU و کاهش حجم پشتیبان پیدا شود. نتایج نشان میدهد که در اکثر موارد، استفاده از الگوریتم «Zstandard» در سطوح پایینترین گزینهها، بهترین نتیجه را ارائه میدهد؛ یعنی، این الگوریتم در سطح پایین، کمترین مصرف CPU را دارد و در عین حال، بهرهوری قابل قبولی در کاهش حجم دادهها نشان میدهد. این کشف، برای مدیران پایگاه داده بسیار حیاتی است، زیرا نشان میدهد نیازی نیست برای کسب کاهش حجم بیشتر، صرف منابع بیشتری کرد؛ چراکه سود حاصل در سطحهای کمتر، بیشتر است.
در نهایت، این مطالعه چراغ راهی است برای تصمیمگیری هوشمندانه در تنظیمات پشتیبانگیری، تا پیش از صرف هزینههای بیمورد در مصرف CPU، بهترین کاهش حجم دادهها حاصل شود و سیستمهای پایگاه داده بهینهتر و کارآمدتر عمل کنند. نتیجهگیری کلیدی این است که در مورد pgBackRest، «زماستند در سطح کم، نقطه عطف استراتژیک است»، که میتواند بهرهوری سیستم پشتیبانگیری شما را به طور چشمگیری بهبود بخشد.
#پشتیبان_گیری #مدیریت_کایفا_پایگاه_داده #فشردهسازی #زماستند
🟣لینک مقاله:
https://www.percona.com/blog/pgbackrest-compression-how-much-cpu-is-a-smaller-backup-worth/
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Percona
pgBackRest Compression: How Much CPU Is a Smaller Backup Worth?
In this blog post, we’ll compare pgBackRest’s compression algorithms and levels to find where spending more CPU stops buying a meaningfully smaller backup. The short version of the answer, which we’ll build up to with real numbers, is that Zstandard at a…