🔵 عنوان مقاله
'The Reverts Will Continue Until Morale Improves'
🟢 خلاصه مقاله:
در دورهی توسعه نسخه ۱۹ پایگاه داده پستگرس، تیم توسعهدهندگان با چالشهای زیادی مواجه شدند، بهویژه زمانی که بسیاری از ویژگیهای جدید در مرحلهی آزمایش به دلایل مختلف پس گرفته شدند. یکی از افراد کلیدی در این فرآیند، یک عضو از تیم متعهد به پستگرس است که حتی اثر کار خودش نیز در این تغییرات نقش داشت. او معتقد است که روند بازگشت ویژگیها تا زمانی ادامه خواهد داشت که روحیهی تیم و اعتماد به پروژه بهبود پیدا کند، زیرا یک محیط مثبت و حامی، کلید توسعهی موفق است.
در این متن، وی به دلایل اصلی پشت پس گرفتن ویژگیها در نسخهی آزمایشی اشاره میکند و بر اهمیت حمایت، همبستگی و بهبود وضعیت روحیه تمرکز مینماید. در نهایت، هدف اصلی تیم توسعه، حفظ کیفیت و قابلیت اطمینان پروژه است، حتی اگر راه آن پر چالش باشد؛ چرا که این روند تنها در صورتی متوقف میشود که محیط کاری و روحیه تیم، به حالت بهتری برسد و انگیزهی توسعهدهندگان بازگردد.
در مجموع، تا زمانی که فضای کاری پرتلاش، نشان دهندهی روحیهای مثبت باشد، روند بازنگری و اصلاح ویژگیهای نسخهی ۱۹ ادامه خواهد داشت. تنها در این صورت است که نسخهی نهایی، برآوردهکننده نیاز کاربران و مطلوب توسعهدهندگان خواهد بود؛ و پروژهی پستگرس همچنان به سمت بهبود و پیشرفت حرکت میکند.
#پستگرس #توسعه_نرمافزار #بازنگری #روحیه_تیم
🟣لینک مقاله:
https://peter.eisentraut.org/blog/2026/10/09/the-reverts-will-continue-until-morale-improves
➖➖➖➖➖➖➖➖
👑 @Database_Academy
'The Reverts Will Continue Until Morale Improves'
🟢 خلاصه مقاله:
در دورهی توسعه نسخه ۱۹ پایگاه داده پستگرس، تیم توسعهدهندگان با چالشهای زیادی مواجه شدند، بهویژه زمانی که بسیاری از ویژگیهای جدید در مرحلهی آزمایش به دلایل مختلف پس گرفته شدند. یکی از افراد کلیدی در این فرآیند، یک عضو از تیم متعهد به پستگرس است که حتی اثر کار خودش نیز در این تغییرات نقش داشت. او معتقد است که روند بازگشت ویژگیها تا زمانی ادامه خواهد داشت که روحیهی تیم و اعتماد به پروژه بهبود پیدا کند، زیرا یک محیط مثبت و حامی، کلید توسعهی موفق است.
در این متن، وی به دلایل اصلی پشت پس گرفتن ویژگیها در نسخهی آزمایشی اشاره میکند و بر اهمیت حمایت، همبستگی و بهبود وضعیت روحیه تمرکز مینماید. در نهایت، هدف اصلی تیم توسعه، حفظ کیفیت و قابلیت اطمینان پروژه است، حتی اگر راه آن پر چالش باشد؛ چرا که این روند تنها در صورتی متوقف میشود که محیط کاری و روحیه تیم، به حالت بهتری برسد و انگیزهی توسعهدهندگان بازگردد.
در مجموع، تا زمانی که فضای کاری پرتلاش، نشان دهندهی روحیهای مثبت باشد، روند بازنگری و اصلاح ویژگیهای نسخهی ۱۹ ادامه خواهد داشت. تنها در این صورت است که نسخهی نهایی، برآوردهکننده نیاز کاربران و مطلوب توسعهدهندگان خواهد بود؛ و پروژهی پستگرس همچنان به سمت بهبود و پیشرفت حرکت میکند.
#پستگرس #توسعه_نرمافزار #بازنگری #روحیه_تیم
🟣لینک مقاله:
https://peter.eisentraut.org/blog/2026/10/09/the-reverts-will-continue-until-morale-improves
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Peter Eisentraut
The reverts will continue until morale improves
Many readers will be aware that an unusually high number of features have been reverted from the PostgreSQL 19 branch after the beta period began. Having some reverts is not unusual, maybe one per cycle could be expected. But this time around, about 8 to…
🔵 عنوان مقاله
What Defines The Streamhouse Architecture? (11 minute read)
🟢 خلاصه مقاله:
در دنیای سامانههای دادهای مدرن، مفهوم معماری «استریمهاوس» که توسط Apache Fluss معرفی شده است، تحولی اساسی ایجاد کرده است. در این رویکرد نوآورانه، به جای استفاده از سیستمهای جداگانه و هماهنگنشده برای وظایف مختلفی مانند جریانسازی دادهها، سرویسدهی به دادهها و تحلیلهای عمیق، یک جدول منطقی واحد و دائم نگهداری میشود. هدف اصلی این است که تمامی جریانهای دادهای زنده و دادههای تاریخی در یک فضای مشترک و منسجم قرار گیرند، که این امر موجب افزایش همسویی، کاهش دوبارهکاری و هزینههای مرتبط با نگهداری چندین سیستم مجزا میشود.
در واقع، این معماری جدید به تیمها اجازه میدهد تا با بهرهگیری از یک ساختار مشترک، دیگر نیاز نباشد در چندین مکان مختلف وضعیت دادهها را بازسازی و بهروز رسانی کنند. ترکیب دادههای لحظهای و تاریخی در یک ساختار واحد، باعث کاهش تکرار در فرآیند وارد کردن دادهها میشود و در نتیجه، سرعت و کارایی عملیاتها افزایش مییابد. البته، برای رفع محدودیتهای خاص و برآورده کردن نیازهای متفاوت، میتوان از کشها و رپلیکاهای تخصصی بهره گرفت که نقش مهمی در بهبود دسترسی و عملکرد سیستم ایفا میکنند.
در نتیجه، معماری «استریمهاوس» یک رویکرد جمعوجور و در عین حال قدرتمند است که هماهنگی بهتر، کاهش هزینهها و افزایش انعطافپذیری را در مدیریت دادهها رقم میزند. این مفهوم نشان میدهد چگونه میتوان سیستمهای دادهای پیچیده را به صورت سادهتر و کارآمدتر طراحی و پیادهسازی کرد، و در مسیر تحول دیجیتال گامهای موثری برداشت.
#معماری_داده #استریمهاوس #مدیریت_داده #تحول_دیجیتال
🟣لینک مقاله:
https://ipolyzos.substack.com/p/what-defines-the-streamhouse-architecture?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
What Defines The Streamhouse Architecture? (11 minute read)
🟢 خلاصه مقاله:
در دنیای سامانههای دادهای مدرن، مفهوم معماری «استریمهاوس» که توسط Apache Fluss معرفی شده است، تحولی اساسی ایجاد کرده است. در این رویکرد نوآورانه، به جای استفاده از سیستمهای جداگانه و هماهنگنشده برای وظایف مختلفی مانند جریانسازی دادهها، سرویسدهی به دادهها و تحلیلهای عمیق، یک جدول منطقی واحد و دائم نگهداری میشود. هدف اصلی این است که تمامی جریانهای دادهای زنده و دادههای تاریخی در یک فضای مشترک و منسجم قرار گیرند، که این امر موجب افزایش همسویی، کاهش دوبارهکاری و هزینههای مرتبط با نگهداری چندین سیستم مجزا میشود.
در واقع، این معماری جدید به تیمها اجازه میدهد تا با بهرهگیری از یک ساختار مشترک، دیگر نیاز نباشد در چندین مکان مختلف وضعیت دادهها را بازسازی و بهروز رسانی کنند. ترکیب دادههای لحظهای و تاریخی در یک ساختار واحد، باعث کاهش تکرار در فرآیند وارد کردن دادهها میشود و در نتیجه، سرعت و کارایی عملیاتها افزایش مییابد. البته، برای رفع محدودیتهای خاص و برآورده کردن نیازهای متفاوت، میتوان از کشها و رپلیکاهای تخصصی بهره گرفت که نقش مهمی در بهبود دسترسی و عملکرد سیستم ایفا میکنند.
در نتیجه، معماری «استریمهاوس» یک رویکرد جمعوجور و در عین حال قدرتمند است که هماهنگی بهتر، کاهش هزینهها و افزایش انعطافپذیری را در مدیریت دادهها رقم میزند. این مفهوم نشان میدهد چگونه میتوان سیستمهای دادهای پیچیده را به صورت سادهتر و کارآمدتر طراحی و پیادهسازی کرد، و در مسیر تحول دیجیتال گامهای موثری برداشت.
#معماری_داده #استریمهاوس #مدیریت_داده #تحول_دیجیتال
🟣لینک مقاله:
https://ipolyzos.substack.com/p/what-defines-the-streamhouse-architecture?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Substack
What Defines The Streamhouse Architecture?
A Modern Approach For Batch & Streaming Unification.
🔵 عنوان مقاله
How Savepoints Throttled Our Postgres Queue
🟢 خلاصه مقاله:
در این مقاله فنی، به طور جامع نگاهی عمیق و تصویری جذاب به مشکلی میپردازیم که چگونه افزودن تعداد بیشتری کارگر به صف مبتنی بر پایگاه داده پستگرس، باعث کاهش سرعت و عملکرد آن شد. در ابتدا، توضیح داده میشود که اجرای عملیاتهای مربوط به گرفتن نقاط ذخیرهسازی یا همان Savepoints بر هر وظیفه، میتواند به مرور زمان موجب کاهش کارایی سیستم شود. این موضوع، یکی از چالشهای اصلی در طراحی سیستمهای صفگذاری است که با افزایش تعداد کارگران، عملکرد دچار اختلال میگردد.
در ادامه، تغییر در رفتار سیستم با افزودن کارگران بیشتر بررسی میشود و اینکه چگونه این عملیاتهای Savepoint، در کنار هم، عامل اصلی در کندی سیستم محسوب میشدند. در این بخش، با نمودارها و گرافهای بصری، فرآیند هر عملیات و تأثیر آن بر عملکرد کلی سیستم نشان داده میشود. سپس، راهکاری هوشمندانه معرفی میشود: استفاده از سیستم اجاره (Lease) برای ادعای وظایف، که به جای اجرای عملیاتهای پرزحمت Savepoint، امکان مدیریت بهتری بر وظایف در زمان اجرای آنها فراهم میآورد و در نتیجه، سرعت صف را بهبود میبخشد.
در پایان، نتایج آزمایش و مقایسه قبل و بعد از بهبود عملکرد ارائه میگردد. این تجربه نشان میدهد که با تغییر رویکرد در مدیریت تراکنشها و بهرهگیری از سیستم اجاره، میتوان از اجرای مداوم عملیاتهای Savepoint جلوگیری کرده و سیستم را کارآمدتر و موثرتر ساخت. این راهکار، میتواند به توسعهدهندگان کمک کند تا در طراحی سیستمهای شیرده، بهینهتر عمل کنند و از کاهش سرعت در صفهای پردازش جلوگیری نمایند.
در نتیجه، مطالعه این نکات فنی، اهمیت طراحی هوشمندانه و بهروز در مدیریت وظایف در پایگاههای داده را نشان میدهد و نشان میدهد که چگونه تغییر کوچک در استراتژی میتواند تأثیر بزرگ در عملکرد کلی سیستم داشته باشد.
#پایگاه_داده #پستگرس #مدیریت_وظایف #بهینهسازی
🟣لینک مقاله:
https://incident.io/blog/how-savepoints-quietly-throttled-our-postgres-queue
➖➖➖➖➖➖➖➖
👑 @Database_Academy
How Savepoints Throttled Our Postgres Queue
🟢 خلاصه مقاله:
در این مقاله فنی، به طور جامع نگاهی عمیق و تصویری جذاب به مشکلی میپردازیم که چگونه افزودن تعداد بیشتری کارگر به صف مبتنی بر پایگاه داده پستگرس، باعث کاهش سرعت و عملکرد آن شد. در ابتدا، توضیح داده میشود که اجرای عملیاتهای مربوط به گرفتن نقاط ذخیرهسازی یا همان Savepoints بر هر وظیفه، میتواند به مرور زمان موجب کاهش کارایی سیستم شود. این موضوع، یکی از چالشهای اصلی در طراحی سیستمهای صفگذاری است که با افزایش تعداد کارگران، عملکرد دچار اختلال میگردد.
در ادامه، تغییر در رفتار سیستم با افزودن کارگران بیشتر بررسی میشود و اینکه چگونه این عملیاتهای Savepoint، در کنار هم، عامل اصلی در کندی سیستم محسوب میشدند. در این بخش، با نمودارها و گرافهای بصری، فرآیند هر عملیات و تأثیر آن بر عملکرد کلی سیستم نشان داده میشود. سپس، راهکاری هوشمندانه معرفی میشود: استفاده از سیستم اجاره (Lease) برای ادعای وظایف، که به جای اجرای عملیاتهای پرزحمت Savepoint، امکان مدیریت بهتری بر وظایف در زمان اجرای آنها فراهم میآورد و در نتیجه، سرعت صف را بهبود میبخشد.
در پایان، نتایج آزمایش و مقایسه قبل و بعد از بهبود عملکرد ارائه میگردد. این تجربه نشان میدهد که با تغییر رویکرد در مدیریت تراکنشها و بهرهگیری از سیستم اجاره، میتوان از اجرای مداوم عملیاتهای Savepoint جلوگیری کرده و سیستم را کارآمدتر و موثرتر ساخت. این راهکار، میتواند به توسعهدهندگان کمک کند تا در طراحی سیستمهای شیرده، بهینهتر عمل کنند و از کاهش سرعت در صفهای پردازش جلوگیری نمایند.
در نتیجه، مطالعه این نکات فنی، اهمیت طراحی هوشمندانه و بهروز در مدیریت وظایف در پایگاههای داده را نشان میدهد و نشان میدهد که چگونه تغییر کوچک در استراتژی میتواند تأثیر بزرگ در عملکرد کلی سیستم داشته باشد.
#پایگاه_داده #پستگرس #مدیریت_وظایف #بهینهسازی
🟣لینک مقاله:
https://incident.io/blog/how-savepoints-quietly-throttled-our-postgres-queue
➖➖➖➖➖➖➖➖
👑 @Database_Academy
incident.io
How savepoints quietly throttled our Postgres queue | Blog
Our on-call ticker runs on a Postgres-backed queue. Under load test it slowed to a crawl, and adding workers only made it worse. The culprit was a savepoint per tick, minting a MultiXact on every locked row.
🔵 عنوان مقاله
Leviathan: Deep memory for agents over large datasets (GitHub Repo)
🟢 خلاصه مقاله:
لومپیثان، ابزاری قدرتمند و مبتنی بر زبان برنامهنویسی Rust است که برای هوش مصنوعی طراحی شده است. این ابزار به کمک تکنولوژیهای پیشرفته، قادر است نتایج جستوجوی فشرده و ارجاعدار را از مجموعههای داده بزرگ ارائه دهد. بهخصوص، با بهرهگیری از فهرستسازی متن کامل در پایگاه داده SQLite، این ابزار میتواند به صورت سریع و دقیق مطالب مرتبط را پیدا کند و نتایج را در اختیار کاربران قرار دهد.
یکی از ویژگیهای شاخص لومپیثان، امکان داشتن حافظه پایدار است که باعث میشود اطلاعات مورد نیاز در طول زمان حفظ و مدیریت شوند. علاوه بر این، این ابزار میتواند از طریق رابط خط فرمان (CLI)، روشهای ارتباطی مانند MCP، یا حتی دسترسی از راه دور، به صورت انعطافپذیر در اختیار کاربران قرار گیرد. این تنوع در روشهای دسترسی، امکان استفاده در پروژهها و سامانههای متنوع را فراهم میآورد و کاربردپذیری آن را افزایش میدهد.
در کل، لومپیثان ابزاری است که با بهرهگیری از فناوریهای پیشرفته و طراحی مدرن، امکان مدیریت و جستوجوی اطلاعات در مجموعههای داده بزرگ را برای هوش مصنوعی فراهم میکند و به توسعهدهندگان این امکان را میدهد تا با کارایی بیشتر و هزینه کمتر، سیستمهای هوشمند خود را توسعه دهند.
#هوش_مصنوعی #پایگاه_داده #جستجو #توسعه_فناوری
🟣لینک مقاله:
https://github.com/elstongun/leviathan?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Leviathan: Deep memory for agents over large datasets (GitHub Repo)
🟢 خلاصه مقاله:
لومپیثان، ابزاری قدرتمند و مبتنی بر زبان برنامهنویسی Rust است که برای هوش مصنوعی طراحی شده است. این ابزار به کمک تکنولوژیهای پیشرفته، قادر است نتایج جستوجوی فشرده و ارجاعدار را از مجموعههای داده بزرگ ارائه دهد. بهخصوص، با بهرهگیری از فهرستسازی متن کامل در پایگاه داده SQLite، این ابزار میتواند به صورت سریع و دقیق مطالب مرتبط را پیدا کند و نتایج را در اختیار کاربران قرار دهد.
یکی از ویژگیهای شاخص لومپیثان، امکان داشتن حافظه پایدار است که باعث میشود اطلاعات مورد نیاز در طول زمان حفظ و مدیریت شوند. علاوه بر این، این ابزار میتواند از طریق رابط خط فرمان (CLI)، روشهای ارتباطی مانند MCP، یا حتی دسترسی از راه دور، به صورت انعطافپذیر در اختیار کاربران قرار گیرد. این تنوع در روشهای دسترسی، امکان استفاده در پروژهها و سامانههای متنوع را فراهم میآورد و کاربردپذیری آن را افزایش میدهد.
در کل، لومپیثان ابزاری است که با بهرهگیری از فناوریهای پیشرفته و طراحی مدرن، امکان مدیریت و جستوجوی اطلاعات در مجموعههای داده بزرگ را برای هوش مصنوعی فراهم میکند و به توسعهدهندگان این امکان را میدهد تا با کارایی بیشتر و هزینه کمتر، سیستمهای هوشمند خود را توسعه دهند.
#هوش_مصنوعی #پایگاه_داده #جستجو #توسعه_فناوری
🟣لینک مقاله:
https://github.com/elstongun/leviathan?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
GitHub
GitHub - elstongun/leviathan: Deep memory for agents over large datasets. Leviathan is a single static binary that turns your records…
Deep memory for agents over large datasets. Leviathan is a single static binary that turns your records (JSONL, JSON, CSV/TSV, SQLite, or anything a database CLI can export) into a ranked full-text...
🔵 عنوان مقاله
Agent Mode in the DuckDB CLI (11 minute read)
🟢 خلاصه مقاله:
در نسخه جدید DuckDB 2.0، حالت عامل در رابط خط فرمان این سیستم به طور هوشمند تشخیص داده میشود زمانی که یک عامل هوشمند (AI agent) قصد استفاده از آن را دارد. پس از شناسایی این حالت، سیستم به صورت خودکار به حالت خروجی جمعوجور و فشرده تغییر وضعیت میدهد تا نتایج به شکل خلاصهتری نمایش داده شوند، و در کنار آن، مواردی مانند برچسبگذاری نتایج ناقص، توقف کوئریهای بیپایان و نمایش خطاها در قالب JSON فعال میشود. این تغییرات باعث میشود فرآیند ها به صورت روانتر و کارآمدتری اجرا شوند، به خصوص در هنگام کار با عوامل هوشمند که نیازمند پاسخهای سریع و موثر هستند.
در بررسیهای گستردهای که بر روی ۱۳۲ بار آزمایش ترازنامههای TPC-H انجام شده، مشخص شده است که این عوامل هوشمند توانستهاند حدود ۶۰ درصد از توکنهای مورد نیاز برای پاسخدهی را کاهش دهند، در حالی که همچنان تمامی پاسخها صحیح و بدون خطا بودند. این کاهش در مصرف توکن نشان از بهبود کارایی و کاهش بار محاسباتی دارد، به طوری که سیستم توانسته است با بهرهگیری بهتر از منابع، به سریعترین شکل ممکن نتایج دقیق را ارائه دهد. این امر نشان میدهد که با توجه به بهبودهای شاخص در عملکرد، میتوان در آینده انتظار داشت که سیستمهای مبتنی بر هوش مصنوعی با به حداقل رساندن مصرف منابع، دقت و سرعت بیشتری در پاسخگویی داشته باشند.
در مجموع، این بهروزرسانی در DuckDB نه تنها تجربه کاربری را ارتقاء میدهد، بلکه امکانات جدید و هوشمندی را برای توسعهدهندگان و کاربران هوشمند فراهم میکند تا به بهترین شکل ممکن از دادهها بهرهمند شوند و عملیاتهای تحلیلی پیچیده را به شکل مؤثرتری انجام دهند.
#هوش_مصنوعی #مدیریت_پایگاه_داده #کارایی #تکنولوژی
🟣لینک مقاله:
https://duckdb.org/2026/10/09/agent-mode?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Agent Mode in the DuckDB CLI (11 minute read)
🟢 خلاصه مقاله:
در نسخه جدید DuckDB 2.0، حالت عامل در رابط خط فرمان این سیستم به طور هوشمند تشخیص داده میشود زمانی که یک عامل هوشمند (AI agent) قصد استفاده از آن را دارد. پس از شناسایی این حالت، سیستم به صورت خودکار به حالت خروجی جمعوجور و فشرده تغییر وضعیت میدهد تا نتایج به شکل خلاصهتری نمایش داده شوند، و در کنار آن، مواردی مانند برچسبگذاری نتایج ناقص، توقف کوئریهای بیپایان و نمایش خطاها در قالب JSON فعال میشود. این تغییرات باعث میشود فرآیند ها به صورت روانتر و کارآمدتری اجرا شوند، به خصوص در هنگام کار با عوامل هوشمند که نیازمند پاسخهای سریع و موثر هستند.
در بررسیهای گستردهای که بر روی ۱۳۲ بار آزمایش ترازنامههای TPC-H انجام شده، مشخص شده است که این عوامل هوشمند توانستهاند حدود ۶۰ درصد از توکنهای مورد نیاز برای پاسخدهی را کاهش دهند، در حالی که همچنان تمامی پاسخها صحیح و بدون خطا بودند. این کاهش در مصرف توکن نشان از بهبود کارایی و کاهش بار محاسباتی دارد، به طوری که سیستم توانسته است با بهرهگیری بهتر از منابع، به سریعترین شکل ممکن نتایج دقیق را ارائه دهد. این امر نشان میدهد که با توجه به بهبودهای شاخص در عملکرد، میتوان در آینده انتظار داشت که سیستمهای مبتنی بر هوش مصنوعی با به حداقل رساندن مصرف منابع، دقت و سرعت بیشتری در پاسخگویی داشته باشند.
در مجموع، این بهروزرسانی در DuckDB نه تنها تجربه کاربری را ارتقاء میدهد، بلکه امکانات جدید و هوشمندی را برای توسعهدهندگان و کاربران هوشمند فراهم میکند تا به بهترین شکل ممکن از دادهها بهرهمند شوند و عملیاتهای تحلیلی پیچیده را به شکل مؤثرتری انجام دهند.
#هوش_مصنوعی #مدیریت_پایگاه_داده #کارایی #تکنولوژی
🟣لینک مقاله:
https://duckdb.org/2026/10/09/agent-mode?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
DuckDB
Agent Mode in the DuckDB CLI
The DuckDB v2.0 CLI has an agent mode that gets AI coding agents to a correct result faster and with fewer tokens. When the CLI detects an agent, it prints compact Markdown tables instead of padded boxes, says clearly when a result was cut, stops runaway…
🔵 عنوان مقاله
Data pipelines and lineage for AI agents on AWS (Sponsor)
🟢 خلاصه مقاله:
در دنیای هوش مصنوعی، عملکرد و دقت یک عامل هوشمند بسیار بستگی به کیفیت و استانداردهای خط لوله دادهای دارد که پشت آن قرار گرفته است. خط لولههای داده و ردیابی منبع آنها، به عنوان پایهای حیاتی، نقش مهمی در تضمین صحت و قابلیت اعتماد نتایج ارائه شده توسط این عاملها ایفا میکنند. این راهنما، به اصول و روشهای طراحی و ساخت این خط لولهها میپردازد؛ از مراحل شروع و جمعآوری دادهها، تا مسیر پاسخدهی نهایی و ردیابی منابع دادهها در هر مرحله. علاوه بر این، توصیههایی برای بررسی مداوم کیفیت دادهها و نظارت بر عملکرد خط لولهها ارائه میدهد تا از بروز خطا و نقصهای احتمالی جلوگیری شود. این مطالب را میتوانید در بازار ابری AWS، در قالب یک راهنمای کامل و کاربردی، مطالعه کنید و از دانش فنی آن بهرهمند شوید.
به طور خلاصه، اهمیت خط لولههای داده در هوش مصنوعی بر کسی پوشیده نیست. با طراحی صحیح و پیگیری دقیق، میتوان اطمینان حاصل کرد که عاملهای هوشمند شما بر پایه دادههای دقیق و معتبر فعالیت میکنند و نتایج قابل اعتمادی ارائه میدهند. این راهنما ابزارهای لازم برای ساختن این ساختارها را در اختیار شما قرار میدهد و به توسعه دهندگان و مهندسان هوش مصنوعی کمک میکند تا بهترین فناوریها و روشها را در پروژههای خود به کار گیرند.
#هوش_مصنوعی #داده #مهندسی_داده #AWS
🟣لینک مقاله:
https://aws.amazon.com/marketplace/build-learn/ai-agent-learning-series/data-pipelines-and-lineage?trk=b0663ee7-1444-430d-adf2-28368ccfee31&sc_channel=el
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Data pipelines and lineage for AI agents on AWS (Sponsor)
🟢 خلاصه مقاله:
در دنیای هوش مصنوعی، عملکرد و دقت یک عامل هوشمند بسیار بستگی به کیفیت و استانداردهای خط لوله دادهای دارد که پشت آن قرار گرفته است. خط لولههای داده و ردیابی منبع آنها، به عنوان پایهای حیاتی، نقش مهمی در تضمین صحت و قابلیت اعتماد نتایج ارائه شده توسط این عاملها ایفا میکنند. این راهنما، به اصول و روشهای طراحی و ساخت این خط لولهها میپردازد؛ از مراحل شروع و جمعآوری دادهها، تا مسیر پاسخدهی نهایی و ردیابی منابع دادهها در هر مرحله. علاوه بر این، توصیههایی برای بررسی مداوم کیفیت دادهها و نظارت بر عملکرد خط لولهها ارائه میدهد تا از بروز خطا و نقصهای احتمالی جلوگیری شود. این مطالب را میتوانید در بازار ابری AWS، در قالب یک راهنمای کامل و کاربردی، مطالعه کنید و از دانش فنی آن بهرهمند شوید.
به طور خلاصه، اهمیت خط لولههای داده در هوش مصنوعی بر کسی پوشیده نیست. با طراحی صحیح و پیگیری دقیق، میتوان اطمینان حاصل کرد که عاملهای هوشمند شما بر پایه دادههای دقیق و معتبر فعالیت میکنند و نتایج قابل اعتمادی ارائه میدهند. این راهنما ابزارهای لازم برای ساختن این ساختارها را در اختیار شما قرار میدهد و به توسعه دهندگان و مهندسان هوش مصنوعی کمک میکند تا بهترین فناوریها و روشها را در پروژههای خود به کار گیرند.
#هوش_مصنوعی #داده #مهندسی_داده #AWS
🟣لینک مقاله:
https://aws.amazon.com/marketplace/build-learn/ai-agent-learning-series/data-pipelines-and-lineage?trk=b0663ee7-1444-430d-adf2-28368ccfee31&sc_channel=el
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Amazon
Module 9 - Data pipelines and lineage on AWS | AWS Marketplace
Engineer the data pipeline behind accurate AI agents: ingestion, chunking, incremental refresh, source-to-response lineage, and access control at retrieval.
🔵 عنوان مقاله
pg-delta: Diff Postgres Schemas Into Ordered Migrations
🟢 خلاصه مقاله:
در دنیای مدیریت بانکهای اطلاعاتی، بهروزرسانی و نگهداری ساختارهای دادهای معتبر و منظم اهمیت زیادی دارد. یکی از چالشهای رایج این است که هنگام مقایسه و همگامسازی اسکیماهای مختلف، بتوان تفاوتها را بهصورت دقیق و سیستماتیک شناسایی و مدیریت کرد. در این زمینه، ابزارهای مقایسه اسکیما نقش بسیار مهمی ایفا میکنند. یکی از جدیدترین و قدرتمندترین این ابزارها، pg-delta است که توسط تیم سوباسیه توسعه یافته و به عنوان یک موتور متن باز برای مقایسه اسکیماهای پایگاه دادههای PostgreSQL محسوب میشود.
این ابزار قادر است بهراحتی دو پایگاهداده با نسخههای 14 تا 18 PostgreSQL را ارزیابی کند و تفاوتهای موجود میانشان را به صورت مجموعهای از迁移های مرتب و قابل اجرا نشان دهد. هدف اصلی این فناوری، تسهیل فرآیند بهروزرسانی و مهاجرت ساختارهای پایگاه داده است، بهخصوص در مواردی که سیاستهای امنیتی (مانند RLS)، مجوزها و دامنههای داده نیازمند تغییر و نگهداری منظم هستند. بنابراین، کاربران میتوانند بهصورت گامبهگام و منسجم تفاوتها را مدیریت کرده و تغییرات را پیادهسازی نمایند.
این ابزار با تمرکز بر قابلیتهای هوشمند، امکاناتی جامع برای تحلیل تفاوتها، تولید اسکریپتهای مهاجرت و اجرای آنها فراهم میکند. علاوه بر این، بهخاطر عملیات بر پایه مقایسه دقیق و سیستماتیک، خطر خطا و ناهماهنگی کمتری هنگام بروزرسانیهای عمده در پروژههای بزرگ و حساس وجود دارد. بهاینترتیب، توسعهدهندگان و مدیران پایگاه داده میتوانند اطمینان حاصل کنند که ساختار دادههایشان همیشه در وضعیت مطلوب و قابل اطمینان قرار دارد.
در نتیجه، pg-delta یک ابزار پیشرفته و موثر است که جایگاه خاصی در فرآیندهای نگهداری، مدیریت و مهاجرت ساختارهای پایگاه دادههای PostgreSQL پیدا کرده. استفاده از این فناوری، روند بهروزرسانیها را سادهتر، سریعتر و مطمئنتر میکند و نقش مهمی در افزایش بهرهوری و کاهش خطا در فرآیندهای توسعه و نگهداری بانکهای اطلاعاتی ایفا مینماید.
#پایگاه_داده #PostgreSQL #مهاجرت_اسکیما #توسعهدهندگان
🟣لینک مقاله:
https://supabase.com/blog/declarative-schemas-2-0-pg-delta
➖➖➖➖➖➖➖➖
👑 @Database_Academy
pg-delta: Diff Postgres Schemas Into Ordered Migrations
🟢 خلاصه مقاله:
در دنیای مدیریت بانکهای اطلاعاتی، بهروزرسانی و نگهداری ساختارهای دادهای معتبر و منظم اهمیت زیادی دارد. یکی از چالشهای رایج این است که هنگام مقایسه و همگامسازی اسکیماهای مختلف، بتوان تفاوتها را بهصورت دقیق و سیستماتیک شناسایی و مدیریت کرد. در این زمینه، ابزارهای مقایسه اسکیما نقش بسیار مهمی ایفا میکنند. یکی از جدیدترین و قدرتمندترین این ابزارها، pg-delta است که توسط تیم سوباسیه توسعه یافته و به عنوان یک موتور متن باز برای مقایسه اسکیماهای پایگاه دادههای PostgreSQL محسوب میشود.
این ابزار قادر است بهراحتی دو پایگاهداده با نسخههای 14 تا 18 PostgreSQL را ارزیابی کند و تفاوتهای موجود میانشان را به صورت مجموعهای از迁移های مرتب و قابل اجرا نشان دهد. هدف اصلی این فناوری، تسهیل فرآیند بهروزرسانی و مهاجرت ساختارهای پایگاه داده است، بهخصوص در مواردی که سیاستهای امنیتی (مانند RLS)، مجوزها و دامنههای داده نیازمند تغییر و نگهداری منظم هستند. بنابراین، کاربران میتوانند بهصورت گامبهگام و منسجم تفاوتها را مدیریت کرده و تغییرات را پیادهسازی نمایند.
این ابزار با تمرکز بر قابلیتهای هوشمند، امکاناتی جامع برای تحلیل تفاوتها، تولید اسکریپتهای مهاجرت و اجرای آنها فراهم میکند. علاوه بر این، بهخاطر عملیات بر پایه مقایسه دقیق و سیستماتیک، خطر خطا و ناهماهنگی کمتری هنگام بروزرسانیهای عمده در پروژههای بزرگ و حساس وجود دارد. بهاینترتیب، توسعهدهندگان و مدیران پایگاه داده میتوانند اطمینان حاصل کنند که ساختار دادههایشان همیشه در وضعیت مطلوب و قابل اطمینان قرار دارد.
در نتیجه، pg-delta یک ابزار پیشرفته و موثر است که جایگاه خاصی در فرآیندهای نگهداری، مدیریت و مهاجرت ساختارهای پایگاه دادههای PostgreSQL پیدا کرده. استفاده از این فناوری، روند بهروزرسانیها را سادهتر، سریعتر و مطمئنتر میکند و نقش مهمی در افزایش بهرهوری و کاهش خطا در فرآیندهای توسعه و نگهداری بانکهای اطلاعاتی ایفا مینماید.
#پایگاه_داده #PostgreSQL #مهاجرت_اسکیما #توسعهدهندگان
🟣لینک مقاله:
https://supabase.com/blog/declarative-schemas-2-0-pg-delta
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Supabase
Declarative Schemas 2.0 with pg-delta
The migrations the CLI writes for you no longer skip RLS policy changes, grants, view settings, partitions, or domains.
🔵 عنوان مقاله
Don't Bet on SELECT Order: Shuffle Your Rows and See What Folds
🟢 خلاصه مقاله:
اگر برنامه یا تستهای شما به طور ضمنی بر اساس ترتیب دریافت ردیفها هنگام وارد کردن دادهها تکیه دارند، ممکن است با مشکلات زیادی مواجه شوید. یکی از این مشکلات، رفتار غیرمنتظره در نتایج است که در صورت تغییر یا غفلت، خطاهای پنهانی را ایجاد میکند. برای جلوگیری از این مشکل، پیشنهاد میشود همیشه هنگام استفاده از دستور SELECT، از کلیدواژهی ORDER BY بهره ببرید تا ترتیب نتایج مشخص و ثابت باشد. اما در مواردی که ممکن است فراموش کنید یا قصد دارید در مرحلهی آزمایش، ردیفها را به صورت تصادفی و بدون ترتیب خاصی ببینید، افزونهی pg_disorder به کار میآید. این افزونه نتایج حاصل از SELECT بدون ORDER BY را مخلوط میکند تا بتوانید به راحتی هرگونه وابستگی ناپایدار به ترتیب ردیفها را کشف و برطرف کنید و از بروز خطاهای غیرمنتظره جلوگیری نمایید.
اگر برنامههای شما به گونهای طراحی شده است که نتیجهی هر بار اجرا مستقل از ترتیب وارد کردن داده باشد، بهتر است از ابزارهای مخصوصی مانند افزونه pg_disorder استفاده کنید. این افزونه با تغییر ترتیب نتایج، به تست و اشکالزدایی کمک میکند و از رفتارهای نامطلوب و خطاهای مبهم جلوگیری مینماید. به خاطر داشته باشید که اعتماد صرف به نتایج بدون ترتیب، میتواند ریسکهای بزرگی در توسعه و نگهداری برنامههای پایگاه داده ایجاد کند؛ بنابراین همیشه استفاده از ORDER BY را در اولویت قرار دهید و در مواقع مناسب، از امکاناتی مانند این افزونه بهرهمند شوید تا محیط توسعهی مطمئنتری داشته باشید.
#پایگاهداده #تست_برنامه #نکات_فنی #ایپپروژه
🟣لینک مقاله:
https://evilmartians.com/chronicles/dont-bet-on-select-order-shuffle-your-rows-see-what-folds
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Don't Bet on SELECT Order: Shuffle Your Rows and See What Folds
🟢 خلاصه مقاله:
اگر برنامه یا تستهای شما به طور ضمنی بر اساس ترتیب دریافت ردیفها هنگام وارد کردن دادهها تکیه دارند، ممکن است با مشکلات زیادی مواجه شوید. یکی از این مشکلات، رفتار غیرمنتظره در نتایج است که در صورت تغییر یا غفلت، خطاهای پنهانی را ایجاد میکند. برای جلوگیری از این مشکل، پیشنهاد میشود همیشه هنگام استفاده از دستور SELECT، از کلیدواژهی ORDER BY بهره ببرید تا ترتیب نتایج مشخص و ثابت باشد. اما در مواردی که ممکن است فراموش کنید یا قصد دارید در مرحلهی آزمایش، ردیفها را به صورت تصادفی و بدون ترتیب خاصی ببینید، افزونهی pg_disorder به کار میآید. این افزونه نتایج حاصل از SELECT بدون ORDER BY را مخلوط میکند تا بتوانید به راحتی هرگونه وابستگی ناپایدار به ترتیب ردیفها را کشف و برطرف کنید و از بروز خطاهای غیرمنتظره جلوگیری نمایید.
اگر برنامههای شما به گونهای طراحی شده است که نتیجهی هر بار اجرا مستقل از ترتیب وارد کردن داده باشد، بهتر است از ابزارهای مخصوصی مانند افزونه pg_disorder استفاده کنید. این افزونه با تغییر ترتیب نتایج، به تست و اشکالزدایی کمک میکند و از رفتارهای نامطلوب و خطاهای مبهم جلوگیری مینماید. به خاطر داشته باشید که اعتماد صرف به نتایج بدون ترتیب، میتواند ریسکهای بزرگی در توسعه و نگهداری برنامههای پایگاه داده ایجاد کند؛ بنابراین همیشه استفاده از ORDER BY را در اولویت قرار دهید و در مواقع مناسب، از امکاناتی مانند این افزونه بهرهمند شوید تا محیط توسعهی مطمئنتری داشته باشید.
#پایگاهداده #تست_برنامه #نکات_فنی #ایپپروژه
🟣لینک مقاله:
https://evilmartians.com/chronicles/dont-bet-on-select-order-shuffle-your-rows-see-what-folds
➖➖➖➖➖➖➖➖
👑 @Database_Academy
evilmartians.com
Don't bet on SELECT's order: shuffle your rows and see what folds—Martian Chronicles, Evil Martians’ team blog
PostgreSQL does not guarantee row order without ORDER BY. Use Rails 8.2 or pg_disorder to shuffle unordered SELECT results and expose hidden order dependencies, flaky tests, and application bugs. This is chaos engineering directed at your database.
🔵 عنوان مقاله
Postgres relation files, filed under base/ (7 minute read)
🟢 خلاصه مقاله:
در پایگاه داده پستگرس، هر رابطه یا شیء، به صورت فایلهای فیزیکی مستقل نگهداری میشود که با توجه به فضای جدول، پایگاه داده و شناسه فایل مربوطه تعیین میشوند. این فایلها در مسیرهای خاصی با نامهایی منحصر به فرد قرار میگیرند و در صورت نیاز، شاخهها یا فایلهای اضافی مانند TOAST نیز ایجاد میشوند تا حجم زیاد دادهها را مدیریت کنند. ارتباط بین اشیاء منطقی و فایلهای فیزیکی در پستگرس انعطافپذیر است؛ به عنوان مثال، عملیاتهایی مانند VACUUM FULL یا REINDEX میتواند فضای ذخیرهسازی را بازنویسی کرده و relfilenodeها را جابجا کند، در حالی که هویت اصلی جدول حفظ میشود و تغییر نمیکند. این قابلیت به پستگرس اجازه میدهد که جداول بزرگ را به صورت شفاف و بدون اختلال در فرآیندهای جاری، در چندین فایل تقسیم کند و مدیریت کند. بنابراین، ساختار فایلهای فیزیکی این سیستم به گونهای طراحی شده است که انعطافپذیری، کارایی و سازگاری با عملیات نگهداری و بهروزرسانی را تضمین کند.
#پایگاه_داده #پستگرس #مدیریت_فایل #پشتیبانی
🟣لینک مقاله:
https://boringsql.com/posts/files-forks-and-relfilenodes?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Postgres relation files, filed under base/ (7 minute read)
🟢 خلاصه مقاله:
در پایگاه داده پستگرس، هر رابطه یا شیء، به صورت فایلهای فیزیکی مستقل نگهداری میشود که با توجه به فضای جدول، پایگاه داده و شناسه فایل مربوطه تعیین میشوند. این فایلها در مسیرهای خاصی با نامهایی منحصر به فرد قرار میگیرند و در صورت نیاز، شاخهها یا فایلهای اضافی مانند TOAST نیز ایجاد میشوند تا حجم زیاد دادهها را مدیریت کنند. ارتباط بین اشیاء منطقی و فایلهای فیزیکی در پستگرس انعطافپذیر است؛ به عنوان مثال، عملیاتهایی مانند VACUUM FULL یا REINDEX میتواند فضای ذخیرهسازی را بازنویسی کرده و relfilenodeها را جابجا کند، در حالی که هویت اصلی جدول حفظ میشود و تغییر نمیکند. این قابلیت به پستگرس اجازه میدهد که جداول بزرگ را به صورت شفاف و بدون اختلال در فرآیندهای جاری، در چندین فایل تقسیم کند و مدیریت کند. بنابراین، ساختار فایلهای فیزیکی این سیستم به گونهای طراحی شده است که انعطافپذیری، کارایی و سازگاری با عملیات نگهداری و بهروزرسانی را تضمین کند.
#پایگاه_داده #پستگرس #مدیریت_فایل #پشتیبانی
🟣لینک مقاله:
https://boringsql.com/posts/files-forks-and-relfilenodes?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
boringSQL | Supercharge your SQL & PostgreSQL powers
Postgres relation files, filed under base/
The files behind a PostgreSQL table: relfilenode versus OID, the fsm, vm, and init forks, 1GB segments, and what od on the file shows that pageinspect on the buffer doesn't.
🔵 عنوان مقاله
pg_vectorsearch: A Partition-Based Alternative to HNSW
🟢 خلاصه مقاله:
در دنیای جستجوی برداری، الگوریتمهای متنوعی برای پیدا کردن سریع و دقیق دادههای بسیار بزرگ توسعه یافتهاند. یکی از این روشها، HNSW است که بر پایه ساختاری گرافی طراحی شده و به طور مؤثر در جستجوی برداری عمل میکند. اما اخیراً، فناوری جدیدی به نام pg_vectorsearch معرفی شده است که رویکرد متفاوتی را برمیگزیند.
این افزونه، که بر اساس فناوری PRISM ساخته شده است، مکانیزمی نوین برای جستجو در دادههای برداری ارائه میدهد. برخلاف HNSW که در آن مسیرهای گرافی برای یافتن نزدیکترین همسایگان پیموده میشود، pg_vectorsearch از قسمتبندیهای فشرده شده K-means در هر نقشه برداری استفاده میکند. این فرآیند، به جای عبور از مسیرهای گرافی پیچیده، به اسکن سریع و کارآمدی از این قسمتبندیها تکیه دارد و به نوعی جایگزینی موثر برای روشهای سنتی محسوب میشود.
نکته مهم این است که این فناوری جدید با ستونهای موجود در پایگاه دادههای pgvector سازگار است و بدون نیاز به ساختارهای پیچیده، قابلیت پیادهسازی آسان را فراهم میکند. البته، در حال حاضر، این نسخه هنوز در مرحله آلفا قرار دارد و نیازمند نسخه ۱۸ پستگرس یا بالاتر است، در حالی که pgvectorscale هماکنون در حالت نگهداری قرار دارد. این تغییرات نشاندهنده حرکت به سمت فناوریهای نوین و بهبود تدریجی در حوزه جستجوی برداری است.
در مجموع، pg_vectorsearch با بهرهگیری از رویکردی منحصربهفرد و جدید، افقهای تازهای را در جستجوی سریع و مقیاسپذیر دادههای برداری گشوده است. این فناوری میتواند راهکار مناسبی برای توسعهدهندگان و کارشناسان داده باشد که به دنبال روشهای کارآمدتر در پردازش و تحلیل حجم عظیم دادههای برداری هستند.
#جستجوی_برداری #هوش_مصنوعی #پایگاهداده #تکنولوژی
🟣لینک مقاله:
https://www.tigerdata.com/blog/announcing-pg_vectorsearch-scalable-open-source-vector-search-postgresql
➖➖➖➖➖➖➖➖
👑 @Database_Academy
pg_vectorsearch: A Partition-Based Alternative to HNSW
🟢 خلاصه مقاله:
در دنیای جستجوی برداری، الگوریتمهای متنوعی برای پیدا کردن سریع و دقیق دادههای بسیار بزرگ توسعه یافتهاند. یکی از این روشها، HNSW است که بر پایه ساختاری گرافی طراحی شده و به طور مؤثر در جستجوی برداری عمل میکند. اما اخیراً، فناوری جدیدی به نام pg_vectorsearch معرفی شده است که رویکرد متفاوتی را برمیگزیند.
این افزونه، که بر اساس فناوری PRISM ساخته شده است، مکانیزمی نوین برای جستجو در دادههای برداری ارائه میدهد. برخلاف HNSW که در آن مسیرهای گرافی برای یافتن نزدیکترین همسایگان پیموده میشود، pg_vectorsearch از قسمتبندیهای فشرده شده K-means در هر نقشه برداری استفاده میکند. این فرآیند، به جای عبور از مسیرهای گرافی پیچیده، به اسکن سریع و کارآمدی از این قسمتبندیها تکیه دارد و به نوعی جایگزینی موثر برای روشهای سنتی محسوب میشود.
نکته مهم این است که این فناوری جدید با ستونهای موجود در پایگاه دادههای pgvector سازگار است و بدون نیاز به ساختارهای پیچیده، قابلیت پیادهسازی آسان را فراهم میکند. البته، در حال حاضر، این نسخه هنوز در مرحله آلفا قرار دارد و نیازمند نسخه ۱۸ پستگرس یا بالاتر است، در حالی که pgvectorscale هماکنون در حالت نگهداری قرار دارد. این تغییرات نشاندهنده حرکت به سمت فناوریهای نوین و بهبود تدریجی در حوزه جستجوی برداری است.
در مجموع، pg_vectorsearch با بهرهگیری از رویکردی منحصربهفرد و جدید، افقهای تازهای را در جستجوی سریع و مقیاسپذیر دادههای برداری گشوده است. این فناوری میتواند راهکار مناسبی برای توسعهدهندگان و کارشناسان داده باشد که به دنبال روشهای کارآمدتر در پردازش و تحلیل حجم عظیم دادههای برداری هستند.
#جستجوی_برداری #هوش_مصنوعی #پایگاهداده #تکنولوژی
🟣لینک مقاله:
https://www.tigerdata.com/blog/announcing-pg_vectorsearch-scalable-open-source-vector-search-postgresql
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Tiger Data Blog
Announcing pg_vectorsearch: Scalable Open-Source Vector Search in PostgreSQL
pg_vectorsearch is a new open-source Postgres extension. Its PRISM index serves 100M vectors in 6 ms on 4x less RAM than HNSW, with builds in under 2 hours.
🔵 عنوان مقاله
I'm now convinced single-node DuckDB is the best engine at any realistic scale (Reddit Thread)
🟢 خلاصه مقاله:
در یک بحث در Reddit، یکی از کاربران داتابریکس توضیح داد که موتور DuckDB به تنهایی و در مقایسه با دیگر گزینهها، بهترین گزینه در مقیاسهای واقعی است. این کاربر پس از بررسی عملکرد چندین سیستم مانند Spark و Trino، دریافت که هر سه سیستم بیشتر زمان خود را صرف انتظار برای پاسخ از سرویس S3 میکنند، در حالی که پردازندههای آنان حدود ۹۰ درصد خاموش یا نیمهفعال هستند. این موضوع نشان میدهد که عامل محدودکننده، بیشتر به تأخیر در ارتباط با فضای ابری مربوط است تا توان پردازشی سیستمهای محاسباتی.
در این مطالعه، وقتی تعداد رشتههای خواندن داده در DuckDB چهار برابر تعداد هستههای پردازشی اجرایی شد، این سیستم توانست در اجرای پرسشهای ۱۰ ترابایتی، برتری قابلتوجهی نسبت به Trino نشان دهد؛ به طوری که سرعت آن بین ۱.۷ تا ۲.۱ برابر بیشتر شد. این در حالی است که بر روی همان سختافزار، سیستم DuckDB در مقایسه با Trino در عملکرد برتری داشت و توانست عملیات را سریعتر انجام دهد، هر چند در مقایسه با یک خوشه Trino با ۵ تا ۱۳ گره، حدود نیمی از هزینهها را صرف کاهش سرعت کرده است. این یافتهها نشان میدهد که برای مقیاسهای عملی و هزینههای پایین، استفاده از یک واحد DuckDB میتواند بسیار مؤثر باشد و پیشنهاد میشود در طراحیهای آینده، این گزینه در نظر گرفته شود.
در نهایت، این نتایج نشان میدهد که در مقایسه با سیستمهای توزیع شده بزرگ، سیستمهای تکنود مانند DuckDB، در برخی موارد خاص بهترین عملکرد و صرفه اقتصادی را ارائه میدهند. این موضوع اهمیت بررسی دقیق نیازهای واقعی هر پروژه، در انتخاب ابزارهای مناسب را بیش از پیش نشان میدهد و میتواند راه را برای بهرهبرداری بهینه از منابع در دادهکاوی و تجزیه و تحلیل بزرگدادهها هموار سازد.
#DuckDB #پایگاه_داده #تحلیل_عمیق #بهینهسازی
🟣لینک مقاله:
https://www.reddit.com/r/DuckDB/comments/1x1h4f4/im_now_convinced_singlenode_duckdb_is_the_best/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
I'm now convinced single-node DuckDB is the best engine at any realistic scale (Reddit Thread)
🟢 خلاصه مقاله:
در یک بحث در Reddit، یکی از کاربران داتابریکس توضیح داد که موتور DuckDB به تنهایی و در مقایسه با دیگر گزینهها، بهترین گزینه در مقیاسهای واقعی است. این کاربر پس از بررسی عملکرد چندین سیستم مانند Spark و Trino، دریافت که هر سه سیستم بیشتر زمان خود را صرف انتظار برای پاسخ از سرویس S3 میکنند، در حالی که پردازندههای آنان حدود ۹۰ درصد خاموش یا نیمهفعال هستند. این موضوع نشان میدهد که عامل محدودکننده، بیشتر به تأخیر در ارتباط با فضای ابری مربوط است تا توان پردازشی سیستمهای محاسباتی.
در این مطالعه، وقتی تعداد رشتههای خواندن داده در DuckDB چهار برابر تعداد هستههای پردازشی اجرایی شد، این سیستم توانست در اجرای پرسشهای ۱۰ ترابایتی، برتری قابلتوجهی نسبت به Trino نشان دهد؛ به طوری که سرعت آن بین ۱.۷ تا ۲.۱ برابر بیشتر شد. این در حالی است که بر روی همان سختافزار، سیستم DuckDB در مقایسه با Trino در عملکرد برتری داشت و توانست عملیات را سریعتر انجام دهد، هر چند در مقایسه با یک خوشه Trino با ۵ تا ۱۳ گره، حدود نیمی از هزینهها را صرف کاهش سرعت کرده است. این یافتهها نشان میدهد که برای مقیاسهای عملی و هزینههای پایین، استفاده از یک واحد DuckDB میتواند بسیار مؤثر باشد و پیشنهاد میشود در طراحیهای آینده، این گزینه در نظر گرفته شود.
در نهایت، این نتایج نشان میدهد که در مقایسه با سیستمهای توزیع شده بزرگ، سیستمهای تکنود مانند DuckDB، در برخی موارد خاص بهترین عملکرد و صرفه اقتصادی را ارائه میدهند. این موضوع اهمیت بررسی دقیق نیازهای واقعی هر پروژه، در انتخاب ابزارهای مناسب را بیش از پیش نشان میدهد و میتواند راه را برای بهرهبرداری بهینه از منابع در دادهکاوی و تجزیه و تحلیل بزرگدادهها هموار سازد.
#DuckDB #پایگاه_داده #تحلیل_عمیق #بهینهسازی
🟣لینک مقاله:
https://www.reddit.com/r/DuckDB/comments/1x1h4f4/im_now_convinced_singlenode_duckdb_is_the_best/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Reddit
From the DuckDB community on Reddit
Explore this post and more from the DuckDB community
🔵 عنوان مقاله
Orafce: Oracle Compatibility Functions for Postgres
🟢 خلاصه مقاله:
در دنیای مدیریت پایگاههای داده، سازگاری و انتقال آسان از یک سیستم به سیستم دیگر اهمیت زیادی دارد. یکی از چالشهایی که کاربران با آن مواجه هستند، تطابق فانکشنها و عملکردهای موجود در سیستمهای مختلف است. در این راستا، پروژه Orafce نقش مهمی ایفا میکند؛ این پروژه مجموعهای از توابع سازگار با Oracle است که بر روی پایگاه داده PostgreSQL اجرا میشود.
Orafce چندین تابع مفید از Oracle را پیادهسازی میکند که در فرآیند مهاجرت کاربران به PostgreSQL بسیار کمککننده است. بسیاری از کاربران این پروژه را در چند سال اخیر نادیده گرفته بودند، ولی حقیقت این است که توسعه و بهروزرسانیهای آن هنوز هم به صورت منظم ادامه دارد و در فواصل زمانی منظم نسخههای جدیدی منتشر میشود. این امر نشان میدهد که Orafce در دنیای انتقال دادهها و تطابق عملکردها، به عنوان یک ابزار ارزشمند و قابل اعتماد باقی مانده است.
در نتیجه، استفاده از Orafce میتواند فرآیند مهاجرت و سازگارسازی سیستمهای پایگاه داده را تسهیل کند و به توسعهدهندگان و مدیران پایگاه داده کمک کند تا بدون نگرانی از تفاوتهای ساختاری و فانکشن میان Oracle و PostgreSQL، کار خود را با اطمینان انجام دهند. با توجه به روند پیشرفت و استمرار پشتیبانی، این ابزار همچنان گزینهای مهم و موثر برای بهبود تطابق و هماهنگی دادهها در پروژههای مختلف محسوب میشود.
#پایگاه_داده #PostgreSQL #مهاجرت_پایگاه_داده #Oracle
🟣لینک مقاله:
https://github.com/orafce/orafce#readme
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Orafce: Oracle Compatibility Functions for Postgres
🟢 خلاصه مقاله:
در دنیای مدیریت پایگاههای داده، سازگاری و انتقال آسان از یک سیستم به سیستم دیگر اهمیت زیادی دارد. یکی از چالشهایی که کاربران با آن مواجه هستند، تطابق فانکشنها و عملکردهای موجود در سیستمهای مختلف است. در این راستا، پروژه Orafce نقش مهمی ایفا میکند؛ این پروژه مجموعهای از توابع سازگار با Oracle است که بر روی پایگاه داده PostgreSQL اجرا میشود.
Orafce چندین تابع مفید از Oracle را پیادهسازی میکند که در فرآیند مهاجرت کاربران به PostgreSQL بسیار کمککننده است. بسیاری از کاربران این پروژه را در چند سال اخیر نادیده گرفته بودند، ولی حقیقت این است که توسعه و بهروزرسانیهای آن هنوز هم به صورت منظم ادامه دارد و در فواصل زمانی منظم نسخههای جدیدی منتشر میشود. این امر نشان میدهد که Orafce در دنیای انتقال دادهها و تطابق عملکردها، به عنوان یک ابزار ارزشمند و قابل اعتماد باقی مانده است.
در نتیجه، استفاده از Orafce میتواند فرآیند مهاجرت و سازگارسازی سیستمهای پایگاه داده را تسهیل کند و به توسعهدهندگان و مدیران پایگاه داده کمک کند تا بدون نگرانی از تفاوتهای ساختاری و فانکشن میان Oracle و PostgreSQL، کار خود را با اطمینان انجام دهند. با توجه به روند پیشرفت و استمرار پشتیبانی، این ابزار همچنان گزینهای مهم و موثر برای بهبود تطابق و هماهنگی دادهها در پروژههای مختلف محسوب میشود.
#پایگاه_داده #PostgreSQL #مهاجرت_پایگاه_داده #Oracle
🟣لینک مقاله:
https://github.com/orafce/orafce#readme
➖➖➖➖➖➖➖➖
👑 @Database_Academy
GitHub
GitHub - orafce/orafce: The "orafce" project implements in Postgres some of the functions from the Oracle database that are missing…
The "orafce" project implements in Postgres some of the functions from the Oracle database that are missing (or behaving differently).Those functions were verified on Oracle 10g, ...
🔵 عنوان مقاله
Apache DataFusion Comet 1.1.0 Release (9 minute read)
🟢 خلاصه مقاله:
آپاچی دیتافیوژن کمِت نسخه ۱.۱.۰ به تازگی عرضه شده است و تحولات قابل توجهی در کارایی و عملکرد آن ایجاد کرده است. این نسخه با تمرکز بر بهرهبرداری بهتر از منابع و افزایش سرعت عملیات، امکان اجرای بخش بیشتری از پردازشها را به صورت کد بومی (نیتیو) فراهم میکند. یکی از ویژگیهای برجسته این نسخه، آزمایش قابلیت نوشتن در سیستم فایل iceberg است که در حال حاضر در مرحله آزمایشی قرار دارد و میتواند به بهبود کارایی در ذخیرهسازی و مدیریت دادهها کمک کند.
علاوه بر این، کمِت ۱.۱.۰ امکان shuffle بومی را از طریق Celeborn فراهم کرده است، که این امر باعث کاهش زمان عملیاتهای توزیع و انتقال دادهها میشود و عملکرد کلی سیستم را بهبود میبخشد. توسعهدهندگان قصد دارند با این امکانات، پردازشهای تحلیلی و دادهکاوی سریعتر و موثرتر انجام دهند و تجربه کاربری بهتری ارائه دهند.
این نسخه همچنین به شکلی خاص به یکی از مشکلات رایج در سیستمهای پردازشی، یعنی فشار بر حافظه غیربهینه (off-heap memory) پرداخته است. در گذشته، این فشار میتوانست منجر به خطاهای عملیاتی و خاموشیهای ناگهانی سیستمها شود، اما با افزودن ابزارهای حسابرسی حافظه و لاگگیری دقیق، کنترل و مدیریت بهتر این فشار فراهم شده است. این اقدامات به مدیران سیستم کمک میکند تا از بروز خطاهای ناشی از مصرف بیشازحد حافظه جلوگیری کنند و پایداری و قابلیت اطمینان سیستم را افزایش دهند.
در مجموع، این نسخه با تمرکز بر بهبود کارایی، کاهش خطاهای عملیاتی و افزودن امکانات بومی، گامی مهم در مسیر ارتقاء Apache DataFusion است. توسعهیافتهها و مدیران فناوری اطلاعات حالا میتوانند با اطمینان بیشتر، به عملیات دادهکاوی و تجزیه و تحلیلهای بزرگ مقیاس بپردازند و از ثبات و سرعت بالاتر سیستم بهرهمند شوند.
#پایگاهداده #تحلیلداده #فناوریهایموزدنباز #بهبودپایداری
🟣لینک مقاله:
https://datafusion.apache.org/blog/2026/10/01/datafusion-comet-1.1.0?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Apache DataFusion Comet 1.1.0 Release (9 minute read)
🟢 خلاصه مقاله:
آپاچی دیتافیوژن کمِت نسخه ۱.۱.۰ به تازگی عرضه شده است و تحولات قابل توجهی در کارایی و عملکرد آن ایجاد کرده است. این نسخه با تمرکز بر بهرهبرداری بهتر از منابع و افزایش سرعت عملیات، امکان اجرای بخش بیشتری از پردازشها را به صورت کد بومی (نیتیو) فراهم میکند. یکی از ویژگیهای برجسته این نسخه، آزمایش قابلیت نوشتن در سیستم فایل iceberg است که در حال حاضر در مرحله آزمایشی قرار دارد و میتواند به بهبود کارایی در ذخیرهسازی و مدیریت دادهها کمک کند.
علاوه بر این، کمِت ۱.۱.۰ امکان shuffle بومی را از طریق Celeborn فراهم کرده است، که این امر باعث کاهش زمان عملیاتهای توزیع و انتقال دادهها میشود و عملکرد کلی سیستم را بهبود میبخشد. توسعهدهندگان قصد دارند با این امکانات، پردازشهای تحلیلی و دادهکاوی سریعتر و موثرتر انجام دهند و تجربه کاربری بهتری ارائه دهند.
این نسخه همچنین به شکلی خاص به یکی از مشکلات رایج در سیستمهای پردازشی، یعنی فشار بر حافظه غیربهینه (off-heap memory) پرداخته است. در گذشته، این فشار میتوانست منجر به خطاهای عملیاتی و خاموشیهای ناگهانی سیستمها شود، اما با افزودن ابزارهای حسابرسی حافظه و لاگگیری دقیق، کنترل و مدیریت بهتر این فشار فراهم شده است. این اقدامات به مدیران سیستم کمک میکند تا از بروز خطاهای ناشی از مصرف بیشازحد حافظه جلوگیری کنند و پایداری و قابلیت اطمینان سیستم را افزایش دهند.
در مجموع، این نسخه با تمرکز بر بهبود کارایی، کاهش خطاهای عملیاتی و افزودن امکانات بومی، گامی مهم در مسیر ارتقاء Apache DataFusion است. توسعهیافتهها و مدیران فناوری اطلاعات حالا میتوانند با اطمینان بیشتر، به عملیات دادهکاوی و تجزیه و تحلیلهای بزرگ مقیاس بپردازند و از ثبات و سرعت بالاتر سیستم بهرهمند شوند.
#پایگاهداده #تحلیلداده #فناوریهایموزدنباز #بهبودپایداری
🟣لینک مقاله:
https://datafusion.apache.org/blog/2026/10/01/datafusion-comet-1.1.0?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
🔵 عنوان مقاله
pgwatch 6.0: Prometheus Sources, Rebuilt Dashboards, and a Sturdier Collector
🟢 خلاصه مقاله:
نسخه ۶.۰ ابزار پیگیری معیارهای مربوط به PostgreSQL، با ویژگیهای جدید و بهبودهای قابل توجه، عرضه شده است. این ابزار محبوب که هم مجموعهای از منابع دادههای مربوط به پایگاههای اطلاعاتی PostgreSQL و هم ابزارهای تصویریسازی با Grafana را در بر میگیرد، حالا از واردکنندگان (exporters) Prometheus به عنوان منابع داده پشتیبانی میکند. این قابلیت به کاربران امکان میدهد تا نظارت جامعتری روی عملکرد و وضعیت سیستمهای خود داشته باشند و دادههای دقیقتری جمعآوری کنند.
علاوه بر این، تیم توسعه این پروژه، داشبوردهای آماده برای استفاده در Grafana را مجدداً طراحی و سازگار با نسخه ۱۳ آن ساخته است. این بازسازی باعث شده است تا نمایش اطلاعات و تحلیلها به شکل واضحتر، کاربرپسندتر و قابل تنظیمتر باشد، و کاربران بتوانند سریعتر و آسانتر به اطلاعات مورد نیاز خود دست پیدا کنند. همچنین، این نسخه بهبود یافته، عملکرد خود را در مواجهه با پایگاههای دادهای که ممکن است پاسخگویی متوقف کنند، افزایش داده است. این قابلیت مهم، امکان مدیریت بهتر و کاهش مشکلات ناشی از توقفهای ناگهانی سرویسها را فراهم میکند، و تضمین میکند که سیستمهای نظارتی همواره در حالت فعال و قابل اعتماد باقی میمانند.
در مجموع، نسخه ۶.۰ از pgwatch، ابزار قدرتمندی است که با امکانات جدید و بهبودهای فنی، به مدیران پایگاههای داده کمک میکند تا نظارت دقیقتر و مؤثرتری بر سیستمهای خود داشته باشند و در مقابل چالشهای احتمالی بهتر آماده شوند.
#پایش_پایگاه_داده #PostgreSQL #گرافانا #نظارت_سیستم
🟣لینک مقاله:
https://github.com/cybertec-postgresql/pgwatch/releases/tag/v6.0.0
➖➖➖➖➖➖➖➖
👑 @Database_Academy
pgwatch 6.0: Prometheus Sources, Rebuilt Dashboards, and a Sturdier Collector
🟢 خلاصه مقاله:
نسخه ۶.۰ ابزار پیگیری معیارهای مربوط به PostgreSQL، با ویژگیهای جدید و بهبودهای قابل توجه، عرضه شده است. این ابزار محبوب که هم مجموعهای از منابع دادههای مربوط به پایگاههای اطلاعاتی PostgreSQL و هم ابزارهای تصویریسازی با Grafana را در بر میگیرد، حالا از واردکنندگان (exporters) Prometheus به عنوان منابع داده پشتیبانی میکند. این قابلیت به کاربران امکان میدهد تا نظارت جامعتری روی عملکرد و وضعیت سیستمهای خود داشته باشند و دادههای دقیقتری جمعآوری کنند.
علاوه بر این، تیم توسعه این پروژه، داشبوردهای آماده برای استفاده در Grafana را مجدداً طراحی و سازگار با نسخه ۱۳ آن ساخته است. این بازسازی باعث شده است تا نمایش اطلاعات و تحلیلها به شکل واضحتر، کاربرپسندتر و قابل تنظیمتر باشد، و کاربران بتوانند سریعتر و آسانتر به اطلاعات مورد نیاز خود دست پیدا کنند. همچنین، این نسخه بهبود یافته، عملکرد خود را در مواجهه با پایگاههای دادهای که ممکن است پاسخگویی متوقف کنند، افزایش داده است. این قابلیت مهم، امکان مدیریت بهتر و کاهش مشکلات ناشی از توقفهای ناگهانی سرویسها را فراهم میکند، و تضمین میکند که سیستمهای نظارتی همواره در حالت فعال و قابل اعتماد باقی میمانند.
در مجموع، نسخه ۶.۰ از pgwatch، ابزار قدرتمندی است که با امکانات جدید و بهبودهای فنی، به مدیران پایگاههای داده کمک میکند تا نظارت دقیقتر و مؤثرتری بر سیستمهای خود داشته باشند و در مقابل چالشهای احتمالی بهتر آماده شوند.
#پایش_پایگاه_داده #PostgreSQL #گرافانا #نظارت_سیستم
🟣لینک مقاله:
https://github.com/cybertec-postgresql/pgwatch/releases/tag/v6.0.0
➖➖➖➖➖➖➖➖
👑 @Database_Academy
GitHub
Release v6.0.0 · cybertec-postgresql/pgwatch
pgwatch v6 is here 🎉
The biggest release since v5 — full Postgres v19 support, a new source type, fully modernized dashboards, and a reaper core built for reliability at scale.
The big three
🔌 Prom...
The biggest release since v5 — full Postgres v19 support, a new source type, fully modernized dashboards, and a reaper core built for reliability at scale.
The big three
🔌 Prom...
🔵 عنوان مقاله
Five PostgreSQL queries that did more work than I asked for (4 minute read)
🟢 خلاصه مقاله:
در این مقاله، به بررسی پنج نمونه پرسوجوی پایگاه داده PostgreSQL میپردازیم که به طور غیرمنتظرهای بیشتر از حد انتظار بار کاری ایجاد کردند. این پرسوجویها شامل عملیاتهای مختلفی بودند که شاید در نگاه اول چندان اهمیت نداشتند، اما در واقع باعث کاهش چشمگیر سرعت اجرای کوئریها شدند و منجر به کندی سیستم شدند. این موارد نشان میدهد چگونه اعمال ناپایدار یا نادیدهگرفتن جزئیات کوچک، میتواند تاثیر قابل توجهی در عملکرد داشته باشد و چگونه اصلاحاتی ساده مانند تغییراتی در کد SQL یا افزودن شاخص مناسب، میتواند سرعت اجرای سیستم را چندین برابر کند.
بنابراین، بررسی این نمونهها اهمیت زیادی دارد؛ چرا که نشان میدهد چه عادتهایی در طراحی و نوشتن کوئریهای SQL باید ترک شوند و چه راهکارهایی برای بهبود عملکرد پایگاه دادهها وجود دارد. یکی از نکات کلیدی این است که عملیاتهایی مانند انجام تکراریهای بیمورد، استفاده نادرست از ویژگیهای پیشفرض PostgreSQL، یا اجرای گروهبندیهای تصادفی بدون نیاز میتواند تا حد قابل توجهی زمان پاسخدهی سیستم را افزایش دهد. در نتیجه، بهبود در روشهای نگارش کوئری و بهینهسازی ساختارهای داده، نقش مهمی در افزایش سرعت و بهرهوری دارد.
در نهایت، همین نکات ساده و قابل اجرا میتوانند تفاوت چشمگیری در عملکرد سیستمهای پایگاه داده ایجاد کنند و به مدیران و توسعهدهندگان کمک کنند تا به صورت مؤثرتر و کارآمدتری پایگاههای داده خود را مدیریت و بهینهسازی کنند.
#پاسخگویی #پایگاه_داده #بهینهسازی #PostgreSQL
🟣لینک مقاله:
https://explainmeasured.com/posts/queries-doing-extra-work/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Five PostgreSQL queries that did more work than I asked for (4 minute read)
🟢 خلاصه مقاله:
در این مقاله، به بررسی پنج نمونه پرسوجوی پایگاه داده PostgreSQL میپردازیم که به طور غیرمنتظرهای بیشتر از حد انتظار بار کاری ایجاد کردند. این پرسوجویها شامل عملیاتهای مختلفی بودند که شاید در نگاه اول چندان اهمیت نداشتند، اما در واقع باعث کاهش چشمگیر سرعت اجرای کوئریها شدند و منجر به کندی سیستم شدند. این موارد نشان میدهد چگونه اعمال ناپایدار یا نادیدهگرفتن جزئیات کوچک، میتواند تاثیر قابل توجهی در عملکرد داشته باشد و چگونه اصلاحاتی ساده مانند تغییراتی در کد SQL یا افزودن شاخص مناسب، میتواند سرعت اجرای سیستم را چندین برابر کند.
بنابراین، بررسی این نمونهها اهمیت زیادی دارد؛ چرا که نشان میدهد چه عادتهایی در طراحی و نوشتن کوئریهای SQL باید ترک شوند و چه راهکارهایی برای بهبود عملکرد پایگاه دادهها وجود دارد. یکی از نکات کلیدی این است که عملیاتهایی مانند انجام تکراریهای بیمورد، استفاده نادرست از ویژگیهای پیشفرض PostgreSQL، یا اجرای گروهبندیهای تصادفی بدون نیاز میتواند تا حد قابل توجهی زمان پاسخدهی سیستم را افزایش دهد. در نتیجه، بهبود در روشهای نگارش کوئری و بهینهسازی ساختارهای داده، نقش مهمی در افزایش سرعت و بهرهوری دارد.
در نهایت، همین نکات ساده و قابل اجرا میتوانند تفاوت چشمگیری در عملکرد سیستمهای پایگاه داده ایجاد کنند و به مدیران و توسعهدهندگان کمک کنند تا به صورت مؤثرتر و کارآمدتری پایگاههای داده خود را مدیریت و بهینهسازی کنند.
#پاسخگویی #پایگاه_داده #بهینهسازی #PostgreSQL
🟣لینک مقاله:
https://explainmeasured.com/posts/queries-doing-extra-work/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Explain, Measured
Five PostgreSQL queries that did more work than I asked for
UNION, a MATERIALIZED CTE, ORDER BY random(), SELECT * and a function in WHERE. Each one quietly read far more than the answer needed. UNION took 13.6 s where UNION ALL took 0.68 s.