پردازش جریان داده(data stream) نقش حیاتی در سامانه های زیرساختی داده دارد. مهندسان داده و نرم‌افزار می‌توانند از آن برای فیلتر کردن، ترکیب(join)، تجمیع(aggregate) و تبدیل جریان‌های داده به‌صورت همزمان استفاده کنند تا برنامه‌های بلادرنگ(online) و خطوط انتقال جریان داده را تقویت و امکان تحلیل را فراهم کنند.

آقای رابرت متزگر(Robert Metzger) از سازندگان اصلی apache flink در دو قسمت فلسفه وجودی فلینک و api های عمده آن را توضیح می دهند.

قسمت یک:
https://www.youtube.com/watch?v=zoRYGBrjD5g&t=1s

قسمت دو:
https://www.youtube.com/watch?v=KIt833ls5qg

#Flink
#Robert_Metzger

شروع دوباره :))

https://youtu.be/otE2WvX3XdQ?si=SoQ_HpjOQv1paEFZ

پيش چشمت داشتي شيشه كبود
زان سبب عالم كبودت مي نمود
مولانا

Vector DB

یکی از تقسیم بندی های رایج داده‌ها دسته بندی اون ها بر اساس ساختارمند(structutred) یا غیرساختارمند (unstructutred) بودن اون‌هاست. اما مولفه های این تقسیم بندی چیه؟ چیزی که من میفهمم ایناست:
۱-schema
۲-format
۳-volumne

داده های غیر ساختارمند برای ذخیره و بازیابی در دیتابیس ها معمولا دردسر ساز هستند دقیقا به سه دلیل بالا، این داده‌ها قابل شکسته شده به اجزای قابل تفسیر به شکل از پیش مشخص نیستند. به طبع بازیابی و جستجوی سر راستی هم روی این مدل از داده ها امکان پذیر نیست و اگر بشه هم باز به این سه دلیل قابلیت index شدن سر راستی ندارن و سرعت جستجو خیلی میاد پایین.

یه نگاه ساده و سطحی به تاریخ پایگاه‌های داده اگر بندازیم می بینم تجربیات موفق روی داده های ساختارمند شکل گرفت. به مرور داده های semi-structred راه خودشون با پرچم داری پایگاه‌های داده‌‌ی که تگ noSql# به خودشون زده بودن به صنعت باز کردند.

حالا با موج مربوط به مدل های زبانی بزرگ و نیازمندی های حول حوشش دقیقا نیاز به جستجو و بازیابی اطلاعات روی دیتا های غیرساختارمند زیاد زیاد‌تر شده؛ اینجاست که پای vector database به موضوع باز‌ میشه. مستقل از که vecDb چی هستند باید بدونیم چه مسئله رو میخوان حل کنند.

مسئله حضور موجودیت‌ها غیرساختارمند در دنیای پایگاه‌های داده.

‏آرش اباذری، که مشتاق بود در کشور خودش به پژوهش در فلسفه‌ی آلمانی ادامه دهد، در نهایت عضو هئیت علمی دانشگاه Emory شد. ما ماندیم و افسوسِ از کف رفتنِ یک پژوهشگرِ جدی و دغدغه‌مند. ما ماندیم و غفاری‌ها و خاتمی‌ها و گلشنی‌ها و خیل سُفله‌ها و طفیلی‌هایی که سرازیر شده‌اند به دانشگاه‌ها.

🌑 اهمیت بی‌خوابی چنان عظیم است که وسوسه می‌شوم انسان را حیوانی ناتوان از خوابیدن تعریف کنم. چرا انسان را حیوان عاقل بدانیم در حالی که دیگر حیوانات نیز به همان اندازه معقول‌اند؟ اما در جهان خلقت حیوان دیگری نیست که بخواهد بخوابد و نتواند. تفاوت بین بهشت و جهنم است؛ در بهشت همیشه می‌توان خوابید و در جهنم هرگز. خداوند بشر را با گرفتن خواب مجازات کرد و به جایش آگاهی به او داد. آیا محرومیت از خواب وحشیانه‌ترین شکنجه‌های زندانیان نیست؟
🌚 بر قلّه‌های ناامیدی، امیل چوران، ترجمۀ سپیده کوتی، با موخره‌ای از سوزان سانتاگ
#امیل_چوران
#سوزان_سانتاگ
www.philosophycity.ir

جایگزینی موتور اجرایی جاوا در JDK نسخه 23

روز گذشته همزمان با انتشار نسخه 23 جاوا توسط شرکت اوراکل، از امکان جدیدی در JDK رونمایی شد که می توان با انتخاب Graal JIT به عنوان موتور اجرایی دستورالعمل های جاوا، در برخی سناریوها به طور متوسط 30% بهبود کارایی داشت.
برای جایگزینی C2 (موتور اجرایی پیش فرض در JVM ) با نسخه بهینه شده آن Graal JIT ، که در نسخه جاوا 23 آزمایشی است و باید به صورت دستی فعال شود، کافیست این پارامترها را هنگام اجرای برنامه جاوا به JVM ارسال نمایید:

-XX:+UnlockExperimentalVMOptions
-XX:+UseGraalJIT

#Oracle #Java

کِی شعر تر انگیزد خاطر که حزین باشد
یک نکته از این معنی گفتیم و همین باشد

جامِ می و خونِ دل هر یک به کسی دادند
در دایرهٔ قسمت اوضاع چنین باشد

این کیست
موسیقی تهمورس پورناظری
آواز سهراب پورناظری

شعر مولانا
خواننده مهمان اشکان کمانگری
In Kist
Tahmoures & Sohrab Pournazeri

سفر یگانه فرصت را
سراسر
در سلسه پیمودن.
بر شعلهِ خویش
سوختن
تا جرقهِ واپسین،
بر شعله خرمنی
که در خاک راهش
یافته اند
بردگان
این چنین.
این چنین سرخ و لوند
برخار بوتهِ خون
شکفتن
وینچنین گردن فراز
بر تازیانه زار تحقیر
گذشتن
و راه را تا غایت نفرت
بریدن.
آه، از که سخن می گویم؟
ما بی چرا زندگانیم
آنان به چرا مرگ خود آگاهانند.

#سنوار

Dan Ariely:
“Big data is like teenage sex: everyone talks about it, nobody really knows how to do it, everyone thinks everyone else is doing it, so everyone claims they are doing it.”


Fundamentals of Data Engineering
Joe Reis

“the only thing that matters is referential transparency”

From Objects to Functions

Alan Perlis:
It is better to have 100 functions operate on one data structure than to have 10 functions operate on 10 data structures

ما در این انبار، گندم می‌کنیم
گندمِ جمع‌آمده، گم می‌کنیم

می‌نیاندیشیم آخر ما به هوش
که‌این خلل در گندم است از مکرِ موش

موش تا انبار ما حفره‌ زده‌ است
وز فَن‌اش، انبار ما ویران شده است



اول ای جان دفع شرِ موش کن
وانگهان در جمع گندم، جوش کن

#العاقل_تکفیه_الاشاره

Null References: The Billion Dollar Mistake

Hoare, Tony:
“I call it my billion-dollar mistake. It was the invention of the null reference in 1965. At that time, I was designing the first comprehensive type system for references in an object-oriented language (ALGOL W). My goal was to ensure that all use of references should be absolutely safe, with checking performed automatically by the compiler. But I couldn’t resist the temptation to put in a null reference, simply because it was so easy to implement. This has led to innumerable errors, vulnerabilities, and system crashes, which have probably caused a billion dollars of pain and damage in the last forty years”

تو این بلاگ نشون داده شده که حتی ساخت یک object اضافه در یک سیستم با throughput بالا، میتونه چه تاثیری روی performance سیستم داشته باشه. پیشنهادش هم این هستش که میگه یک short-lived object رو ایجاد و بعد garbage نکنیم، بلکه بیایم همین object رو برای استفاده بعدی clean up کنیم که به نظرم کلا مغایر با clean code و خیلی از best practice ها هستش ولی خب بستگی داره که شما از سیستمتون چه انتظاری دارید و باید طبق اون انتظار تصمیم بگیرید. به قول معروف:
we always talk about tradeoffs

https://blog.vanillajava.blog/2022/09/java-is-very-fast-if-you-dont-create.html