Forwarded from DevTwitter Ads.
💡 در این وبینار:
🔹 نقش داده، آمار و یادگیری ماشین در AI
🔹 چرا هوش مصنوعی به علم داده نیاز دارد؟
🔹 چالشهای توسعه AI بدون علم داده
🔹 مهارتها و وظایف متخصص علم داده
🔹 فرصتهای شغلی جدید در ایران و جهان
🔹 مسیر یادگیری از علم داده تا هوش مصنوعی
🔹 بررسی یک مسئله واقعی با دو رویکرد
🔹 پرسشوپاسخ با مدرس
🗓 دوشنبه ۴ آبان | ساعت ۱۹
➖➖➖➖➖➖
✨ مؤسسه آموزشی توسعه
Please open Telegram to view this post
VIEW IN TELEGRAM
🍌5❤2👎2
عجیبه؛ ۱۴ سال روی یک نرمافزار کار کنی، نرمافزاری که به یکی از ابزارهای شاخص دنیای مهندسی معکوس تبدیل شده و تقریبا در تمام کتابهای Reverse Engineering و Malware Analysis نامی ازش به میون اومده، اما از خودت هیچ ردپایی در فضای مجازی باقی نذاشته باشی. هیچ!
https://ollydbg.de
@DevTwitter | <Ayub/>
https://ollydbg.de
@DevTwitter | <Ayub/>
🔥61🍌4👍3
تیم امنیتی PHP تنها دو روز پس از انتشار وصلههای اضطراری برای دو آسیبپذیری بحرانی PHP2Shell، درباره یک آسیبپذیری جدید با شناسه CVE-2026-115560 هشدار داد. این مشکل زمانی تهدید محسوب میشود که برنامه شما در زمان اجرا به صورت پویا session.serialize_handler را تغییر دهد.
@DevTwitter | <Alireza Naji/>
@DevTwitter | <Alireza Naji/>
🍌32👍7💔1
یه مقاله خیلی خوب از Anthropic خوندم درباره یکی از چالشهای مهم AI Agentها: چطور مطمئن بشیم Agent نهفقط به جواب درست میرسه، بلکه مسیر درستی رو هم طی میکنه.
مقاله با معرفی روشهای ارزیابی Agentها، چارچوب خوبی برای حل این مسئله ارائه میده.
https://www.anthropic.com/research/demystifying-evals-for-ai-agents
@DevTwitter | <Babak Heydari/>
مقاله با معرفی روشهای ارزیابی Agentها، چارچوب خوبی برای حل این مسئله ارائه میده.
https://www.anthropic.com/research/demystifying-evals-for-ai-agents
@DevTwitter | <Babak Heydari/>
❤17💔3👎1
مدل هوش مصنوعی Kimi K3.1 Pro توسط شرکت Moonshot AI رسما معرفی شد، مدلی چندوجهی با ۲.۸ تریلیون پارامتر و پنجره زمینه یک میلیون توکنی.
مدل Kimi K3.1 Pro در بنچمارک مهندسی نرمافزار SWE Marathon امتیاز ۵۱.۷ درصد را گرفت و از مدلهای پرچمدار Claude Opus 5.5 (با ۴۶.۳ درصد) و GPT-6 Astra (با ۴۲.۵ درصد) جلو زد.
این مدل در آزمون استدلال و دانش Humanity's Last Exam هم با کسب ۷۸ درصد امتیاز، بالاتر از Opus 5.5 (با ۶۷.۷ درصد) قرار گرفت.
در کنار قدرت بالای این مدل، هزینه کمتر برگ برنده این مدل است. مدل K3.1 Pro در بنچمارک Terminal-Bench 4.0 امتیاز ۶۵.۷ درصد را گرفته (تقریباً برابر با Opus 5.5 با ۶۶.۴ درصد)، اما هزینه اجرای هر تسک آن تنها ۵ تا ۶ دلار است. این در حالی است که Opus 5.5 برای همین عملکرد، حدود ۱۵ دلار به ازای هر تسک هزینه دارد!
مدل K3.1 Pro از امروز هم از طریق api و هم از طریق اشتراک کیمی در دسترس است.
@DevTwitter | <MohammadMSFT/>
مدل Kimi K3.1 Pro در بنچمارک مهندسی نرمافزار SWE Marathon امتیاز ۵۱.۷ درصد را گرفت و از مدلهای پرچمدار Claude Opus 5.5 (با ۴۶.۳ درصد) و GPT-6 Astra (با ۴۲.۵ درصد) جلو زد.
این مدل در آزمون استدلال و دانش Humanity's Last Exam هم با کسب ۷۸ درصد امتیاز، بالاتر از Opus 5.5 (با ۶۷.۷ درصد) قرار گرفت.
در کنار قدرت بالای این مدل، هزینه کمتر برگ برنده این مدل است. مدل K3.1 Pro در بنچمارک Terminal-Bench 4.0 امتیاز ۶۵.۷ درصد را گرفته (تقریباً برابر با Opus 5.5 با ۶۶.۴ درصد)، اما هزینه اجرای هر تسک آن تنها ۵ تا ۶ دلار است. این در حالی است که Opus 5.5 برای همین عملکرد، حدود ۱۵ دلار به ازای هر تسک هزینه دارد!
مدل K3.1 Pro از امروز هم از طریق api و هم از طریق اشتراک کیمی در دسترس است.
@DevTwitter | <MohammadMSFT/>
🔥15❤3🍌3
۵ ریپازیتوری GitHub برای پیدا کردن مشکلات اپلیکیشنهای هوش مصنوعی
اگه اپلیکیشن AI تو مدام خطا میده و نمیفهمی مشکل دقیقاً از کجاست، وقتشه همهچیز رو Trace کنی!
این ۵ ابزار کمک میکنن عملکرد مدلها، درخواستها، ایجنتها و خطاهای سیستم رو بهتر بررسی کنی:
۱. Langfuse
ثبت و ردیابی درخواستهای مدل، بررسی عملکرد و تحلیل هزینهها
https://github.com/langfuse/langfuse
۲. Phoenix
ابزار متنباز برای مشاهده و ارزیابی عملکرد LLMها و سیستمهای مبتنی بر ایجنت
https://github.com/Arize-ai/phoenix
۳. Helicone
مانیتورینگ درخواستهای LLM، بررسی تأخیر، هزینه و خطاها
https://github.com/Helicone/helicone
۴. OpenLLMetry
ابزار مبتنی بر OpenTelemetry برای ردیابی و مانیتورینگ اپلیکیشنهای LLM
https://github.com/traceloop/openllmetry
۵. AgentOps
ردیابی و بررسی اجرای ایجنتهای هوش مصنوعی برای پیدا کردن خطاها و تحلیل رفتار آنها
https://github.com/AgentOps-AI/agentops
نکته مهم: وقتی خروجی AI اشتباهه یا ایجنت درست کار نمیکنه، فقط دیدن پاسخ نهایی کافی نیست. باید بفهمی در طول اجرا چه اتفاقی افتاده؛ از ورودی و خروجی مدل گرفته تا ابزارهای فراخوانیشده، زمان اجرا و خطاها.
برای همین، بهجای حدسزدن، اجرای سیستم رو Trace کن!
@DevTwitter | <Yarad/>
اگه اپلیکیشن AI تو مدام خطا میده و نمیفهمی مشکل دقیقاً از کجاست، وقتشه همهچیز رو Trace کنی!
این ۵ ابزار کمک میکنن عملکرد مدلها، درخواستها، ایجنتها و خطاهای سیستم رو بهتر بررسی کنی:
۱. Langfuse
ثبت و ردیابی درخواستهای مدل، بررسی عملکرد و تحلیل هزینهها
https://github.com/langfuse/langfuse
۲. Phoenix
ابزار متنباز برای مشاهده و ارزیابی عملکرد LLMها و سیستمهای مبتنی بر ایجنت
https://github.com/Arize-ai/phoenix
۳. Helicone
مانیتورینگ درخواستهای LLM، بررسی تأخیر، هزینه و خطاها
https://github.com/Helicone/helicone
۴. OpenLLMetry
ابزار مبتنی بر OpenTelemetry برای ردیابی و مانیتورینگ اپلیکیشنهای LLM
https://github.com/traceloop/openllmetry
۵. AgentOps
ردیابی و بررسی اجرای ایجنتهای هوش مصنوعی برای پیدا کردن خطاها و تحلیل رفتار آنها
https://github.com/AgentOps-AI/agentops
نکته مهم: وقتی خروجی AI اشتباهه یا ایجنت درست کار نمیکنه، فقط دیدن پاسخ نهایی کافی نیست. باید بفهمی در طول اجرا چه اتفاقی افتاده؛ از ورودی و خروجی مدل گرفته تا ابزارهای فراخوانیشده، زمان اجرا و خطاها.
برای همین، بهجای حدسزدن، اجرای سیستم رو Trace کن!
@DevTwitter | <Yarad/>
❤10🍌4👍2
من و دوستم یه ابزار اوپنسورس به اسم Fluentfolio برای تمرین اسپیکینگ آیلتس و به صورت کلی تقویت مکالمه طراحی کردیم که تحلیلش کامل روی کامپیوتر خودتون انجام میشه.
وقتی فایل صوتی آزمون رو مستقیم به یه چت هوش مصنوعی میدیم، همهچی به برداشت کلیاش از صدا بستگی داره. برای همین Fluentfolio اول خودش ضبط رو تحلیل میکنه و بعد شواهدی رو که خودتون هم میتونید چکشون کنید به هوش مصنوعی میده:
- متن کامل آزمون، با جوابهای شما جدا از سؤالها و صدای پارتنرتون
- هر مکثِ یکچهارم ثانیه یا بیشتر، بهعلاوهی تخمین سرعت گفتار، برای هر بخش آزمون
- کلمات ربط، واژگان، ساختارهای دستوریای که به کار بردید و نکتههایی برای تلفظ
- یه متن آماده با پرامپت ارزیابی برای هر چت هوش مصنوعی؛ پرامپت از چت میخواد زمان هر نکته رو بگه تا بتونید همون لحظه رو توی برنامه گوش بدید
- رابط وب توی مرورگر، بهعلاوهی دستور fluentfolio با خروجی JSON برای اسکریپتها و ایجنتهای هوش مصنوعی
روی ویندوز ۱۰ و ۱۱ و اوبونتو ۲۲٫۰۴ و ۲۴٫۰۴ کار میکنه، حساب کاربری نمیخواد و هیچ تلهمتریای هم نداره. کارت گرافیک NVIDIA اختیاریه و لایسنسش هم MIT هست.
لینک گیتهاب:
https://github.com/SacitDev/Fluentfolio
@DevTwitter | <Michael/>
وقتی فایل صوتی آزمون رو مستقیم به یه چت هوش مصنوعی میدیم، همهچی به برداشت کلیاش از صدا بستگی داره. برای همین Fluentfolio اول خودش ضبط رو تحلیل میکنه و بعد شواهدی رو که خودتون هم میتونید چکشون کنید به هوش مصنوعی میده:
- متن کامل آزمون، با جوابهای شما جدا از سؤالها و صدای پارتنرتون
- هر مکثِ یکچهارم ثانیه یا بیشتر، بهعلاوهی تخمین سرعت گفتار، برای هر بخش آزمون
- کلمات ربط، واژگان، ساختارهای دستوریای که به کار بردید و نکتههایی برای تلفظ
- یه متن آماده با پرامپت ارزیابی برای هر چت هوش مصنوعی؛ پرامپت از چت میخواد زمان هر نکته رو بگه تا بتونید همون لحظه رو توی برنامه گوش بدید
- رابط وب توی مرورگر، بهعلاوهی دستور fluentfolio با خروجی JSON برای اسکریپتها و ایجنتهای هوش مصنوعی
روی ویندوز ۱۰ و ۱۱ و اوبونتو ۲۲٫۰۴ و ۲۴٫۰۴ کار میکنه، حساب کاربری نمیخواد و هیچ تلهمتریای هم نداره. کارت گرافیک NVIDIA اختیاریه و لایسنسش هم MIT هست.
لینک گیتهاب:
https://github.com/SacitDev/Fluentfolio
@DevTwitter | <Michael/>
❤30👍5🍌4
❤31👍9🍌4
DevTwitter | توییت برنامه نویسی
دنیا داره با سرعت 2 CVE در هر ساعت حرکت میکنه @DevTwitter | <Mahdi_Mef/>
این اومده تعداد CVE ها رو برده رو نمودار! میبینید بعد AI چطور سیخ شده!
https://cve.0xosprey.com
@DevTwitter | <Nabi/>
https://cve.0xosprey.com
@DevTwitter | <Nabi/>
🔥28👍5👎3
Forwarded from DevTwitter Ads.
This media is not supported in your browser
VIEW IN TELEGRAM
🤖 گپجیپیتی دسکتاپ؛ همون Claude Code و Codex، بدون دردسر و بهصرفه
یه دستیار هوش مصنوعی که کارهات رو روی کامپیوتر خودت انجام میده. کافیه فایل یا پروژه رو بهش بدی تا کار آماده تحویلت بده.
✅ دسترسی به همهی مدلهای هوش مصنوعی با یک اکانت
✅ پرداخت ریالی، ساده و بهصرفه، با شروع رایگان
✅ بدون نیاز به تحریمشکن
💻 کد پروژهت رو بازبینی میکنه، باگها رو پیدا و درست میکنه و فیچر جدید مینویسه.
📑 از PDF یا عکس جدول، فایل اکسل مرتب درمیاره.
📊 از گزارشها و اسنادت، ارائهی پاورپوینت با خلاصه و نمودار میسازه.
📝 اسکنها رو به فایل Word قابلویرایش تبدیل میکنه.
🔎 چند مقاله رو میخونه و یه گزارش تحقیق با جدول مقایسه و منابع تحویل میده.
برای ویندوز، مک و لینوکس
🎁 کد ۱۰٪ تخفیف خرید اول: GAP10_DEVTWITTER
⬇️ دانلود رایگان: https://gapgpt.app/desktop?utm_source=devtwitter&utm_medium=telegram&utm_campaign=desktop_launch
یه دستیار هوش مصنوعی که کارهات رو روی کامپیوتر خودت انجام میده. کافیه فایل یا پروژه رو بهش بدی تا کار آماده تحویلت بده.
✅ دسترسی به همهی مدلهای هوش مصنوعی با یک اکانت
✅ پرداخت ریالی، ساده و بهصرفه، با شروع رایگان
✅ بدون نیاز به تحریمشکن
💻 کد پروژهت رو بازبینی میکنه، باگها رو پیدا و درست میکنه و فیچر جدید مینویسه.
📑 از PDF یا عکس جدول، فایل اکسل مرتب درمیاره.
📊 از گزارشها و اسنادت، ارائهی پاورپوینت با خلاصه و نمودار میسازه.
📝 اسکنها رو به فایل Word قابلویرایش تبدیل میکنه.
🔎 چند مقاله رو میخونه و یه گزارش تحقیق با جدول مقایسه و منابع تحویل میده.
برای ویندوز، مک و لینوکس
🎁 کد ۱۰٪ تخفیف خرید اول: GAP10_DEVTWITTER
⬇️ دانلود رایگان: https://gapgpt.app/desktop?utm_source=devtwitter&utm_medium=telegram&utm_campaign=desktop_launch
👎87🍌36❤13
نصب و راهاندازی استک LAMP (Apache, PHP-FPM, MySQL) برای لاراول در اوبونتو
در این مجموعه ویدیوی آموزشی به بررسی و پیادهسازی موارد زیر پرداخته شده است:
- نصب و تنظیم PHP-FPM و افزونههای مورد نیاز لاراول
- راهاندازی Composer و Laravel Installer بر روی سیستمعامل اوبونتو
- نصب و پیکربندی پایگاه داده MySQL Server
راهاندازی وبسرور Apache، تنظیم ماژولهای اتصال به PHP-FPM و ساخت Virtual Host
- بررسی و مدیریت سطوح دسترسی و مجوزهای فایلها در محیط توسعه (Development)
برای مشاهده کامل ویدیوها، از لینک زیر استفاده کنید:
https://www.youtube.com/playlist?list=PLPIQWyi2FB6IPF-Z_SoZ0y8jVamwxsv_o
@DevTwitter | <ابوالفضل/>
در این مجموعه ویدیوی آموزشی به بررسی و پیادهسازی موارد زیر پرداخته شده است:
- نصب و تنظیم PHP-FPM و افزونههای مورد نیاز لاراول
- راهاندازی Composer و Laravel Installer بر روی سیستمعامل اوبونتو
- نصب و پیکربندی پایگاه داده MySQL Server
راهاندازی وبسرور Apache، تنظیم ماژولهای اتصال به PHP-FPM و ساخت Virtual Host
- بررسی و مدیریت سطوح دسترسی و مجوزهای فایلها در محیط توسعه (Development)
برای مشاهده کامل ویدیوها، از لینک زیر استفاده کنید:
https://www.youtube.com/playlist?list=PLPIQWyi2FB6IPF-Z_SoZ0y8jVamwxsv_o
@DevTwitter | <ابوالفضل/>
🍌19👍11❤6
خداحافظی با حدس و خطا در شبیهسازی رباتیک!
خیلی از توسعهدهندگان رباتیک و خودروهای خودران با چالش بزرگ Sim-to-Real Gap درگیرند: الگوریتمی که در شبیهساز (Gazebo/CARLA) بینقص کار میکند، روی سختافزار واقعی به دلیل خطاهای مدل فیزیکی دچار افت عملکرد میشود.
برای حل این مشکل، پکیج اوپنسورس جدیدم
چگونه کار میکند؟ ۱. دادههای عملکردی ربات (Telemetry/Odometry) را ثبت میکند. ۲. با استفاده از انتگرالگیر RK4 مشتقپذیر و بهینهسازی گرادیانی، پارامترهای پنهان فیزیکی (مثل ضرایب تایر، اینرسی و تاخیر عملگرها) را استخراج میکند. ۳. فایلهای کانفیگ YAML و تگهای Inertial را در فایلهای URDF/SDF به صورت خودکار آپدیت میکند.
https://github.com/amir-mch/ros2-auto-sysid
@DevTwitter | <Amir Moochani/>
خیلی از توسعهدهندگان رباتیک و خودروهای خودران با چالش بزرگ Sim-to-Real Gap درگیرند: الگوریتمی که در شبیهساز (Gazebo/CARLA) بینقص کار میکند، روی سختافزار واقعی به دلیل خطاهای مدل فیزیکی دچار افت عملکرد میشود.
برای حل این مشکل، پکیج اوپنسورس جدیدم
ros2-auto-sysid را توسعه دادم که یک موتور کالیبراسیون خودکار بر پایه فیزیک مشتقپذیر در PyTorch و ROS 2 Jazzy است.چگونه کار میکند؟ ۱. دادههای عملکردی ربات (Telemetry/Odometry) را ثبت میکند. ۲. با استفاده از انتگرالگیر RK4 مشتقپذیر و بهینهسازی گرادیانی، پارامترهای پنهان فیزیکی (مثل ضرایب تایر، اینرسی و تاخیر عملگرها) را استخراج میکند. ۳. فایلهای کانفیگ YAML و تگهای Inertial را در فایلهای URDF/SDF به صورت خودکار آپدیت میکند.
https://github.com/amir-mch/ros2-auto-sysid
@DevTwitter | <Amir Moochani/>
🔥19🍌9❤4
Forwarded from DevTwitter Ads.
بچه های وردپرسی این کانال کلی افزونه و قالب میزاره و میتونید رایگان ازش استفاده کنید و اگر اخبار وردپرس هم دنبال میکنید این کانال عالیه. حتما عضو کانال شید و لذت ببرید.
https://t.me/wordpress_wpp
https://t.me/wordpress_wpp
Telegram
اخبار وردپرس | قالب و افزونه
🧑🏻💻 یه گوشه دنج برای وردپرسیها
اینجا از وردپرس و طراحی سایت میگیم؛
از قالب و افزونه گرفته تا ترفندهای کاربردی، آموزش و تجربههای واقعی.
اگه با وردپرس سروکار داری یا به دنیای طراحی سایت علاقهمندی، خوش اومدی 🤝
👤 @amirali_azarnivarrra
اینجا از وردپرس و طراحی سایت میگیم؛
از قالب و افزونه گرفته تا ترفندهای کاربردی، آموزش و تجربههای واقعی.
اگه با وردپرس سروکار داری یا به دنیای طراحی سایت علاقهمندی، خوش اومدی 🤝
👤 @amirali_azarnivarrra
👎7🍌7🔥6
این Skillعه خیلی عجیبه. بهش میگی یه مفهوم مثلا TCP handshake یا LRU cache رو توضیح بده به جای نمودار کشیدن با فلش و ... میاد لیترالی یه دستگاه مکانیکی که همون فرآیند رو شبیه سازی میکنه میسازه. interactiveهم هست و میشه با چیزی که میسازه کار کرد :))
skills.wheresryan.sh/anatomy
@DevTwitter | <Mahdi MirMohamadi/>
skills.wheresryan.sh/anatomy
@DevTwitter | <Mahdi MirMohamadi/>
🔥27🍌7👎1
بنیاد PHP فقط با یه کارمند تماموقت و بودجه زیر یک میلیون دلار اداره میشه...
بنیاد PHP گفته که کل این زبان برنامهنویسی مهم با بودجه سالیانه حدود ۹۷۴ هزار دلار، فقط یه کارمند تماموقت و ۱۴ تا نیروی پارهوقت سرپا مونده.
این افشاگری درست بعد از جنجال باگهای ناجور همین چند روز اخیر مطرح شده، حفرههای امنیتی با امتیاز خطر ۹.۲ که کلی حمله سایبری توی کل وب ایجاد کرد و حتی سایتهای دولتی چند تا کشور اروپایی رو موقتا متوقف کرد.
مدیر این بنیاد اعلام کرده که با ورود هوش مصنوعی، حجم کدهایی که باید بررسی بشن دو برابر شده، اما نیروی انسانی و منابع مالی کافی برای چک کردن اونا وجود نداره و با وضعیت فعلی، بودجه بنیاد فقط تا ۴ ماه دیگه دووم میاره.
@DevTwitter | <Behrad Javed/>
بنیاد PHP گفته که کل این زبان برنامهنویسی مهم با بودجه سالیانه حدود ۹۷۴ هزار دلار، فقط یه کارمند تماموقت و ۱۴ تا نیروی پارهوقت سرپا مونده.
این افشاگری درست بعد از جنجال باگهای ناجور همین چند روز اخیر مطرح شده، حفرههای امنیتی با امتیاز خطر ۹.۲ که کلی حمله سایبری توی کل وب ایجاد کرد و حتی سایتهای دولتی چند تا کشور اروپایی رو موقتا متوقف کرد.
مدیر این بنیاد اعلام کرده که با ورود هوش مصنوعی، حجم کدهایی که باید بررسی بشن دو برابر شده، اما نیروی انسانی و منابع مالی کافی برای چک کردن اونا وجود نداره و با وضعیت فعلی، بودجه بنیاد فقط تا ۴ ماه دیگه دووم میاره.
@DevTwitter | <Behrad Javed/>
💔71❤29👎5
میخوای هوش مصنوعیات PDF، اسناد اسکنشده و فایلهای پیچیده رو درست بخونه و درک کنه؟
این ۵ پروژه متنباز GitHub برای استخراج اطلاعات از اسناد، تبدیل فایلها به دادههای قابل پردازش و آمادهسازی محتوا برای سیستمهای هوش مصنوعی ساخته شدن.
۱. ابزار Docling؛ تبدیل اسناد به دادههای ساختاریافته
https://github.com/docling-project/docling
متن، جدولها، ساختار صفحات و اطلاعات اسناد رو استخراج میکنه و به قالبهایی تبدیل میکنه که برای پردازش با LLMها مناسبترن.
۲. ابزار Marker؛ تبدیل PDF به Markdown
https://github.com/datalab-to/marker
برای تبدیل PDF به Markdown، JSON و قالبهای دیگه کاربرد داره؛ با قابلیت تشخیص ساختار سند، جدولها و فرمولها.
۳. ابزار Unstructured؛ آمادهسازی اسناد برای RAG
https://github.com/Unstructured-IO/unstructured
محتوای فایلهایی مثل PDF، Word و HTML رو استخراج و به بخشهای قابل پردازش تقسیم میکنه؛ گزینهای کاربردی برای ساخت سیستمهای RAG و جستوجو در اسناد.
۴. ابزار MinerU؛ استخراج محتوا از اسناد پیچیده
https://github.com/opendatalab/MinerU
برای تبدیل اسناد به محتوای ساختاریافته طراحی شده و در استخراج متن، جدولها، فرمولها و محتوای صفحات پیچیده کاربرد داره.
۵. ابزار PaddleOCR؛ استخراج متن از تصویر و اسکن
https://github.com/PaddlePaddle/PaddleOCR
یک مجموعه ابزار OCR برای شناسایی متن داخل تصاویر و اسناد اسکنشده؛ مناسب برای دیجیتالیکردن اسناد و تبدیل تصاویر به متن قابل جستوجو.
---
کدوم رو انتخاب کنیم؟
- برای پردازش اسناد و حفظ ساختار صفحات: Docling
- برای تبدیل PDF به Markdown: Marker
- برای ساخت سیستم RAG با انواع فایل: Unstructured
- برای اسناد علمی و پیچیده: MinerU
- برای استخراج متن از تصاویر و اسکنها: PaddleOCR
این ابزارها میتونن بهعنوان بخشی از زیرساخت یک AI Agent استفاده بشن؛ مثلاً ایجنتی که صدها PDF رو بخونه، اطلاعات موردنیاز رو پیدا کنه و بر اساس محتوای واقعی اسناد پاسخ بده.
نکته: اگر اسناد فارسی داری، قبل از انتخاب نهایی، کیفیت تشخیص حروف فارسی و راستبهچپ رو روی چند فایل واقعی آزمایش کن؛ پشتیبانی از OCR بهتنهایی تضمینکننده استخراج دقیق فارسی نیست.
@DevTwitter | <Yarad/>
این ۵ پروژه متنباز GitHub برای استخراج اطلاعات از اسناد، تبدیل فایلها به دادههای قابل پردازش و آمادهسازی محتوا برای سیستمهای هوش مصنوعی ساخته شدن.
۱. ابزار Docling؛ تبدیل اسناد به دادههای ساختاریافته
https://github.com/docling-project/docling
متن، جدولها، ساختار صفحات و اطلاعات اسناد رو استخراج میکنه و به قالبهایی تبدیل میکنه که برای پردازش با LLMها مناسبترن.
۲. ابزار Marker؛ تبدیل PDF به Markdown
https://github.com/datalab-to/marker
برای تبدیل PDF به Markdown، JSON و قالبهای دیگه کاربرد داره؛ با قابلیت تشخیص ساختار سند، جدولها و فرمولها.
۳. ابزار Unstructured؛ آمادهسازی اسناد برای RAG
https://github.com/Unstructured-IO/unstructured
محتوای فایلهایی مثل PDF، Word و HTML رو استخراج و به بخشهای قابل پردازش تقسیم میکنه؛ گزینهای کاربردی برای ساخت سیستمهای RAG و جستوجو در اسناد.
۴. ابزار MinerU؛ استخراج محتوا از اسناد پیچیده
https://github.com/opendatalab/MinerU
برای تبدیل اسناد به محتوای ساختاریافته طراحی شده و در استخراج متن، جدولها، فرمولها و محتوای صفحات پیچیده کاربرد داره.
۵. ابزار PaddleOCR؛ استخراج متن از تصویر و اسکن
https://github.com/PaddlePaddle/PaddleOCR
یک مجموعه ابزار OCR برای شناسایی متن داخل تصاویر و اسناد اسکنشده؛ مناسب برای دیجیتالیکردن اسناد و تبدیل تصاویر به متن قابل جستوجو.
---
کدوم رو انتخاب کنیم؟
- برای پردازش اسناد و حفظ ساختار صفحات: Docling
- برای تبدیل PDF به Markdown: Marker
- برای ساخت سیستم RAG با انواع فایل: Unstructured
- برای اسناد علمی و پیچیده: MinerU
- برای استخراج متن از تصاویر و اسکنها: PaddleOCR
این ابزارها میتونن بهعنوان بخشی از زیرساخت یک AI Agent استفاده بشن؛ مثلاً ایجنتی که صدها PDF رو بخونه، اطلاعات موردنیاز رو پیدا کنه و بر اساس محتوای واقعی اسناد پاسخ بده.
نکته: اگر اسناد فارسی داری، قبل از انتخاب نهایی، کیفیت تشخیص حروف فارسی و راستبهچپ رو روی چند فایل واقعی آزمایش کن؛ پشتیبانی از OCR بهتنهایی تضمینکننده استخراج دقیق فارسی نیست.
@DevTwitter | <Yarad/>
❤12🔥5👍3
ابزار Flowmpeg یک پروژه open-source برای سادهتر کردن کار با FFmpeg هست. FFmpeg یکی از ابزارهای قدرتمند و پرکاربرد command line برای پردازش، تبدیل و ویرایش فایلهای ویدیویی و صوتی هست که commandهای اون در کارهای پیچیده میتونن خیلی طولانی و پیچیده باشن.
ابزار Flowmpeg این فرایند رو سادهتر میکنه و برای کارهایی مثل cut، resize، compress، تبدیل فرمت، subtitle، پردازش دستهای، استخراج صدا و فریم و خیلی از کارهای رایج ویدیو و صوت commandهای سادهتر و قابلفهمتری ارائه میده.
هم از طریق CLI و Python قابل استفادهست و هم یک local web UI داره که میشه داخل مرورگر فایل رو انتخاب کرد، command دقیق FFmpeg رو قبل از اجرا دید و روند پردازش رو دنبال کرد.
همچنین در این ابزار command نهایی FFmpeg همیشه قابل مشاهده و بررسی هم هست.
GitHub:
https://github.com/Imanm02/flowmpeg
@DevTwitter | <Iman/>
ابزار Flowmpeg این فرایند رو سادهتر میکنه و برای کارهایی مثل cut، resize، compress، تبدیل فرمت، subtitle، پردازش دستهای، استخراج صدا و فریم و خیلی از کارهای رایج ویدیو و صوت commandهای سادهتر و قابلفهمتری ارائه میده.
هم از طریق CLI و Python قابل استفادهست و هم یک local web UI داره که میشه داخل مرورگر فایل رو انتخاب کرد، command دقیق FFmpeg رو قبل از اجرا دید و روند پردازش رو دنبال کرد.
همچنین در این ابزار command نهایی FFmpeg همیشه قابل مشاهده و بررسی هم هست.
GitHub:
https://github.com/Imanm02/flowmpeg
@DevTwitter | <Iman/>
❤10🍌10👍3
Forwarded from DevTwitter Ads.
یه استارتاپی تو ایران اومده یه نسخه مشابه openRouter توی ایران ساخته به اسم IranRouter
و برای مدت محدود
مدل های gpt6-luna و DeepSeekV4-flash رایگان کردن
نکته باحال اینجاس که قیمتاشون با قیمت های شرکت های ai دقیقا یکسانه بدون کارمزد
چرا ساختنش؟(طبق چیزی که تو سایتشون گفتن)
• شارژ پلتفرم های ai با ایرانیکارت دشوار طولانی و خسته کننده است
• پلتفرم های مشابه قیمت گذاری مشخصی ندارند
• در زمان نت ملی دسترسی به api ها سخت است
• نیازه تا توی چند جای مختلف اکانت هاتون رو شارژ و مدیریت کنید.
چه مزیتی داره؟
• قیمت های یکسان با ai های مادر
• مهاجرت سریع(فقط کافیه لینک endpoint رو بزارید روی ایران روتر تا از openai یا deepseek یا grok منتقل بشید به ایران روتر)
• پرداخت ریالی
• تیم پشتبانی قوی
😱 لینکش: https://iranrouter.net
بعد از ورود به بخش ثبت نام برید و کلید api خودتون رو بگیرید.
و برای مدت محدود
مدل های gpt6-luna و DeepSeekV4-flash رایگان کردن
نکته باحال اینجاس که قیمتاشون با قیمت های شرکت های ai دقیقا یکسانه بدون کارمزد
چرا ساختنش؟(طبق چیزی که تو سایتشون گفتن)
• شارژ پلتفرم های ai با ایرانیکارت دشوار طولانی و خسته کننده است
• پلتفرم های مشابه قیمت گذاری مشخصی ندارند
• در زمان نت ملی دسترسی به api ها سخت است
• نیازه تا توی چند جای مختلف اکانت هاتون رو شارژ و مدیریت کنید.
چه مزیتی داره؟
• قیمت های یکسان با ai های مادر
• مهاجرت سریع(فقط کافیه لینک endpoint رو بزارید روی ایران روتر تا از openai یا deepseek یا grok منتقل بشید به ایران روتر)
• پرداخت ریالی
• تیم پشتبانی قوی
بعد از ورود به بخش ثبت نام برید و کلید api خودتون رو بگیرید.
Please open Telegram to view this post
VIEW IN TELEGRAM
🍌118❤19👎7
خیلیها فکر میکنند MySQL و PostgreSQL برای ایندکسها از B-tree استفاده میکنند، اما در واقع هر دو از B+tree استفاده میکنند.
حتی وقتی در PostgreSQL یک ایندکس btree میسازید، چیزی که پشت صحنه ساخته میشود یک B+tree است.
خب، فرق این دو چیست؟
در B-tree دادهها در همهی گرهها پخش شدهاند، چه گرههای داخلی و چه برگها.
در B+tree گرههای داخلی فقط نقش راهنما دارند و همهی دادهها در برگها نگه داشته میشوند. برگها هم بهترتیب به هم وصلاند.
همین تفاوت ساده دو مزیت مهم دارد:
اول اینکه کوئریهای بازهای مثل BETWEEN خیلی سریعتر اجرا میشوند. کافی است یک بار تا اولین برگ پایین برویم و بعد در زنجیرهی برگها جلو برویم.
دوم اینکه چون گرههای داخلی داده ندارند و سبکترند، کلیدهای بیشتری در هر صفحهی دیسک جا میشود. درخت کوتاهتر میشود و دسترسی به دیسک هم کمتر.
@DevTwitter | <Mohsen Fooladnezhad/>
حتی وقتی در PostgreSQL یک ایندکس btree میسازید، چیزی که پشت صحنه ساخته میشود یک B+tree است.
خب، فرق این دو چیست؟
در B-tree دادهها در همهی گرهها پخش شدهاند، چه گرههای داخلی و چه برگها.
در B+tree گرههای داخلی فقط نقش راهنما دارند و همهی دادهها در برگها نگه داشته میشوند. برگها هم بهترتیب به هم وصلاند.
همین تفاوت ساده دو مزیت مهم دارد:
اول اینکه کوئریهای بازهای مثل BETWEEN خیلی سریعتر اجرا میشوند. کافی است یک بار تا اولین برگ پایین برویم و بعد در زنجیرهی برگها جلو برویم.
دوم اینکه چون گرههای داخلی داده ندارند و سبکترند، کلیدهای بیشتری در هر صفحهی دیسک جا میشود. درخت کوتاهتر میشود و دسترسی به دیسک هم کمتر.
@DevTwitter | <Mohsen Fooladnezhad/>
❤23🍌5👍2
همه دارن «کورس ۲ ساعتهی گوگل» دربارهی harness رو شیر میکنن.
نسخهی رسمیش ۹ دقیقهست + ۱۳ تا لب رایگان، و بنظرم خیلی بهدردبخورتره.
خلاصهش یه خطه: مدل فقط فکر میکنه، harness بقیهشه. حافظه، ابزار، sandbox، تست.
چک لیست harness قبل از اینکه ایجنت رو ول کنی تو پروژه:
۱. حافظه رو قاطی نکن: session (همین چت)، state (چرکنویس کار)، long-term (ترجیحات)
۲. هر اکشن = یه tool مشخص (function یا MCP)
۳. چکها موازی + سقف retry، که تو لوپ نمونه
۴. سند باکس: کپی پروژه و دیتای فیک، نه DB اصلی، نه
نسخهی Anthropic هم جالبه: هر معیار از اول FAIL فرض میشه، یه evaluator با context تازه که اجازهی Write نداره چک میکنه، و ایجنت با فایل progress + git commit کارو به session بعدی تحویل میده.
https://github.com/anthropics/cwc-long-running-agents
@DevTwitter | <Alireza.js/>
نسخهی رسمیش ۹ دقیقهست + ۱۳ تا لب رایگان، و بنظرم خیلی بهدردبخورتره.
خلاصهش یه خطه: مدل فقط فکر میکنه، harness بقیهشه. حافظه، ابزار، sandbox، تست.
چک لیست harness قبل از اینکه ایجنت رو ول کنی تو پروژه:
۱. حافظه رو قاطی نکن: session (همین چت)، state (چرکنویس کار)، long-term (ترجیحات)
۲. هر اکشن = یه tool مشخص (function یا MCP)
۳. چکها موازی + سقف retry، که تو لوپ نمونه
۴. سند باکس: کپی پروژه و دیتای فیک، نه DB اصلی، نه
نسخهی Anthropic هم جالبه: هر معیار از اول FAIL فرض میشه، یه evaluator با context تازه که اجازهی Write نداره چک میکنه، و ایجنت با فایل progress + git commit کارو به session بعدی تحویل میده.
https://github.com/anthropics/cwc-long-running-agents
@DevTwitter | <Alireza.js/>
1❤16🍌8👍4