تیم Hugging Face یه قابلیت خیلی خوب معرفی کرده به اسم Streaming Datasets. یعنی دیگه لازم نیست کل دیتاستهاتون رو دانلود کنید تا آموزش مدلهاتون شروع بشه! فقط با یه خط کد فعالش میکنید:
dataset = load_dataset("HuggingFaceM4/FineVisionMax", split="train", streaming=True)
چند تا نکتهی جذابش که احتمالاً خوشتون میاد:
- دیگه خبری از «هارد پر شد»، «دانلود بیپایان» یا خطای ۴۲۹ نیست.
- سرعت شروع کار خیلی بالا رفته: تا ۱۰ برابر سریعتر در resolve فایلها، ۲ برابر نمونه در ثانیه، و حداقل خطا حتی با ۲۵۶ workers همزمان.
- زیرساختشون کلی بهینه شده: cache اشتراکی برای فایلها، pre-fetch برای Parquet، و بافر قابل تنظیم برای بهینهسازی I/O
- حتی از SSD لوکال هم تو بعضی تستها سریعتر بوده!
اگه دارید روی مدلهای بزرگ یا دیتاستهای چندترابایتی کار میکنید، حتماً این قابلیت رو تست کنید. احتمالاً کلی تو زمان و هزینهی زیرساختتون صرفهجویی میکنه.
Link: http://huggingface.co/blog/streaming-datasets
#هوش_مصنوعی
🆔 @Ai_Tv
dataset = load_dataset("HuggingFaceM4/FineVisionMax", split="train", streaming=True)
چند تا نکتهی جذابش که احتمالاً خوشتون میاد:
- دیگه خبری از «هارد پر شد»، «دانلود بیپایان» یا خطای ۴۲۹ نیست.
- سرعت شروع کار خیلی بالا رفته: تا ۱۰ برابر سریعتر در resolve فایلها، ۲ برابر نمونه در ثانیه، و حداقل خطا حتی با ۲۵۶ workers همزمان.
- زیرساختشون کلی بهینه شده: cache اشتراکی برای فایلها، pre-fetch برای Parquet، و بافر قابل تنظیم برای بهینهسازی I/O
- حتی از SSD لوکال هم تو بعضی تستها سریعتر بوده!
اگه دارید روی مدلهای بزرگ یا دیتاستهای چندترابایتی کار میکنید، حتماً این قابلیت رو تست کنید. احتمالاً کلی تو زمان و هزینهی زیرساختتون صرفهجویی میکنه.
Link: http://huggingface.co/blog/streaming-datasets
#هوش_مصنوعی
🆔 @Ai_Tv
❤7👍2🙏1
Forwarded from FaraDars_Course
🔥 ۹۴ درصد تخفیف در طرح شگفتانگیز فرادرس - یادگیری بدون توقف
🎉 با کد تخفیف LEARN94 میتوانید یک یا دو آموزش را با ۹۴٪ تخفیف دریافت کنید!
⚠️ اگر قبلا سفارش همراه با پرداخت داشتید، میتوانید یک آموزش و در صورتی که تا الان پرداختی در فرادرس نداشتید، میتوانید ۲ آموزش انتخاب کنید:👇
📚 دسترسی به تمامی آموزشها - [کلیک کنید]
🎁 کد تخفیف اختصاصی طرح: LEARN94
🔗 مشاهده جزئیات طرح [+]
🔄 FaraDars - فرادرس
🎉 با کد تخفیف LEARN94 میتوانید یک یا دو آموزش را با ۹۴٪ تخفیف دریافت کنید!
⚠️ اگر قبلا سفارش همراه با پرداخت داشتید، میتوانید یک آموزش و در صورتی که تا الان پرداختی در فرادرس نداشتید، میتوانید ۲ آموزش انتخاب کنید:👇
📚 دسترسی به تمامی آموزشها - [کلیک کنید]
🎁 کد تخفیف اختصاصی طرح: LEARN94
🔗 مشاهده جزئیات طرح [+]
🔄 FaraDars - فرادرس
This media is not supported in your browser
VIEW IN TELEGRAM
🔴 گیتهاب Agent HQ را معرفی کرد؛ دسترسی به ایجنتهای کدنویسی مختلف در یک هاب
گیتهاب با معرفی پلتفرم جدیدی به نام Agent HQ امکان مدیریت و کنترل ایجنتهای هوش مصنوعی کدنویسی از شرکتهای مختلف مانند OpenAI، گوگل، آنتروپیک، xAI و Cognition را در کنار کوپایلوت فراهم کرده است.
این پلتفرم به توسعهدهندگان اجازه میدهد چندین ایجنت را در یک محیط واحد هدایت و ارزیابی کنند و حتی اجرای همزمان آنها برای یک وظیفه واحد را تجربه کنند. کاربران اشتراک GitHub Copilot بهزودی به داشبوردی برای مدیریت و پیگیری عملکرد این ایجنتها دسترسی خواهند داشت.
#هوش_مصنوعی
🆔 @Ai_Tv
گیتهاب با معرفی پلتفرم جدیدی به نام Agent HQ امکان مدیریت و کنترل ایجنتهای هوش مصنوعی کدنویسی از شرکتهای مختلف مانند OpenAI، گوگل، آنتروپیک، xAI و Cognition را در کنار کوپایلوت فراهم کرده است.
این پلتفرم به توسعهدهندگان اجازه میدهد چندین ایجنت را در یک محیط واحد هدایت و ارزیابی کنند و حتی اجرای همزمان آنها برای یک وظیفه واحد را تجربه کنند. کاربران اشتراک GitHub Copilot بهزودی به داشبوردی برای مدیریت و پیگیری عملکرد این ایجنتها دسترسی خواهند داشت.
#هوش_مصنوعی
🆔 @Ai_Tv
❤7👏1
یک ریپازیتوری خوب: RAGHub
مجموعهای از ابزارها و پروژههای متنباز برای یادگیری و کار با Retrieval-Augmented Generation (RAG)
پروژههای محبوب، منابع آموزشی و ایدههای تازه رو یکجا جمع کرده.
https://github.com/Andrew-Jang/RAGHub
#هوش_مصنوعی
🆔 @Ai_Tv
مجموعهای از ابزارها و پروژههای متنباز برای یادگیری و کار با Retrieval-Augmented Generation (RAG)
پروژههای محبوب، منابع آموزشی و ایدههای تازه رو یکجا جمع کرده.
https://github.com/Andrew-Jang/RAGHub
#هوش_مصنوعی
🆔 @Ai_Tv
❤3🙏1
https://github.com/google/adk-python
#هوش_مصنوعی
🆔 @Ai_Tv
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2
همچنین نویسنده از ریسرچ اخیر خودشون در لب هوشمصنوعی Meta روی این موضوع میگه.
مسئله بهطور خیلی کلی اینه که چطور وقتی مدلهای هوشمصنوعی رو بر اساس اطلاعات جدیدی که بهشون ارائه میشه (مثلا وقتی که داره با یه انسانی صحبت میکنه و اون بهش یهسری داکیومنت جدید میده) آپدیت کنیم بدون اینکه اطلاعات قبلی که یاد گرفتن رو فراموش کنن یا منجر به افت عملکرد توی جای دیگهای بشه.
روش جدید براساس Memory Layer ها و تغییردادن یه تعداد خیلی محدود و سلکتیو پارامترهاست جوری که دیتای جدید رو یاد بگیره ولی چیزی رو فراموش نکنه.
نشون میده که این متد از LoRA و Full fine-tuning توی این تستهای اولیه بهتر کار میکنه.
blog
paper
#هوش_مصنوعی
🆔 @Ai_Tv
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3🙏1
the best hands-on AI agents repo you’ll ever
🌟 https://github.com/Arindam200/awesome-ai-apps
#هوش_مصنوعی
🆔 @Ai_Tv
#هوش_مصنوعی
🆔 @Ai_Tv
Please open Telegram to view this post
VIEW IN TELEGRAM
🙏2
Master the SQL fundamentals needed for business, learn how to write SQL queries, and start analyzing your data using this powerful language.
👇
https://www.datacamp.com/tracks/sql-fundamentals
#علم_داده #DataScience
🆔 @Ai_Tv
https://www.datacamp.com/tracks/sql-fundamentals
#علم_داده #DataScience
🆔 @Ai_Tv
Please open Telegram to view this post
VIEW IN TELEGRAM
Datacamp
SQL Fundamentals | Master the SQL Essentials - DataCamp | DataCamp
Master the SQL fundamentals needed for business, learn how to write SQL queries, and start analyzing your data using this powerful language.
❤2👍1
IBM Data Science Professional Certificate
Prepare for a career as a data scientist. Build job-ready skills – and must-have AI skills – for an in-demand career. Earn a credential from IBM. No prior experience required
👇 👇
https://www.coursera.org/professional-certificates/ibm-data-science
#علم_داده #DataScience
🆔 @Ai_Tv
Prepare for a career as a data scientist. Build job-ready skills – and must-have AI skills – for an in-demand career. Earn a credential from IBM. No prior experience required
https://www.coursera.org/professional-certificates/ibm-data-science
#علم_داده #DataScience
🆔 @Ai_Tv
Please open Telegram to view this post
VIEW IN TELEGRAM
Coursera
IBM Data Science
Offered by IBM. Prepare for a career as a data ... Enroll for free.
❤3🙏1
This media is not supported in your browser
VIEW IN TELEGRAM
🚩 با این ابزار میتونید ریپوهای گیتهاب رو به نقشه های گرافی تبدیل کنید و نمای کلی از معماری پروژه و عملکرد هر code رو ببینید
https://github.com/herin7/gitforme
🔘 وبسایت :
https://www.gitforme.tech/
🆔 @Ai_Tv
https://github.com/herin7/gitforme
https://www.gitforme.tech/
🆔 @Ai_Tv
Please open Telegram to view this post
VIEW IN TELEGRAM
👏5🙏1
Forwarded from FaraDars_Course
⭐️ دسترسی رایگان به دورههای مدرسین منتخب فرادرس
🎉 شما میتوانید یکی از دورههای آموزشی موجود در این طرح را به صورت کاملاً رایگان از فرادرس دریافت کنید.
🔗 مشاهده لیست دورهها - [کلیک کنید]
🎁 کد تخفیف اختصاصی طرح: OMID
♦️ شرایط استفاده از کد تخفیف: 👇👇👇
1️⃣ هر کاربر، فقط یک بار میتواند از این کد استفاده کند.
2️⃣ این کد فقط برای یک آموزش و از یک مدرس فعال میشود و هنگام اعمال کد، باید یک آموزش در سبد سفارش شما باشد.
3️⃣ مهلت استفاده از آموزش دریافت شده در این طرح تا پایان روز سهشنبه، ۲۰ آبان ۱۴۰۴ میباشد.
🔄 FaraDars - فرادرس
🎉 شما میتوانید یکی از دورههای آموزشی موجود در این طرح را به صورت کاملاً رایگان از فرادرس دریافت کنید.
🔗 مشاهده لیست دورهها - [کلیک کنید]
🎁 کد تخفیف اختصاصی طرح: OMID
♦️ شرایط استفاده از کد تخفیف: 👇👇👇
1️⃣ هر کاربر، فقط یک بار میتواند از این کد استفاده کند.
2️⃣ این کد فقط برای یک آموزش و از یک مدرس فعال میشود و هنگام اعمال کد، باید یک آموزش در سبد سفارش شما باشد.
3️⃣ مهلت استفاده از آموزش دریافت شده در این طرح تا پایان روز سهشنبه، ۲۰ آبان ۱۴۰۴ میباشد.
🔄 FaraDars - فرادرس
❤2
🚩 اگه به ساخت ایجنت های هوشمصنوعی علاقهمند هستید یا میخواهید بفهمید ایجنت های هوشمصنوعی چطور کار میکنند این ریپو یه راهنمای کامل برای شماست که توش می تونید روش کار مدلهای مختلف رو ببینید و ایده بگیرید
✔️ شامل هزاران خط کد و ابزار و پرامپته که میتونید برای ساخت ایجنت اختصاصی خودتون ازشون استفاده کنید
🌟 https://github.com/x1xhlol/system-prompts-and-models-of-ai-tools
🆔 @Ai_Tv
✔️ شامل هزاران خط کد و ابزار و پرامپته که میتونید برای ساخت ایجنت اختصاصی خودتون ازشون استفاده کنید
🆔 @Ai_Tv
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
GitHub - x1xhlol/system-prompts-and-models-of-ai-tools: FULL Augment Code, Claude Code, Cluely, CodeBuddy, Comet, Cursor, Devin…
FULL Augment Code, Claude Code, Cluely, CodeBuddy, Comet, Cursor, Devin AI, Junie, Kiro, Leap.new, Lovable, Manus, NotionAI, Orchids.app, Perplexity, Poke, Qoder, Replit, Same.dev, Trae, Traycer AI...
❤2👏1
❇️ دوره های پلتفرم DataCamp دوباره به مدت یک هفته رایگان شد
از ۱۲ تا ۱۸ آبان فرصت دارید
⬅️ دسترسی رایگان به همه دورهها
⬅️ توی یک هفته مهارتی که دنبالش بودید رو یاد بگیرید و مدرک بگیرید.
👇
https://www.datacamp.com/
🆔 @Ai_Tv
از ۱۲ تا ۱۸ آبان فرصت دارید
⬅️ دسترسی رایگان به همه دورهها
⬅️ توی یک هفته مهارتی که دنبالش بودید رو یاد بگیرید و مدرک بگیرید.
https://www.datacamp.com/
🆔 @Ai_Tv
Please open Telegram to view this post
VIEW IN TELEGRAM
Datacamp
Learn R, Python & Data Science Online
Learn Data Science & AI from the comfort of your browser, at your own pace with DataCamp's video tutorials & coding challenges on R, Python, Statistics & more.
❤4🙏1
When the project grows, some of the tests become slow (ML training, GPU inference, integration checks).
Pytest allows you to flag such tests and run only the groups you need.
- @pytest.mark.fast - fast unit tests
- @pytest.mark.slow - long tests (for example, model training)
- @pytest.mark.gpu - tests that require GPU
Teams:
# Run only fast ones
pytest -m fast
# Run everything except slow
pytest -m "not slow"
- quickly run the code before pushing
- run heavy tests on schedule/in CI
- divide ML tests by resources (CPU/GPU)
Use markers and your development will become faster and cleaner
#هوش_مصنوعی #پایتون
🆔 @Ai_Tv
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2
https://cdn.openai.com/business-guides-and-resources/a-practical-guide-to-building-agents.pdf
#هوش_مصنوعی #Ai #LLM
🆔 @Ai_Tv
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2
Forwarded from FaraDars_Course
🔴 بیش از ۷۰۰ آموزش ۸۹ هزار تومنی در فرادرس!
⏰ فرصت را از دست ندهید؛ یادگیری با تخفیف استثنایی رو به پایان است!
🔶 تحلیل و پیشبینی داده با PyCaret در پایتون
🔶 کار با Tkinter و SQLite3 در Python
🔶 آموزش کار با داده های اکسل در پایتون
🔶 آموزش بهینه سازی با پایتون
🔶 هدوپ – تجزیه و تحلیل کلان داده با Hadoop
📚 سایر آموزشهای ۸۹ هزار تومنی [+]
🔄 FaraDars - فرادرس
⏰ فرصت را از دست ندهید؛ یادگیری با تخفیف استثنایی رو به پایان است!
🔶 تحلیل و پیشبینی داده با PyCaret در پایتون
🔶 کار با Tkinter و SQLite3 در Python
🔶 آموزش کار با داده های اکسل در پایتون
🔶 آموزش بهینه سازی با پایتون
🔶 هدوپ – تجزیه و تحلیل کلان داده با Hadoop
📚 سایر آموزشهای ۸۹ هزار تومنی [+]
🔄 FaraDars - فرادرس
کاربردش چیه؟
دیگه لازم نیست خودتون رو درگیر پیچیدگیهای راهاندازی RAG کنید گوگل همهچیز رو مدیریت میکنه!
#هوش_مصنوعی
🆔 @Ai_Tv
Please open Telegram to view this post
VIEW IN TELEGRAM
Google
Introducing the File Search Tool in Gemini API
File Search is a fully managed Retrieval Augmented Generation (RAG) system built directly into the Gemini API.
❤6👍1
This media is not supported in your browser
VIEW IN TELEGRAM
روی همه سیستم عامل ها نصب میشه و میتونید مدلهای لوکال را هم استفاده کنید. کلی کارهای جالب میشه باهاش انجام داد مثلا scrape کردن دیتا و ...
#هوش_مصنوعی
🆔 @Ai_Tv
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4
This media is not supported in your browser
VIEW IN TELEGRAM
یه جعبه ابزار کامل هکری هم داره:
- پراکسی HTTP
- اتوماسیون مرورگر
- محیط ترمینال
- و حتی رانتایم پایتون
به جای اینکه هفتهها منتظر تست نفوذ دستی بمونید، با Strix میتونید تو چند ساعت یه تست کامل بگیرید.
Github: https://github.com/usestrix/strix
#هوش_مصنوعی
🆔 @Ai_Tv
Please open Telegram to view this post
VIEW IN TELEGRAM
❤10
the_smol_training_playbook_the_secrets_to_building_world_class_llms.pdf
24 MB
https://huggingface.co/spaces/HuggingFaceTB/smol-training-playbook
#هوش_مصنوعی
🆔 @Ai_Tv
Please open Telegram to view this post
VIEW IN TELEGRAM
🙏4❤1