כשאנחנו משתמשים במודלים מקומיים שמריצים על המחשב, אנחנו בבעיה גדולה בכל מה שקשור לקונטקסט, לכמות המידע שהוא יכול לזכור - וכנגזרת מכך - גם לאיכות התשובה שנקבל.



מודלים שמריצים על המחשב, לרוב יהיו עם חלון קונטקסט בגודל של 4096-8092 טוקנים. שבהערכה גסה זה 5000-9000 תווים באנגלית. זה לא הרבה. תחשבו על כמות הטקסט בצ'אט שלכם עם המודלים השונים. תוסיפו לזה קונטקסט חבוי כמו רשימת כלים, פרומפטים מובנים, ונשארתם כמעט במינוס.



לכן, השאלה היא: האם בכלל ניתן להשתמש במודלים מקומיים למשימות פיתוח אם יש לנו מגבלה כל כך מאתגרת?



כשמחפשים תשובה לשאלה הזו מגלים מהר מאוד אינספור סרטונים על *איך* להריץ LLM מקומית, אבל לא על *איך עובדים על משימה פרקטית* עם AI שרץ מקומית.



מסתבר שבאמצעות LM Studio אפשר לא רק לטעון מודלים מקומיים, אלא גם לשלוט בגודל הקונטקסט, כך שאם יש לנו זיכרון, נוכל להגדיל את חלון הקונטקסט ואז עם ניהול נכון של קונטקסט בפרומפטים שלנו - אנחנו נוכל להשתמש במודלים מקומיים גם למשימות פיתוח! זה די מטורף כשמבינים את זה. רק שאף אחד כמעט לא מדבר על זה ונשארים עם פער: יודעים איך להריץ מודלים, לא מבינים איך זה עוזר לנו כשהחלון כל כך קטן. מתייאשים. מוותרים.



במקום להתייאש, ארגונים יכולים לדאוג ל-GPU, להגדיל את הקונטקסט לכמות מכובדת, להכשיר ולהדריך על שימוש מושכל בסוכני הקוד כדי לנהל את הקונטקסט כמו שצריך, וכל זה כאשר ה-LLM המקומי גם מונגש בכתובת פנימית, שזה אומר שאפשר להפוך את זה לשירות שזמין פנימית לכל מאן דבעי (לכל מי שרוצה).



תחשבו על ארגונים "כבדים", אנטרפרייזים, קורפורייט, ארגונים ביטחוניים או מי שחרד לפרטיותו. כולם יכולים ליהנות מהטוב הזה, רק צריך להבין. אני מקליט תוכן חדש על הנושא הזה, ואשמח לקרוא בתגובות במידה ויש לכם שיטות משלכם להתמודדות עם מצבים כאלה או כלים שאתם ממליצים עליהם שעוזרים בשימוש מקומי.

הריפו Eigent מאת eigent-ai הוא אפליקציית דסקטופ קוד פתוח שמריצה צוות AI מלא על המחשב שלנו - לוקאלית לגמרי.

מסתבר שזה פותר בעיה שכולנו מכירים: איך להריץ סוכני AI מתוחכמים בלי לשלוח את הדאטה הרגיש שלנו לענן? Eigent משתמש ב-CAMEL-AI כדי לתאם בין סוכנים מיוחדים (Developer, Browser, Document) שעובדים ביחד על משימות מורכבות.

הקטע המדליק הוא שהכל רץ לוקאלית עם vLLM או Ollama, ויש אינטגרציה של MCP שמרחיבה את היכולות. תחשבו על זה כמו צוות מיוחד שכל אחד מומחה בתחום שלו, והם יודעים לתאם ביניהם.

בעיניי זה סוגר פער חשוב - סוף סוף multi-agent ברמה ארגונית בלי לוותר על פרטיות.

https://github.com/eigent-ai/eigent
--
לפוסט המלא: https://yuv.ai/blog/eigent

הכירו את הכלי החדש של אנת'רופיק שמעצבן עורכי דין, Claude Co-Work!

https://youtu.be/I1H8JVWbqXI

מה קרה פה הרגע 🤯 חמישי ב-11 בלילה וגיטהאב מטילה פצצה ומשחררת את היכולת להוסיף את גיטהאב קופיילוט CLI לכל אפליקציה בכמה שורות של קוד 🤯 ז״א, כל פיתוח שלנו, אפשר בכמה שורות להוסיף קריאה לקופיילוט שרץ בטרמינל ומחזיר תשובה!

זה נקרא GitHub Copilot SDK וזה מזכיר לנו את קלוד אייג׳נט sdk - רק שזה בגרסת גיטהאב, ומי שיש לו רישוי לגיטהאב מרוויח כפול: אפשר להתחבר דרך המנוי הרגיל וליהנות מהיכולת הזו! תחשבו על זה בתוך ארגון, זו מתנה פסיכית! והדבר השני הוא שגיטהאב הניעו שת״פ עם OpenCode כך שאפשר לרכב על המנוי החודשי של גיטהאב קופיילוט גם אם משתמשים ב-OpenCode!

זמין לכולם כבר עכשיו, אין לי מילים, זו בשורה מטורפת לארגונים שמצדיקה פרסום בחמישי ב-11:25 בלילה!! GitHub

גיטהאב פתחה מבערים גבירותיי רבותיי!!

קבלו את EIGENT: צוות של סוכני AI שרץ בחינם על המחשב ומבצע פעולות. אפשר להשתמש במודלים לוקאלים בחינם ולרוץ 100% מקומית בסביבה סגורה- והכל קוד מקור פתוח!

בדוגמא שפה ביקשתי ממנו לגשת לאתר שלי ולאתר את טופס יצירת הקשר ולהזמין אותי להרצאה בהונולולו הוואי 😂 אפשר לראות איך הוא מבין את המשימה, מחלק אותה לתת משימות, מקצה לסוכן הרלוונטי (יש סוכן דפדפן, סוכן מפתח ועוד ועוד) - ואשכרה עובד על זה. זה שיש כלים דומים זה לא חדש, אבל זה שכלי כזה משוחרר כקוד מקור פתוח שאפשר להתקין על המחשב וליהנות מכל הטוב הזה עם מודלים מקומיים - זה וואו!

הכלי נסמך על המחקר המרתק של Camel AI שיצרו מיליון סוכני AI שפעלו אוטומטית ברשת חברתית שפותחה לצורך המחקר. על זה בפעם אחרת.

יצרתי סקיל ל-GitHub Copilot SDK כדי שכל אחד ואחת יוכלו להוסיף סוכן של קופיילוט לאפליקציות בקלות! מחכה לכם בריפו של הסקילים שיצרתי:

https://github.com/hoodini/ai-agents-skills/tree/master/skills/copilot-sdk

הפיד GitHub Trending מציג כל יום את הריפוזיטוריז שצוברים הכי הרבה כוכבים במהירות - לא את אלה עם הכי הרבה כוכבים סה״כ, אלא את אלה שעולים מהר עכשיו. מה שנקרא star velocity. תחשבו על זה כמו תחרות פופולריות שמתאפסת כל יום.

אנחנו יכולים לסנן לפי שפת תכנות (Python, JavaScript, Rust וכו׳) וגם לראות טרנדים שבועיים או חודשיים. הקטע המדליק הוא שריפו חדש לגמרי יכול לעלות על ספרייה בת שנים אם הוא פותר בעיה שהקהילה מתרגשת ממנה.

בעיניי זה חיוני לכל מפתח. אני בודק את זה כל בוקר. https://github.com/trending
--
לפוסט המלא: https://yuv.ai/blog/github-trending

הריפו PageIndex מאת Vectify AI הוא פריימוורק קוד פתוח שמבטל לגמרי את הווקטורים והחלוקה לחלקים ב-RAG. במקום זה, הוא בונה עץ היררכי של המסמך - כמו תוכן עניינים חכם עם סיכומים - וה-LLM "מחשיב" את דרכו דרך העץ בדיוק כמו שאנחנו סורקים ספר. הקטע המדליק הוא שזה פותר את בעיית אובדן ההקשר שקורה בחלוקה רגילה. כשאנחנו מנתחים דוחות פיננסיים או מסמכים משפטיים, דמיון סמנטי לא שווה רלוונטיות. התוצאות: 98.7% דיוק על FinanceBench, פלוס הסבר מלא של המסלול שה-LLM עבר. בעיניי זה הכיוון לניתוח מסמכים מקצועיים שבהם מבנה חשוב. https://github.com/VectifyAI/PageIndex
--
לפוסט המלא: https://yuv.ai/blog/pageindex

אני באמת לא זוכר מתי בשנה האחרונה ראיתי כלי AI שסחרר אותי כמו זה 😮

לא יודע אם ראיתם אבל הרשת סוערת מכלי חדש בשם רימושן שמייצר אנימציות שומטות לסתות - מקוד בלבד תוך שימוש בריאקט, ויש לו אפילו סקיל לסוכני קוד וריפו קוד מקור פתוח. כבר ראיתי דוגמאות של שימוש בו עם גיטהאב קופיילוט SDK החדש שפרסמתי עליו ומסעיר את הקהילה.

מה שאתם רואים פה זה הקלטה של דוגמאות מהמסך שלי כי לא יכלתי לחכות עד שאצור לבד. אני עובד על סרטון על זה עם גיטהאב קופיילוט SDK החדש כי זה מה שעושה את ההבדל שבין לפרסם כלי - לבין להוריד אותו לקרקע. פרקטית.

לבינתיים חפשו בגיטהאב remtion-dev/remotion

וואו!! 🤩

קלוד קוד הרגע יצר את הסרטון הזה עם הסקיל של remotion.

כשאני כותב על remotion שמסעיר את הרשת - על זה אני בדיוק אני מדבר: סוכן קוד שיודע להסתכל על מה שיש לנו במחשב, על קבצי רפרנס, לצאת לאינטרנט כדי לקבל מידע נוסף (מזכיר את היכולת של ג'מיני לצאת לאינטרנט וליצור לנו תמונה מושלמת בננו בננה מתוך הבנה של ההקשר) - ואז ליצור עבורנו את הסרטון.

כאן ביקשתי מקלוד לקרוא עלי וליצור סרטון עם אפקט מגניב שקשור ל-GitHub Copilot CLI. כמה שזה מטורף שתוך שניות קיבלתי את זה!

השלבים כדי לעבוד עם רימושן:
- התקנה של הסקיל
- יצירת פרויקט חדש
- הפעלת הממשק

- ברגע שיש לנו תיקיה של פרויקט חדש, אפשר להפעיל מתוכה את קלוד קוד או גיטהאב קופיילוט, והם יתחילו ליצור אוטומטית את הסרטונים שנבקש!

קבלו: גיטהאב קופיילוט SDK מריץ פקודות על המחשב דרך הטרמינל בצורה מרוחקת. כל כך פשוט. יצרתי סקיל לחבילה החדשה הזו, הזנתי פרומפט, ביקשתי להשתמש בסקיל כדי לפתח קופיילוט שיהיה זמין לבקשות מהאינטרנט ויריץ פקודות מערכת (כדי להמחיש שליטה במחשב וגם כדי להראות כמה זה יכול להיות מסוכן)

תוך כמה דקות כבר היה סוכן עם ממשק, אני שולט במחשב שלי דרך בקשה מרוחקת. הבקשה הזו יכולה להגיע מהוואצאפ, מהטלגרם, מהאתר לדוגמא או בכל דרך אחרת. איזה טירוף, וכמה שזה קל!

כולם מדברים על קלודבוט ברשת - אבל מי אמר שהוא מאובטח? במקום זה, שחררתי בחינם פרויקט שמשתמש ב-GitHub Copilot SDK החדש, אפשר להפעיל את הסוכן מרחוק, והסוכן יכול להריץ כל שרת MCP שהוגדר לו!

המשמעות היא: אנחנו שולטים איזה שרתי MCP יהיו זמינים - והכל מתנהל דרך הסוכן של גיטהאב קופיילוט שאפשר להפוך לזמין (Deploy) דרך בקשה פשוטה מהוואצאפ \ טלגרם \ האתר שלכם וכו'. הפרויקט הזה גורם לסוכן להאזין לבקשות ולבצע פעולות. מכאן קחו את זה לאן שבא לכם ותהנו! https://github.com/hoodini/copilot-sdk-terminal-agent

יצרתי סרטון על היכולת החדשה של GitHub Copilot SDK, פיתחתי סוכן ששולט על המחשב עם שרתי MCP. בדוגמא שאני מדגים אני משתמש בתוכנת הפתקים המעולה Obsidian - ואני מדגים איך אפשר להפעיל *מרחוק* את הסוכן.

ז"א, סוכן שעובד מרחוק, וע"י שליחת בקשה פשוטה הוא שולט במחשב, מריץ כלים ותוכנות, ומבצע פעולות. עכשיו נשאר לבצע Deploy על AWS AgentCore (גילוי נאות, אני אוהב מאוד את AWS שעושים עבודה מדהימה פה בארץ)

צפו בזה, בעיני יש כאן מהפכה, ולא צריכים את קלודבוט כשאפשר לבנות כזה בעצמנו ולשלוט על מה שאנחנו רוצים תוך שימוש ב-SDK עם "אבא ואמא" רציניים כמו גיטהאב!
---
WATCH MY NEW VIDEO!! I create a remote agent using the new GitHub Copilot SDK, and this agent runs MCP servers on the computer, control Obsidian and run OS commands just by a simple prompt. Remotely!!!

Now I'm working on deploy it using AWS AgentCore. It's gonna be so much fun! I can control my computer / write docs only by sending a simple http request to my agent!!

No need in ClawdBot when you can use this SDK, and especially that I've open sourced this project on my GitHub.

ENOJY!!!


https://youtu.be/xEt8NTKZlBs

בואו נעשה סדר בדרך שבה אפשר לקחת סוכן AI שפיתחנו ולהפוך אותו לזמין בפרודקשן עם AgentCore של AWS - ולפני הכל גם נבין למה בכלל צריך אותם

https://www.linkedin.com/posts/%F0%9F%8E%97%EF%B8%8Fyuval-avidani-87081474_%D7%91%D7%95%D7%90%D7%95-%D7%A0%D7%A2%D7%A9%D7%94-%D7%A1%D7%93%D7%A8-%D7%91%D7%93%D7%A8%D7%9A-%D7%A9%D7%91%D7%94-%D7%90%D7%A4%D7%A9%D7%A8-%D7%9C%D7%A7%D7%97%D7%AA-%D7%A1%D7%95%D7%9B%D7%9F-ai-activity-7421630380354703361-3ujP?utm_source=share&utm_medium=member_desktop&rcm=ACoAAA_IUNQBv1nBtAXW8okhlIl4mhR78WelGB4

תעצרו לדקה ותראו בעיניים מה זה סוכן AI אמיתי ולא סתם גימיק - צילמתי מסך מיד כשזה קרה כדי לתעד את הפלא הזה!

מה שקרה הוא שיצירת תמונה ע"י הסוכן (דרך וואצאפ) נכשלה - רק שבמקום שאני אדבג ואפתור הכל, הסוכן שלי, לוגאן AI, שכפי שכתבתי לאחרונה יש מאחוריו את GitHub Copilot SDK עם שרתי MCP ו-Skills, הגדיל ראש והחליט לדבג את הבעיה לבד, הבין שצריך להוסיף מנגנון נסיונות חוזרים (Retries) - אז הוא פיתח את הפיצ'ר הזה ואפילו עדכן את ה-System Prompt שלו עצמו, לאחר מכן הריץ שוב בעצמו את הבדיקה, הסתכל שוב, תיקן שוב, ולא ויתר עד שהצליח ליצור את התמונה!

זה ההבדל בין סוכן AI אמיתי שהבין שיש בעיה, דיבג ופתר לבד, לבין סתם קריאת LLM פשוטה. זה AGI בעיני לכל דבר. לא סתם צ'אטבוט AI שמתכתב איתנו על הדאטה שלנו, אלא סוכן, אמיתי, שפועל לבד ופותר בעיות לבד. וואו.

הריפו Remotion מאת Jonny Burger פותר בעיה שכולנו מכירים - איך לייצר סרטונים בסקייל בלי להתעסק עם After Effects. הוא מאפשר לנו לכתוב סרטונים כמו שאנחנו כותבים קוד React - JSX, CSS, hooks - והוא מרנדר קבצי MP4 אמיתיים. תחשבו על זה כך: סרטון = אפליקציית React שמרנדרת פריים אחרי פריים. הקטע המדליק הוא שאנחנו מקבלים version control, אוטומציה, ויכולת לייצר אלפי סרטונים מותאמים אישית בלחיצת כפתור. בעיניי זה game-changer לכל מי שצריך לייצר תוכן וידאו מונחה-דאטה או הפקות אוטומטיות. https://github.com/remotion-dev/remotion
--
לפוסט המלא: https://yuv.ai/blog/remotion

הפוסט הקודם הוא אוטומציה עם הסוכן החדש! השעה כבר 22:22 ואני לא מפסיק להתלהב: הוספתי ללוגאן שרת MCP שמחובר לאינטרנט - הוא מבצע מחקרים ומייצר אובייקט JSON עם התוצר, לאחר מכן שולח אותו ב-Webhook לאוטומציה שלי ב-Make, שמשלבת את קלוד ואת ננו בננה פרו כדי לייצר תוכן בסגנון שלי. לבסוף, האוטומציה מעבירה אלי לאישור, ולאחר מכן - התוכן עולה בכל ערוץ לפי הפורמט שמתאים לו מבחינת סגנון, אורך תווים, עברית או אנגלית וכדומה.

אני מרגיש שעולם שלם השתנה מבחינתי. היכולת שלנו לקחת חבילה שנכתבה כל כך טוב, GitHub Copilot SDK, לחבר את הסוכן ל-GitHub Copilot CLI, להוסיף סקילים, שרתי MCP ולחבר לאוטומציות - זה דבר שלא היה כדוגמתו. זה נכון גם ל-Claude Agent SDK שמריץ את קלוד קוד מרחוק אבל משהו באיך שגיטהאב עובדים בא לי טוב מאוד ואני מבסוט.

מה שכן, שימו לב שאם אתם עובדים בתצורה הזו של Copilot SDK אתם חייבים ש-GitHub Copilot CLI יהיה מותקן (כי הסוכן צריך להשתמש בו), ובקשות שעוברות ל-CLI מתבצעות באמצעות תהליך שמתרחש במקביל, מה שאומר שלוקח יותר זמן לקבל תשובות. מבחינת פרודקשן, יש פה לייטנסי משמעותי יחסית, אבל מבחינתי זה מושלם ביחד לתמורה שאני מקבל.

אני סקרן מאוד לקרוא האם גם לכם יצא לחקור את התחום הזה כבר או לא? תראו את צילום המסך המצורף, סך הכל העברתי לינק של הריפו של רימושן, הסוכן ביצע את המחקר, השתמש בכמה כלים, בהם Tavily שהחלטתי לנסות (חשבתי בהתחלה על Brave והתייאשתי מהם, ותביא-לי הרבה יותר קלים לשימוש וגם ממש טובים!) - והכל עלה!

חוקרים פיתחו מיליון סוכני AI ורשת חברתית מזויפת ונתנו להם לדבר ביניהם - קבלו את הממצאים 🤯

מוצר שבחנתי עיצבן אותי (ניטור קבוצות וואצאפ) - אז פיתחתי עם קלוד קוד את אותו הדבר ב-5 דקות במקום לשלם לו מנוי חודשי - ואפילו הוספתי לו פיצ'ר: לפתוח ולסגור את הקבוצות שלי אוטומטית בכניסת ויציאת השבת (אני עושה את זה ידנית כל שבוע כבר כמה שנים)



רקע: אני בוחן דרכים לבצע סיכום יומי בקהילות הוואצאפ שלי, להסיר ספאמרים ועוד כמה דברים נחמדים. וואצאפ הרשמית לא מאפשרת את זה לצערי הרב ולכן חיפשתי אלטרנטיבות. אני יודע שיש שירותי צד ג', אני לא אוהב את זה, השירותים האלה רוכבים על הוואצאפ שלנו מה שיכול לגרום לחסימת המספר, ומנוגד לכללים של וואצאפ. כך שזה פיתרון די גרוע - אבל זה מה שכולם משתמשים בו בהיעדר פיתרון אחר. כמאמר הפתגם: באין ציפור שיר - גם עורב ייחשב לזמיר.



בקיצור, הגעתי לאתר בשם WHAPI לאחר המלצת קלוד, פתחתי חשבון, יש ניסיון חינמי של 5 ימים, חיברתי אוטומציה למייק שמעבירה הודעות מהקבוצה שלי לבסיס נתונים כדי שאוכל אח"כ לבצע "דו"ח יומי". רק שהיו כל כך הרבה בעיות בין WHAPI לבין מייק, הוא העביר חלק מההודעות, לפעמים רק את שלי ולא את של השאר, וכל זה כשגם ככה זו רק תקופת ניסיון ל-5 ימים ואחרי זה צריך לשלם.



אז... למה מה קרה?!?!??!



פתחתי מבערים עם קלוד. סיפרתי לו על זה. רציתי לפתח משהו שלי מאפס שעושה אותו דבר. רוכב על הוואצאפ ומעביר הודעות. זהו. בגלל שהוא נותן לי קונטרה הוא בלם אותי מלפתח לבד והסביר לי את הבעייתיות אבל אמר שאם אני מתעקש (ואני עקשן) להשתמש בחבילה בשם בייליס (כמו הליקר הטעים) - Baileys שמאפשרת תקשורת מול וואצאפ. מוזמנים לקרוא על זה בנפרד.



בקיצור, תוך מספר דקות קלוד קוד פיתח את זה, התחברתי לוואצאפ דרך ה-QR, הגדרתי את המפתח לסופה בייס בקובץ ה-env בפרויקט, והכל עובד. לא צריך לשלם חודשית ולא נעליים. לכו חפשו את החברים שלכם!!



אז אפשר לשלם ולהיות פראיירים. אבל, למה מה קרה?! קצת קלוד, וקצת קלוד קוד, ויש לכם הכל אצלכם בלי טובות ובלי לבזבז כספים. אגב, רעיון נוסף שכבר התבשל אצלי הוא לבנות גם ספוטיפיי לעצמי, ולהפסיק לשלם להם. תכלס אפשר להתחבר ב-YouTube API ולבנות מנגן שירים שאני אוהב. וזה בעזרת השם יקרה בקרוב כי נמאס לי. לא יגרזנו אותי יותר!



ואני יודע שתגובות על וואצאפ לא רשמי כזה או אחר הולכות להגיע, מכיר את הפתרונות, מעדיף משהו שאני שולט בו ולא גישה לספקים כאלה או אחרים, ובטח ובטח שלא לשלם על העברת הודעות. זה מגוחך בעידן שלנו. לכן חייבים ידע טכני בסיסי - וגם השמיים כבר לא יהיו הגבול. אם יש לכם ניסיון עם ניהול קבוצות וואצאפ דרך כלים כאלה או אחרים (קבוצות של 1025 משתתפים - שזה המקסימום) - אשמח לקרוא בתגובות במה אתם משתמשים.