הגענו לשלב שבו אפשר להריץ את GLM 5.2, מודל מקביל לקלוד אופוס 4.8
, על חומרה של מחשב נייד עם 25 גיגה vram. וזה עוד לפני שהתחלנו לדבר על Spark של Nvidia או על ה-AI Laptop של AMD, שניהם עם 128 גיגה להרצת מודלים 🤯

זה אפשרי בזכות חבילה חדשה בשם Colibri שטוענת ל-vram רק את הפרמטרים שמשתנים בעת השימוש במודל - במקום את כל הפרמטרים (744 מיליארד).

https://x.com/yuvalav/status/2076181396108820710?s=46&t=ntqg6EvTkrQ0ESa81IKf6A

ההייפ התורן בעולם ה-AI הוא הביטוי AI Harness, שבקצרה הוא המעטפת לסוכני ה-AI שלנו. לא רק הסוכן - אלא כל מה שהוא צריך. כמו להגיד שלא מספיק לגדל ילד, אלא צריך לדאוג לו לכל המעטפת החמה (לימודים, ביגוד, הזנה) - המעטפת הזו קרויה רתמה. והיא ההייפ החדש שצריך לדבר עליו.

אבל *למה* כולם מדברים עליו? צללתי לעומק של זה במאמר חדש בחדר החדשות שלי והבאתי דוגמאות פרקטיות:

- איך נראה סוכן בלי אף רתמה? בלולאת פייתון טהורה?
- ואיך נראית פנייה לסוכן אם נחליט להשתמש בקלוד או גיטהאב קופיילוט SDK? או ב-AWS Strands? ועוד

השורה התחתונה היא ש-Harness בעברית זה ״רתמה״, כמו רתמה של סוס, מה שיושבים עליו כאשר רוכבים על הסוס - שעוזרת לבוקרים לכוון את כוחו של הסוס אל עבר יעד מסוים, כך הרתמה של סוכני ה-AI היא המעטפת שעוזרת לנו לנהל את הסוכנים שלנו.

אני החלטתי להתמקד ב-AWS AgentCore Harness החדש, שזה שירות מנוהל של אמזון שבאופן קל להחריד מאפשר לנו ליצור סוכן על תשתית של AWS בפקודה אחת מבלי להגדיר קוד. כלום. אמזון יוצרת הכל עבורנו, אנחנו רק צריכים להגדיר מה אנחנו רוצים (שם, מודל וכו׳).

פקודה אחת - ליצירת הסוכן (agentcore create)
פקודה שניה - לפריסת הסוכן בענן ע״י אמזון (agentcore deploy)
ופקודה אחרונה - להשתמש בסוכן ולשאול שאלות (agentcore invoke)

זה ממש לא יאומן. כזה קצר. כזה קל. ויש לכם סוכן מנוהל עם זיכרון וכל מה שצריך - בענן המאובטח של אמזון! פסיכי!

והגדלתי לעשות ואפילו יצרתי סקיל שעוזר לכל סוכן AI באשר הוא לעשות את זה בעצמו - כשאנחנו יכולים להגיד לו (לקלוד למשל) משהו כמו: תבנה לי סוכן AI עם aws שעונה על שאלות בחדר החדשות החדש שלי. או: קח את הסוכן הקיים שלי ותפרוס אותו על aws. וזהו. הוא כבר ידע מה להריץ לבד.

תחשבו על זה רגע, קלוד מייצר סוכן או לוקח סוכן קיים ופורס אותו לבד בענן של אמזון. והוא תומך בשימוש בכל מודל שקיים בקטלוג של אמזון בדרוק, לרבות קלוד, ואפילו בסקילים וכלים של שימוש בדפדפן או הרצת קוד וכו׳.

יש פה עוד המון עומק - אבל בעיקר יש כאן משחק חדש לגמרי ששווה להכיר. אמזון נכנסה חזק מאוד למשחק - וכל הכבוד לה!

גילוי נאות: אני כותב את זה בתור AWS Gen AI Superstar - ואף אחד/ת לא ביקש ממני לכתוב את זה, להיפך, אני כותב את זה כי אני מאמין ויודע שיש פה ערך אמיתי - ודווקא בגלל שיהיו ספקנים, התייחסתי במאמר לא רק ל-AWS אלא גם לגיטהאב קופיילוט או קלוד SDK, לנקודות הממשק או החיכוך ועוד. לדעתי יש פה בשורה ששווה לארגונים (ואפילו לפרטיים) להכיר!

מוזמנים לקרוא 👇

https://news.yuv.ai/post/ai-agent-harness-guide

מי שרוצה את הפרסום בלינקדין -

כתבתי פוסט חדש על AWS AgentCore Harness - לעניות דעתי יש פה בשורה ששווה להכיר: https://www.linkedin.com/posts/yuval-avidani-87081474_%D7%94%D7%94%D7%99%D7%99%D7%A4-%D7%94%D7%AA%D7%95%D7%A8%D7%9F-%D7%91%D7%A2%D7%95%D7%9C%D7%9D-%D7%94-ai-%D7%94%D7%95%D7%90-%D7%94%D7%91%D7%99%D7%98%D7%95%D7%99-ai-harness-activity-7481953030393827328-xr2Q?utm_medium=ios_app&rcm=ACoAAA_IUNQBv1nBtAXW8okhlIl4mhR78WelGB4&utm_source=social_share_send&utm_campaign=copy_link

סקאם אלטמן.

כך מכנה אילון מאסק את סם אלטמן בעקבות תביעת הענק של אפל נגד OpenAI על המהלכים ההזויים של OpenAI בעת גיוסי טאלנטים מחברת אפל.

הנפילה של OpenAI כבר הופכת למביכה. מה שהתחיל בקול ענות גבורה מסתיים בקול ענות חלושה.

הכרזות על סורה, ייבוש כולם עם גישה, ואז סגירת המודל.

הכרזה על דפדפן מתחרה לקומט של פרפלקסיטי ולקלוד בכרום - ושוב סגירה של המוצר.

הכרזה על מודל קולי שבאמת היה וואו - ודרדור מוחלט שלו עד כדי חוסר יכולת לדבר איתו כבר. שלא הפתיע אותי שהושק לפתע מודל חדש, שלפי הדמואים נראה שהוא משלב יותר אהמ ואה תוך כדי ההמתנה כדי לתת תחושה של שיחה מתנהלת. מקווה שגם היכולת שלו להשיב טובה יותר. כי לאחרונה זה בלתי נסבל לעבוד איתו.

קודקס. הקלוד קוד של OpenAI - חמוד אבל לא לוקח את ההובלה מקלוד קוד. אפילו במודלים הפשוטים יחסית הם נאבקים, עכשיו שפייסבוק השיקה את מודל Muse Spark 1.1 והוא עובד ממש ממש טוב - יחד עם גרוק 4.5 בשילוב Grok Build, מאוד קשה לה בתחרות.

המקום היחיד שאין ויכוח כרגע הוא התמונות. GPT יוצר את התמונות הכי מדויקות ביחס לפרומפט ועושה את זה פשוט מהמם!! מקום ראשון לטעמי, יותר מננו בננה, גם אם זה לא מספיק - זה ממש מעולה.

תוסיפו לזה את הגדולים שנטשו אותה,
את הנסיונות הנואשים להתרומם ע״י גיוס פיטר של OpenClaw והתנעה לקראת IPO כפי שעושה אנת׳רופיק… והנה לכם מתכון לאסון.

התביעה של אפל נגד אלטמן צריכה עוד מסגור: חברות ענק מרוויחות כך המון כסף. מחפשות בסיבוב ואז תוקפות - ומקבלות סכומים משמעותיים מאוד. ואפל לא פראיירית.

מה שמציל את OpenAI זה כנראה הלחץ מצד אפל בתביעה. זה מרגיש שמשהו במכשיר הפיזי ש-OpenAI מייצרת מטריד אותה מאוד. זאת, לצד רכישת חברה בבעלות סמנכ״ל עיצוב המוצר של אפל לשעבר בכ-6 מיליארד דולר וגיוס שלו לחברה, יחד עם הדלפת ציוד ומסמכים פנימיים של אפל בתהליכי הגיוס ל-OpenAI לכאורה, וקיבלתם אחלה מיצוב ל-OpenAI כחברה שמצליחה לטלטל את אפל הגדולה, שלאחרונה יחסית גם ספגה את עזיבת המנכ״ל שלה טים קוק - ומניה שלא מתרוממת מספיק, לצד השקת אייפון חדש בקרוב שיהיה היקר מאז ומעולם לפי ההדלפות.

זה גורם תחושה של ״החברה שמלחיצה את אפל״, מה שמייצר סקרנות סביב המוצר הפיזי שלה. שזה טוב לה - למרות שספק אם תעמוד בציפיות. העבר הוכיח שהיא לא עומדת בהבטחות. אולי העתיד יהיה אחרת?

זו עדיין חברה עם כמות עצומה של משתמשים, גיוסים משמעותיים של תקציבים למרות חוסר הרווחיות - אבל הדרך שבה היא את המוצר שלה בלי הפסקה ומשביתה מוצרים - רק מעידה על הלחץ שבו היא מצויה.

כמה זמן היא תחזיק ככה? לא ברור. בינתיים מאסק נהנה מהנוף, הוא לא סובל את אלטמן בגלל המהלך שלו מגוף מחקרי ללא מטרות רווח - לחברה שהפכה את עורה. נזכיר שמאסק גם חתם על הסכם יקר מאוד עם אנת׳רופיק לאספקת תשתיות מחשוב דרך קולוסוס לתחזוקת המודלים של קלוד. עוד נקודה נגד OpenAI.

מה שמאוד יפה לראות פה זה את השופרות. כמות הפוסטים שהיללו את סורה ואטלס עוד טרם השקתם - יחד עם קריסת המוצרים הללו - שוב ממחישה ממי צריך לצרוך תוכן וממי לא.

אני צעקתי שהמלך הוא עירום. גם מול גוגל. גם מול OpenAI. וכיום גם מול אנת׳רופיק במידת מה (סביב טוקנים, וההתנהלות המביכה של הארכת הגישה לפאבל 5 כל יומיים מחדש) - ואמשיך לצעוק כשצריך. ומי שעיקם את האף עלי בזמנו - מעניין מה מצב האף שלו כיום.

אני מקווה ש OpenAI תישאר במשחק ותשרוד. זה רק יועיל לנו. אם היא תקרוס זה יהיה אסון לדמוקרטיית הכלים ולתחרות. נקווה שתתאושש. היא צריכה הנהגה חדשה ומיקוד. היא יכולה לצאת מזה!

זה סבא רבא שלי. לא מאמין שסופסוף אפשר לראות איך הוא באמת היה נראה בזכות ה-AI.

כל השנים האלה תמיד ראיתי תמונות מטושטשות, הוא נפטר ב-1981, שמו חכם עלוואן שמעון אבידני, זכר צדיק לברכה, היה רב גאון ומקובל ענק, עלה לארץ מכורדיסטאן והיה ראש הקהילה היהודית, נלקח לשרת בצבא הטורקי בעל כורחו בעקבות מלשינים שהלשינו עליו, עלה לארץ וקיבל הכרה על ידי הרבנים הגאונים מרן הרב מרדכי אליהו, מרן הרב עובדיה יוסף, וגם ראש ישיבת המקובלים נהר שלום - הרב מרדכי שרעבי, זכר צדיקים וקדושים לברכה.

הלילה החל יום פטירתו, כ״ט בתמוז, וכמות הסיפורים ששמעתי על גדולתו היא בלתי ניתנת לכימות.

מה שמעניין הוא שבדיוק היום הרגשתי קצת חלישות דעת. קפצו לי כמה יוצרי תוכן מחו״ל שיש להם כמות עצומה של תגובות ושיתופים ולייקים ומעורבות, זאת לצד כמה אפליות שראיתי לאחרונה בין יוצרי תוכן, במיוחד בחברות אמריקאיות ששם לא רואים בעיניים ונותנים לאנשים דירוג די בוטה, למשל אם אתם עם 100 אלף עוקבים אתם תקבלו כרטיס כניסה ירוק ואילו מעל, גם אם זה 101 אלף, תקבלו כרטיס כניסה כחול, מקום הישיבה שלכם יהיה טוב יותר, תקבלו יותר כבוד ויותר מתנות שוות.

ותהיתי לעצמי איך הם מגיעים למספרים האלה, וגם מי שמגיע ל-100 אלף זה לא מספיק טוב כי יש ב-101 יחס אחר, וב-200 יחס אחר, וכך הלאה, ועד איזה מספר? מתי מספר כלשהו יספיק? האם יש לזה סוף או שזה סתם מרדף חסר תכלית? כי לייקים באים והולכים כמו גלים על החוף - אבל מי שנותן ערך ומשנה לאחרים את החיים - אותו זוכרים עד הסוף?

ואז נזכרתי בסבא רבא שלי. אם הוא היה חי כיום - האם הוא היה נמדד לפי כמות הלייקים שלו או לפי גדולתו בתורה ובדרך ארץ ובמעשים טובים? שאין לזה ערך בלייקים ולא בשום דבר אחר?

זה הזכיר לי כמה החלפנו ערכים במירוץ אחר הבל הבלים. יש מספיק אנשים ״משפיענים״ ו״משפיעניות״ שלא יזכרו מהם מאומה אחרי 120 שנה, כי הרבה מהם לא הביאו שום ערך ייחודי. אבל גדולי התורה, כמו סבא רבא שלי, שחיבר ספרים על התורה והקבלה, וקיים רחוב על שמו בירושלים עיר הקודש, ושינה לאנשים ונשים את החיים, והשאיר חותם כבר מעל 45 שנה מאז לכתו - בזכות גדולתו הרוחנית - זה מה שבאמת יש לו ערך בעיני.

הניצוץ של האנשים, שמספרים לי שהכירו אותו, שחיתן אותם, שמהל את ילדיהם, שייעץ להם כדעת תורה, שחיזן להם, בירך אותם ואפילו שחט להם עוף ובשר. כמות הסיפורים עצומה - ובעיקר הניצוץ בעיניים מהזכרונות.

סוף דבר הכל נשמע, את האלוקים ירא ואת מצוותיו שמור - כי זה סוף כל האדם. אמר סבא רבא: הנשמה שלנו פה היא כמו אורח במלון. בסוף יש צ׳ק אאוט. בסוף בעל המלון אומר תפנו לי את החדר כי הגיע הזמן לצאת. ועם מה יוצא האורח? זה המשל, הנמשל הוא שהנשמה צריכה לצאת מהעולם הזה עם תורה ומצוות ומעשים טובים ועין טובה ועזרה לזולת ודרך ארץ ואמונה בהשם יתברך. כי זה מה שהולך איתנו אחרי 120 שנה. לא שום דבר אחר.

מוקדש לכבוד ולעילוי נשמת סבא רבא עליו השלום, זכותו תגן עלינו אמן.

גיטהאב קופיילוט הצליח למצוא סיסמאות שמורות על המחשב כדי להשלים משימה שנתתי לו - וקלוד לא.

באפליקציית הדסקטופ של גיטהאב יש אפשרות להגדיר אוטומציות, כמו פעולות מתוזמנות בקלוד דסקטופ.

ביקשתי משניהם במקביל לבנות אוטומציה שמביאה לי עדכונים על טרנדים של פיתוח ו-AI מאתר מסוים ולשמור את התוצאות במסמך גוגל שיטס. ולא הגדרתי את הקונקטור לגוגל שיטס. שכחתי.

שניהם רצו במצב פעולה אוטונומי.

קלוד רץ על מודל אופוס 4.8 וחזר ואמר שאין חיבור לגוגל אז אי אפשר להשלים את המשימה.

גיטהאב קופיילוט היה במצב בחירת מודל אוטומטי. הוא בחר בקלוד סונט 4.6. גם הוא ראה שאין חיבור - אבל אז הוא חשב לעצמו אולי קיים פרויקט אחר על המחשב שבו השתמשתי בחיבור לגוגל ויש שם את המפתחות הסודיים שלי - הוא באמת חקר ובדק ומצא את לוגאן שלי, עם הוואצאפ הרשמי, ששם אני גם מחובר לכל מוצרי גוגל שלי כדי לנהל הכל דרך לוגאן.

הוא איתר את המידע - והגדיר אותו באוטומציה והריץ אותה ואמר לי שסיים. הופתעתי כי לא ידעתי מה הוא עשה - ואני רואה קובץ גוגל שיטס פתוח עם המידע. ואז קורא ורואה מה הוא עשה.

זה מטורף לגלות מה הסוכן של גיטהאב החליט לעשות - והצליח, עם סונט 4.6, בעוד שהסוכן של קלוד, עם אופוס 4.8, הרים ידיים.

משהו ממש טוב עובר על האפליקציה של גיטהאב! GitHub Copilot App.

‏ @github

זוכרים את הפוסט על סבא רבא שלי שהיום יום פטירתו? אז קבלו עכשיו את זה. לקחתי הקלטה מקורית של הקול שלו ויצרתי את הווידאו הבא, שכולל ליפסינק מדויק. כמה הכל השתפר זה לא נורמלי!

הקטע המעניין הוא שזו דרשה, דברי תורה, באיכות הקלטה לא גבוהה מדי (אולי כן ביחס לזמנם בשנות ה-70) - ועדיין הליפסינק עובד ממש טוב. לתוהים, זה HeyGen Photo to Avatar V החדש יחסית.

את התמונה המקורית שיפרתי עם Grok. תוצר מצמרר עבור כל מי שהכירו אותו, ועבורי למרות שמעולם לא הכרתי אותו.

לוגאן, סוכן ה-AI שלי בוואצאפ, מחובר עכשיו גם ל- @HyperFrames_ אז ביקשתי ממנו ליצור סרטון על עצמו, מי הוא, מה הוא, ולהשתמש בקריינות עם הקול שלי דרך elevenlabs.

פרומפט אחד קצר. סוכן שמשתמש ב-Hyperframes. ביקשתי יחס וידאו שמתאים לסטורי, 9:16. וזהו.

קולטים?

מרשה לעצמי לעצור לרגע ולשמוח על הטייטל שקיבלתי: יובל אבידני, מגיש פינת ה-AI בחדשות 12. מי ידע שכך יהיה.

בתוך המירוץ הזה רציתי לעצור ולהגיד תודה על הזכות ועל ההזדמנות ❤️🙏

הלילה הושק סוכן הקוד של גרוק - כקוד פתוח, אז מיד הרחבתי לו את היכולות והפכתי אותו ל-Logan CLI! סוכן מעולה לטרמינל עם ניהול זיכרון, תמיכה בסקילים וקונקטורים ואוטומציות.

הרחבתי לו את היכולות והוספתי:

- יכולת להבין טוב יותר על מה מתבזבזים הטוקנים (קלט, פלט, מטמון) - באמצעות פקודת /stats שלא קיימת בסוכן המקורי

- ⁠יכולת טובה יותר לראות כמה חלון ההקשר שלנו תפוס באמצעות פקודת /context

- ⁠יכולת לראות לא רק מספרים לגבי חלון ההקשר - אלא גם מה הוא מכיל בפועל, מה הטקסט שנמצא בתוכו, על מה צורכים טוקנים בפועל - בזכות פקודת /context deep

- ⁠תמיכה במודלים גדולים של שפה מעבר לגרוק, כמו OpenAI, Anthropic, Gemini, AWS Bedrock, Ollama, LM Studio ו-OpenRouter

- ⁠למי שיש X אפשר להתחבר לחשבון בהתחלה וישר להתכתב עם לוגאן

- ⁠מערכת שיפור עצמי מופעלת ע״י Hooks של סיום סשן - ברגע שסשן מסתיים, לוגאן מסתכל עליו ומבין מה עבד ומה לא, ומשפר את עצמו וגם לומד אותנו טוב יותר (סוג של Hermes משופר)

- ⁠שיפרתי את היכולת להגדיר מודל שפה נפרד לכל תת סוכן, וגם את הניתוב האוטומטי שאמור לחסוך בטוקנים

שחררתי הכל בחינם, מוזמנים לנסות וליהנות. רק צריך להגדיר את ה-llm שלכם ולהתחיל. יש אפילו הנחיה ל-LLM שהוספתי בריפו כדי שיהיה יותר קל להתחיל

הסוכן Grok Build נכתב ב-Rust, הוא מכיל המון יכולות מעולות ישירות מהקופסא, ופרומפט המערכת שלו נבנה בצורה דינאמית וחכמה, והוא הרבה יותר קטן משמעותית מהאחרים. יש לו אפילו פקודת /skillify שהופכת שיחה לסקיל! זה קורה כשדיברנו הרבה עם ai ואז הבנו שעברנו דרך ואנחנו רוצים לשמור את זה כסקיל, זה לגמרי אפשרי.

מוזמנים לקרוא עוד באתר שלי:

https://news.yuv.ai/post/grok-build-logan-cli-open-source

וזה הלינק ללוגאן CLI: https://github.com/hoodini/logan-cli

מה מסתתר מאחורי השמות המוזרים של המודלים של קלוד ו-OpenAI? בואו נעשה סדר בבלאגן.

אנת׳רופיק הלכה על קו של שירה:
- הייקו, שיר יפני קצר, זה מסמל את המודל הכי קטן ומהיר שלה
- סונט, שיר ארוך יותר מהייקו אבל לא ארוך מדי. מסמל איזון.
- אופוס, יצירה גדולה ומורכבת, מסמל יכולת להתמודד עם עומק, טקסטים ארוכים ומשימות מורכבות יותר

ואז המשיכה לקו של סיפורת במקום שירה:
- מיתוס, כל הסיפורים על האלים שמסוגלים לכל דבר, מהמיתולוגיה היוונית, כוחות על חסרי גבולות. מודל יקר מאוד שמסוגל לרוץ בלופים במשך שעות וימים. גישה מוגבלת ל״שותפי סייבר״
- פייבל, פירוש המילה הוא ״משל״. מלשון משל ונמשל. סיפור שיש לו מוסר השכל חינוכי. זה לקחת את היכולות של מיתוס ולרסן אותן כדי שיהיה שמיש לכולם. רץ בלופים, טוחן קרדיטים.

אין לנו מושג מה הגודל האמיתי של כל מודל מבחינת פרמטרים. וחבל.

לגבי OpenAI זה פשוט יותר, אחרי בלאגן שלם בשמות בשנים האחרונות, סופסוף זה הופך למובן:

- לונה, זה ירח. הירח מקיף את כדור הארץ במשך כ-27.3 ימים, זה החודש שלנו בעצם ואת השמש כל 365 יום. זו השנה שלנו. זה המודל הקטן.
- טרה, זה אדמה. כדור הארץ. הוא מסתובב על צירו כל 24 שעות ומקיף את השמש פעם אחת בשנה. לכן זה המודל הבינוני. מאזן בין מהיר לכבד.
- סול, פירוש המילה הוא שמש, היא טסה במהירות של כ-828,000 קמ"ש סביב מרכז שביל החלב, ומשלימה הקפה אחת כל 225 עד 250 מיליון שנה. קוראים לזה שנה גלקטית.

על הדרך היא גם קצת מתנדנדת, כי צדק והשמש מקיפים מרכז מסה משותף, וכל הגלקסיה שלנו נמשכת יחד לעבר אנדרומדה. סול משקפת מודל גדול כבד ועוצמתי. זה המודל הכי גדול.

אז ההיררכיה האמיתית:
לונה מקיפה את טרה, טרה ולונה מקיפות את סול, וסול מקיפה את מרכז הגלקסיה.

שמחתי לעזור! מוזמנים לשמור ולשתף ולהגיב במידה וטעיתי או שצריך לחדד משהו.

שבת שלום!! 🙏❤️

⁨ בואו נעשה סדר בשמות המודלים של קלוד ו-OpenAI 🤯

אצל OpenAI הלכו על כוכבי לכת, ואצל קלוד על שירה וסיפורים.

לשניהם מודלים קטנים בינוניים וגדולים.

צפו כדי סופסוף להבין מה רוצים מאיתנו. אם בואו נעשה סדר בשמות המודלים של קלוד ו-OpenAI 🤯

אצל OpenAI הלכו על כוכבי לכת, ואצל קלוד על שירה וסיפורים.

לשניהם מודלים קטנים בינוניים וגדולים.

צפו כדי סופסוף להבין מה רוצים מאיתנו. אם אהבתם מוזמנים לשמור, לשתף ו/או לפרגן בלייק ותגובה, זה לא עולה כסף אבל שווה זהב 👑⁩