‏יש כל כך הרבה דברים חדשים וקצת קשה לעקוב אחרי הכל,
אני מקווה שאני מצליח לכסות פה את הכל בצורה ברורה,
אם יש לכם שאלות או אם פספסתי דברים מוזמנים לכתוב בקבוצה 🙏

קלוד 4 מציג שיא חדש של *כ-80% בSWE-Bench!!* שזה 10% יותר מקלוד 3.7 וo3. המון!! 😱

למה אני מתרגש מעוד 10% במדד SWE bench??

למה זה כל כך דרמטי?

אז ככה - כל 1% במדד הזה יכולות לו השלכות משמעותיות על השוק.

תחשבו רגע על רכב אוטונומי למשל. נניח יצרן מסויים מראה שהרכב האוטונומי שלו מזהה הולכי רגל ב10% יותר סיטואציות, ובכך מצמצם את הסיכויים לתאונה בכך וכך. העניין ברכב אוטונומי זה מתי אנחנו עוברים את הסף שיביא לאימוץ נרחב, מתי נוכל לסמוך על הטכנולוגיה, מתי אחוז הטעות יהיה מספיק קטן שכולם ירגישו בנח לאשר את השימוש בה, כי היא תהיה כבר הרבה יותר בטוחה מנהג אנושי.

ברגע שהסף הזה ייחצה ויקרה אימוץ נרחב לכולנו ברור שזה שינוי דרמטי. כל ההסעות, כל הובלת הסחורות, המחירים של הכל יכולים להשתנות… כל כך הרבה תלוי בזה.

עכשיו נחזור לעולם הקוד. כל עוד נדרשת עקומת למידה ממתכנתים איך לעבוד עם AI ולהתייעל דרכו - זה קשה מאוד והאימוץ איטי. מתי תקרה המהפכה הגדולה? כשה-AI יבצע משימות מלאות מקצה לקצה בלי טעויות כך שאפילו לא נצטרך להתאמן בעבודה משותפת איתו אלא רק נטיל עליו משימה ונדע שהיא תקרה. תחשבו מה זה אומר. סוללת מתכנתים מלאכותית כזו, שהרי לא חייבים רק אחד, שמחיר ההפעלה שלהם נמוך דרסטית ממתכנת אנושית - שיכולים לקחת אפילו סוג מסויים של משימות אבל מקצה לקצה בלי עקומת למידה ובלי דאגות, רק הכוונה כמו שהיינו מכווינים בן אדם. מבלי שנצטרך לשבת איתם למשמרת משותפת אלא שניתן להם פיצ׳ר או באג - נקום בבוקר והעניין חתום פיקס - אז האימוץ הנרחב יקרה והתחום ישתנה מאוד.

עכשיו - מאוד דומה לרכב אוטונומי. השאלה היא אחוזי הטעות. כמו שלא נעלה לכביש רכב שב30% יעשה תאונה כך לא נחבר סוכן קוד שעלול לדפוק לנו את הפרוייקט או במקרה הטוב לבזבז לנו המון זמן ומאמץ כדי להדריך אותו על הפרוייקט המסויים.

אולם אם יהיה לנו את הבטחון שהוא יודע לפתור בעיה, באופן אוטונומי וא-סינכרוני - והוא יכול לרוץ במשך *שעות* ברצף כך שגם משימות מורכבות שמאוד משתלם לנו להוריש - הוא גם יכול לעשות… אז זה סיפור אחר.

משימות אמיתיות מורכבות מהמון פרטים. המון פרטים זה אומר שיש יותר סיכוי שתהיה טעות קריטית איפשהו שתדפוק הכל. ככל שאתה מצמצם את סיכויי הטעות תוכל להאיץ תהליכים מורכבים ארוכים ומשמעותיים בלי טעות קריטית שתדפוק הכל. תהליכים ארוכים ומשמעותיים שמצליחים - בונים אמון שיש פה סוכן שהוא לא פחות טוב מעובד ואף יותר ושווה לשלם לו חודשית ולהעסיק אותו. זו הנקודה שהסיפור משתנה.

אז המדדים הם לא סתם. הם עשויים להסתיר תקווה גדולה ושינוי שנמצא ממש אוטוטו מעבר לפינה. זה יכול לפרוץ בבת אחת. זה שאלה של סף שצריך לחצות ואז פתאום נגלה שהרעיון של דריו ש-90% מהקוד ייכתב ע״י AI הוא כבר מציאות.

אביץ