רעידת אדמה הלילה: איליה סוצקבר, ממייסדי OpenAI, המדען הראשי, עוזב את החברה.

להערכתי, הקרב שהתגלע בין אלטמן לסוצקובר הישראלי, הגיע לרתיחה עם פיטורי אלטמן שהסעירו את הרשת. החברה החזירה את אלטמן וכעת איליה הוא זה שעוזב. מדובר בצעד מאוד קשה מהטעמים הבאים:

1. לאיליה באמת אכפת מבינה מלאכותית שפועלת לטובת האנושות. בעוד שאלטמן מקדם אג׳נדות מסחריות מובהקות, איליה פועל מתוך רצון לשנות את האנושות לטובה.
2. ⁠איליה מתנגד לשימוש ב-AI במתכונתה המסחרית הגורפת, ומאוד לא אוהב את ה״מסחרה״ סביב המודלים ואת ההינעלות על חוזים עם מייקרוסופט ושות׳, אלטמן בעד וגם דוחף לזה.
3. ⁠איליה התנגד להכרזה של אלטמן על מונטיזציה מ GPTs, ובכלל - סבור שמסוכן שכל הכח יהיה בידיים של חברה מסחרית, שזה פתח לצרות צרורות ומנוגד לעקרונות החברה
4. ⁠מדובר בתחילתה של הדרדרות מוסרית היות וכעת אין מבוגר אחראי ברמה של איליה שיכול לבלום את קצב ההתמסחרות. זו פגיעה קשה באיזונים והבלמים של הבינה מול הרצון להתעשר ולהתמסחר. נוסיף לכך את פרישתם של צוות מהנדסי OpenAI שהקימו את אנתרופיק וקלוד, וגם את פרישתו של אנדרי קפארתי הגאון, ובשקט בשקט אנו עדים להפיכה שלטונית אמיתית. זה אירוע דרמטי ברמות שקשה להסביר.
5. ⁠לא יחלוף עוד זמן רב עד שמנהיגי החברה יזומנו לשימוע בפני הקונגרס האמריקאי על ריכוזיות בדומה למה שצוקרברג עובר בפייסבוק

לדעתי מישהו צריך להתעורר בדחיפות. לא מן הנמנע שמאסק, שהוא זה שעודד את איליה מלכתחילה לעזוב את Google Brain ולהקים את OpenAI ישקיע בו שוב עם כל רעיון שיהיה לו.

שתמיד נזכור לא להיות מסונוורים מאף חברה ולהישאר מאוד ביקורתיים למהלכים משמעותיים כאלה.

יובל.

יש לנו פה 905 מנויים אבל בקבוצת הדיונים בטלגרם יש רק 156! בואו תצטרפו לקבוצת הדיונים פה, יש פה תותחים!!!

https://t.me/yavidani

מסע הלמידה שלי נמשך והפעם אני מאתגר את עצמי ליצור מודל שמסוגל להטמיע טקסט על תמונות - בעברית.

כבר תקופה ארוכה מאוד שאני מתמוגג מנחת מהיכולת של אידאוגרם להטמיע טקסטים כחלק מתהליך הדיפיוז׳ן של יצירת תמונות עם בינה מלאכותית. הרבה פעמים תהיתי לעצמי למה אין עדיין עברית ומתי תהיה אם בכלל?

אז לפני כמה דקות נתתי לדווין משימה ואני מאוד סקרן לראות מה יעלה בגורלה, אבל על הדרך למדתי המון דברים. למשל, שלאידאוגרם יש מדריך מאוד מסודר שמסביר איך ליצור פונטים שונים, להטמיע נכון טקסטים בתמונה. או גם שיש חבר׳ה מאוד מוכשרים בעולם שכידוע, עוד מזמן, אימנו מודל (לורה) על לוגואים וטקסטים, כמו Harroglass או AnyText ודומיהם.

אני מניח שאני לא מחדש הרבה לכולם פה, אבל לידע כללי, כדי לאמן מודל על סגנון מסוים, נניח על תמונות שלנו, יש לנו כלים כמו Kohya ו DreamBooth, שמה שהם עושים בסוף זה לנצל את המחקר שהוכיח ש-LoRA, קרי: שימוש ביחסית מעט דאטה להמשך אימון של מודל קיים, עובד מצוין על אף היות משקל הלורה קטן פי 10 ממשקל המודל.

מה זה אומר? שאפשר לאמן מודל ״קטן״ ולהשתמש בו תוך כדי הרצת מודל ״גדול״. אנו בעצם מעשירים את היכולת של מודל הבסיס ומעניקים אפשרות להוסיף סגנונות בין אם זה טקסט או דברים אחרים. קהילת המאמנים פיתחה המון מודלים - ובחינם.

אז אם אנחנו רוצים לאמן סגנון משלנו, או טקסטים משלנו, אנחנו צריכים קודם כל לאסוף תמונות. לוודא שהתמונות מדברות בשפה אחת כדי שהמודל יתאמן בהצלחה על הסגנון. לאחר מכן יש עוד תהליך מייגע של יצירת טקסט תואם לכל תמונה, תיאור שלה, ועוד כמה תהליך טכנים מתישים, עד שבסוף מאמנים ומקבלים קובץ לורה, שבו נשתמש בעת הזנת פרומפט למודל, ואז, בשאיפה הקסם יקרה.

הלורה שומרת מילת קסם, שאם נזין אותה לפרומפט הלורה תשתלב ותיכנס לפעולה מיד, ונקבל תמונה עם סגנון הלורה שלנו - בין אם מדובר בתמונות שלנו או טקסט.

יש עוד המון מורכבות, וזה לא רעיון חדש, אבל יהיה מעניין לראות אם דווין ואני נצליח ליצור מודל לורה על עברית. יש למה לצפות!!

ערב נפלא,
יובל.

אמ:לק - דווין מבצע כעת את הפרויקט הכי מורכב שנתתי לו: ליצור מודל בעברית על בסיס שירים של עידן רייכל ולבנות אתר שמאפשר לתשאל את המודל הזה.

לא. לא אפסיק לחפור על דווין. במסגרת תחרות שיש לסוקרים הטכניים, אחת המשימות היא לגרום לדווין להצליח לבצע Fine Tune למודל שפה. זה משהו שממש רוצים שנצליח לגרום לדווין לבצע. אז זוכרים את הפוסט הקודם-קודם-קודם שלי על זה? הפעם יצאתי איתו לדרך.

הפרומפט מאוד פשוט כמו שאתם רואים: תוריד את מודל השפה החדש של דיקטה, תוריד את כל המילים של השירים של עידן רייכל מאתר שירונט, צור מודל חדש בעברית שהתאמן על השירים של עידן רייכל, בנה אתר שמאפשר להתכתב עם המודל החדש ותן לי קישור לאתר.

מה שיפה זה לראות את תהליך העבודה קורה מול העיניים. שפת התכנות החדשה, אנגלית, מחליפה את שפת התכנות הקלאסית. מהפכה של ממש לנגד עינינו. אעדכן בתוצאה כמובן. עד אז הנה הסבר של מה שאתם רואים פה:

בירוק: הפרומפט שכתבתי לו. ככה פשוט. ככה קל.

בצהוב: מתקין לעצמו במחשב שלו את החבילות הנדרשות לביצוע את המשימה. מעניין מאוד שהוא הבין שהוא צריך להוריד מודל אז הוא כתב לעצמו סקריפט (קטע קוד) שמבצע את הורדת המודל, ואז הריץ אותו והוריד את המודל בפועל. לאחר מכן הוא גם התקין חבילת קוד שמסוגלת לחלץ תוכן מאתרי אינטרנט.

בכחול: כותב לעצמו את הקוד שצריך כדי לבצע את המשימה, ממש יוצר פונקציות לכל תת משימה.

באדום: גולש אוטומטית בדפדפן ומחלץ תוכן מאתר שירונט.

אין מילים למה שקורה כאן, ואם זה באמת יעבוד (עזבו רגע את העיצוב של האתר שכנראה לא יהיה וואו) - זו תהיה מהפכה קיימת ברמה שקשה להסביר!! והשוס - כל זה קורה בדפדפן!!!! לא צריך להתקין כלום, רק נכנסים לאתר ומתחילים. זהו!

יאללה שתהיה שבת שלום ואעדכן בתוצרים!!! ושמח מאוד לעדכן שככל הנראה בסוף מאי תתקיים ההרצאה שלי על כלי AI פרקטיים באמת שיכולים לשמש כל אחד. החל מהקמת סוכנים ללא קוד בכלל, והטמעה שלהם באתר שלכם, דרך הקמת אתר ללא קוד בקלות, הקמת סוכן AI טלפוני ללא קוד - ובקלות, וכלה בסקירת על מה זה API ולמה אתם מוכרחים להכיר את זה גם אם אין לכם רקע טכני. זה יעזור לכם להיות מובילים במהפכה שאנו עדים לה. ואני רוצה לתת את הידע הכי פרקטי שצברתי עד כה, כדי שעוד באותו ערב תצאו כשאתם יכולים להתחיל לעבוד, למכור ללקוחות, ליצור לעצמכם, אבל תצאו עם ידע פרקטי אמיתי.

כל הישועות!
יובל.