שבוע טוב,
תזכורת שב-4.9 יתקיים מיטאפ AI משובח בירושלים עם אחלה מרצים (גם אני שם) ויש מספר מקומות מוגבל. כרגע נותרו עוד כרטיסים וכדאי לכם מאוד לשריין מבעוד מועד. יהיה מעניין, מחיר רצפה, וכל הפרטים פה:

https://bit.ly/Jerusalem-yuvai

והנה זה קרה: כתבתי סקריפט שמקבל נתיב של תיקייה ומשתמש ב-Llava ו-Llama כדי לייצר קבצי טקסט באותה תיקיה, עם אותם שמות של קבצי התמונה, שמכילים את התיאור של התמונה.

מה הסקריפט מבצע?
1. מקבל נתיב של תיקיה
2. מחלץ אוטומטית את הנתיב המלא של התמונות
3. משתמש ב-Llava כדי לתאר את התמונה בקובץ טקסט חדש שמכיל את אותו שם של התמונה המקורית
4. משנה את השם של התמונה המקורית לתיאור מקוצר לפי מה שבתמונה עצמה
5. אחרי הרצת הסקריפט אםשר להזין את הנתיב לכלי אימון, למשל במקרה של Flux, ב-ai-toolkit, וזהו!

שימו לב: צריך קודם להוריד את Ollama ולהריץ את Llava ו-Llama, כתבתי את כל ההוראות ב-Repo שלי:

https://github.com/hoodini/auto-image-captioning-llava-llama/tree/main

השלב הבא - להמיר הכל ל-ComfyUI.
תהנו!
יובל

תתכוננו לעוף באוויר! שינוי פנים בזמן אמת https://vt.tiktok.com/ZS2hyENLR/

עוד מספר ימים וזה קורה בירושלים! מיטאפ, הרצאות AI ובעיקר המון כיף. אני אהיה שם לדבר על אוטומציות וסוכני AI לצד גדולים וטובים, מספר המקומות מוגבל ועדיין אפשר לנצל את זה.

אם אתם רוצים להגיע למיטאפ בוטיקי, בעיר הבירה, אל תהססו ומהרו להירשם. הכל פה, חבל לפספס (ועוד הזדמנות שניפגש!!) >>>

https://tic.li/zYJdo4O

כל הסלבס בדיפ פייק לייב!

רגע לפני ראש השנה, רציתי להגיד תודה לכל אחד ואחת מחברי וחברות הקהילה שלי, לכל העוקבים, לכל הקולגות, לכל מי שזכיתי לשתף איתו פעולה - ארגונים, יזמים, מרכזי חדשנות, משקיעים, בארץ ובחו״ל - מכל מלמדיי השכלתי, תודה לכם על זה.

מעל לכל, כמובן שהתודה העיקרית הולכת לאשתי היקרה שמאפשרת ומגבה ונותנת לי את התמיכה לעוף גבוה - תודה רבה לך על זה 👑💜

תודה לבורא עולם על כל החסד, בתפילה אמיתית מעומק הלב שיבטל את כל הגזירות הקשות והרעות - ויגזור עלינו רק גזרות טובות, שיושיע אותנו מהמציאות ההזויה הזו, וגם מעצמנו, וישיב את האחים והאחיות שלנו כבר הביתה בריאים ושלמים, ואת כל כוחות הביטחון איתם, בבריאות שלמה בגוף ובנפש.

ראש השנה זה החג שבו כותבים איך תהיה השנה שלנו, הלוואי שנתחיל בטוב, נמשיך בטוב, כמו שאומרים בעולם העסקי: תתחיל ב-300 קמ״ש ותגביר את הקצב. כזה. עם המון טוב.

אז תודה לכם, שנזכה לכתיבה וחתימה טובה - אמן 🙏🎗️

נ.ב - כי אי אפשר בלי משהו טכני: אימנתי שני מודלים ב-Flux, אחד שלי ואחד של יו ג׳קמן בלבוש של וולברין, באמצעות ComfyUI חיברתי בין המודלים וכך יצאתי, אם הייתי מעורב עם יו ג׳קמן-וולברין.

אנשים מבינים את הפוטנציאל של סוכני AI - אבל תקועים כשזה מגיע ליישום. בואו נשבור את זה סופסוף!

אנשים מאוד נלהבים מדמואים ורעיונות, בשנתיים האחרונות פותחו מאות אלפי סוכני AI ואלפי פלטפורמות ליצירת סוכני AI. איפה הבעיה? כאשר מנסים להיות רגע מעשיים וחושבים מה להטמיע בפועל - נתקלים במבוכה או שתיקה רועמת. אז די. בואו קבלו מספר דוגמאות פרקטיות לעסקים שהטמיעו סוכני AI באמצעות שימוש במודלים של חברת Cohere שאני לא מכחיש את אהבתי העצומה אליה והדוגמאות נלקחו מהאתר המדהים שלהם:

1. מנהל נכסים - סוכן שמחובר לבסיס נתונים של חברה שמעדכנת את הנכסים שלה באופן שוטף, הסוכן יודע לספק מידע על הנכסים. זה נכון לנדל״ן, רכבים, מחסנים ועוד.
2. ניתוח תגובות של משתמשים על מוצרים ברשת וזיהוי האם חיובי או שלילי והמלצות מענה לשירות לקוחות.
3. עוזר בריאות אישי - משתמש מתחבר לאפליקציה, הסוכן זוכר את הנתונים של המשתמש.
4. עוזר חכם למשאבי אנוש (HR) - סיוע בסינון קורות חיים בהתאם לדרישות משרה, כתיבת פרופילים של מועמדים, סיכום פגישות וניתוח ביצועים.
5. משפר תוצאות חיפוש - סוכן שמבצע פעולות דירוג מחדש, Re-Ranking בעת חיפוש, כדי להציג תוצאות רלוונטיות ביותר.
6. מנתח נתונים וממליץ על השקעות - סוכן שמזהה את המבנה של קובץ הנתונים וממליץ על נוסחאות לניתוח הדאטה, ולאחר שמריצים מספר נוסחאות, משיבים עם המידע והוא עוזר להמליץ על נתיבי השקעה.
7. עוזר שופינג (!!) וירטואלי - מוטמע באתרי סחר, מאפשר למשתמשים להתכתב איתו, הוא מוצא מוצרים רלוונטיים מהקטלוג של החנות, מסביר על מה ולמה הוא ממליץ, ומצרף קישורים לרכישת המוצרים.

אני תמיד מדגיש שההבדל בין בוט לסוכן AI הוא שסוכן משלב חיבור למודל שפה, זיכרון ויכולת להפעיל כלים. כאן כל אחד מהסוכנים משתמש במודל שפה, חלק במודלים נוספים של Machine Learning וחלק גם מצליחים להתחבר למערכות ארגוניות. דרמטי!!

צירפתי את התרשים של הדוגמא האחרונה - עוזר שופינג. ככה פשוט ככה נפלא. אם אתם מנהלי חדשנות בארגון או פונקציות שרוצות לדחוף חדשנות - סוכנים זה העתיד!!!!! תזכרו, כבר שנתיים אני קודח על זה - זה העתיד!!!! מי שיקדים להיכנס לזה - יזכה. ובכלל, העתיד הוא סוכני AI אוטונומיים כמו דווין. עובדים. מתקנים. מצליחים.

מקווה שקיבלתם ערך ובתפילה לבשורות טובות יותר 🎗️🙏
יובל

סיפורה של לושה עם פירוט הכלים והשלבים:
1. במקום עבודתי, לושה, יש דמות אייקונית שהיא הסמל של החברה. לקראת הרצאה שהתכוננתי אליה בעבודה, החלטתי לעשות לה טוויסט.
2. לקחתי את התמונה וכפי שכבר פירטתי אימנתי מודל כדי שאוכל ליצור את הדמות בכל מיני סגנונות, לרבות ריאלית. זה עבד והגעתי לתוצאה שאהבתי מאוד.
3. כאן זה עלה שלב - השתמשתי ב Gen 3 Alpha כדי ליצור וידאו מהתמונה. בהתחלה 10 שניות, אחרי זה לחצתי על Extend כדי להאריך בעוד 10 שניות, ופעם נוספת בעוד 10 שניות, סה״כ 30 שניות של סרטון.
4. שמתי לב שכשניסיתי לג׳נרט עם Gen 3 Turbo הוא לא הנפיש את האנשים שברקע, מנגד ב Gen 3 הרגיל פתאום היו עיוותים. אחרי מיליון ג׳ינרוטים וריבים עם הפרומפט זה קרה ועבד יפה.
5. שכפלתי קול ויצרתי מודל קולי דרך Weights GG, בסגנון של טיילור סוויפט. אמריקאית אבל עם טוויסט.
6. השתמשתי חזרה ב Gen 1 כדי לבצע ליפסינק ולקבל את הסרטון הסופי, דאגתי שקטע הקול יהיה עד 30 שניות כי לא רציתי אפקט לא איכותי של ״Reverse״ שבו רנוואי ממשיך את הסרטון בהילוך לאחור אם ההקלטה הקולית ארוכה מהסרטון.
7. דרך Kapwing הוספתי כתוביות וארזתי הכל יפה יפה במצגת.

כך הסיפור של לושה האייקונית קרם עור וגידים. מפאת קוצר הזמנים לא התעקשתי על האודיו מספיק ויש שם מקום לשיפור, אבל סה״כ עבד יפה.

8. מכאן חיברתי דרך Play AI לאוטומציות וסוכני AI, לושה הפכה ממש לסוכנת שגם מסוגלת לספק מידע מהמוצר שלנו שמחבר עסקים ללידים פוטנציאליים, גם שולחת מיילים ומייצרת תבניות, גם מסכמת וגם קובעת פגישות. בקיצור, לושה על סטרואידים.

9. לושה הייתה זמינה גם דרך Officely המעולים בתהליך הגדרה מורכב ומרתק שכולל חיבור סוכנים, וגם דרך סוכנת AI וירטואלית של D-ID הישראלית וככה היא בעצם חולשת על הכל: כתב, קול וראייה.

איזה גן משחקים כיפי זה היה, ועוד יהיה.
מקווה שקיבלתם ערך ותודה ללושה על הפרויקט של לושה 🤣

והנה קיבלתם גם הצצה לשקף מהמצגת שלי!

יובל

אמ:לק - יצרתי לעצמי לוגו עם AI למרות שאני בכלל לא מעצב! בואו נדבר על זה >>>

https://www.facebook.com/share/p/WmmY8MqAaf4PL3xw/?mibextid=WC7FNe

פיתחתי צ'אט שמאפשר לשוחח עם מודלים שונים של שפה וגם מציג את שרשרת המחשבות שלהם. זאת אומרת, שולחים שאלה, המודל מתכנן את דרך הפעולה, מסביר אותה לעצמו וגם מאפשר לצפות בתהליך החשיבה שלו, ולבסוף מציג את התשובה.

זה כמו ההכרזות הדרמטיות של OPENAI על המודל o1 שממש טוב ב-Reasoning וכדומה, רק שפה אין בלבולי שכל. השתמשתי במודל של Cohere שנקרא Command R Plus, שאני אוהב אותו מאוד - והרי התוצאות! לא צריך להתלהב מהכרזות דרמטיות כשאפשר לפתח את זה בידיים בקלות עם קלודוש.

חג שמח ובשורות טובות לכולנו.

חדשות מרגשות: הצלחתי לסגור לייב בלעדי לקהילה שלי עם חברת COHERE!!!!

זה לא חלום. קוהיר הגדולה, בכבודה ובעצמה, הסכימה לעלות ללייב לקהילה שבו נדבר על הפלטפורמה שלהם, מה היא מאפשרת, מה לא, למי היא מיועדת, מה ה-USE-CASES המדהימים שלהם, על המודלים שלהם, שגם שוחררו כקוד פתוח! בקיצור, אחת מחברות ה-AI המובילות בעולם!! בלייב *בלעדי*!!

הלייב יתקיים בזום, מספר המקומות יהיה מוגבל, השתתפות ללא עלות אבל בשריון מקום מראש. הנציגה מטעם Cohere דוברת אנגלית כמובן והסשן יהיה באנגלית. אני מעודד אתכם להצטרף, זו הזדמנות מרתקת לקבל הצצה לחברה עוצמתית מאוד, לשאול שאלות, ולקבל הצצה מתחת למכסה המנוע. אני מתרגש ומחכה שניפגש בלייב!

פרויקט ה״מה אצליח לפתח ברכבת עם קלוד״ ממשיך - קבלו את אתר בניית רשתות הנוירונים שלי: סה״כ מגדירים כמה נוירונים בכל שכבה, מקבלים בצורה דינאמית גם גרף של הרשת וגם את הקוד שלה, רואים בעיניים תהליכי אימון, מבינים מטריקות חישוב וגם מונחים חשובים.

אני לומד המון מתהליך הפיתוח הזה ויש לי המון מסקנות ורעיונות גם למפתחים וגם למי שלא מתעסק בקוד. מאוד סיקרן אותי, בתור מי שפיתח אתרים בצורה הישנה, איך ירגיש לפתח אתרים עם קלוד. הנחתי את האגו בצד והחלטתי לצאת לריקוד עם קלוד, שבמהלכו הוא לפעמים דורך לי על האצבעות, לפעמים מסחרר אותי מהתלהבות, אבל בעיקר בעיקר - כיף גדול.

אין ספק שפיתוח הופך לנגיש יותר ויותר, אבל המיומנות איך לגשת לפיתוח חשובה יותר מכל. מי שמנסה לעבוד עם קלוד בלי להבין מסגרת של קוד, ילך לאיבוד מהר מאוד בהעתק-הדבק, קוד שבור וניסיונות נואשים לתקן. יש מספר טכניקות שיכולות לעזור לנו עם זה, וההכרזה אתמול של github על הוספת קלוד ל-copilot היא אחת הכי חשובות שזכורות לי אי פעם. מהלך מבריק של מייקרוסופט ו-github, שיחולל מהפכה של ממש, וכנראה גם הופך את cursor למיותר בשלב זה.

והנה פרויקט הרכבת שלי עם הסבר קצר למי שרוצה לצפות >>>

https://www.facebook.com/share/v/wwZZYa1q1F6dkrK9/?

אחרי לילה לבן: יש לי AI AVATAR עם זהות ומאגר ידע, שמחובר לאוטומציות ו-AI! הוא יכול לקבל מידע, להפוך אותו לאודיו עם טקסט לדיבור ולאחר מכן לסרטון וידאו עם ליפסינק, ולהתחבר לכל תהליך אוטומציה באשר הוא! כמו לפרסם בסושיאל, לעלות לשיחות וידאו, להשיב על שאלות (מסתבר שכיף להתייעץ עם עצמי) - והוא אפילו יכול לראות מה אני לובש!!! (יועץ אופנה מישהו?)

הנה עוד הצצה קטנה, בתחילת השיחה שאלתי אותו מה דעתו על מה שאני לובש ובואו צפו בתשובה:

קלוד (וקרסר) אחד ביום: והפעם - תוסף לדפדפן שעוזר להילחם בדחיינות שפיתחתי תוך 10 דקות!

מי שניסה לפתח תוספים בעבר יודע כמה זה קשה ומאתגר. תמיד יש תקלות בקובץ המניפסט, זה מלווה בתקלות בלתי נסבלות. עד היום. שאפשר לפתוח את קרסר ולהגיד לו אפילו בעברית: אני רוצה לפתח תוסף שיעזור לי להתמודד עם הדחיינות. להתחיל לתאר ולפרט הכל לפרטי פרטים. תוך דקות ספורות, אם אין בעיות חריגות, יהיה לכם את התוסף שלכם מוכן לטעינה בדפדפן. תחשבו כמו יוז קייסים אתם יכולים ליצור כאן, תוסף מסוגל לשלוט בדפדפן כך שכל מה שיש לדפדפן להציע לכם - אתם יכולים לעשות באמצעות תוספים. זה עולם עצום!

תודה ל Noam Naumovsky ול- Ben Rotenberg על ההשראה!

קלוד ו-GPT אחד ביום (וגם למה השתמשתי בשניהם ביחד?): במהלך שיחה על איזה טכנולוגיה כדאי לי לאמץ בפיתוח אפליקצייה לאייפון, ביקשתי מקלוד להפוך הכל לדו״ח PDF להנהלה \ ל-CFOs (מנהלי הכספים). קלוד אמר שהוא לא יכול ליצור קבצי PDF. ביקשתי ממנו להשתמש ביכולות הפייתון שלו כדי ליצור את ה-PDF, הוא התעקש שהוא לא יכול.

לקחתי את הקוד שקלוד נתן לי ל-GPT-4o וביקשתי ממנו: הנה הקוד. תריץ אותו ותן לי את הקישור להורדת הדו״ח. בהתחלה הוא אמר שהוא לא יכול. אז התעקשתי ואמרתי לו שהוא יכול להריץ פייתון ולכן שישתמש ביכולת הזו ויתן לי את הדו״ח להורדה.

מה אתם יודעים? הוא אמר ״אה, נכון״, הריץ את הקוד ונתן לי קישור להורדת הדו״ח!


אז לסיכום:
1. אפשר לבקש מקלוד להפוך את כל השיחה שלנו לדו״ח להנהלה
2. אפשר לבקש מקלוד להשתמש ביכולות הפייתון שלו כדי לתת לנו קוד שמסוגל לייצר את הדו״ח בפורמט PDF ושיכלול גם גרפים
3. את הקוד אפשר להריץ מקומית או להדביק ב-GPT
4. לפעמים צריך להתעקש עם GPT כדי שיריץ את הקוד - אבל זה יעבוד
5. והנה, יש לנו דו״ח מהשיחה שלנו, בפורמפט PDF

שימו לב: ליפסינק לאוואטר בעברית, עם אוטומציה והקלטה קולית!

כשאתם יוצרים אוואטר משלכם כדאי לכם להעלות את ההקלטה שלכם לתוכנת עריכה, כמו Kapwign, להפעיל את יכולת ניקוי האודיו המובנית (או להשתמש באתרים כמו vocalremover שמפרידים בין רעשי רקע לדיבור), לאחר מכן לייצא את האודיו, להעלות אותו ל- Adobe Podcast Enhancer שפשוט מנקה את האודיו בצורה מצויינת ומשפר אותו פלאים.

לבסוף, חברו הכל ביחד, העלו את רצועת האודיו הנקייה לתוכנה העריכה, ודאו שהזמנים תואמים, ואשרו את האוואטר כדי שהתוכנה שאיתה אתם עובדים תוכל להתחיל להתאמן על האוואטר שלכם.

אני בוחן כמה דברים מאוד מעניינים שקשורים לזה, והנה דוגמא לאוואטר שלי שקיבל הקלטה קולית שלי בעברית והצליח ליצור אחלה ליפסינק. זאת אומרת, לא חייבים טקסט לדיבור רובוטי, אפשר ליצור אוטומציה שמקבלת הקלטה קולית, גם אם זה בוואצאפ או בסלאק או איפה שרק תרצו, ומפעילה טריגר אוטומציה ליצירת אוואטר.

עכשיו קחו את זה הלאה: הגדירו אוטומציה שתשלח לכם ידיעות מעניינות, תקליטו את הקטע הקולי ושלחו אותו לסוכן AI שלכם, שגם ייצור את הליפסינק ואת האוואטר - וגם יפרסם בסושיאל. כמו פה!

זה מתחיל עוד כמה דקות ואתם מוזמנים!!! אל תפספסו את הלייב הבלעדי שלי עם COHERE!!!! מתחילים ב-20:30, בואו >>>

https://us06web.zoom.us/j/84548076780?pwd=DlQaPEeW71BNYwVXwfUhoXAwHtfnUw.1

התחרות הגדולה: windsurf מול cursor - מי מפתח קוד עם AI טוב יותר?

הגיע הזמן לעשות קצת סדר בין שני כלים שסוחפים את עולם הפיתוח בסערה ומסחררים את כולם. הראשון - cursor, השני - windsurf. מה ההבדל ביניהם? מה היתרונות של אחד אל מול השני? צפו וגלו >>>

https://youtu.be/_2hs9Hv-ecY?si=kj8REkRJbgnZEu8v