קלוד שולט לי על המחשב וגם מפתח לי משחק תלת מימדי *בתוך תוכנת Unity* (ה-תוכנה לפיתוח משחקי תלת מימד)!! 😍

https://youtu.be/HjJ9NxYoy24

קלוד הגנב: הוא פיתח לי תוסף לדפדפן שיודע למצוא קבצי מקור נעולים - ולהוריד אותם בכוח. לדוגמא, תוכנת Meshy מייצרת מודלים תלת מימדיים מתמונת רפרנס, אבל אפשר לייצא את המודל (קובץ glb) רק אם יש מנוי בתשלום. במקרה הזה, קלוד בנה תוסף שמאתר את קובץ המודל בעצמו - ומוריד אותו גם בלי מנוי. FYI - @MeshyAI

קלוד חוסם שימוש זדוני כברירת מחדל, אבל כיוון שיש גבול מאוד דק בין "שימוש זדוני" לבין "שימוש לגיטימי לצורכי בדיקות", מאוד קל לבצע מניפולציות ו"לבוא בהפוכה", ואז קלוד מבצע את מה שרצינו. כמו בדוגמא הזו, לא אמרתי שאני רוצה "לגנוב" קבצים שצריך לשלם עליהם כדי להוריד, אלא הסברתי שיש פה מקרה של בדיקות שאני מבצע על מודלים שאני משתמש בהם, ועלי לבצע בדיקות בקובץ המקור עצמו אבל שאני לא מצליח לאתר אותו - וביקשתי עזרה.

קלוד הגנב לקח את זה משם. אבל השאלה היא: האם קלוד הוא הגנב? או שאני עשיתי משהו לא בסדר והאשמה היא עלי?

הרצוי והמצוי. יצרתי הדמיה של משחק שאני רוצה לפתח עם AI שמלמד על חיות בר באמצעות משימות בסביבה תלת מימדית יפהפייה. בפועל, חיברתי שרת MCP של Unity לקלוד דסקטופ שיצר לי את המשחק שרואים בתמונה השניה.

מצד אחד, אכזבה. הפער בין ההדמיה לבין מה שקיבלתי - עצום.

מצד שני, אני חי בסרט כשאני חושב שעל הפעם הראשונה אפשר לקבל משחק כזה עם AI.

האמת? אם אני מסיר רגע את הבאסה הראשונית, זה די מדהים שקלוד ממש נצמד לעקרונות. המפה בצד ימין למטה, ההודעות שעל המסך בפינות העליונות, וגם בעלי החיים - בהתחלה הוא יצר דמויות כלליות כאלה, זה היה גרוע, ואז אמרתי לו שאני רוצה דמויות אמיתיות, אז הוא חיפש באינטרנט מקורות שמאפשרים להוריד בחינם קבצי תלת מימד, חלק הוריד לבד וחלק אמר לי להוריד בעצמי ונתן לי קישור (כי הוא לא הצליח לבד), ולבסוף הוא יצר את המשחק הזה - גם בסביבת Unity וגם עם ThreeJS.

אני לא מוותר בקלות, ואני יוצא למסע של פיתוח המשחק הזה.

הבעיה היא שלא מצאתי הסברים ברורים ונגישים, ותוכנות יצירת המשחקים נראות איומות ונוראיות, מורכבות להחריד. אבל! למרות שאין לי שום ידע וניסיון בפיתוח משחקי תלת מימד, קלוד הסביר לי את הבסיס, דילגתי בין סרטוני יוטיוב כדי להבין את המהות, ועכשיו אני מבין את מונחי היסוד, וכמו כל פיתוח רגיל, עובד על זה בשלבים עם קלוד קוד (הפעם דרך קלוד דסקטופ בשביל האתגר), ומסקרן ממש לאן אצליח להגיע.

אגב, גרוק וקלוד המליצו לי פה אחד על Unity למרות שתכננתי בכלל על Unreal, אז הקשבתי להם. אם למישהו\י יש ניסיון בפיתוח משחקים אשמח לקבל את ההמלצות. שבוע טוב לכולם 🤍

כמה מרגש לראות את קלוד דסקטופ מפעיל את קלוד קוד שמפעיל את תוכנת בלנדר ליצירת דמויות תלת מימדיות, שולט על התוכנה, והקסם האמיתי בעיני הוא ש:

‏בניסיון הראשון הוא יצר אריה מאפס. אמרתי לו שלא אהבתי - אז הוא התחיל מחדש לבד, חיפש באינטרנט מודלים קיימים של אריות שאפשר להוריד בחינם, בדק מה הכי מתאים והוריד, ואז שינה את הצבע של האריה ללבן כי זה מה שביקשתי, וביצע את יתר ההתאמות לבד 🤯

‏נכון שה-MCP של בלנדר קיים כבר זמן רב, אבל זו פעם ראשונה שאני מנסה אותו בעצמי, וגם לא היינו יכולים להשתמש בו מתוך קלוד קוד שבתוך קלוד דסקטופ (כי לא היה לנו קלוד קוד בתוך קלוד דסקטופ עד לא מזמן יחסית)

עוד לגבי תלת מימד ו-AI: טקסטורה וריג!!!

כדי ליצור דמות תלת מימדית, אפשר לפסל אותה לבד בתוכנה כמו בלנדר בשילוב שרת MCP, התוצאה סבירה. אפשרות נוספת היא לגשת לאתר כמו Tripo או Meshy, ששם אפשר לקבל מודל תלת מימד מטקסט או תמונה.

הבעיה היא, שמקבלים דמות לבנה בלי צבע ובלי טקסטורה נורמלית. מסתבר שמשי פותרים את זה ויש כפתור Texture שלוקח את הצבעים מתמונת הרפרנס והופך את המודל החיוור לצבעוני ועם טקסטורה מדויקת! כך למשל, הצ׳יטה היפה שלי, הפכה ליפהפיה במקום סתם לבנה.

לאחר מכן יש כפתור נוסף בשם Rig, שלוקח את המודל הצבעוני היפה ובונה לו שלד כדי שנוכל להנפיש אותו ולגרום לו ללכת, לשבת, לקפוץ ולנוע!

אם לא משתמשים בזה במשי, אפשר לעשות את זה גם בבלנדר עם MCP אבל זה יכול להיות טיפה יותר מאתגר.

לבסוף, לוקחים את המודלים השונים, שעומדים הולכים רצים וכו לכלי כמו Unity ומחברים MCP כדי לבנות משחק עם המודלים וממש לשחק ולנוע במרחב, וגם זה עם AI כמובן!

אני מגלה עולם שלם, צולל אליו ולומד אותו מאפס, ומרתק לראות ולגלות בידיים כמה ה-AI מנגיש את העולם הלא נגיש הזה לכולם!

איך תיראו במהלך כל חייכם? זה מה ששאלתי את ננו בננה פרו 2 - וזה מה שקיבלתי.

פרומפט: צור חיזוי התבגרות לדמות בתמונה המצורפת, לכל עשור, מגיל 0 ועד גיל 120, ותוודא גם להוסיף התייחסות לשירות בצה״ל בגיל 18.

מה יצא לכם? 🤣

ה-AI בעולם הפיזי זה אחד הדברים הכי טובים שקרו לנו. אנשים מדפיסים בתלת מימד מודלים שהם יצרו עם AI, לכל מיני שימושים. כאן, מישהי יצרה עם Meshy AI תמונה של עגילי כלב עם ננו בננה, והדפיסה בתלת מימד והוסיפה סיכות של עגילים. אין מרתק כזה!

רק תחשבו כמה שימושים יש לזה. אתמול ראיתי בקניון מכונות משחק לילדים שכל הפרסים הם צעצועים תוצרי מדפסת תלת מימד.

או אנשים שמדפיסים קליפסים שמחזיקים אריזות מזון פתוחות, בקבוקים לתינוק, אביזרים לרכב וכל מיני כאלה.

המזל שלנו הוא שהכלים הופכים לטובים הרבה יותר, ובמקביל גם כלים שהם קוד מקור פתוח משתכללים, ואני חושב שבזכות קהילת קוד המקור הפתוח - אנחנו זוכים ליהנות מכל הטוב הזה. אלמלא הקהילה, החברות המסחריות היו חוגגות עלינו פי מיליארד.

יצא לכם לייצר מודל ב-AI דרך ננו בננה ואז להדפיס משהו בתלת מימד? אם כן, אשמח להמלצה על מדפסות תלת מימד להתנסות ביתית 😏

קבלו איך ה-AI עזר לי לקחת תמונה אמיתית - להפוך אותה למודל תלת מימדי צבעוני עם אנימציה - ואז גם להפוך את כל זה למשחק תלת מימדי!

פירוט טכני: השתמשתי בננו בננה ליצירת תמונה שתתאים למידול תלת מימד, לאחר מכן השתמשתי במשי @meshy.ai כדי למדל, ולבסוף חיברתי את קלוד קוד מתוך קלוד דסקטופ ל-MCP של Unity (שרת שנקרא Coplay)

לא יודע אם רק אני בטירוף או שזה באמת מטורף, אבל וואו! ו בעיקר - כמה כיף ללמוד במהירות האור עם AI! 😮

https://youtu.be/k1HjXgl5BHI

המהפכה שמתחוללת גם בעולם הפרודקט: אתמול נפגשתי עם דירקטורית בכירה מעולם המוצר, תוך כדי הפגישה היא מראה לי שהיא הקימה סוכנים, בנתה אוטומציות, משתמשת בוייב קודינג ואפילו בקלוד קוד בטרמינל. זה גרם לי להבין 2 דברים:

1. לא צריך כבר לפתח ממשקים או מוצרים לכל דבר. זה פשוט מיותר. לדוגמא, למה לפתח אתר שמאפשר לנו לבצע פעולות כמו מענה על תוכן של מסמכים - אם מודל חזק של קלוד או נוטבוק LM יכול לעשות את זה בלי לפתח כלום?

תחום המוצר עובר גם הוא מהפכה וטלטלה. למה להשקיע ככ הרבה זמן באיפיון מוצרים, ניתוח חווית משתמש, אינספור פגישות, כדי לפתח ממשק שכנראה אפשר להחליף אותו בקלות בקונקטור או סקיל לקלוד או לGPT? בשביל מה להתאמץ בכלל? חבל על הזמן. התחום הקלאסי של הפרודקט פשוט לא רלוונטי כבר. וזה לא רק אני חושב ככה, זה בכירות ובכירים במשק מהתחום הזה שאני פוגש שאומרים את זה.

2. מי שיש לו בארגון את האקוסיסטם של מייקרוסופט קופיילוט - חייבים להשתמש ב-Flows או ליצור סוכן מותאם אישית כדי להתחבר למידע הארגוני בצורה מאובטחת. זה זהב טהור. אנשים מתוסכלים על זה שאין קלוד - כשבפועל יש להם זהב טהור בידיים שאושר על ידי אבטחת מידע ומתחבר לכל המידע הארגוני: סיילספורס, אאוטלוק, טימס, שרפוינט, ג׳ירה ועוד!

קופיילוט סטודיו, וגם Flows, הם כלים שמאפשרים להגדיר אוטומציות כמו סיכום יומי אוטומטי של מה שקרה במייל בזמן שהיינו בחוץ, ועוד המון דברים. פרודוקטיביות במקסימום!

ולבסוף, אני רואה יותר ויותר דירקטורים ו-VPs שמשתמשים בקלוד קוד, גם אם הם/ן לא טכניים, ומפתחים לעצמם MVP. זה ממחיש להם מה קורה בעולם, ואז הם יודעים מה לדרוש מהצוותים כי הם מחוברים לשטח.

בגדול, אם בעבר כשהייתי נפגש עם פרודקט הייתי יודע שזה לא אנשים טכניים במהות - היום, כל פגישה עם פרודקט הם מראים לי קודם כל מה פיתחו עם קלוד קוד - ורק אחרי זה מתחילים את הפגישה 🤯

ומה עמדתכם על מה שקורה בתחום הפרודקט? מה לדעתכם חשוב לדעת בו? מאוד אשמח לקרוא, ויש גם המון מנהלי ומנהלות מוצר שיעקבו פה אז נשמח לקבל תובנות ❤️🙏

⁨ רגע לפני פסח: בואו תראו מה ה״סוד״ לסרטונים הטרנדיים האלה 🤯

ובקיצור: לצלם את עצמכם בווידאו, לצלם מסך של הפריים הראשון וללכת לננו בננה, להחליף את הדמות למה שתרצו, אחרי זה להשתמש ב-Kling Motion Control, אני בחרתי דרך Fal AI.

העליתי את התמונה של ננו בננה (פעם אריה, פעם צ׳יטה), וגם את הסרטון המקורי שלי, בחרתי את הווידאו כ-Orientation (אחת ההגדרות שצריך לבחור), רשמתי בפרומפט מה אני רוצה שיקרה בסרטון. וזהו. כזה קל!⁩

התמונה שאתם רואים פה רצה ברשת אתמול בקצב מסחרר. למה? כי מסתבר שאתמול היה יום מטלטל מאוד בעקבות 2 אירועים חמורים שפורסמו:

1. כל קוד המקור של קלוד קוד עלה בטעות לגיטהאב, וברגע שזה קרה, הסתערו על מה שראו וזה עף ברשת כאש בשדה קוצים. קוד המקור של קלוד קוד כלל גם פיצ׳רים שטרם פורסמו לציבור. ולפי דיווחים, היה שם ניהול לא נכון של אחסון ב-aws כך שתוקפים השיגו גישה לשם בקלות. פירטו על זה מאוד יפה גם Gal Havkin וגם Elad Cohen האלופים.

2. תוקפים השיגו גישה לחבילת axios שמאפשרת למפתחים לשלב גישה לאינטרנט בקוד שלהם. זו חבילה מאוד פופולרית, מדובר על כ-100 מיליון הורדות בשבוע(!). שימו לב לעדכן לגרסא האחרונה, יש פה פגיעות קריטית! אמנם זה לא חדש שיש אירועי סייבר שכאלה, אבל מה שחשוב זה לדעת להיערך לזה מבעוד מועד.

בעולם הסייבר נהוג לומר: הפריצה תגיע. זה רק עניין של זמן. השאלה איך נתפקד באירוע ואיך נערכים לכך. ורואים שהתפיסה הזו נכונה, וזה תמיד כך: לא שמים על הסייבר, עד שמגיע כזה אירוע ואז מחדדים נהלים ומקצים תקציבים. מקווה שנלמד מזה להבא.

זה גם מזכיר לי את פסח, שחל הערב. כולם כל כך עסוקים בלנקות לקרצף את כל הבית, מנקים הכל יסודי, שלא להשאיר פירור חמץ, וזה מצוין, אבל כמו שדואגים לניקיון חיצוני - המטרה היא לעורר אותנו לניקיון פנימי. יותר קל לנקות את הבית מאשר לנקות את הנפש. לא צריך להישאר עם בית נקי ונפש מזוהמת. צריך להבין שהניקיון הזה, האירוע שמגיע, אמור לעודד אותנו לנקות את עצמנו ביותר עין טובה סבלנות הכלה ורוגע. ושנזכה.

חג פסח כשר ושמח לכולנו 🙏❤️

קבלו את הדירוג שלי ל-5 כלי ה-AI שהכי כדאי להתמקד בהם כיום. כמו הסדר של פסח - אבל ב-AI. למה? כי יש יותר מדי כלים. יותר מדי בלאגן. לעניות דעתי, אין טעם ללמוד המון כלים, מה שצריך הוא להתמקצע במה שיש לו את הערך הכי גדול בכמה שיותר תחומים.

מוכנים? בואו נתחיל:

מקום חמישי: אתר Fal AI. ה-אתר, שמנגיש לנו כל מודל AI אפשרי בעולמות ה-Gen AI = יצירת תמונות, וידאו, הכל שם. רק לטעון קרדיטים - ויאללה להשתמש. לא רק שאפשר להשתמש שם בכל המודלים וזה כל כך נוח, אלא זו גם פלטפורמה שלמה שאפשר להתחבר אליה כדי לפתח מוצרים בעצמנו - שיתחברו ל-Fal ויאפשרו למשתמשים לעשות ככל העולה על רוחם.

מקום רביעי: המודל הקולי של ChatGPT. כשאני בדרכים, אני מוצא את עצמי נכנס לאפליקציית GPT במובייל ומפעיל את המצב הקולי ומדבר איתו ארוכות. רמת המודל הקולי פשוט שומטת לסתות, כיף גדול לדבר איתו, הוא מאוד מהיר, והחיסרון היחיד שהתשובות מאוד קצרות כך שאי אפשר לנהל שיחות עומק מתקדמות מדי. זה זמין גם למי שמשתמש בחשבון החינמי (כמוני). וזה כיף גדול.

מקום שלישי: Google AI Studio. אי אפשר שלא להשתמש בפלטפורמה המשוגעת הזו של גוגל. גם בגלל הגישה לננו בננה פרו, אבל גם בגלל היכולת לבנות אפליקציות עם Build, ואגב מבחינתי זה ו-Notebook LM ביחד כי שניהם של גוגל ושניהם מאפשרים לעבוד עם המודלים של גוגל.

למי שלא מכיר, נוטבוק LM של גוגל זה כלי מדהים שמאפשר להעלות מידע ולנהל עליו שיח, בין אם באמצעות צ'אט AI, או האזנה לפודקאסט שנוצר מהתוכן שאנחנו מעלים, אפשר גם ליצור מצגות, להתכונן למבחנים ועוד המון.

מקום שני: גרוק של X. מודל שמביא לי כל הזמן תשובות מדויקות אחרי חיפוש במקורות. הוא עוזר לי בסיעור מוחות כהכנה לפיתוחים, להרצאות וסדנאות, מביא לי הנחיות מדויקות של פתרון תקלות טכניות ותמיד קולע בול. בנוסף הוא גם מייצר תמונות יפהפיות, לרבות עריכת תמונות, מנפיש תמונות לווידאו והוא באמת מדהים. ואגב, יש לו גם מודל קולי מאוד חמוד. לא כמעט מושלם כמו GPT, אבל מאוד חמוד.

ובמקום הראשון: איך לא, קלוד דסקטופ המלך, עם כל יכולות העל שלו. מצב צ'אט, מצב קו-וורק, מצב קלוד קוד, הכל עטוף בממשק ידידותי וכיפי, עם אפשרות להתקין פלאגינים, סקילים, ולהגשים את כל הרעיונות שיש לנו בראש (כמעט). לא סתם הקלטתי על זה קורס מקיף - והתגובות מרגשות אותי כל פעם מחדש. זה כלי שמשנה את הכל. לא משנה מאיזה תחום אתם.

כאשר עובדים עם קלוד - הכל משתנה. קלוד מתחבר למחשב, למובייל, מאפשר עבודה תוך "החלפה" בין המחשב לטלפון הנייד דרך Dispatch, יש לו גם מודל קולי שאפשר לדבר איתו (גם פה - חצי כח ביחס ל-GPT), ובגדול, קלוד עושה הכל. הוא יכול להתחבר ל-Fal, להפעיל סוכני AI אחרים (כמו שקראתי לאחרונה שעושים עם OpenAI Codex), להשתלט על מחשבים מרוחקים (כפי שהדגמתי שהוא מנהל לי את הרזברי פיי שלי).

- וכמובן שאי אפשר בלי לציין גם את בייס44 ו-Lovable, שפשוט עושים עבודה מצוינת בלקחת פרומפט מהמשתמש ולהפוך אותו לאתר. אם אתם צריכים דפי נחיתה מהירים, רישום משתמשים וכדומה, אני אישית קודם הולך לבייס44, ורק אז לכל השאר.

- טיפ למתקדמים: אם יש לכם מנוי של GitHub Copilot, אתם מקבלים גישה גם לקלוד קוד וגם ל-Codex של OpenAI וגם ל-GitHub Copilot! מה שגיטהאב עושה זה לא פחות מטירוף ומהפכה. שליטה על כולם ממקום אחד. וזו רק ההתחלה. הולך לבוא משהו מאוד גדול בקרוב. מידיעה ממקור ראשון.

- ודבר אחרון למתקדמים: אני מאוד אוהב את מגרש המשחקים של אמזון, AWS Bedrock. זירת ה-Gen AI או ה-Machine Learning זו הזירה הכי מרתקת שקיימת כיום. מה שאמזון עשו זה לא פחות מאומנות. ריכזו יכולת לעבוד עם המודלים המתקדמים של קלוד, להשוות ביניהם בצורה קלה וידידותית, תוך יכולת ליצור מחברות שמריצות קוד, ייבוא והטמעת מודלים, ביצוע הערכות למודל (Evaluations), להגדיר חומות אבטחה (Guardrails), ליצור סוכני AI בסביבת ענן מצוינת עם AWS Strands או עם כל סביבה שתרצו דרך AWS AgentCore. וכל זה כשמאחורה, כאן בארץ, יושבת סוללה של תותחיות ותותחים ב-AWS שקשובים לפידבקים ורק מחפשים איך לשפר ואיך לעזור למפתחים\ות.

אני מניח שיהיו כאלה שחולקים עלי, או שחושבים שצריך להוסיף דברים, תמיד אשמח לקרוא בתגובות כל הצעה. ועד אז, שיהיה לכולנו חג פסח כשר ושמח, שנזכה שהשם ישמור את הלוחמים והלוחמות שלנו, ואת כל כוחות הביטחון שלנו, ושרק טוב וחסד ירדפו אותנו כל ימי חיינו, ונשב בבית ה' לאורך ימים.

חג שמח! 😍