הפיילוט או מוצר ה-AI שלנו לא מספקים תוצאות. לתקן להרחיב או לחתוך?

גלו קודם כל איפה זה נתקע לפני שאתם מקבלים החלטה על המוצר, הספק או הצוות. מהלכי AI בדרך כלל נעצרים בגלל מדד לא מוגדר, דאטה לא אמין, חוסר בבעל בית עסקי או היעדר נתיב לייצור. טפלו באלה קודם, ואז תחליטו על בסיס ראיות ממקרה בוחן יחיד שמנוהל נכון.

[[HE: Draft for Tamir's review. Not published.]]

Tamir Khason · עדכון · מדריך החלטות

להבין איפה זה נעצר

עבור כל פיילוט, מודל או כלי, רשמו מי ביקש אותו, מי אמור היה להשתמש בו, ואיפה בדיוק הוא נעצר ומדוע. בררו אם הוגדר מדד הצלחה מוסכם מראש, וקבלו את התוצאות משני הצדדים.

אם המשתמשים איבדו אמון בתשובות, אספו את התשובות ששברו את האמון וסווגו כל כשל. שגיאות אחזור, מסמכים לא מעודכנים ופרומפטים גרועים דורשים פתרונות שונים. אם מסמכי המקור מעולם לא היו איכותיים מספיק כדי להפיק מהם תשובות, בנייה מחדש פשוט לא תעזור.

מדדו תפוקה במקום נפח שימוש

שימוש גבוה מודד בעיקר סקרנות. בחרו שלושה צוותים עם תפוקה מדידה, כמו קריאות שנסגרו או זמני תגובה, ומדדו לפני ואחרי כשהכלים מופעלים באופן מוגדר. שמרו את הרישיונות איפה שהתפוקה באמת זזה.

פיילוט שהצליח בצוות אחד נהנה לרוב מאנשים עם מוטיבציה, דאטה נקי ופוקוס צמוד. פריסה רוחבית לא מקבלת אף אחד מאלה כברירת מחדל. שחזרו את תנאי הפיילוט בשני צוותים נוספים ומדדו שוב לפני שממשיכים הלאה.

בהתאם לתפקיד שלכם

אם אתם בדירקטוריון, דרשו מכל פיילוט להגדיר את ההחלטה שהוא אמור לפתור ולהציג גורם אחראי שיכול לאמץ את התוצאה, או שתסגרו אותו. אם התברר שהמוצר נשען על עבודה ידנית מאחורי הצהרות ה-AI, ודאו קודם את העובדות והחליטו על חובת דיווח יחד עם ייעוץ משפטי.

אם אתם מובילים את המוצר או צוות הדאטה, הגדירו מקרה בוחן בודד עם מוביל עסקי, נתיב הטמעה ומדד ברור. קבלו החלטה על הצוות רק לאחר מכן. אם פיילוט הצליח אבל אין תקציב, הציגו את התוצאה בשעות עבודה שנחסכו או בתיקים שטופלו, וחפשו מימון אצל המחלקה שמרוויחה מזה.

מה לבדוק לפני שמחליטים

  • עבור כל פיילוט או מודל, תעדו מי ביקש אותו, מי היה אמור להשתמש ואיפה זה נעצר.
  • בדקו אם הוגדר מדד הצלחה לפני היציאה לדרך, והשוו את התוצאות שלכם מול אלו של הלקוח או המשתמשים.
  • סווגו את התשובות השגויות שפגעו באמון: שליפה, מסמכים ישנים, פרומפטים או נתונים.
  • מדדו תפוקה בודדת לכל צוות לפני ואחרי, ודווחו עליה לדירקטוריון במקום על נפח שימוש.
  • בדקו מה ההטמעה דורשת מעבר לרכישת הרישיון: אינטגרציות, הדרכות ותמיכה שוטפת.
  • מנו מוביל עסקי בעל סמכות לאמץ את התוצאות, או סגרו את הפיילוט.
  • הוסיפו כל סוג כשל שמצאתם למאגר הבדיקות ולרשימת התיוג לקראת שחרור.

שאלות שאנשים שואלים

גילינו שמוצר ה-AI הסתמך על עבודה ידנית מאחורי ההבטחות במצגת, מה על הדירקטוריון לעשות?

בררו קודם את העובדות לאשורן: מה המוצר עושה אוטומטית, מה נעשה ידנית, מה בדיוק הובטח ולמי, כולל ללקוחות. לאחר מכן קבלו החלטה על אופן הגילוי, התוכנית לסגירת הפער והיחס למייסדים, בליווי ייעוץ משפטי. הדבר תלוי ברמת ההפרזה בטענות, בשאלה אם לקוחות שמעו את אותם דברים והאם ניתן לגשר על הפער.

האם מועצת בריאות צריכה לסגור פיילוטים של חדשנות שלעולם אינם מגיעים להכרעה?

דרשו מכל פיילוט להכריע בהחלטה מוגדרת מראש או להיסגר. המשך הפעילות תלוי בבעל החלטה פעיל, אי-ודאות שנותרה וראיות לכך שפעילות נוספת עשויה לשנות את המסקנה.

הפיילוט הארגוני שלנו נכשל ברמת הדיוק והצוות מאשים את הנתונים של הלקוח, איך אדע מה קרה באמת?

השיגו את מדד הפיילוט ואת התוצאות משני הצדדים, כי פיילוטים נופלים על הגדרת הצלחה מעורפלת באותה מידה שהם נופלים על דיוק. אם הדאטה של הלקוח היה הבעיה, הפיילוט היה אמור לזהות זאת בשבוע הראשון. תקנו תחילה את תהליך הפיילוט: מדד מוסכם, בדיקת נתונים בהתחלה ודוחות שבועיים. הדבר תלוי בקיומו של מדד הצלחה מוסכם מראש ובמה שהתוצאות הראו בפועל.

חילקנו כלי AI לכולם, השימוש בשמיים, אבל אני לא רואה שום תוצאה עסקית, להמשיך לשלם או לחתוך?

קחו שלושה צוותים ומדדו תפוקה יחידה בכל אחד, לפני ואחרי, כשהכלים פועלים בצורה מוגדרת; שימוש כשלעצמו מעיד רק על סקרנות. השאירו את הרישיונות איפה שהתפוקה עלתה ושנו את אופן השימוש במקומות שבהם שום דבר לא זז. הדבר תלוי בעבודה שהכלים באמת נוגעים בה ובשאלה אם מישהו התאים את התהליך סביבם.

פיילוט ה-AI שלנו הצליח בקרב רופאים אבל אין שום תקציב להטמעה, מה האפשרויות שלי?

תרגמו את הישגי הפיילוט למספרים שמחזיקי התקציב מבינים, כמו שעות שבועיות שנחסכו או תיקים שטופלו, וחפשו מימון במחלקה שמרוויחה מהמהלך ולא ב-IT. במקביל, בקשו מהספק מתווה פריסה מדורג שמשלמים עליו ככל שמתרחבים. הדבר תלוי במה שהפיילוט מדד ובשאלה אם אפשר להציג את הרווח בכסף או בקיבולת עבודה.

לקוח פרסם ברשת תשובה מביכה ושגויה של מוצר ה-AI שלנו ונטש, מה לתקן ומה לומר ללקוחות פוטנציאליים?

אתרו את סוג הכשל, טפלו בכל קטגוריית השגיאה הזו ולא רק במקרה הספציפי, והוסיפו את מנגנון ההגנה שהיה מונע אותה, כמו הגבלת נושאים, בדיקה לפלטים רגישים או רפי סמך. לאחר מכן הסבירו לפרוספקטים במדויק מה שונה. הדבר תלוי בשאלה אם הכשל היה חולשה מוכרת או משהו חדש לחלוטין.

פיילוט ה-AI עבד מעולה בצוות אחד אבל הפריסה לכולם לא הניבה כלום, למה ומה עושים עכשיו?

פיילוטים מצליחים כשיש צוות מגויס, דאטה נקי וקשב רב, בעוד פריסה רחבה לא מקבלת אף אחד מאלה כברירת מחדל. זהו מה משלושת הגורמים היה חסר לצוותים האחרים ותקנו זאת בשני צוותים בלבד לפני המשך ההתרחבות. הדבר תלוי בתיעוד תנאי הפיילוט ובמידת השוני באופי העבודה והדאטה בין הצוותים.

האם כדאי להמשיך להרחיב פנייה אוטומטית ללקוחות כששיחות המכירה הופכות פחות טובות?

שפטו פנייה יזומה לפי שיחות אפקטיביות והשפעות שליליות. נפח תגובות בלבד לא אומר כמעט כלום. התרחבות תלויה באיכות הטרגוט, דיוק המסרים, מנגנוני אסקלציה והשאלה אם האוטומציה פוגעת בקשר עם לקוחות פוטנציאליים.

עוזר ה-RAG הפנימי שלנו נכשל כי המשתמשים הפסיקו לסמוך עליו, לבנות מחדש או לזרוק?

בררו אילו תשובות היו שגויות ומדוע לפני שאתם חותכים, משום שכשלים באחזור, מסמכים לא מעודכנים והנחיות לקויות דורשים פתרונות שונים לגמרי. בנו מחדש רק אם שורש הבעיה בר-תיקון באמצעות הדאטה והאחריות שלכם. הדבר תלוי בשאלה אם מסמכי המקור היו אי-פעם טובים מספיק כדי לבסס עליהם מענה.

צוות הדאטה סיינס בנה מודלים שאף פעם לא הגיעו לפרודקשן, מה צריך להשתנות לפני שמקבלים החלטה על הצוות?

גלו מדוע כל מודל נעצר: חוסר בבעל בית עסקי, היעדר תשתית הנדסית לפרודקשן, דאטה שמעולם לא היה אמין, או בעיה שאף אחד לא באמת היה צריך לפתור. התיקון נוגע לרוב באחריות ובהנדסה, והיכולות של הצוות הן בדרך כלל העניין המשני. הדבר תלוי בקיומם של מובילים עסקיים לתרחישי השימוש ובשאלה אם ההנדסה מסוגלת לפרוס ולתחזק מודל.

האם לחדש חוזה לבוט זימון תורים שלא מסוגל להעביר פניות לנציגים אנושיים?

העריכו חידוש לפי סיומי שירות מוצלחים ומעברים שניתן לתקן. ההתאמה תלויה בשאלה אם הנציגים מקבלים הקשר מלא, האם האחריות מוגדרת, והאם העברות שנכשלו נשארות גלויות לעין.

איך אני יכול לעזור בהחלטה הזו

שאלה או שיחה (ללא עלות)
משתף תובנות מדוע מהלכים דומים נתקעים לרוב, לצד הערכה פר-פיילוט או פר-מודל כדי לראות אם העסק בר-תיקון.
בדיקה והערכה (משלמים רק אם קיבלתם ערך)
מכין תחקיר עצמאי על הפיילוט, הכלי או המוצר והתנאים להרחבה. ממליץ אם לתקן, לצמצם, לגדול או לעצור, ומה להציג לדירקטוריון.
ליווי שוטף (בזמן ובקצב שמתאימים לכם)
נשאר בתמונה לקראת הפיילוט הבא או יישום הפרודקשן הראשון לבחינת מדדים, בדיקות דאטה ותוצאות.