האם נכון לתת לבינה מלאכותית להשפיע על החלטות אשראי, רפואה או בטיחות?

הגדירו מראש מה סמכות ה-AI: להציג נתונים, לנסח טיוטה עבור אדם, או לחתוך החלטה בעצמו. לאחר מכן תדרשו הוכחות על בסיס מקרים אמיתיים שלכם, כולל המורכבים ביותר, ותוודאו שיש גורם אנושי שבודק ולוקח אחריות על כל קביעה. תרחיבו סמכויות רק כשהראיות ובדיקות המומחים מאשרות זאת.

[[HE: Draft for Tamir's review. Not published.]]

Tamir Khason · עדכון · מדריך החלטות

שרטטו גבולות לפני הטמעת הכלי

מפו את ההחלטות שהבינה המלאכותית תקבל בעצמה לעומת מידע שהיא רק תציג. הערה שנציג עורך שונה מרישום בתיק רפואי. המלצה למפעיל שונה לגמרי מהפעלה אוטומטית של פעולה בשטח.

מובילי הציות, הייעוץ המשפטי, הרפואה ובטיחות התהליכים בארגון מגדירים את גבולות השימוש המותרים בתחום שלכם. השאירו את מנגנוני הבטיחות וההכרעה האנושית ללא שינוי עד לקבלת אישורם. ודאו שיש מעקף ידני שיכול להיכנס לפעולה מיד אם המערכת מושבתת.

הוכחות על המקרים שלכם

בחנו את המערכת על בסיס ההיסטוריה שלכם, כולל תרחישי קיצון ותקלות עבר. הערכה שמנפה מקרי כישלון בלי סיבה מוצדקת לא שווה הרבה. ספרו השמטות, הזיות ותשובות שגויות בנפרד.

הפכו את הבקרה לאמיתית. אם הצוות מאשר תוצרים על עיוור בלי לקרוא, עצרו את מה שיוצא החוצה ושנו את שלב האישור מיד. הראו לבודק מה המערכת שינתה ועד כמה היא בטוחה בזה. תעדו כל המלצה וכל עריכה.

תלוי איפה יושבים

אם אתם בדירקטוריון, בקשו קודם כל מיפוי של כל מודל שמשפיע על החלטות, כולל ייעוד, אחראי, אישור ובקרה. התחילו באלה שמקבלים החלטות לגבי לקוחות, מטופלים או עובדים. לאחר מכן קבעו שגרה: אישור לפני שימוש ודיווח תקופתי אליכם.

אם אתם מנהלים את המערכות וספק מספק את המודל, בדקו את הזכויות החוזיות שלכם לקלטים, לפלטים ולגרסאות. אחר כך בקשו מהספק להסביר עשרה מקרים שהוכרעו, כולל תלונות, בשפה שחברי הוועדה יוכלו להבין.

מה לבדוק לפני שמחליטים

  • רשמו אילו החלטות ה-AI מקבלת ואיזה מידע היא רק מציגה.
  • דרשו ממובילי הציות, המשפט, הקליניקה או הבטיחות לאשר את השימוש המותר.
  • בדקו על מקרי עבר שלכם, כולל המקרים הקשים והבעייתיים, ותעדו החרגות עם נימוקים.
  • בדקו זכויות בחוזה לתיעוד המודל, לקלטים, לפלטים ולהיסטוריית הגרסאות.
  • הגדירו אדם ששמו יירשם כגורם האחראי, ותעדו כל המלצה ועריכה.
  • ודאו שיש מסלול ידני שיכול להחליף את המערכת אם ה-AI מושהית.
  • שמרו מיפוי של כל מודל שמשפיע על הכרעות, כולל בעלים ובקרה שוטפת.

שאלות שאנשים שואלים

ועדת סיכונים גילתה שמודלים משפיעים על החלטות לקוח בלי מיפוי או בקרה, מה לדרוש?

דרשו מיפוי של כל מודל בשימוש עם ייעודו, בעליו, אישורו ובקרתו, ואז שגרת ממשל: אישור מראש, מעקב ביצועים, סקירה תקופתית ודיווח לוועדה. התחילו במודלים שקובעים לגבי לקוחות. זה תלוי בציפיות הרגולטור לסיכוני מודלים ובכמות המודלים שמגיעים מספקים.

ההנהלה רוצה AI שמייעצת למפעילי חדר בקרה, מה הדירקטוריון חייב לדרוש לפני נגיעה בבטיחות?

דרשו שה-AI תישאר מייעצת, שהחלטת המפעיל ומערכות הבטיחות יישארו ללא שינוי, שהכלי ייבדק על נתוני העבר של המתקן, שהמפעילים יוכשרו למגבלותיו, ושכל המלצה תתועד. דרשו סקירת בטיחות על ידי פונקציית בטיחות התהליך במפעל לפני השימוש. זה תלוי בפעולות שהכלי מייעץ עליהן ובמערך ניהול הבטיחות באתר.

האם לאשר אוטומציה בבית חולים כשאירועים חריגים הוחרגו מהבדיקה?

אל תסתמכו על הערכה שמשמיטה כשלי מפתח ללא הצדקה. אישור תלוי בשימוש המיועד, בתנאי קיצון מייצגים ובבדיקה של מומחים קליניים ומומחי בטיחות ייעודיים.

מה על הדירקטורים לדרוש לפני שמערכת טלמטיקה מבוססת AI משפיעה על ענישת נהגים?

הפרידו בין מדדים תפעוליים לראיות שמספיקות להחלטה מהותית. השימוש תלוי בהקשר, בטיפול בשגיאות ובבדיקה של גורמי בטיחות, משאבי אנוש ומשפט.

פיילוט מסמכים ב-AI שלח שגיאות לאזרחים כי הצוות אישר בלי לקרוא, לעצור או לתקן?

הקפיאו את השליחה, המשיכו בניסוחים ותקנו את שלב האישור: האישור חייב לחייב קריאה, והמערכת חייבת להראות מה שונה ולסמן אי-ודאות. מדדו את שיעור השגיאות במדגם לפני שחוזרים לשלוח. זה תלוי בסוגי השגיאות וביכולת הצוות לבדוק בעומס שהפיילוט מייצר.

האם חברת הביטוח שלנו צריכה לאפשר ל-AI לתת הצעות מכירה מותאמות אישית?

הגדירו את תפקיד המכירות המותר לפני רכישת היכולת. ההיתכנות תלויה בראיות, בהסלמה, בהבנת הלקוח ובדרישות רלוונטיות שיאושרו מול גורמי הציות והמשפט.

מודל חיתום של ספק נמצא בייצור, איך אוכיח לוועדת הסיכונים שאפשר להסביר החלטות?

הסבר פירושו שניתן להראות, עבור החלטה נתונה, אילו קלטים הובילו אליה ושאותם קלטים נותנים אותה תוצאה. בקשו מהספק הסברים ברמת ההחלטה הבודדת ובחנו אותם על מקרי תלונה. זה תלוי בשאלה אם החוזה מאפשר גישה לקלטים, לפלטים ולגרסאות של המודל.

המוקד רוצה סיכומי שיחות מבוססי AI בתיקי לקוחות, מה צריך לבדוק לפני פיילוט?

החליטו קודם למה הסיכום מיועד: הערה שהנציג עורך שונה מרישום בתיק רפואי. בצעו בדיקה על שיחות אמיתיות כשנציגים בודקים כל סיכום, ומדדו השמטות והמצאות בנפרד. זה תלוי באישורי הפרטיות שלכם להקלטה ולעיבוד שיחות ובשאלה מי חותם על הרישום.

מה יצדיק מעבר של AI בבית זיקוק מהמלצות לשליטה תפעולית ישירה?

הרחיבו סמכויות רק לאחר שהיקף הפעילות המיועד והטיפול בתקלות קיבלו אישור מומחים מתאים. זה תלוי בהשלכות של פעולות שגויות, בפיקוח המפעילים ובמנגנוני הגנה בלתי תלויים.

איך אני יכול לעזור בהחלטה הזו

שאלה או שיחה (ללא עלות)
אני נותן את דעתי לגבי השימוש שבטוח לפיילוט ואילו תנאים הכי קריטיים. אני גם מצביע על הזכות החוזית שכדאי לבדוק לפני שמבקשים משהו מהספק.
בדיקה והערכה (משלמים רק אם קיבלתם ערך)
אני כותב הערכה עצמאית על השימוש המוצע, הראיות במקרים שלכם והממשל התאגידי. אני ממליץ על תנאים לאישור, צמצום היקף או דחיית השימוש.
ליווי שוטף (בזמן ובקצב שמתאימים לכם)
אני נשאר זמין לבחון תוצאות, שינויי מודל של הספק ואירועים חריגים ביחס להיקף שהוסכם.