איך מודדים החזר על AI בלי לספר לעצמנו סיפורים
רוב מדידות ה-ROI של AI מודדות התלהבות. שיטת מדידה פשוטה שאפשר להציג להנהלה, כולל למה "חסכנו 30%" זה מספר חסר משמעות.
מאת דניאל נחמיהובני פרבר · · עודכן
שאלנו מנהל תפעול איך הוא יודע שההטמעה עבדה. הוא אמר "כולם מרוצים, הצוות מרגיש שזה חוסך המון זמן". זו תשובה נפוצה וזו לא מדידה. תחושה של חיסכון וזמן שנחסך בפועל הם שני דברים שונים, ולעיתים קרובות הם לא באותו כיוון.
למה אחוזים הם מספר גרוע
"חסכנו 30% מזמן הכתיבה" נשמע מצוין עד ששואלים 30% ממה. אם כתיבה תופסת 4% מזמן הצוות, חסכתם 1.2%, פחות מרעש הרקע. מספרים באחוזים מסתירים את הבסיס, וזה בדיוק מה שהופך אותם לפופולריים במצגות.
מדדו שעות אדם בחודש. זה מספר שאפשר להכפיל בעלות, אפשר להתווכח עליו, ואי אפשר להסתתר מאחוריו.
שיטה בת ארבעה שלבים
- 1לפני שמתחילים: מדדו את התהליך כמו שהוא. לא הערכה מהזיכרון, שבועיים של מעקב אמיתי, גם אם זה מרגיש מייגע. בלי בסיס אין מה להשוות אליו.
- 2הגדירו מה נחשב "אותה תוצאה". אם הפלט החדש טוב פחות, החיסכון בזמן הוא לא רווח אלא ויתור על איכות. זה מותר, אבל צריך לומר את זה.
- 3מדדו אחרי חודש שלם של שימוש, לא בשבוע הראשון. השבוע הראשון מודד התלהבות; החודש הראשון מודד הרגל.
- 4הפחיתו את העלות המלאה: רישיונות, שעות הבנייה, שעות ההדרכה, וזמן התחזוקה החודשי. רק אז יש מספר.
מדדים משניים ששווה לעקוב אחריהם
- שימוש חוזר בשבוע השני והרביעי, המנבא הטוב ביותר להצלחה ארוכת טווח.
- זמן עד לפלט ראשון שמישהו באמת השתמש בו.
- מספר התיקונים הידניים אחרי הפלט. יורד עם הזמן, וזה סימן שההנחיות משתפרות.
- כמה אנשים מחוץ לקבוצת הפיילוט ביקשו גישה בעצמם. ביקוש אורגני הוא האות החזק ביותר.
נוסחת ROI שאפשר להסביר להנהלה
מתחילים מתועלת חודשית נטו, לא מאחוז שיפור. מחשבים שעות שנחסכו כפול עלות שעה מלאה, מוסיפים ערך של תפוקה חדשה או טעויות שנמנעו רק אם אפשר לבסס אותו, ומפחיתים רישוי, פיתוח, הדרכה, ביקורת ותחזוקה. את ההשקעה הראשונית מפרידים מהעלות השוטפת.
ROI = (תועלת בתקופה פחות עלות בתקופה) חלקי העלות. אבל המספר אמין רק כמו ה-baseline וההנחות שמתחתיו.
דוגמה מספרית
צוות של עשרה עובדים מבצע 200 משימות בחודש. הזמן יורד מ-35 ל-22 דקות, כלומר נחסכות כ-43 שעות. בעלות מלאה של 140 ש״ח לשעה, התועלת התיאורטית היא כ-6,020 ש״ח. אם רישיונות, תחזוקה וביקורת עולים 2,500 ש״ח, התועלת נטו היא 3,520 ש״ח. עכשיו צריך לשאול אם השעות באמת הופנו לעבודה אחרת בעלת ערך.
| שכבה | מדד | למה הוא חשוב |
|---|---|---|
| שימוש | חזרה אחרי 7 ו-30 יום | מבדיל התלהבות מהרגל |
| מהירות | זמן חציוני לתוצר מאושר | כולל review ותיקונים |
| איכות | שיעור תיקונים מהותיים | מונע "חיסכון" על פלט חלש |
| כלכלה | עלות לתוצר שאושר | מחבר מודל, כלים וזמן אדם |
| סיכון | אירועים וכמעט־אירועים | מכניס מחיר לכשל אפשרי |
שלוש שכבות של תועלת
- יעילות: אותה תפוקה בפחות זמן או עלות.
- איכות: פחות טעויות, עקביות גבוהה יותר או זמן תגובה קצר יותר.
- צמיחה: תוצר, שירות או ניסוי שלא היה מתבצע קודם בגלל עלות או זמן.
אל תחברו את שלוש השכבות אוטומטית. שעה שנחסכה ושימשה לשיפור שירות יכולה להיספר כיעילות או כאיכות, לא פעמיים. תועלת צמיחה דורשת קשר סביר להכנסה או לקיבולת, ולא רק טענה שהצוות "יכול לעשות יותר".
Dashboard חודשי בן שישה מספרים
- 1מספר משימות שהושלמו ושיעור הצלחה.
- 2משתמשים חוזרים מתוך קבוצת היעד.
- 3שעות שנחסכו לפי מדידה מדגמית.
- 4תיקונים מהותיים ותקלות.
- 5עלות מלאה חודשית.
- 6תועלת נטו והחלטה: להרחיב, לתקן או לעצור.
שאלות נפוצות על ROI של AI
אחרי כמה זמן כדאי למדוד?+
Baseline לפני ההטמעה, בדיקת שימוש אחרי שבועיים ומדידה כלכלית אחרי חודש של שימוש יציב. במערכת מורכבת נדרש רבעון כדי לראות תחזוקה ואימוץ.
איך מתמחרים שעה שנחסכה?+
לפי עלות מעסיק מלאה או עלות ספק, ובהנחה שמרנית לגבי החלק שבאמת הופנה לעבודה בעלת ערך. לא כל דקה פנויה הופכת מיד לכסף.
מה עושים כשקשה לכמת איכות?+
מגדירים rubric ודוגמים תוצרים לפני ואחרי: טעויות, שלמות, זמן תגובה או שביעות רצון. לא חייבים להמיר הכול לשקלים, אבל כן להציג מדד עקבי.
