על דאטה וחשבון נפש
"אם אלו המספרים, אין שום סיבה שנמשיך לפתח את הקורס הזה יותר"
דממה השתררה בפגישה אחרי שנאמר המשפט הזה.
הקדמה קצרה:
בשלוש השנים האחרונות, אנחנו עובדים קשה לאסוף ולהציג מידע על האימפקט/ההשפעה של תוצרי הלמידה הדיגיטליים השונים שאנו מפתחים.
פעמיים בשנה אנו מפרסמים דוח מסכם, שמספר על כל פרויקט:
מה היה הצורך, מה עשינו, ומה הייתה התוצאה.
הרציונל והשיטות הגיעו מהטובים ביותר בארץ שלימדו אותנו איך למדוד אימפקט של למידה ארגונית (תוכלו למצוא אותם בפוסט הזה).
מהר מאוד גילינו שהמציאות הרבה הרבה יותר מורכבת.
הדרכה היא רק גורם אחד בתוך סבך של גורמים אחרים שמשפיעים על תוצאות עסקיות.
קשה מאוד לבודד אותה ואת השפעתה, והיא תמיד קשורה במגוון גורמים אחרים:
ארגוניים, אנושיים, בירוקרטיים, גלובליים, מקומיים, ומה לא.
אבל החלטנו לא להתייאש.
החלטנו שנביא כל נתון שנוכל להשיג על השימוש במוצרים שלנו ונלמד ממנו מה שאפשר.
הנתונים הזמינים ביותר הם נתוני שימוש:
כמה לומדים צפו בקורס, כמה השלימו אותו, ובכמה אחוזים מתוך סה"כ קהל היעד.
נתוני סקרים לאחר סיום הקורס:
רמת שביעות הרצון, רמת ביטחון בהצלחה בתפקיד לאחר הלמידה, משובים מילוליים אחרים.
פה ראינו שבמספרים גדולים [מאות תשובות ומעלה] אפשר להבחין בטרנדים ומגמות מעניינות.
אח"כ - משובים איכותיים:
שיחות עם הלומדים, עם הלקוחות שהזמינו את התוצר, עם המנהלים של הלומדים
מכאן מתקבל מידע איכותני רב ערך.
והיהלום שבכתר, חד הקרן הנדיר ביותר:
נתונים כמותיים על ביצועים או זמנים שהשתנו כתוצאה מהתוצר שלנו.
גילינו שגם כאשר מדובר בבעיה מדידה [כמו כמות תקלות שנפתחות במערכת, כמות עסקאות חדשות של מוצר מסוים] קשה מאוד להשיג את המידע הזה, או שקשה להוכיח קורלציה ישירה בין הנתונים הללו לבין השימוש בתוצר ההדרכתי שלנו.
במקרים בודדים היו לנו נתונים קשיחים של זמני למידה לפני ואחרי שחרור התוצר שלנו, ויכולנו להראות שיפור בזמנים.אך בהרבה המקרים הגענו למבוי סתום למרות הרבה רצון טוב של כל המעורבים בדבר.
אבל, לא מתייאשים!
החלטנו לאסוף כל נתון שיש, ולא להשאיר אף קורס פצוע בשטח. 🙂
בכל דוח חצי שנתי אנחנו חוזרים לתוצרים המרכזיים ששחררנו בשנה הקודמת ובודקים נתוני שימוש.
הרבה פעמים נתוני השימוש מייד מרימים לנו דגלים אדומים לגבי תוצרים שלא הוטמעו טוב, שלא שווקו מספיק טוב, שנפלו בין הכיסאות בגלל חילופי כ"א, מלחמות ומרעין בישין אחרים וכד'.
וכך, כל חבר צוות מקבל משימה ללוות את הפרויקטים המרכזיים שלו גם שנה ושנתיים אחרי סיומם.
לחזור אליהם פעם בחצי שנה ולבדוק מה שלומם.
האם משתמשים בהם, האם נדרשת שיחת רענון עם הלקוח, האם נדרש חיבור לגורם אחר בארגון כדי להחזיר את התוצר ההדרכתי לשימוש וכדומה.
במקום לרוץ קדימה לפרויקט הבא אנחנו מדי פעם עוצרים ומביטים אחורה.
ועכשיו אחזור לציטוט הראשון.
לפעמים, הנתונים לא משתפרים אחרי כל הצעדים הנ"ל, ובלב כבד אנחנו מבינים שהשקעה בתוצר מסוים לקהל יעד מסוים לא מביאה את הערך הצפוי.
הדוחות האלו גרמו לנו לאבד/לאפסן כמה פרויקטים שהשקענו בהם עבודה ומאמץ רבים.
אבל גם להפנים שכנראה שהתוצר לא נותן את המענה הנכון ובפורמט הנכון לקהל היעד.
שורות תחתונות:
- לא לוותר על איסוף נתונים. כל נתון, כמותני ואיכותני.
- לא לוותר להביא את קול הלומד/המשתמש לשולחן ולהקשיב לו ברצינות רבה.
- לא להתייאש, ולא לוותר על העצירה והמבט אחורה מדיי פעם.
