מוצף ברעיונות לניסויים? שיטת תיעדוף A/B Testing

הקדמה

במוצר תוכנה ישנם מרכיבים רבים. סביר להניח, שכאשר עלית לאוויר המוצר היה ראשוני, ולכן הביצועים שלו היו בהתאם – לא אופטימליים.

על מנת לשפר את הביצועים – נדרש לשפר לא מעט דברים הקשורים למספר היבטים בפעילות:

• מיקוד קהל היעד – סגמנטציה וצרכים
• מיקוד המסר השיווקי
• שיפור המוצר בהתאם לצרכים

קיימות כמובן הרבה מאוד אפשרויות לשיפור המוצר – אינסוף ליתר דיוק…

אז כיצד יודעים איזה שיפור נדרש באיזה שלב – ואיך לבצע תיעדוף A/B Testing בצורה נכונה?

באמצעות קובץ ניסויים ותובנות.

מטרת הקובץ היא לרכז במקום אחד את כל הידע הקשור לניסויים שבוצעו, על מנת שיהיה קל ללמוד ממנו את צרכי המשתמשים. הקובץ כולל שני גיליונות מרכזיים:

• טבלת ניסויים
• טבלת תובנות

טבלת ניסויים

מטרת הטבלה היא לנהל לרכז ולקבוע תיעדוף A/B Testing . טבלת הניסויים תכלול רשימה של כלל ניסויי ה-A/B Testing העומדים על הפרק. המידע שיישמר עבור כל ניסוי יכלול בין השאר:

• הפיצ'ר בו מתבצע הניסוי
• אופן הבדיקה – A/B Testing, גרסה חדשה (והשוואת מטריקה מול Baseline קודם), Multivariate וכיו"ב.
• פירוט של הגרסאות.
• הקצאת התנועה בין הגרסאות.
• הערכת שיפור של גרסה ב' על פני א'.
• מורכבות פיתוח גרסה ב'.
• תיעדוף של הניסוי על פני ניסויים אחרים.

הרשימה תהווה שפה משותפת בתוך צוות ה-Growth / אופטימיזציה, ובה כל אחד יוכל להעלות רעיונות לניסויים אשר יוכלו לשפר את הביצועים.

תהליך העבודה עם הטבלה:

1. במהלך תקופה מסוימת (נניח שבוע אחד) הרשימה תהיה פתוחה לכל חבר בצוות להציע שיפורים במוצר. על כל הצעת שיפור להציג השערה שהשיפור אמור לבחון, וכן את פירוט הדרישות לכל גרסה שתיבחן.

   רשימת ההצעות תהווה בסיס לישיבת צוות Growth / אופטימיזציה תקופתית (1-22 שבועות או לפי סבבי הפיתוח).

2. במהלך הישיבה, יועלו כלל ההצעות לדיון, תבוצע הערכת משאבים נדרשים לכל הצעה – וייקבע סופית התיעדוף. התוצאות תתועדנה ברשימת הניסויים, והיא תהווה תוכנית עבודה לסבב הבא.

   הניסויים שהוקצה להם תיעדוף נמוך יועברו לסוף הרשימה.

3. בסיום הסבב הבא יועלו תוצאות הניסויים לבחינה והתהליך יחזור על עצמו.

טבלת תובנות

טבלת התובנות תכלול רק את הניסויים אשר יצאו לפועל והסתיימו.

המטרה שלה היא לתעד במקום מסודר את כל הידע הנרכש מתהליך ה-A/B Testing.

עבור כל ניסוי יש לתעד בין השאר:

• מה היו התוצאות (ברמה המספרית)
• רמת המובהקות של התוצאות.
• מסקנות.
• תובנות שעלו מהניסוי
• השערות לבחינה בניסויים בעתיד

סיכום

מיזמים שמתחילים לפעול בעולם ה-A/B Testing עובדים לרוב באופן דינמי מאוד. מהר מאוד הם מגלים, שקיים חוסר סדר בניסויים שנערכו, ושהתובנות שהם קיבלו מעל ניסוי נעלמות לא פעם.

עבודה מסודרת עם A/B Testing היא דבר קריטי, על מנת לאפשר ליזמים ללמוד באופן אפקטיבי מה עובד ומה לא עובד במוצר/שוק שלהם.

רשימת סיכום התובנות מ-20-30 ניסויים היא נכס אדיר עבור כל חברה. לאחר היקף כזה של ניסויים, ותיעוד הידע האדיר הזה – סביר להניח שהשיפור בביצועים ובצמיחה במיזם יהיה משמעותי.

ולשם כולנו רוצים להגיע.

פורמט של שתי הטבלאות מופיע בקובץ ה-Google Sheets בלינק.

עדיין תוהה איך יוצרים תהליך מסודר של ניסויים שיהפוך את החברה שלך ל-Data-Driven?

אז עד שימציאו מכונה שמצליחה לעשות את זה יחד עם הקפה של הבוקר…

בינתיים אוכל לתת לך עוד כמה טיפים מעניינים איך להתקדם כמה שלבים בדרך.

תוכל להגיב או לשאול אותי לגבי זה ממש כאן למטה.