הקדמה
אחד מההיבטים היותר חשובים לצמיחה של מיזם הוא למידה. למידה כזו מתבצעת בעיקר ע"י ניסוי וטעיה – באמצעות A/B Testing.
אם כבר התנסית ב-A/B Testing, אתה ודאי מכיר את הטריקיות שלהם, ושחלק לא קטן מהם פשוט נכשל. לפי מקורות מסוימים, הסטטיסטיקה עבור של ניסוי A/B Testing מוצלח עומדת על כ-1:8 (ניסוי אחד מראה שיפור מובהק למול 7 אחרים שלא).
אז כיצד תדע אם אתה מבצע ניסוי A/B Testing מוצלח, או שהוא נכון לכישלון מראש?
במאמר נפרט מספר מרכיבים קריטיים לביצוע ניסוי A/B Testing מוצלח. כל אחד מהמרכיבים יוכלו לסייע לך ללמוד באופן אפקטיבי מה הצרכים של המשתמשים שלך ואיך המוצר שלך עונה על צרכים אלה.
רוח גבית
ההיבט אולי הכי חשוב במסגרת ניסוי A/B Testing מוצלח ואפקטיבי אינו קשור לניסוי עצמו, אלא לתהליך הניסויים בכללותו.
ברוב המקרים, הניסוי הראשון, ואולי גם השני והשלישי – כלל לא יניבו תוצאות נראות לעין (או לכיס…) . כאמור, הסטטיסטיקות מדברות על יחס של 1/8.
בשלב זה יזמים רבים מסיקים, שהטכניקה של A/B Testing אינה אפקטיבית עבורם – ומוותרים עליה. ומדובר בפספוס עצום!
כי התפתחות וצמיחה במוצר אינו זבנג וגמרנו של רגע – זה תהליך מתמשך הנגזר מהיכולת שלך ללמוד ולהשתפר.
והיכולת הזו ללמוד – משתפרת עם הזמן.
אתה ודאי זוכר, שכאשר עלית לאוויר עם המוצר שלך – הוא לא התחיל מיד לצבור תנועה משמעותית, אלא לקח לו זמן.
בדיוק באותה הצורה, ניסוי A/B Testing מוצלח דורש למידה ושכלול של התהליך – כולל התאמה למיזם שלך.
לכן, נדרשת מעורבות ודחיפה משמעותית של היזמים בתהליך על מנת להתמיד בו ולשכלל אותו – עד שיראה תוצאות בשטח.
השערות מדויקות לניסוי
כל ניסוי A/B Testing בא למדוד כיצד שינוי במרכיב מסוים במוצר, בקהל היעד או במסר משפיעים על התוצאה.
לכן, היעד הנקודתי של הניסויים היא אמנם להשיג שיפור בתוצאה (לדוגמה – שיפור יחס המרה).
אך חשוב להבין, כי המטרה העיקרית של הניסויים היא למידה, ולא רק שיפור בתוצאה.
מנגנון הלמידה הזה בנוי מנדבכים, שבהם כל ניסוי A/B Testing עוזר לך להבין עוד פרט לגבי צרכי המשתמשים במוצר. בכל ניסוי, אתה מקבל עוד פריט מידע, ומשתמש בו בניסוי הבא.
גם אם התוצאה השתפרה נקודתית במסגרת ניסוי מסוים, מה שבאמת חשוב הוא שתבין בדיוק מדוע קרה השיפור. אם השינוי שהכנסת היה לא ברור עד הסוף, חלקי, או מעורבב עם שינויים נוספים – יהיה לך קשה מאוד להבין את התוצאה ואת הקשר שלה למה ששינית.
ולכן, במסגרת ניסוי A/B Testing מוצלח חשוב לצאת לא מתוך הגרסה של השינוי (עיצוב/מסכים וכיו"ב), אלא מתוך ההשערה כיצד השינוי הזה ישפיע על המשתמשים.
לדוגמה: נניח שיש לנו מוצר מסוים בפיתוח, ואנו מוכרים אותו כבר עכשיו ללקוחות (לדוגמה: מוצר B2B , מוצר פיזי וכיו"ב). יחס ההמרה שלנו נמוך, ולכן אנחנו מבצעים ניסויי A/B Testing לשיפור.
צעד לא נכון יהיה פשוט להוסיף עוד תמונה או עוד טקסט של המוצר לדף המכירה ולראות מה קורה.
הצעד הנכון יותר יהיה לחשוב על השערות. לדוגמה:
בגלל שהמוצר עדיין בפיתוח, הלקוחות עדיין חוששים שהם לא יקבלו את המוצר וקשה להם לסמוך עלינו (בעיה של Trust). אם נראהה להם שהפיתוח מתקדם – זה יגדיל את האמון שלהם בנו.
את ההשערה הזו, נוכל עכשיו לתרגם לטקסט/תמונה/וידאו ייעודיים, ואז לבחון את ההשפעה.
ייתכן שיהיה לך יותר קל לחשוב על הנושא מהתוצאה. נניח שאתה לאחר 100 ניסויים, וריכזת לעצמך את הטבלה הבאה:
מתוך רשימה כזו תוכל ללמוד המון – וזה מה שיביא לשיפור התוצאה.
תוכן נוסף בנושא תכנון הניסויים ותיעוד התובנות אפשר למצוא כאן.
עבודת צוות
בהמשך לנושא ההשערות, נכנס היבט האחריות לניסויים.
אחת הטעויות הגדולות ביותר היא לתת לאדם אחד אחריות על החשיבה.
במציאות, לכל עובד יש רעיונות משלו – והאמת היא שאף אחד לא באמת יודע מה יעבוד ומה לא. הדרך היחידה לגלות זאת היא פשוט לנסות.
זו התרבות שצריך לעודד במיזמים – וככה יעלו הרבה מאוד השערות ממספר רב של נקודות מבט.
המסגרת המתאימה לכך היא צוות Growth או אופטימיזציה.
באופן אידאלי, הצוות מנוהל ע"י פונקציית ה-Product במיזם, וכולל אנשים ממספר תחומים:
- מפתחים
- UX
- Marketing
- אנליסט
הצוות מתכנס אחת לתקופה ודן בתוצאות הניסויים הקודמים, תעדוף של ניסויים חדשים והשערות חדשות.
מתודולוגיה
מעבר לניהול ההשערות, המתודולוגיה של ביצוע הניסוי היא אחד הדברים היותר קריטיים בניסוי.
למתודולוגיה מספר היבטים עיקריים:
- נתונים נדרשים
- קבוצות ביקורת
בהיבט הנתונים – קריטי להעריך תחילה עבור כל ניסוי מהו פוטנציאל השיפור הטמון בו. משם, יש לגזור את הדרישות הטכניות של הניסוי – כמה נתונים יידרשו על מנת לקבל תוצאות מובהקות, וכמה זמן זה ייקח.
קבוצות הביקורת הם אחד ההיבטים המתודולוגיים החשובים ביותר – מאחר ובהן טמון הפוטנציאל הגדול של הלמידה מהניסוי.
קבוצות ביקורת נכונות מאפשרות השוואה בין הגרסאות השונות בניסוי באופן המציף מיידית את הסיבות לשיפור/אי שיפור בתוצאות.
קבוצות ביקורת חשובות במיוחד במקרים שבהם קיימים מספר אפקטים על התהליך. לדוגמה: אם יש לנו מספר סגמנטים של משתמשים במוצר – אסור להתייחס לכלל המשתמשים באותה המדידה, אלא לפצל אותם. אם לא נעשה את זה – נקבל תוצאות מוטות.
מיקוד בקהל היעד ולא במוצר
רבות דובר בעולם השיווק על הצגת תועלות במקום יכולות של המוצר.
בעת ביצוע A/B Testing הדבר נכון פי כמה, מאחר ולעיתים קרובים זהו לב השיפור שבוחנים בניסוי.
מסר שמדבר בשפה של יכולות/ תכונות של המוצר, ומעודכן למסר אחר בשפה של יכולות/ תכונות – יביא לרוב לשיפור נמוך, אם בכלל.
לעומת זאת, ניסוי הבוחן שינוי של המסר משפה של תכונות לשפה של תועלות עשוי להביא לשיפור בסדרי גודל.
הקצאת משאבי פיתוח
אחד ההיבטים הכי קריטיים להצלחת תהליך A/B Testing הוא הזמינות של משאבי הפיתוח במיזם. זה היבט שיכול להרים או להפיל את כל התפיסה של הניסויים.
ברוב המיזמים קיים מחסור אדיר במשאבי פיתוח, ולכן הרוב המוחלט שלהם מוקצה לעבודה על פיצ'רים חדשים ותחזוקת פיצ'רים קיימים.
במציאות הזו, A/B Testing נדחף לסוף התור – מה שגורם בפועל לחוסר יכולת לנהל ניסויים.
בעולם ה-Web ניתן להשתמש בכלים מובנים לניסויים (VWO, Optimizely, Google Optimize וכיו"ב), מה שעשוי להקל במעט את העניין.
בעולם ה-Mobile נדרשת לרוב מעורבות עמוקה יותר ברמת הקוד. זה כולל גם קידוד של וריאציות חדשות, וגם ניהול לניסויים – כמו הקצאת התנועה וכיו"ב.
חשוב להבין, שברוב המקרים בלי הקצאה נאותה של משאבי פיתוח לטובת A/B Testing – לא תהיה אפשרות כלל לערוך את הניסויים. לכן, חובה לשריין אחוז מסויים של משאבי הפיתוח לטובת תחום ה-A/B Testing ברמה הניהולית.
יכולת ניתוח של התוצאות
אז אחרי כל ההשקעה בתכנון הניסוי, בפיתוח של הגרסאות, בהטמעה שלהן במוצר וההרצה שלהן ב-Live – יש לך סופסוף תוצאות.
כעת, נדרש לנתח אותן בצורה נכונה – כזו שתאפשר לך להפיק תובנות מדויקות ולחשוב על השערות להמשך.
חשוב להבין, כי הנתונים הגולמיים לא תמיד יספרו לך את כל התמונה – יש אינסוף סוגי משתמשים, הטיות, מקרים פרטיים.
לדוגמה: משתמשים מארצות שונות, Mobile מול Desktop, ממקורות תנועה שונים.
רק היכרות עם ההטיות הללו יאפשר לך קבלת תובנות נכונות לגבי התנהגות המשתמשים במוצר שלך.
חשוב לזכור, כי ניתוח נתונים הוא שריר שצריך לפתח – זה לא רק שימוש בכלי אנליטי.
לכן, חשוב שתיצור לעצמך יכולת למידה בתחום – בלוגים, מאמרים וקורסים בתחום יוכלו לעזור בכך.
סיכום
תהליך מסודר של ניסויי A/B Testing הוא אחד המרכיבים החשובים ביותר להצלחת מיזמים.
המידע המתקבל מהם הוא יקר ערך, והוא מביא ישירות ללמידה שלך כיזם מיהו קהל היעד המדויק עבורך המוצר שלך ומה הערך שהוא מחפש במוצר.
המאמר מיקד אותך על 7 נקודות קריטיות שעליך להכיר על מנת ליצור ניסוי A/B Testing מוצלח.
עכשיו כל שנותר לך הוא להתמיד בתהליך וליצור עבורך ידע ושיפור – שהם כשלעצמם מטרה ענקית בפעילות שלך כיזם.
אתה עדיין קצת לא סגור על הכיוונים? יש לך שאלות?
תוכל להגיב, או לשאול כל דבר בנושא ממש כאן למטה.