דעה

למה אני לא מאמינה ב-A/B tests (ומה לעשות במקום)

30 באוקטובר ,2019
מאת Netta Kivilis

כל צוות שיווק בימינו רוצה להשתמש בנתונים ומספרים על מנת לקבל החלטות. קל לחשוב ששימוש ב-A/B tests הוא צעד בכיוון הנכון. בפוסט הזה אסביר למה A/B tests (ניסויים, מעתה ואילך) לא מתאימים לסטארטאפים B2B בתחילת דרכם שמוכרים לאנטרפרייז – למעשה, הם אפילו עלולים לגרום נזק. במקום, אציע אלטרנטיבות עדיפות.

לפני שנתחיל, אני רוצה להדגיש שהטיעון שלי תקף בעיקר לסטראטפים בשלבים מוקדמים, B2B, שמוכרים ללקוחות אנטרפרייז. אם הסטארטאפ שלך הוא B2C, או B2B שמוכר ללקוחות קטנים (SMB), ניסויים עשויים להיות כלי שימושים עבורך. בעבר עבדתי בחברת מסחר אלקטרוני גדולה ששמה מתחרז עם "גלאמזון", ושם ערכנו ניסויים ללא הפסקה, והם היו אפקטיביים מאוד. אז אני לא נגד ניסויים באופן גורף.

למה A/B tests לא עובדים לסטראטפים B2B שמוכרים לאנטרפרייז

אין לך מספיק נתונים. כדי שתוצאות הניסוי שלך יהיו מובהקות מבחינה סטטיסטית, את צריכה להריץ אותו על מספיק נתונים (לדוגמא – נמענים במאגר הנתונים השיווקי אם את רוצה להריץ ניסוי אימייל, טראפיק לאתר). לסטארטאפים צעירים יש אלפי לידים ואלפי מבקרים חודשיים באתר (או פחות). זה בדרך כלל לא מספיק כדי להגיע למובהקות סטטיסטית. הסיבה היא שכשההבדלים בתוצאות הניסוי קטנים, צריך מאות אלפי נקודות מידע. אם יש לך רק כמה מאות אנשים שפותחים את האימיילים שלך או מבצעים פעולה מסויימת באתר, ההבדלים בניסויים חסרי משמעות.
זה אומר שבאימייל, הדבר היחיד ששווה לעשות עליו ניסויים זה שורת הנושא – מספר האנשים שפותחים את האימייל אולי יהיה גבוה מספיק. יש סיכוי נמוך שתצליחי להגיע לתוצאות משמעותיות אם תעשי ניסויים על הטקסט באימייל ותבדקי את אחוזי ההקלקה (CTR). למה? כי עם CTR ממוצע של 1-5%, כל שינוי זעיר במספר האבסולוטי של האנשים שהקליקו (אפילו 2-3 אנשים) ישנה מאוד את ה-CTR של הניסוי, אבל לא בצורה משמעותית מבחינה סטטיסטית. בצורה דומה, אם את רוצה לעשות ניסויים על האתר, תצטרכי לחכות יותר מדי זמן (חודשים או אפילו יותר) כדי שיהיה לך מספיק טראפיק להגיע למובהקות סטטיסטית בניסוי.

– את לא בונה את הניסויים בצורה נכונה. אל תעלבי, אבל קרוב לוודאי שזה המצב. אני יודעת כי הייתי שם ועשיתי את אותן טעויות, אפילו כשעבדתי בחברות סופר אנליטיות. טעויות נפוצות שראיתי (ועשיתי):
 * לנסות לבדוק יותר ממשתנה אחד בו זמנית. ניסוי A/B יכול לבחון רק משתנה אחד, אחרת לא תדעי איזה משתנה השפיע על התוצאות. אז אם את בודקת שורת נושא באימייל, הטקסט של האימייל צריך להיות זהה. ואם את מנסה את Hubspot לעומת Outreach, את חייבת לשלוח אימיילים זהים לשתי קהלים שנבחרו בצורה מקרית. מה שמביא אותי ל…
 * לא לבחור קבוצות ניסוי מקריות (רנדומליות). אם הקבוצות שלך שונות, את לא תדעי אם הן הגיבו בצורה שונה בגלל המשתנה שאת בודקת או בגלל שהן מתנהגות אחרת באופן כללי. את חייבת ליצור שתי קבוצות מקריות לגמרי כדי שהניסוי יהיה נכון.
 * לא לתעד את התוצאות. אפילו אם בנית את הניסוי נכון וקיבלת תוצאות מובהקות לחלוטין, המון פעמים התוצאות נשכחות בפלטפורמה שבה הרצת את הניסוי ואף אחד לא רואה אותן או משתמש בהן. במקום, כדאי להעביר את התוצאות למסמך סיכום ניסויים יעודי.

שלא תביני אותי לא נכון: את לא עושה את הטעויות האלה כי את טיפשה או מכוונה רעה. זה פשוט בגלל שקשה מאוד לייצר סטטיסטיקה טובה. זה לוקח הרבה זמן ומאמצים, וסטרטאפים בדרך כלל מעדיפים להשקיע את המשאבים המוגבלים שלהם בפעילויות אחרות – ובצדק!

– אפילו אם עשית את הכל נכון, האם התוצאות שימושיות?
נניח והרצת ניסוי על שתי שורות הנושא הבאות:

Check out our latest product release 💥

לעומת

Check out our latest product release

בניסוי, לנושא הראשון עם האימוג'י היו אחוזי פתיחה גבוהים ב-10% מהשני. האם זה אומר שכל האימוג'ים עובדים יותר טוב? שמעתה ואילך את צריכה לכלול אימוג'י בכל שורת נושא של כל אימייל? שבעוד שישה חודשים, תקבלי את אותן תוצאות?
נניח שבעוד ניסוי קיבלת אחוזי פתיחה גבוהים יותר לשורת נושא שכללה את השם הפרטי של הנמען (ניסוי פופולרי). האם זה אומר שמעכשיו כדאי לך לכלול את השם הפרטי בכל אימייל שאת שולחת? יש סיכוי טוב שזה יעצבן את הנמענים שלך די מהר.

מה כדאי לעשות במקום ניסויי A/B?
ההמלצה שלי היא להשקיע את הזמן שהיית משקיעה בניסויים האלה בלשפר את הקמפיין עצמו. שאלי את עצמך: האם התוכן בקמפיין איכותי? האם הנושא מקורי? האם הטיעון שלי חזק?

עוד רעיון – דברי עם לקוחות. במקום להריץ ניסוי על 5,000 נמענים, דברי עם אחד או שניים מהלקוחות שלך. "הי אל-עד, הנה שני רעיונות שאנחנו חושבים עליהם לקמפיין הבא שלנו, איזה מהם יותר מעניין אותך?"
אנשים אוהבים שמקשיבים להם ואוהבים להרגיש שהרעיונות שלהם חשובים ומשפיעים. שיחה כזו עם לקוח כנראה תהיה יותר אפקטיבית מכל הסטטיסטיקה המפוקפקת שתקבלי מהניסוי שתריצי. (תודה לאל-עד דוד אמיר, data scientist והמייסד של Astrolabe, על הרעיון. לשמוע את זה ממישהו שעובד עם סטטיסטיקה למחייתו אומר הרבה!)

תשקיעי בתשתית של הקמפיין, בדברים שיכולים לשפר את התוצאות פי 10, במקום בקוסמטיקה של ללטש שורת נושא לאימייל כדי לשפר את אחוזי הפתיחה ב-2%. הקהל שלך יעריך תוכן מקורי וכתוב היטב יותר מאשר כפתור שאומר "learn more" במקום "read more".

לצורך המחשה – אם את צמחונית, שום שורת נושא מפונפנת לא תגרום לך לפתוח את האימייל הבא:

Cooking your steak to perfection
Cooking your 🥩 to perfection
Charles, cook your steak to perfection

אבל הכתבה הזו אולי כן תעניין אותך:

10 recipes both vegetarians and carnivores will love

השורה התחתונה

בתחילת הדרך, כשיש לך כמות מוגבלת של נתונים ומשאבים, תשקיעי פחות זמן בקנקן, ויותר במה שיש בו. (אחר כך אפשר להגדיל את ההשקעה בקנקן)
אל תפחדי להצהיר שאת לא עושה A/B טסטינג. כמו הרבה דברים אחרים בשיווק, הרבה אנשים כנראה מסכימים איתך אבל מפחדים להגיד את זה בקול רם.

עוד

פרק מצוין מהפודקאסט המצוין של monday.com על A/B טסטינג (עברית)

איזו שיטת attribution כמעט תמיד עדיפה

איך לקבוע כמה לשלם עבור ליד

About Blue Seedling

Blue Seedling works with Israeli B2B startups as a plug & play marketing team or as a complement to existing marketing capabilities. We’re “full-stack marketers” across all marketing activities: messaging and positioning, website design, sales enablement, marketing planning and budgeting, running marketing programs (webinars, content, PR, events & conferences, prospecting), generating sales opportunities, and recruiting marketing talent.

Our remote team and network include marketing managers, marketing strategy experts, copywriters, graphic design partners, a website development agency, PR agency partners, a Facebook / Google advertising expert, and a 15-person remote team.

אודות המחבר

נטע אוהבת ירקות (במיוחד מלפפון), קמפינג, ו-B2B marketing.
  • קבלו פוסטים חדשים

כתיבת תגובה

האימייל לא יוצג באתר. שדות החובה מסומנים *

© Blue Seedling.