สรุป ''ออกแบบประสบการณ์ยุค Heavy DATA ERA by P'Tor''. UXDay.GoWithTheFlow2 (2023)

• Test & Iterate, Test Everything!

• Recommended testing framework

• Data Driven Design Template

• Post-Experiment Decision Flowchart

• Perform Testing Step-by-step

• Experiment types

• Personalization testing

• 
  

Without data driven design, there is a 70% chance that you implement a change on your website with no impact on your revenue.

70% ที่แก้ไขปรับปรุงเว็บไซต์ ไม่มีผลต่อรายได้องค์กร เผลอ ๆ ใช้งานยากกว่าเดิมแล้วรายได้ลดอีกด้วย คำถามคือ เรา ''เปลี่ยน'' เปลี่ยนเพื่ออะไร? (เปลี่ยน ทีนี้น่าจะหมายถึง redeign,revamp)

การปรับปรุงของเรานั้นวัดผลเชิง impact ได้ไหม ? หรือแค่สวยงาม แต่ไม่มีใครซื้อสินค้า usersไม่interact ตาม goal ที่ plan ไว้

• Test & Iterate, Test Everything!

คำตอบของคำถามข้างบน การจะรู้ว่าสิ่งที่เราทำ ไอเดียที่เราสร้างได้ผลไหม เราตจะต้องทำการทดสอบเสมอ (''ไอเดียอาจเริ่มต้นจากจินตนาการ แต่จะต้องแบคอัพ เติมพลังด้วย data'') โดยผลจากการทดสอบนั้นให้เรา Prioritize fact หรือผลลัพธ์ที่ออกมาไว้ก่อนเสมอ และต้องทำให้รวเร็ว ลงมือทำเพราะโลกดิจิทัลหมุนเร็วมาก

• Recommended testing framework (Reduce risk by adopting robust testing frameworks)

1. SET OBJECTIVE

กำลังจะแก้ไข pain อะไรให้ลูกค้า goal กำลังจะทำอะไร เช่น ต้องการจะเพิ่่มยอดขาย > เพิ่มจากใคร ? > เพิ่มยอดด้วยการลดจำนวนคน drop off shopping cart, หรือเพิ่มยอดขายด้วยการเพิ่มจำนวนคนคลิก product, คลิกเว็บมากขึ้น

2. OUTLINE APPROACH

Test design กลุ่มไหน ?

3. DEFINE KPI

ต้องการอะไรจากการทดสอบครั้งนี้ เอาให้ชัด โฟกัสให้ได้ เช่น ลด abandon card %, success rate of product in cart%

4. COLLECT & ANALYZE

เริ่มเก็บข้อมูลจาก funnel, campaign, มี result อย่างไร? ผลเป็นอย่างไร? สิ่งที่เกิดขึ้นนั้นผลเป็นไปตาม kpi ที่ตั้งไว้ไหม, ต้องตอบให้ได้

ตัวอย่าง testing framework

Stage	Set Objective	Outline approach	Define Kpis	Collect & Analyze
Task	กำหนด Goal สำรับการทดสอบ, ผลลัพธ์ที่คาดหวัง rk	ออกแบบรูปแบบการทดสอบ, logistics และระดับทรัพยากรที่ต้องลงทุนกับการทดสอบ	กำหนดตัวชี้วัด kpi หรือดัชนีที่สะท้อนความสำเร็จ	รวบรวมข้อมูลและวิเคราะห์ผล
Best Practice	- กำหนดสมมติฐาน, คำถามเพื่อการเรียนรู้ และผลลัธ์ที่คาดหวัง - วางเป้าหมายของโปรเจคร่วมกับผู้ที่มีส่วนเกี่ยวข้อง	-วางแผนร่วมกับเพื่อนร่วมงาน ทั้งการเลือกรูปแบบการทดสอบ, จำนวนกลุ่มตัวอย่าง, budget ที่ใช้ และ	-ตกลงกันว่าจะใช้ตัวชี้วัดแบบไหน อย่างไร เช่น %จำนวนผู้เข้าชม, %จำนวนผู้มีส่วนร่วมที่เพิ่มมากขึ้น	-วางแผน ดูแลการเก็บข้อมูล รวบรวมข้อมูลและวิเคราะห์ข้อมูล และวางตารางเวลาการทดสอบ

• Data Driven Design Template

1. Objective: เป้าหมายของเราคือเรากำลังจะขับเคลื่อนหรือเปลี่ยนแปลงอะไร เพราะเป้าหมายของการ design ส่วนใหญ่นั้นต้องการเปลี่ยนแปลงพฤติกรรมของผู้คน เช่น เพิ่ม conversion rate จาก 2% to 5% (เข้าเว็บ 100 คนเป็นลูกค้า จาก 2 เพิ่มเป็น 2 คน)

2. Hypothesis: สมมติฐานอะไรบ้างที่จะทำให้ conversion rate เพิ่ม เช่น ''เข้าโฮมเพจแล้วเจอข้อความ xxx (ที่ trigger ให้ซื้อของ)'', ''content นี้จะช่วยเพิ่ม click to rate, sales growth %''

"H0: Amount of add to cart -> Sales growth %"

3. Primary KPI, Secondary KPIs

4. Timing/budget/set up

5. Measurement and reporting

• Post-Experiment Decision Flowchart

ชาร์ตสำหรับตัดสินใจ หลังลองทำ pilot test

1.Experiment Ended

2.Debrief Report

3.Did your primary goal reach significance (Yes/Np)

Yes: Implement Reusts -> Have developer implement

No: why?

- Nominal Change -> Duplicate test, make larger change, run it again

- Low Traffic -> Use broader targeting, Test something else

บางครั้งตอนที่เราทำ pilot test นั้น จำนวน sample size/n ของเราน้อยเกินไป ไม่ถึงระดับ statistic significance เช่น ผลการเทสออกมาว่า conversion rate เพิ่มขึ้น 1.1% เป็น 1.2% ซึ่งแทบไม่มีนัยยะสำคัญเลย เราสามารถแก้ไขได้ด้วยการเพิ่ม traffic ในการเทส, เพิ่ม n หรือจะเปลี่ยนวิธีการทดสอบ

• Perform Testing Step-by-step

1. Define your Goal & Targets

- รู้ธุรกิจของตัวเอง รู้ธุรกิจลูกค้าว่าเป็นใคร lead-gen business, E-commerce sites , Service business รูปแบบธุรกิจต่างกัน goal จะต่างกัน

2. Identify data-driven hypothesis

- Carry out Quantitative research เก็บเชิงตัวเลข และ visual ภาพว่า pattern พฤติกรรมการคลิกบนเว็บไซต์เป็นอย่างไร

- Carry out qualitative research (whay & why from indepth interview) วิจัยเชิงคุณภาพจะมาตอบเราว่าทำไม users ถึงมีพฤติกรรมแบบนั้น เช่น ทำไมถึงกดตรงนี้บ่อย, ทำไมถึงยังไม่ทำ

- Define your hypothesis

ทำ quadrant ระหว่าง ความ complexity กับ impact จะได้มองเห็นว่า ถ้าทำไปแล้ว impact อะไร เพื่อไม่ให้ลงมือทำสิ่งที่ยาก ๆ แต่ไม่มีผลอะไรเลย

การดู pattern พฤติรรม สามารถ visualize หรือใช้ machine learning capabilities ได้ในกรณีที่วิเคราะห์แพทเทินระดับ 10,000 - 100,000 ราย เมื่อวิเคราะห์ pattern แล้วจะทำให้สามารถ targe segmentation เช่น เจาะกลุ่ม users ที่ไม่ convert เลย

• Experiment types

- A/B test เทียบประสิทธิภาพ 2 สิ่ง

- Multivariate test เทียบแบบ combination เช่น a*b*c เทียบกับ d*e*f

- Multi- page: เปลี่ยนเพจ เปลี่ยน funnel แล้วเทียบระหว่าง page

- Redirect: แบ่งจำนวน users 10-20% มาทดสอบ โดยวิ่งเข้าไปอีก link หนึ่ง จากที่เคยเข้าลลิงค์ปัจจุบัน

- Personalization: ปรับตามปัจเจกบุคคล

ตัวอย่างการทดสอบ

- การปรับสี ปรับการใช้คีย์เวิร์ด หรือปรับโลโก้ ช่วยเพิ่ม conversion rate %

- การวัดผลใช้โปรแกรมออนไลน์คำนวนได้ว่า rate ที่เพิ่มมานั้นแตกต่างอย่างมีนัยยะไหม (statistical significance calculator survey monkey)

• Personalization testing

"Demographic information is almost useless'' - Todd Yellin, Netflix

Type of data signal

1.Who they are?:

interests, life stage, consumer patterns

--> จัดกลุ่มออกมาเป็นกลุ่มต่าง ๆ ได้เช่น fashionist, pet lover, traveler, music fan ซึ่ง Apple ได้ใช้จุดนี้ในการยิง ads ที่แตกต่างกันหาลูกค้าแต่ละกลุ่ม

2. Where they are?:

Location, Date & time, Placement, Device

--> เช่น uber eats เพิ่ม 190% CTR จากการประสานข้อมูล location*date time* popular food

3.What they want?:

In-market, Search intent, Engaged, Website activity, Purchase

--> L'oreal ทำ customer journey จากข้อมูลดังกล่าว

อื่น ๆ เช่น Geo, Time of day, whether

- หรือ เว็บไซต์ท่องเที่ยวการแบ่ง segment ลูกค้าจากพฤติกรรมการ booking ออกเป็น budget,meduim,luxury travelers เมื่อลูกค้ามาก็จะเจอ deals ใน range งบประมาณของตนเองทันที

- Google กระตุ้นโปรโมชั่นด้วยการแจกคูปองในกลุ่มลูกค้าทีเข้ามาดู 3 ครั้งแล้วยังไม่ซื้อสักที

- Sony กานิเย่ create variant design ออกมาหลักหมื่น - แสนรูปแบบตาม personalize ลูกค้าแต่ละคน

ขอขอบคุณข้อมูลจาก Predictive และงาน UXDay.Go With The Flow 2 ครับ