數據分析的起手式 ─ 覺察變化量
哈囉，朋友
最近我在幾個工作中的情境不約而同與人討論到怎麼觀測數據，趁著記憶猶新，我想記錄下來與你分享以下幾個小故事：
- 觀測單一數據的時間變化量
- 比較數據來源的變化量
- 依據關鍵指標覆盤成果的變化量
▋觀測單一數據的時間變化量 ▋
有一個新案子，目標是協助客戶進行資訊架構的改版，我帶著實習生先從「了解現況」開始著手。
實習生規劃了幾個希望客戶提供的網站數據，例如不同功能的點擊數字或是目前的網站使用人數等等，可以說是很貪心的想到什麼都希望來一點。
我忍不住詢問實習生：「你獲得這些數字之後，希望可以看到什麼結果呢？」
實習生困惑的問：「不是要了解現在的狀況嗎？」
我：「對，可是你少了一個觀察的維度，所以如果客戶的窗口真的按照你的要求，例如給你目前網站的使用者數量，那你很難看出到底 10 萬用戶是代表什麼意義。」
實習生：「Soking 說的觀察維度是指什麼呢？」
我：「所有的數據如果沒有給你時間的變化量，那這個數據都是在耍你的，你看看這個範例喔……」
我拿出兩個不同類型網站的用戶上站時間的數據圖。
我：「這兩張圖的數據非常單純，就是統計一個月內用戶在週一到週日不同時段的上站時間，因為顆粒度很細，可以到每個小時，所以光是看顏色的深淺，你彷彿就能看到不同的網站類型，使用者行為的差異。」
我：「例如動漫影音網站，白天的十點到下午五點都是流量的低谷，可是你看流量高峰出現在幾點呢？」
實習生：「大家半夜都不睡覺耶！」
我：「那你再看看新聞媒體那個網站的熱門上線時段？你會怎麼解讀使用者行為？」
實習生：「使用者上線時間居然跟上班時間重疊，而且週五的下午是流量高峰，果然週末大家都無心工作嗎？」
我：「所以你有沒有感受到，即使是很單一的上站時間這個數據，只要時間這個觀察維度提供的足夠細緻，也可以觀察出使用者行為？」
實習生：「有，我感受到了，所以如果客戶窗口只提供給我功能的點擊次數或是用戶人數，但沒有時間的話，我就只能停留在數據觀察的表層。」
▋比較數據來源的變化量 ▋
有一個顧問服務的客戶要進行新站上線之後的易用性測試，按照慣例我們也是先從了解現況開始，客戶很大方的開了 GA 的權限讓我們進去自己看。
觀察完一輪數據之後，我問客戶一些問題：「我想確認一下，你們家的行銷目前主要是用什麼方式幫網站獲取流量來源呢？」
客戶窗口：「有在經營 FB 跟 LINE，所以顧問你有看到什麼嗎？同事他們一直說看不到轉換數據很困擾。」
我花了一點時間幫客戶網站的 GA4 設定轉換事件的追蹤後，再次跟對方開會：「你想要聽好消息還是壞消息呢？」
客戶窗口：「最近新站上線訂單一直沒有起色，同事都在抱怨是使用者體驗不好，哪來的好消息啊？先聽聽看好消息？」
我：「好消息是，你們網站近 30 天的流量成長了 50%，主要的貢獻來源是行銷同事所經營的 FB 跟 LINE。」
客戶窗口：「真的假的？那我們訂單怎麼沒有起色啊？」
我：「壞消息是，你的行銷同事主要在經營的 FB 跟 LINE，這些流量來源的使用者入站之後都只停留不到 30 秒，並且從轉換事件中完全看不到，即使是去看 90 天內的初次造訪歸因，一樣沒有發生轉換。」
客戶窗口：「所以你的意思是......？」
我：「你們家網站流量成長的部分，通通都是虛榮指標，但是你們的 google 搜尋流量還有關鍵字廣告非常的穩定，有轉換的訂單都是從搜尋來的，這些都是本來就認識你們的老客戶，因為你們家的搜尋關鍵字非常單純，幾乎都是品牌關鍵字。」
客戶窗口：「那顧問你有什麼建議？」
我：「我的建議是先確認一下你們新舊站的會員資料庫，記得你有說過新站上線之後必須要重新註冊驗證會員，你們有算過舊站會員轉換到新站目前的比例嗎？」
客戶窗口：「這倒是沒有人算過！」
▋依據關鍵指標覆盤成果的變化量 ▋
有個企業客戶聯絡我，希望我去幫他們家的 PM 們上課，線上會議討論課綱的時候，我丟了幾個常見的想法給對方的窗口，沒想到不論是用戶訪談、易用性測試之類的他們都不感興趣。
結果反而是我在介紹平常顧問服務的用戶研究案流程時，提到我們會設計問卷進行資料蒐集，對方窗口眼睛一亮：「就是這個！老師你可以來教問卷設計嗎？」
我：「欸欸欸？問卷設計嗎？？？」
於是我就整理了游擊訪談問卷、NPS 滿意度調查問卷以及狩野分析需求問卷等幾個常見模版，再加上問卷設計基本功的一些討論點，作為這次課程的主要架構。
沒想到課程當天客戶那邊的 CEO 也來完整聽了全部的內容，還對於我將滿意度調查作為北極星指標，用來調整課程產品的故事覺得很有趣。
我遇過許多朋友不太理解為什麼要做產品使用後的滿意度調查，很容易覺得那就是你去餐廳吃飯完要填寫的問卷，像是餐廳為了得到你的個資或是送你小禮物的花招。
然而對我來說，用戶的滿意度調查一直是我衡量現場感受以外的重要參考數據。
許多上過我工作坊的朋友都聽說過，我是一個很愛持續改版課程的人，尤其是在研發一堂新課的過程中，最誇張的是會在兩三次的測試場中，幾乎將簡報 100% 全部刷新一次。
即使是已經成熟的課程，隨著動輒調整 15% 的內容量也是常有的事情。
曾經有學員上過我兩年前的用戶訪談工作坊，兩年後回來複習，驚覺課程內容完全大翻修了，連講義也變成厚厚一疊。
持續改版不是問題，問題在於我拿什麼來衡量改版，到底我成功了嗎？還是不如預期？
如果只看銷售數字根本無法當下就看出改版是否成功，畢竟同一堂課的前後版本，很少會有人在短時間之內體驗過。
因此我的作法是找出幾個主要的產品規格參數，例如課程版本、價格、人數等等，再去跟滿意度問卷調查的數字做比較。
除了我在課堂上的主觀教學感受以外，滿意度問卷調查是同學給我的回饋，告訴我他們的感受是如何？
例如同樣的課程內容，16 人來上課跟 24 人來上課，滿意度真的會起變化。
同樣的課程內容，把價錢往上調整 30％，滿意度就是會掉給你看。
如果我沒有滿意度調查的數據，我就只剩下直覺以及銷售數字。
但直覺可能會有認知偏誤，銷售數字是落後指標，只有加上使用者回饋的感受，我們評估產品的角度才足夠立體，讓我們有客觀指標作為驗證的手段，不用等到產品真的與市場需求脫軌賣不動了，才意識到需要調整產品路線。
總結一下：
- 觀測數據時若缺少時間變化量，只能停留在表面看數字大小，很難總結出洞察。
- 分類不同的數據來源，對比明確的轉換目標，可以辨認虛榮指標，追查有意義的數字。
- 現場的直覺可能有認知偏誤，銷售數字是落後指標，我們需要使用者反饋意見，觀察才足夠立體。
以上三個最近發生在我工作中的關於數據的小故事，分享給你。
希望能對你有所幫助。
by Soking