本文作者為桑文鋒，Sensors?Data 創(chuàng )始人&CEO，前百度大數據部技術(shù)經(jīng)理。2005 畢業(yè)于浙江大學(xué)計算機系，2007年 加入百度并負責組建并帶領(lǐng)團隊，從零實(shí)現了百度用戶(hù)日志的大數據平臺。

一、大數據思維

在 2011年、2012年 大數據概念火了之后，可以說(shuō)這幾年許多傳統企業(yè)也好，互聯(lián)網(wǎng)企業(yè)也好，都把自己的業(yè)務(wù)給大數據靠一靠，并且提的比較多的大數據思維。

那么大數據思維是怎么回事？我們來(lái)看兩個(gè)例子：

【案例 1：輸入法】

首先,我們來(lái)看一下輸入法的例子.我 2001年 上大學(xué)，那時(shí)用的輸入法比較多的是智能 ABC，還有微軟拼音，還有五筆.那時(shí)候的輸入法比現在來(lái)說(shuō)要慢的很多，許多時(shí)候輸一個(gè)詞都要選好幾次，去選詞還是調整才能把這個(gè)字打出來(lái)，效率是非常低的。

到了 2002年，2003年 出了一種新的輸出法——紫光拼音，感覺(jué)真的很快，鍵盤(pán)沒(méi)有按下去字就已經(jīng)跳出來(lái)了。但是，后來(lái)很快發(fā)現紫光拼音輸入法也有它的問(wèn)題，比如當時(shí)互聯(lián)網(wǎng)發(fā)展已經(jīng)比較快了，會(huì )經(jīng)常出現一些新的詞匯，這些詞匯在它的詞庫里沒(méi)有的話(huà)，就很難敲出來(lái)這個(gè)詞。

在 2006年 左右，搜狗輸入法出現了。搜狗輸入法基于搜狗本身是一個(gè)搜索，它積累了一些用戶(hù)輸入的檢索詞這些數據，用戶(hù)用輸入法時(shí)候產(chǎn)生的這些詞的信息，將它們進(jìn)行統計分析，把一些新的詞匯逐步添加到詞庫里去，通過(guò)云的方式進(jìn)行管理。

 

比如，去年流行一個(gè)詞叫 “然并卵”，這樣的一個(gè)詞如果用傳統的方式，因為它是一個(gè)重新構造的詞，在輸入法是沒(méi)辦法通過(guò)拼音 “ran?bing?luan” 直接把它找出來(lái)的。然而，在大數據思維下那就不一樣了，換句話(huà)說(shuō)，我們先不知道有這么一個(gè)詞匯，但是我們發(fā)現有許多人在輸入了這個(gè)詞匯，于是，我們可以通過(guò)統計發(fā)現最近新出現的一個(gè)高頻詞匯，把它加到司庫里面并更新給所有人，大家在使用的時(shí)候可以直接找到這個(gè)詞了。

二、數據驅動(dòng)

對于數據驅動(dòng)這一點(diǎn)，可能有些人從沒(méi)有看數的習慣到了看數的習慣那是一大進(jìn)步，是不是能看幾個(gè)數這就叫數據驅動(dòng)了呢？這還遠遠不夠，這里來(lái)說(shuō)一下什么是數據驅動(dòng)？或者現有的創(chuàng )業(yè)公司在進(jìn)行數據驅動(dòng)這件事情上存在的一些問(wèn)題。

 

一種情況大家在公司里面有一個(gè)數據工程師，他的工作職責就是跑數據。

 

不管是市場(chǎng)也好，產(chǎn)品也好，運營(yíng)也好，老板也好，大家都會(huì )有各種各樣的數據需求，但都會(huì )提給他。然而，這個(gè)資源也是有限的，他的工作時(shí)間也是有限的，只能一個(gè)一個(gè)需求去處理，他本身工作很忙，大家提的需求之后可能并不會(huì )馬上就處理，可能需要等待一段時(shí)間。即使處理了這個(gè)需求，一方面他可能數據準備的不全，他需要去采集一些數據，或做一些升級，他要把數據拿過(guò)來(lái)。拿過(guò)來(lái)之后又在這個(gè)數據上進(jìn)行一些分析，這個(gè)過(guò)程本身可能兩三天時(shí)間就過(guò)去了，如果加上等待的時(shí)間更長(cháng)。

對于有些人來(lái)說(shuō)，這個(gè)等待周期太長(cháng)，整個(gè)時(shí)機可能就錯過(guò)了。比如，你重要的就是考察一個(gè)節日或者一個(gè)開(kāi)學(xué)這樣一個(gè)時(shí)間點(diǎn)，然后想搞一些運營(yíng)相關(guān)的事情，這個(gè)時(shí)機可能就錯過(guò)去了，許多人等不到了，有些同學(xué)可能就干脆還是拍腦袋，就不等待這個(gè)數據了。這個(gè)過(guò)程其實(shí)就是說(shuō)效率是非常低的，并不是說(shuō)拿不到這個(gè)數據，而是說(shuō)效率低的情況下我們錯過(guò)了很多機會(huì )。

 

對于還有一些公司來(lái)說(shuō)，之前可能連個(gè)數都沒(méi)有，現在有了一個(gè)儀表盤(pán)，有了儀表盤(pán)可以看到公司上個(gè)季度、昨天總體的這些數據，還是很不錯的。

 

對老板來(lái)說(shuō)肯定還是比較高興，但是，對于市場(chǎng)、運營(yíng)這些同學(xué)來(lái)說(shuō)可能就還不夠。

比如，我們發(fā)現某一天的用戶(hù)量跌了 20%，這個(gè)時(shí)候肯定不能放著(zhù)不管，需要查一查這個(gè)問(wèn)題出在哪。這個(gè)時(shí)候，只看一個(gè)宏觀(guān)的數那是遠遠不夠的，我們一般要對這個(gè)數據進(jìn)行切分，按地域、按渠道，按不同的方式去追查，看到底是哪少了，是整體少了，還是某一個(gè)特殊的渠道獨特的地方它這個(gè)數據少了，這個(gè)時(shí)候單單靠一個(gè)儀表盤(pán)是不夠的。

 

理想狀態(tài)的數據驅動(dòng)應該是怎么樣的？就是一個(gè)自助式的數據分析，讓業(yè)務(wù)人員每一個(gè)人都能自己去進(jìn)行數據分析，掌握這個(gè)數據。

前面我講到一個(gè)模式，我們源頭是一堆雜亂的數據，中間有一個(gè)工程師用來(lái)跑這個(gè)數據，然后右邊是接各種業(yè)務(wù)同學(xué)提了需求，然后排隊等待被處理，這種方式效率是非常低的。理想狀態(tài)來(lái)說(shuō)，我們現象大數據源本身整好，整全整細了，中間提供強大的分析工具，讓每一個(gè)業(yè)務(wù)員都能直接進(jìn)行操作，大家并發(fā)的去做一些業(yè)務(wù)上的數據需求，這個(gè)效率就要高非常多。

三、數據處理的流程

大數據分析這件事用一種非技術(shù)的角度來(lái)看的話(huà)，就可以分成金字塔，自底向上的是三個(gè)部分，第一個(gè)部分是數據采集，第二個(gè)部分是數據建模，第三個(gè)部分是數據分析，我們來(lái)分別看一下。

【數據采集】

 

首先來(lái)說(shuō)一下數據采集，我在百度干了有七年是數據相關(guān)的事情。我最大的心得——數據這個(gè)事情如果想要更好，最重要的就是數據源，數據源這個(gè)整好了之后，后面的事情都很輕松。

用一個(gè)好的查詢(xún)引擎、一個(gè)慢的查詢(xún)引擎無(wú)非是時(shí)間上可能消耗不大一樣，但是數據源如果是差的話(huà)，后面用再復雜的算法可能都解決不了這個(gè)問(wèn)題，可能都是很難得到正確的結論。

我覺(jué)得好的數據處理流程有兩個(gè)基本的原則，一個(gè)是全，一個(gè)是細。

●?全：就是說(shuō)我們要拿多種數據源，不能說(shuō)只拿一個(gè)客戶(hù)端的數據源，服務(wù)端的數據源沒(méi)有拿，數據庫的數據源沒(méi)有拿，做分析的時(shí)候沒(méi)有這些數據你可能是搞歪了。另外，大數據里面講的是全量，而不是抽樣。不能說(shuō)只抽了某些省的數據，然后就開(kāi)始說(shuō)全國是怎么樣。可能有些省非常特殊，比如新疆、西藏這些地方它客戶(hù)端跟內地可能有很大差異的。

●?細：其實(shí)就是強調多維度，在采集數據的時(shí)候盡量把每一個(gè)的維度、屬性、字段都給它采集過(guò)來(lái)。比如：像 where、who、how 這些東西給它替補下來(lái)，后面分析的時(shí)候就跳不出這些能夠所選的這個(gè)維度，而不是說(shuō)開(kāi)始的時(shí)候也圍著(zhù)需求。根據這個(gè)需求確定了產(chǎn)生某些數據，到了后面真正有一個(gè)新的需求來(lái)的時(shí)候，又要采集新的數據，這個(gè)時(shí)候整個(gè)迭代周期就會(huì )慢很多，效率就會(huì )差很多，盡量從源頭抓的數據去做好采集。

【數據建模】

有了數據之后，就要對數據進(jìn)行加工，不能把原始的數據直接報告給上面的業(yè)務(wù)分析人員，它可能本身是雜亂的，沒(méi)有經(jīng)過(guò)很好的邏輯的。

這里就牽扯到數據建框，首先，提一個(gè)概念就是數據模型。許多人可能對數據模型這個(gè)詞產(chǎn)生一種畏懼感，覺(jué)得模型這個(gè)東西是什么高深的東西，很復雜，但其實(shí)這個(gè)事情非常簡(jiǎn)單。

 

我春節期間在家干過(guò)一件事情，我自己家里面家譜在文革的時(shí)候被燒教了，后來(lái)家里的長(cháng)輩說(shuō)一定要把家譜這些東西給存檔一下，因為我會(huì )電腦，就幫著(zhù)用電腦去理了一下這些家族的數據這些關(guān)系，整個(gè)族譜這個(gè)信息。

我們現實(shí)是一個(gè)個(gè)的人，家譜里面的人，通過(guò)一個(gè)樹(shù)型的結構，還有它們之間數據關(guān)系，就能把現實(shí)實(shí)體的東西用幾個(gè)簡(jiǎn)單圖給表示出來(lái)，這里就是一個(gè)數據模型。

數據模型就是對現實(shí)世界的一個(gè)抽象化的數據的表示。我們這些創(chuàng )業(yè)公司經(jīng)常是這么一個(gè)情況，我們現在這種業(yè)務(wù)，一般前端做一個(gè)請求，然后對請求經(jīng)過(guò)處理，再更新到數據庫里面去，數據庫里面建了一系列的數據表，數據表之間都是很多的依賴(lài)關(guān)系。

 

比如，就像我圖片里面展示的這樣，這些表一個(gè)業(yè)務(wù)項發(fā)展差不多一年以上它可能就牽扯到幾十張甚至上百張數據表，然后把這個(gè)表直接提供給業(yè)務(wù)分析人員去使用，理解起來(lái)難度是非常大的。

這個(gè)數據模型是用于滿(mǎn)足你正常的業(yè)務(wù)運轉，為產(chǎn)品正常的運行而建的一個(gè)數據模型。但是，它并不是一個(gè)針對分析人員使用的模型。如果，非要把它用于數據分析那就帶來(lái)了很多問(wèn)題。比如：它理解起來(lái)非常麻煩。

另外，數據分析很依賴(lài)表之間的這種格子，比如：某一天我們?yōu)榱颂嵘阅埽瑢δ骋槐磉M(jìn)行了拆分，或者加了字段、刪了某個(gè)字短，這個(gè)調整都會(huì )影響到你分析的邏輯。

 

這里，最好要針對分析的需求對數據重新進(jìn)行解碼，它內容可能是一致的，但是我們的組織方式改變了一下。就拿用戶(hù)行為這塊數據來(lái)說(shuō)，就可以對它進(jìn)行一個(gè)抽象，然后重新把它作為一個(gè)判斷表。

用戶(hù)在產(chǎn)品上進(jìn)行的一系列的操作，比如瀏覽一個(gè)商品，然后誰(shuí)瀏覽的，什么時(shí)間瀏覽的，他用的什么操作系統，用的什么瀏覽器版本，還有他這個(gè)操作看了什么商品，這個(gè)商品的一些屬性是什么，這個(gè)東西都給它進(jìn)行了一個(gè)很好的抽象。這種抽樣的很大的好處很容易理解，看過(guò)去一眼就知道這表是什么，對分析來(lái)說(shuō)也更加方便。

 

在數據分析方，特別是針對用戶(hù)行為分析方面，目前比較有效的一個(gè)模型就是多維數據模型，在線(xiàn)分析處理這個(gè)模型，它里面有這個(gè)關(guān)鍵的概念，一個(gè)是維度，一個(gè)是指標。

維度比如城市，然后北京、上海這些一個(gè)維度，維度西面一些屬性，然后操作系統，還有 IOS、安卓這些就是一些維度，然后維度里面的屬性。

通過(guò)維度交叉，就可以看一些指標問(wèn)題，比如用戶(hù)量、銷(xiāo)售額，這些就是指標。比如，通過(guò)這個(gè)模型就可以看來(lái)自北京，使用 IOS 的，他們的整體銷(xiāo)售額是怎么樣的。

這里只是舉了兩個(gè)維度，可能還有很多個(gè)維度。總之，通過(guò)維度組合就可以看一些指標的數，大家可以回憶一下，大家常用的這些業(yè)務(wù)的數據分析需求是不是許多都能通過(guò)這種簡(jiǎn)單的模式給抽樣出來(lái)。

四、數據分析方法

接下來(lái)看一下互聯(lián)網(wǎng)產(chǎn)品采用的數據分析方法。

 

對于互聯(lián)網(wǎng)產(chǎn)品常用的用戶(hù)消費分析來(lái)說(shuō)，有四種：

（1）?第一種是多維事件的分析，分析維度之間的組合、關(guān)系。

（2）第二種是漏斗分析，對于電商、訂單相關(guān)的這種行為的產(chǎn)品來(lái)說(shuō)非常重要，要看不同的渠道轉化這些東西。

（3）第三種留存分析，用戶(hù)來(lái)了之后我們希望他不斷的來(lái)，不斷的進(jìn)行購買(mǎi)，這就是留存。

（4）第四種回訪(fǎng)，回訪(fǎng)是留存的一種特別的形式，可以看他一段時(shí)間內訪(fǎng)問(wèn)的頻次，或者訪(fǎng)問(wèn)的時(shí)間段的情況

【方法 1：多維事件分析法】

首先來(lái)看多維事件的分析，這塊常見(jiàn)的運營(yíng)、產(chǎn)品改進(jìn)這種效果分析。其實(shí)，大部分情況都是能用多維事件分析，然后對它進(jìn)行一個(gè)數據上的統計。

1.????【三個(gè)關(guān)鍵概念】

 

這里面其實(shí)就是由三個(gè)關(guān)鍵的概念，一個(gè)就是事件，一個(gè)是維度，一個(gè)是指標組成。

l?事件就是說(shuō)任何一個(gè)互聯(lián)網(wǎng)產(chǎn)品，都可以把它抽象成一系列事件，比如針對電商產(chǎn)品來(lái)說(shuō)，可抽象到提交、訂單、注冊、收到商品一系列事件用戶(hù)行為。

l?每一個(gè)事件里面都包括一系列屬性。比如，他用操作系統版本是否連 wifi；比如，訂單相關(guān)的運費，訂單總價(jià)這些東西，或者用戶(hù)的一些職能屬性，這些就是一系列維度。

l?基于這些維度看一些指標的情況。比如，對于提交訂單來(lái)說(shuō)，可能是他總提交訂單的次數做成一個(gè)指標，提交訂單的人數是一個(gè)指標，平均的人均次數這也是一個(gè)指標；訂單的總和、總價(jià)這些也是一個(gè)指標，運費這也是一個(gè)指標，統計一個(gè)數后就能把它抽樣成一個(gè)指標。

2.????【多維分析的價(jià)值】

來(lái)看一個(gè)例子，看看多維分析它的價(jià)值。

 

比如，對于訂單支付這個(gè)事件來(lái)說(shuō)，針對整個(gè)總的成交額這條曲線(xiàn)，按照時(shí)間的曲線(xiàn)會(huì )發(fā)現它一路在下跌。但下跌的時(shí)候，不能眼睜睜的看著(zhù)它，一定要分析原因。

怎么分析這個(gè)原因呢？常用的方式就是對維度進(jìn)行一個(gè)拆解，可以按照某些維度進(jìn)行拆分，比如我們按照地域，或者按照渠道，或者按照其他一些方式去拆開(kāi)，按照年齡段、按照性別去拆開(kāi)，看這些數據到底是不是整體在下跌，還是說(shuō)某一類(lèi)數據在下跌。

 

這是一個(gè)假想的例子——按照支付方式進(jìn)行拆開(kāi)之后，支付方式有三種，有用支付寶、阿里 PAY，或者用微信支付，或者用銀行看內的支付這三種方式。

通過(guò)數據可以看到支付寶、銀行支付基本上是一個(gè)沉穩的一個(gè)狀態(tài)。但是，如果看微信支付，會(huì )發(fā)現從最開(kāi)始最多，一路下跌到非常少，通過(guò)這個(gè)分析就知道微信這種支付方式，肯定存在某些問(wèn)題。

比如：是不是升級了這個(gè)接口或者微信本身出了什么問(wèn)題，導致了它量下降下去了？

【方法 2：漏斗分析】

漏斗分析會(huì )看，因為數據，一個(gè)用戶(hù)從做第一步操作到后面每一步操作，可能是一個(gè)雜的過(guò)程。

 

比如，一批用戶(hù)先瀏覽了你的首頁(yè)，瀏覽首頁(yè)之后可能一部分人就直接跑了，還有一部分人可能去點(diǎn)擊到一個(gè)商品里面去，點(diǎn)擊到商品可能又有很多人跑了，接下來(lái)可能有一部分人就真的購買(mǎi)了，這其實(shí)就是一個(gè)漏斗。

 

通過(guò)這個(gè)漏斗，就能分析一步步的轉化情況，然后每一步都有流失，可以分析不同的渠道其轉化情況如何。比如，打廣告的時(shí)候發(fā)現來(lái)自百度的用戶(hù)漏斗轉化效果好，就可能在廣告投放上就在百度上多投一些。

【方法 3：留存分析】

 

比如，搞一個(gè)地推活動(dòng)，然后來(lái)了一批注冊用戶(hù)，接下來(lái)看它的關(guān)鍵行為上面操作的特征，比如當天它有操作，第二天有多少人會(huì )關(guān)鍵操作，第 N 天有多少操作，這就是看它留下來(lái)這個(gè)情況。

【方法 4：回訪(fǎng)分析】

 

回訪(fǎng)就是看進(jìn)行某個(gè)行為的一些中度特征，如對于購買(mǎi)黃金這個(gè)行為來(lái)說(shuō)，在一周之內至少有一天購買(mǎi)黃金的人有多少人，至少有兩天的有多少人，至少有 7 天的有多少人，或者說(shuō)購買(mǎi)多少次數這么一個(gè)分布，就是回訪(fǎng)回購這方面的分析。

上面說(shuō)的四種分析結合起來(lái)去使用，對一個(gè)產(chǎn)品的數據支撐、數據驅動(dòng)的這種深度就要比只是看一個(gè)宏觀(guān)的訪(fǎng)問(wèn)量或者活躍用戶(hù)數就要深入很多。

五、運營(yíng)分析實(shí)踐

下面結合個(gè)人在運營(yíng)和分析方面的實(shí)踐，給大家分享一下。

【案例 1：UGC 產(chǎn)品】

 

首先，來(lái)看 UGC 產(chǎn)品的數據分析的例子。可能會(huì )分析它的訪(fǎng)問(wèn)量是多少，新增用戶(hù)數是多少，獲得用戶(hù)數多少，發(fā)帖量、減少量。

諸如貼吧、百度知道，還有知乎都屬于這一類(lèi)的產(chǎn)品。對于這樣一個(gè)產(chǎn)品，會(huì )有很多數據指標，可以從某一個(gè)角度去觀(guān)察這個(gè)產(chǎn)品的情況。那么，問(wèn)題就來(lái)了——這么多的指標，到底要關(guān)注什么？不同的階段應該關(guān)注什么指標？這里，就牽扯到一個(gè)本身指標的處理，還有關(guān)鍵指標的問(wèn)題。

【案例 2：流失用戶(hù)召回】

 

這種形式可能對其他產(chǎn)品就很有效，但是對我們這個(gè)產(chǎn)品來(lái)說(shuō)，因為我們這是一個(gè)相對來(lái)說(shuō)目標比較明確并且比較小眾一點(diǎn)的差別，所以這個(gè)投放的效果可能就沒(méi)那么明顯。

在今年元旦的時(shí)候，因為之前申請試用我們那個(gè)產(chǎn)品已經(jīng)有很多人，但是這里面有一萬(wàn)人我們給他發(fā)了帳號他也并沒(méi)有回來(lái)，我們過(guò)年給大家拜拜年，然后去匯報一下進(jìn)展看能不能把他們撈過(guò)來(lái)一部分。

 

這是元旦的時(shí)候我們產(chǎn)品的整體用戶(hù)情況，到了元旦為止，9月25號發(fā)布差不多兩三個(gè)月時(shí)間，那個(gè)時(shí)候差不多有 1490 個(gè)人申請試用了我們這個(gè)產(chǎn)品。但是，真正試用的有 724 個(gè)，差不多有一半，另外一半就跑了，就流失了。

我們就想把這部分人抽出來(lái)給他們進(jìn)行一個(gè)招回活動(dòng)，這里面流失用戶(hù)我們就可以把列表導出來(lái)，這是我們自己的產(chǎn)品就有這樣的功能。有人可能疑惑我們怎么拿到用戶(hù)的這些信息呢？

 

這些不至于添加，因為我們申請試用的時(shí)候就讓他填一下姓名、聯(lián)系方式，還有他的公司這些信息。對于填郵箱的我們就給發(fā)郵件的，對于發(fā)手機號的我們就給他發(fā)短信，我們分析這兩種渠道帶來(lái)的效果。

 

先說(shuō)總體，總體我們發(fā)了 716 個(gè)人，這里面比前面少了一點(diǎn)，我把一些不靠譜的這些信息人工給它干掉了。接下來(lái)，看看真正有 35 個(gè)人去體驗了這個(gè)產(chǎn)品，然后 35 個(gè)人里面有 4 個(gè)人申請接入數據。

因為我們在產(chǎn)品上面做了一個(gè)小的改進(jìn)，在測試環(huán)境上面，對于那些測試環(huán)境本身是一些數據他玩一玩，玩了可能感興趣之后就會(huì )試一下自己的真實(shí)數據。這個(gè)時(shí)候，我們上來(lái)有一個(gè)鏈接引導他們去申請接入自己的數據，走到這一步之后就更可能轉化成我們的正式客戶(hù)。

這兩種方式轉化效果我們其實(shí)也很關(guān)心，招回的效果怎么樣，我們看下面用紅框表示出來(lái)，郵件發(fā)了 394 封。最終有 32 個(gè)人真正過(guò)來(lái)試用了，電話(huà)手機號322 封，跟郵件差不多，但只有 3 個(gè)過(guò)來(lái)，也就是說(shuō)兩種效果差了 8 倍。

這其實(shí)也提醒大家，短信這種方式可能許多人看短信的比較少。當然，另一方面跟我們自己產(chǎn)品特征有關(guān)系，我們這個(gè)產(chǎn)品是一個(gè) PC 上用起來(lái)更方便的一個(gè)產(chǎn)品。許多人可能在手機上看到這個(gè)鏈接也不方便點(diǎn)開(kāi)，點(diǎn)開(kāi)之后輸入帳號也麻煩一點(diǎn)。所以，導致這個(gè)效果比較差。