聯商網消息：8月2日，觀遠數據2019智能決策峰會在上海舉行，本次峰會由國內零售智能分析領域的領先企業觀遠數據主辦。

峰會上，400+來自連鎖零售、快消品牌、鞋服箱包、購物中心、新經濟消費等國內外知名零售企業高層領導共聚一堂，深入探討零售各細分業態的轉型痛點與創新實踐，共謀零售數據智能的未來發展。

小紅書大數據負責人呂侶以《小紅書，大數據》為題，分享了小紅書在大數據方面的一些進展。他表示，小紅書把數據倉庫層全部下移移到EMR上，數據市場層分為兩邊，”我們得到的直接效果是過去每天可以看到大約50個實驗，現在每天運行的數量是500個，每天往前走的速度得到反饋的速度乘了10倍，這樣嘗試的速度讓我們能夠快速跟上市場的步伐，捕捉到前進的信號�！�

以下為呂侶演講摘要：

在場的各位嘉賓，觀遠的朋友們，大家好，我是來自于小紅書的呂侶。非常高興在這里跟大家分享小紅書在大數據方面的一些進展。我看到有一半左右的同學們已經是小紅書的用戶，我就給剩下的一半同學介紹一下小紅書是什么。首先小紅書在兩三年前是一個跨境的電商，這個電商指標叫做把全世界的好東西帶給你。希望把全世界最好的東西通過跨境電商的形式帶到你的身邊，讓你享受到全世界更好的一些服務。

在最近的一年半里面，小紅書已經從跨境電商成功蛻變為最新的生活方式的聚集地，它其實轉向了社區。大家更加熟悉的比喻小紅書是一座紅色的城市，小紅書數以億計的用戶是這個城市中的居民，小紅書的KOL們是這個城市中的出版社以及作者們，這些作者會將他精心的發現，將他們新的一些好的生活方式帶給大家，讓每個小城市的居民們得到更新鮮的發展方式以及更好的生活方式，點亮他們自己的生活，也讓他們自己生活中閃亮的瞬間點亮其他人。

現在小紅書有多少用戶呢？這是今年6月6日的數據，6月6日的時候宣布小紅書已經獲得第2.5億個用戶。在昨天我們PR同事告訴我說你這個要改了，因為我們又成長了，我們已經有3億用戶了。在短短兩個月不到的時間里面，我們的用戶數量又增長了20%，這也是我在過去一年半里面所遇到最大的挑戰，叫做“長得太快”。

這是我們用戶數量的增長曲線，可以看到從第一天開始我們用戶增長曲線幾乎就是完美的指數級的生長曲線，在6月6日的時候達到了2.5億，在這樣一個曲線下面我們作為大數據的運營方，作為大數據能力的提供方要面臨什么樣的體驗呢？這是我們數據的增長量，2018年2月份我們剛剛開始將我們原有的數據系統從相對比較老的體系切換到和觀遠大數據為主體系的時候，這時候我們數據是2P，2P是2000T。在這個時候短短過去了一年半的時間，我們的數據量增長了30倍，在我們的用戶量增長了兩倍多一點點的時候，我們的數據量增長了30倍，說明我們在這段時間里面做了大量實驗，發展了不同的業務，發展了15倍以上的業務，做了15倍以上的嘗試才獲得了兩倍的用戶增長。作為數據平臺我們就要做好60倍的支撐，才能夠支撐這樣一種嘗試，才能夠讓這樣的嘗試變得可能，而不至于讓我們的用戶想法，讓我們工程師的想法，讓我們產品的想法被數據的能力所束縛住，才能夠獲得更佳的反饋，得到更多的變化，捕捉到更多信息，從信息中得到增長的信號。把增長信號變成實實在在用戶的增長。

這是我們最早的第一代，去年年初時候數倉的結構，當時最重要的數據平行點在于數據倉庫層，由于數據倉庫層承接的業務包含所有的報表業務。在這樣的架構里面，當我們的業務需要做更多分析的時候會一下報表，當我們的報表數據量大的時候就會影響業務分析。當時我接手這個業務的時候我們跟數據分析師們開玩笑說你每天只要上半天的班，因為另外一半的時間我們在等報表。你上完半天的班之后又有一半的時間在等你的查詢在排隊。在這樣的情況下我們的業務部可能獲得及時的信號調整他們的發展方向。我們的當務之急是必須要將我們業務報表以及Adhoc查詢這一層從壓力最大的數據倉庫層分離出去變成獨立的一層。

我們當時做了一個最直接的變化，我們把數據倉庫層全部下移移到EMR上，數據市場層分為兩邊，一邊承接老的報表業務，通過Redshift打到TAbleau上，大部分報表在觀遠平臺上我們還是保留了Tableau。在可以擴展的結果下，我們的業務數據，我們的分析師終于一天可以上全天的班了，終于可以在每天早上獲得前一天的數據報表了。于是我們得到直接效果我們在去年年初的時候每我可以看到大約50個實驗，在現在每天運行的數量是500個，我們每天的嘗試乘了10倍，我們每天往前走的速度得到反饋的速度乘了10倍，只有這樣嘗試的速度才讓我們能夠快速跟上市場的步伐，捕捉到前進的信號，捕捉到不適合的信號把它殺掉，并且放大前進的步伐。

在這樣的數據量里面我們到底做了什么樣的事情，為什么這件事情特別重要呢？這是我們實驗平臺的設計，在實驗平臺里面可以看到比較簡單的舉例，我們在以用戶的維度作為實驗，我們有2.5億用戶，每個用戶平均會分在200個實驗左右。任何實驗對所有社區指標和電商指標的影響做出詳細分析，確保對任何一個指標有逆向結果或者大面積正向結果情況下要得到合理的解釋，如果沒有得到合理解釋就不能夠作為正確的改動影響到所有用戶。在這樣的情況下，我們每日參與計算的數據行數是25萬億行，并且在這種情況下我們可以看到在左下角所有每一個指標在不同的實驗對比下分布是什么樣的，在這樣分布情況下數據分析師和業務負責人，能夠根據這個結果得到明確的指示這個實驗應該繼續還是應該被殺掉。左邊是每一天數據的結果，右邊是根據具體的分布情況，正態分布情況的實驗結果。兩個不同實驗結果的區別，由于我們實際的數據的分布不是正態分布的，比如說每個用戶下單的數據，下單的金額就不是正態分布的，大部分的用戶是不下單的。我們有2000萬日活，這些日活的用戶大部分是不下單，只有其中1%的用戶會下單。在這樣的分布里面如果只使用正態分布的檢測會導致這樣的檢測失效，我們進行非常大的更新得到左邊的檢測，就會看到所有有購買行為用戶的分布是什么樣的，在這樣的分布下到底是顯著還是不顯著。這個東西比之前的檢測貴50倍，我們不斷升級計算能力，不斷加強計算資源的水平才能給業務方一個明確的結果，告訴你這個實驗到底好不好，而不要浪費時間積累數據并且獲得一些沒有用的信號上。

接下來講一個Growth Hacking的故事，剛加入小紅書的時候我開了一個玩笑說我們的分析師每天回答三個問題，第一個問題是為什么用戶數漲了，第二個問題是為什么用戶數跌了，第三個問題是我們的用戶既沒有漲又沒有跌。如何使數據保持客觀是我當時重要工作原因。在這樣的過程中，Growth Hacking對每一個指標判斷它的貢獻度。在這樣的情況下，對于任何一個指標變化的時候我就能夠明確指出到底是什么樣的用戶發生了什么樣的變化，對于這個指標的貢獻度是怎么樣。于是我們的分析師終于不用回答這三個問題了，因為只要把我們的報表簡單遞交給問他這個問題的同學就可以了，可以明確每一天在早上就告訴你為什么漲了為什么跌了以及為什么沒有動。

這就是我今天的分享，謝謝大家。

（來源：聯商網 上海報道）