徐小良：
    接下來演講的是北京優(yōu)捷信達信息科技有限公司的創(chuàng)始人陳里波博士，他在清華大學(xué)獲得管理信息系統(tǒng)工程學(xué)的學(xué)士，他在德國研發(fā)出多項專利技術(shù)，擁有超過15年的自然語言處理，文本挖掘、信息搜索分析領(lǐng)域的學(xué)術(shù)研究和商業(yè)運營的經(jīng)驗，他跟我們分享的是互聯(lián)網(wǎng)+時代，實時洞察消費者打造客戶體驗為核心推動力的管理流程與創(chuàng)新機制，有請陳博士。
    
    陳里波：
    因為我們是市場調(diào)研的年會，我個人是科學(xué)研究出身，做了很長時間的工程技術(shù)，之后又轉(zhuǎn)到商業(yè)運營。所以我的經(jīng)驗和知識方面，的知識架構(gòu)比較交錯。
    今天我演講的重點是，剛才講了很長時間的大數(shù)據(jù)，大數(shù)據(jù)的落地應(yīng)用，大家都在考量。那幾個環(huán)節(jié)我都走過了，我感覺產(chǎn)學(xué)研的鴻溝還是存在的，科學(xué)研究跟工程技術(shù)和商業(yè)應(yīng)用，他們之間客觀的鴻溝，它的存在會妨礙什么呢？它最后會妨礙一些在理論上大家的設(shè)想，以及非常好的想法，最后能夠真落地在商業(yè)上，為客戶真正產(chǎn)生價值。
    我們是怎么突破這個事情的呢？我們是怎么解決這個問題的，這跟我今天演講的題目有關(guān)，首先是大數(shù)據(jù)，我們把大數(shù)據(jù)的方法應(yīng)用于市場研究，我們具體有落地的辦法，在工程上已經(jīng)大規(guī)模的實現(xiàn)了，大數(shù)據(jù)的工程化處理已經(jīng)實現(xiàn)了，并且商業(yè)上有一定的突破。在客戶那里有一定的效果。
    大家從題目上看，我這個是電商評論，大家都談大數(shù)據(jù)，大數(shù)據(jù)的基礎(chǔ)在于數(shù)據(jù)，數(shù)據(jù)從哪里來，這是本質(zhì)問題。它的來源要持續(xù)、大量、可靠，而且還要便于處理，之后還要有商業(yè)價值。整體來看，我們公司一開始基于互聯(lián)網(wǎng)數(shù)據(jù)的，我們采集數(shù)據(jù)的方式是通過網(wǎng)絡(luò)爬蟲，我們的網(wǎng)絡(luò)爬蟲不太一樣，如果你要工業(yè)化應(yīng)用，網(wǎng)絡(luò)爬蟲它必須要達到大規(guī)模、批量，而且要低成本，你爬各種數(shù)據(jù)源的方式不能由人工來維護，你應(yīng)該大規(guī)模全部人自動化，這樣你的數(shù)據(jù)源和成本才能達到商業(yè)需求。
    剛才那幾位提到數(shù)據(jù)采集，我們都在大規(guī)模的采集，最后我們聚焦在什么上面呢？我們聚焦在電商評論上。其實現(xiàn)在像電商所有的評論，電商所有的價格和銷量信息，現(xiàn)在十幾個主流電商，我們都能不斷持續(xù)的爬取，而且非常低成本。
    包括垂直行業(yè)，大概有七十多個電商平臺，我們都可以大規(guī)模爬取，電商評論跟電商價格，它的價值在什么地方。因為我是做語義分析出身的，剛才跟萬教授和錦鵬博士是同一個專業(yè)的，我在這方面做了很長時間。電商評論，大家試圖從這里入手，評論有什么好處，做語義處理的時候?qū)嶋H上很困難。現(xiàn)在深度學(xué)習(xí)是突破，我們在這上面加入了大量的研究工作，它會把機器智能提高到很高的高度。它的效果最重要取決于它的應(yīng)用場景，我們從電商的評論角度，它的長度和價值量都是比較巨大的，電商評論上，首先它有兩個特點，我們?yōu)槭裁催x擇它作為分析的數(shù)據(jù)源，是基于它的兩個特點，一個是固定場景和固定人群。固定場景是線上的采購場景，跟錢直接相關(guān)。它是真實消費者，因為它上面有一些過濾機制，所以它上面一般是真實消費者，但是好評也有大規(guī)模刷的現(xiàn)象，具體怎么刷都是規(guī)則。
    但是這個可以用技術(shù)比較方便的過濾掉，噪音和非真實的信息在這里比較容易過濾掉。而且由于場景的特殊性和長度的特殊性，語義可以發(fā)揮比較大的作用。但是它同時仍然具備互聯(lián)網(wǎng)信息通用的特點，首先是實時和大量，它很分散，但是涉及到細節(jié)，這是現(xiàn)在電商評論的一些特點，他的優(yōu)勢和他共有的劣勢。
    我們從整體的互聯(lián)網(wǎng)數(shù)據(jù)來說，如果把它作為一個調(diào)研數(shù)據(jù)的基礎(chǔ)，它的好處在于，像剛才說的大量和容易采集，但是你不能只采集某些片斷，如果你大規(guī)模的爬，成本是一個問題。第二個難度是在于它的信息價值量比較低，這就是我們?yōu)槭裁匆劢乖陔娚淘u論上，大家都說電商評論，大家在電商上究竟評論什么，它評論的內(nèi)容對我們的研究分析究竟有沒有價值，這是我們做的統(tǒng)計分析。
    因為大家說電商，評論的大多數(shù)都是服務(wù)怎么樣，物流等等，可以證實，空調(diào)的全品類，七個全部是真實數(shù)據(jù)，規(guī)模量大概有千萬級別的數(shù)據(jù)。我們可以看到售后服務(wù)確實是最多的，但是有20%是講產(chǎn)品質(zhì)量，下面還有再說一些，有說客服、物流、促銷，產(chǎn)品設(shè)計也屬于產(chǎn)品大概是20%多。如果大家是從分析產(chǎn)品的角度來講，大量的是在談產(chǎn)品，所以這個是比較有價值的。
    我剛才提到了我們拿這些東西是實際應(yīng)用的，并且賣的還不錯。我們在這當中，實際上在市場調(diào)研領(lǐng)域，我們在中間有一個模塊是服務(wù)客戶的市場部門，這個市場部門，他們究竟看重的是什么，它從電商評論的數(shù)據(jù)上看到了什么，跟我們究竟產(chǎn)生了什么樣的處理，給我們帶來了什么樣的價值。
    首先，我們覺得現(xiàn)在講大的數(shù)據(jù)融合，我們感覺甲方客戶主要市場和研究難題，大家怎么從海量的信息，從消費者視角洞察自身的產(chǎn)品，傳統(tǒng)的方法要經(jīng)過很長時間，剛才北平也講過。這里面的挑戰(zhàn)就是怎么更高效，我現(xiàn)在下的任務(wù)一個小時就可以看到結(jié)果，甚至幾分鐘就可以看到結(jié)果，我還可以量化，而且我還可以大規(guī)模的做。
    我們究竟展示的是什么東西呢？這是我們實際運作的系統(tǒng)，大家知道我現(xiàn)在要解決第一個痛點，真正從消費者的角度，大規(guī)模、低成本非常快速的了解消費者，都有哪些緯度，每個大緯度之間有什么樣的細分，它們是怎么樣量化的，細節(jié)是怎么樣的，首先是數(shù)據(jù)可以非常低成本的采集到。其次是你的處理工作，你必須用機器來進行，這就是語義處理的問題，你必須要工程化，才能處理大規(guī)模實時進來的語義數(shù)據(jù)。
    這是我們的平臺，這都是對電商評論的處理工作，我們大規(guī)模取得的數(shù)據(jù)全是電商評論、價格和銷量的信息，我們的爬蟲能做到什么呢？只要是人能看到的，我們都可以大規(guī)模、批量、低成本的爬到。大家可能最關(guān)注的是考評系統(tǒng)，我在說我們怎么做之后，再說給客戶帶來的價值，以及客戶比較認可的價值是什么，因為這是已經(jīng)得到驗證的方式。
    現(xiàn)在可能任何的調(diào)研員都可以用數(shù)據(jù)來出一個圖，圖的意義，對商業(yè)上究竟是什么感覺。首先這里是空調(diào)，你可以看到左邊是幾個商城所有的評論數(shù)據(jù)，大規(guī)模的爬到了。我可以看到好評、差評率，以及整體的環(huán)比，這是自動分類，自動分類完了以后，我們的客戶可以看到哪兒有什么問題，任何一個都可以點進去細看。比如說產(chǎn)品質(zhì)量點開，如果他想考量任何一個緯度環(huán)比情況都可以看到，任何一個具體的點都可以看，可以通過它來進行考核，跟競爭對手的情況比，具體的產(chǎn)品情況可以細分。我們可以看美的的產(chǎn)品，我們可以看本周或者是當天的情況，還可以看本身的產(chǎn)品排名，這些都是基于真實數(shù)據(jù)的。通過這個可以按照自選的時間段，迅速的看到消費者對自己的評價，而且它可以量化，而且可以實時細化。它的價值在于管理，完全通過消費者的評價來驅(qū)動內(nèi)部的管理，各個緯度對應(yīng)各個業(yè)務(wù)部門，管理以后這是量化和客觀，我們在這里的管理，一般產(chǎn)品研發(fā)部、產(chǎn)品品質(zhì)部或者是在旅游行業(yè)，他們要通過消費者評價來考量大家做的實際服務(wù)，這個價值是考評。
    還有一個價值是分析價值，現(xiàn)在分析價值是我怎么快速的洞察市場，我從消費者的視角能迅速的知道競爭對手的情況，洞察所有的競爭對手，而且成本非常低。大家看這張圖，受美的的委托，這是他們品牌混合的大排名，這是根據(jù)評論數(shù)。它可以換品牌，它可以迅速洞察格力的情況，為什么可以細化呢？格力排名這么好，任何一款競爭對手的產(chǎn)品都可以點進去，它突然有一個非常簡單的方法，能夠洞察競爭對手，就像看到自己本公司細節(jié)是一樣的。
    自由對比是什么，這個痛點是在于市場調(diào)研人員，現(xiàn)在總是需要數(shù)據(jù)來分析，但是他都是從業(yè)務(wù)的角度思考問題。他用到數(shù)據(jù)的問題外包給數(shù)據(jù)部門的來做，他做完了以后需要一個周期再提供給業(yè)務(wù)部門，而業(yè)務(wù)部門變的比較麻煩，所以讓整個價值流和信息流流轉(zhuǎn)的不夠充分。現(xiàn)在通過它可以迅速服務(wù)業(yè)務(wù)部門，他可以比較各個品牌，我想比較這個品牌在不同時間段，而在這個當中，它不用求助于任何一個數(shù)據(jù)員的幫助，業(yè)務(wù)人員他可以自己進行洞察，這個可以干什么，應(yīng)用的角度，他想進入一個新的市場，他迅速的市場的玩家怎么樣，不要重復(fù)他以前的錯誤。他在做營銷分析的時候，他要知道自己跟對手差異化的東西，他可以把自己的廣告，包括電商的描述頁面，再點到整體廣告內(nèi)容都可以進行策劃。
    我們這里還有一個云圖的概念，這是剛才看到的一些品類，這些都是真實數(shù)據(jù)，我們通過跟行業(yè)內(nèi)部人士反復(fù)驗證，我們是驚人的準確，你用來洞察競爭對手或者是消費者看到這個，你會發(fā)覺，你跟從業(yè)十幾年的人看這個是一樣的。我們之間還有一個云圖的東西，自由對比展開了，你可以隨便對比，右邊這個圖，因為大家都是發(fā)散的。你除了要有固定的衡量標準，你可以進行管理，但是這里面最重要的價值是在于它的發(fā)散性，因為它的專業(yè)度永遠不如內(nèi)部的人專業(yè)。所以在這里一定要通過工具的方式進行對比，它的發(fā)散性最有價值的一點，我們可以看到是在應(yīng)用場景，它會反復(fù)的提到你意想不到的應(yīng)用場景。我們把兩款手機在一起比，你可以看到上面不同的會高量出來，相同的會弱化，一個是三星，一個是小米，它們的應(yīng)用場景一般都是什么樣的，他們有非常巨大的營銷價值，這個是對發(fā)散性思維的時候是這樣的，我就講到這里。
    
    提問：
    剛才你提到你用的是爬蟲技術(shù)，現(xiàn)在百度和淘寶他們的頁面進行了加密處理，這個對你們有障礙嗎？你們是怎么解決這個問題的呢？
    
    陳里波：
    我沒有聽到加密處理，因為他們是有技術(shù)背景的，他們的本質(zhì)原則是歡迎人去訪問，屏蔽機器訪問。他是怎么判斷你是機器的，你從一個IP地址總在半夜十二點去看，這套模型我們會緊密的跟蹤。我們爬一些頁面的時候，我們不光爬目標鏈接，我們隨機跟周圍點一些鏈接，但是所有這些都是機器做的，這個本身在法律上沒有問題。但是本身它是技術(shù)博弈的過程，百度的技術(shù)也比較強，我們之間的博弈才痛快，包括淘寶跟天貓他們封的非常厲害。但是本質(zhì)上如果他不防人，我們就可以批量的爬。
    
    徐小良：
    謝謝陳博士，前面幾個課題把我們待到了大數(shù)據(jù)、云端，云里霧里，有點比較高精尖。