徐小良：
    接下來(lái)演講的是北京優(yōu)捷信達(dá)信息科技有限公司的創(chuàng)始人陳里波博士，他在清華大學(xué)獲得管理信息系統(tǒng)工程學(xué)的學(xué)士，他在德國(guó)研發(fā)出多項(xiàng)專利技術(shù)，擁有超過(guò)15年的自然語(yǔ)言處理，文本挖掘、信息搜索分析領(lǐng)域的學(xué)術(shù)研究和商業(yè)運(yùn)營(yíng)的經(jīng)驗(yàn)，他跟我們分享的是互聯(lián)網(wǎng)+時(shí)代，實(shí)時(shí)洞察消費(fèi)者打造客戶體驗(yàn)為核心推動(dòng)力的管理流程與創(chuàng)新機(jī)制，有請(qǐng)陳博士。
    
    陳里波：
    因?yàn)槲覀兪鞘袌?chǎng)調(diào)研的年會(huì)，我個(gè)人是科學(xué)研究出身，做了很長(zhǎng)時(shí)間的工程技術(shù)，之后又轉(zhuǎn)到商業(yè)運(yùn)營(yíng)。所以我的經(jīng)驗(yàn)和知識(shí)方面，的知識(shí)架構(gòu)比較交錯(cuò)。
    今天我演講的重點(diǎn)是，剛才講了很長(zhǎng)時(shí)間的大數(shù)據(jù)，大數(shù)據(jù)的落地應(yīng)用，大家都在考量。那幾個(gè)環(huán)節(jié)我都走過(guò)了，我感覺(jué)產(chǎn)學(xué)研的鴻溝還是存在的，科學(xué)研究跟工程技術(shù)和商業(yè)應(yīng)用，他們之間客觀的鴻溝，它的存在會(huì)妨礙什么呢？它最后會(huì)妨礙一些在理論上大家的設(shè)想，以及非常好的想法，最后能夠真落地在商業(yè)上，為客戶真正產(chǎn)生價(jià)值。
    我們是怎么突破這個(gè)事情的呢？我們是怎么解決這個(gè)問(wèn)題的，這跟我今天演講的題目有關(guān)，首先是大數(shù)據(jù)，我們把大數(shù)據(jù)的方法應(yīng)用于市場(chǎng)研究，我們具體有落地的辦法，在工程上已經(jīng)大規(guī)模的實(shí)現(xiàn)了，大數(shù)據(jù)的工程化處理已經(jīng)實(shí)現(xiàn)了，并且商業(yè)上有一定的突破。在客戶那里有一定的效果。
    大家從題目上看，我這個(gè)是電商評(píng)論，大家都談大數(shù)據(jù)，大數(shù)據(jù)的基礎(chǔ)在于數(shù)據(jù)，數(shù)據(jù)從哪里來(lái)，這是本質(zhì)問(wèn)題。它的來(lái)源要持續(xù)、大量、可靠，而且還要便于處理，之后還要有商業(yè)價(jià)值。整體來(lái)看，我們公司一開始基于互聯(lián)網(wǎng)數(shù)據(jù)的，我們采集數(shù)據(jù)的方式是通過(guò)網(wǎng)絡(luò)爬蟲，我們的網(wǎng)絡(luò)爬蟲不太一樣，如果你要工業(yè)化應(yīng)用，網(wǎng)絡(luò)爬蟲它必須要達(dá)到大規(guī)模、批量，而且要低成本，你爬各種數(shù)據(jù)源的方式不能由人工來(lái)維護(hù)，你應(yīng)該大規(guī)模全部人自動(dòng)化，這樣你的數(shù)據(jù)源和成本才能達(dá)到商業(yè)需求。
    剛才那幾位提到數(shù)據(jù)采集，我們都在大規(guī)模的采集，最后我們聚焦在什么上面呢？我們聚焦在電商評(píng)論上。其實(shí)現(xiàn)在像電商所有的評(píng)論，電商所有的價(jià)格和銷量信息，現(xiàn)在十幾個(gè)主流電商，我們都能不斷持續(xù)的爬取，而且非常低成本。
    包括垂直行業(yè)，大概有七十多個(gè)電商平臺(tái)，我們都可以大規(guī)模爬取，電商評(píng)論跟電商價(jià)格，它的價(jià)值在什么地方。因?yàn)槲沂亲稣Z(yǔ)義分析出身的，剛才跟萬(wàn)教授和錦鵬博士是同一個(gè)專業(yè)的，我在這方面做了很長(zhǎng)時(shí)間。電商評(píng)論，大家試圖從這里入手，評(píng)論有什么好處，做語(yǔ)義處理的時(shí)候?qū)嶋H上很困難?，F(xiàn)在深度學(xué)習(xí)是突破，我們?cè)谶@上面加入了大量的研究工作，它會(huì)把機(jī)器智能提高到很高的高度。它的效果最重要取決于它的應(yīng)用場(chǎng)景，我們從電商的評(píng)論角度，它的長(zhǎng)度和價(jià)值量都是比較巨大的，電商評(píng)論上，首先它有兩個(gè)特點(diǎn)，我們?yōu)槭裁催x擇它作為分析的數(shù)據(jù)源，是基于它的兩個(gè)特點(diǎn)，一個(gè)是固定場(chǎng)景和固定人群。固定場(chǎng)景是線上的采購(gòu)場(chǎng)景，跟錢直接相關(guān)。它是真實(shí)消費(fèi)者，因?yàn)樗厦嬗幸恍┻^(guò)濾機(jī)制，所以它上面一般是真實(shí)消費(fèi)者，但是好評(píng)也有大規(guī)模刷的現(xiàn)象，具體怎么刷都是規(guī)則。
    但是這個(gè)可以用技術(shù)比較方便的過(guò)濾掉，噪音和非真實(shí)的信息在這里比較容易過(guò)濾掉。而且由于場(chǎng)景的特殊性和長(zhǎng)度的特殊性，語(yǔ)義可以發(fā)揮比較大的作用。但是它同時(shí)仍然具備互聯(lián)網(wǎng)信息通用的特點(diǎn)，首先是實(shí)時(shí)和大量，它很分散，但是涉及到細(xì)節(jié)，這是現(xiàn)在電商評(píng)論的一些特點(diǎn)，他的優(yōu)勢(shì)和他共有的劣勢(shì)。
    我們從整體的互聯(lián)網(wǎng)數(shù)據(jù)來(lái)說(shuō)，如果把它作為一個(gè)調(diào)研數(shù)據(jù)的基礎(chǔ)，它的好處在于，像剛才說(shuō)的大量和容易采集，但是你不能只采集某些片斷，如果你大規(guī)模的爬，成本是一個(gè)問(wèn)題。第二個(gè)難度是在于它的信息價(jià)值量比較低，這就是我們?yōu)槭裁匆劢乖陔娚淘u(píng)論上，大家都說(shuō)電商評(píng)論，大家在電商上究竟評(píng)論什么，它評(píng)論的內(nèi)容對(duì)我們的研究分析究竟有沒(méi)有價(jià)值，這是我們做的統(tǒng)計(jì)分析。
    因?yàn)榇蠹艺f(shuō)電商，評(píng)論的大多數(shù)都是服務(wù)怎么樣，物流等等，可以證實(shí)，空調(diào)的全品類，七個(gè)全部是真實(shí)數(shù)據(jù)，規(guī)模量大概有千萬(wàn)級(jí)別的數(shù)據(jù)。我們可以看到售后服務(wù)確實(shí)是最多的，但是有20%是講產(chǎn)品質(zhì)量，下面還有再說(shuō)一些，有說(shuō)客服、物流、促銷，產(chǎn)品設(shè)計(jì)也屬于產(chǎn)品大概是20%多。如果大家是從分析產(chǎn)品的角度來(lái)講，大量的是在談產(chǎn)品，所以這個(gè)是比較有價(jià)值的。
    我剛才提到了我們拿這些東西是實(shí)際應(yīng)用的，并且賣的還不錯(cuò)。我們?cè)谶@當(dāng)中，實(shí)際上在市場(chǎng)調(diào)研領(lǐng)域，我們?cè)谥虚g有一個(gè)模塊是服務(wù)客戶的市場(chǎng)部門，這個(gè)市場(chǎng)部門，他們究竟看重的是什么，它從電商評(píng)論的數(shù)據(jù)上看到了什么，跟我們究竟產(chǎn)生了什么樣的處理，給我們帶來(lái)了什么樣的價(jià)值。
    首先，我們覺(jué)得現(xiàn)在講大的數(shù)據(jù)融合，我們感覺(jué)甲方客戶主要市場(chǎng)和研究難題，大家怎么從海量的信息，從消費(fèi)者視角洞察自身的產(chǎn)品，傳統(tǒng)的方法要經(jīng)過(guò)很長(zhǎng)時(shí)間，剛才北平也講過(guò)。這里面的挑戰(zhàn)就是怎么更高效，我現(xiàn)在下的任務(wù)一個(gè)小時(shí)就可以看到結(jié)果，甚至幾分鐘就可以看到結(jié)果，我還可以量化，而且我還可以大規(guī)模的做。
    我們究竟展示的是什么東西呢？這是我們實(shí)際運(yùn)作的系統(tǒng)，大家知道我現(xiàn)在要解決第一個(gè)痛點(diǎn)，真正從消費(fèi)者的角度，大規(guī)模、低成本非常快速的了解消費(fèi)者，都有哪些緯度，每個(gè)大緯度之間有什么樣的細(xì)分，它們是怎么樣量化的，細(xì)節(jié)是怎么樣的，首先是數(shù)據(jù)可以非常低成本的采集到。其次是你的處理工作，你必須用機(jī)器來(lái)進(jìn)行，這就是語(yǔ)義處理的問(wèn)題，你必須要工程化，才能處理大規(guī)模實(shí)時(shí)進(jìn)來(lái)的語(yǔ)義數(shù)據(jù)。
    這是我們的平臺(tái)，這都是對(duì)電商評(píng)論的處理工作，我們大規(guī)模取得的數(shù)據(jù)全是電商評(píng)論、價(jià)格和銷量的信息，我們的爬蟲能做到什么呢？只要是人能看到的，我們都可以大規(guī)模、批量、低成本的爬到。大家可能最關(guān)注的是考評(píng)系統(tǒng)，我在說(shuō)我們?cè)趺醋鲋?，再說(shuō)給客戶帶來(lái)的價(jià)值，以及客戶比較認(rèn)可的價(jià)值是什么，因?yàn)檫@是已經(jīng)得到驗(yàn)證的方式。
    現(xiàn)在可能任何的調(diào)研員都可以用數(shù)據(jù)來(lái)出一個(gè)圖，圖的意義，對(duì)商業(yè)上究竟是什么感覺(jué)。首先這里是空調(diào)，你可以看到左邊是幾個(gè)商城所有的評(píng)論數(shù)據(jù)，大規(guī)模的爬到了。我可以看到好評(píng)、差評(píng)率，以及整體的環(huán)比，這是自動(dòng)分類，自動(dòng)分類完了以后，我們的客戶可以看到哪兒有什么問(wèn)題，任何一個(gè)都可以點(diǎn)進(jìn)去細(xì)看。比如說(shuō)產(chǎn)品質(zhì)量點(diǎn)開，如果他想考量任何一個(gè)緯度環(huán)比情況都可以看到，任何一個(gè)具體的點(diǎn)都可以看，可以通過(guò)它來(lái)進(jìn)行考核，跟競(jìng)爭(zhēng)對(duì)手的情況比，具體的產(chǎn)品情況可以細(xì)分。我們可以看美的的產(chǎn)品，我們可以看本周或者是當(dāng)天的情況，還可以看本身的產(chǎn)品排名，這些都是基于真實(shí)數(shù)據(jù)的。通過(guò)這個(gè)可以按照自選的時(shí)間段，迅速的看到消費(fèi)者對(duì)自己的評(píng)價(jià)，而且它可以量化，而且可以實(shí)時(shí)細(xì)化。它的價(jià)值在于管理，完全通過(guò)消費(fèi)者的評(píng)價(jià)來(lái)驅(qū)動(dòng)內(nèi)部的管理，各個(gè)緯度對(duì)應(yīng)各個(gè)業(yè)務(wù)部門，管理以后這是量化和客觀，我們?cè)谶@里的管理，一般產(chǎn)品研發(fā)部、產(chǎn)品品質(zhì)部或者是在旅游行業(yè)，他們要通過(guò)消費(fèi)者評(píng)價(jià)來(lái)考量大家做的實(shí)際服務(wù)，這個(gè)價(jià)值是考評(píng)。
    還有一個(gè)價(jià)值是分析價(jià)值，現(xiàn)在分析價(jià)值是我怎么快速的洞察市場(chǎng)，我從消費(fèi)者的視角能迅速的知道競(jìng)爭(zhēng)對(duì)手的情況，洞察所有的競(jìng)爭(zhēng)對(duì)手，而且成本非常低。大家看這張圖，受美的的委托，這是他們品牌混合的大排名，這是根據(jù)評(píng)論數(shù)。它可以換品牌，它可以迅速洞察格力的情況，為什么可以細(xì)化呢？格力排名這么好，任何一款競(jìng)爭(zhēng)對(duì)手的產(chǎn)品都可以點(diǎn)進(jìn)去，它突然有一個(gè)非常簡(jiǎn)單的方法，能夠洞察競(jìng)爭(zhēng)對(duì)手，就像看到自己本公司細(xì)節(jié)是一樣的。
    自由對(duì)比是什么，這個(gè)痛點(diǎn)是在于市場(chǎng)調(diào)研人員，現(xiàn)在總是需要數(shù)據(jù)來(lái)分析，但是他都是從業(yè)務(wù)的角度思考問(wèn)題。他用到數(shù)據(jù)的問(wèn)題外包給數(shù)據(jù)部門的來(lái)做，他做完了以后需要一個(gè)周期再提供給業(yè)務(wù)部門，而業(yè)務(wù)部門變的比較麻煩，所以讓整個(gè)價(jià)值流和信息流流轉(zhuǎn)的不夠充分?，F(xiàn)在通過(guò)它可以迅速服務(wù)業(yè)務(wù)部門，他可以比較各個(gè)品牌，我想比較這個(gè)品牌在不同時(shí)間段，而在這個(gè)當(dāng)中，它不用求助于任何一個(gè)數(shù)據(jù)員的幫助，業(yè)務(wù)人員他可以自己進(jìn)行洞察，這個(gè)可以干什么，應(yīng)用的角度，他想進(jìn)入一個(gè)新的市場(chǎng)，他迅速的市場(chǎng)的玩家怎么樣，不要重復(fù)他以前的錯(cuò)誤。他在做營(yíng)銷分析的時(shí)候，他要知道自己跟對(duì)手差異化的東西，他可以把自己的廣告，包括電商的描述頁(yè)面，再點(diǎn)到整體廣告內(nèi)容都可以進(jìn)行策劃。
    我們這里還有一個(gè)云圖的概念，這是剛才看到的一些品類，這些都是真實(shí)數(shù)據(jù)，我們通過(guò)跟行業(yè)內(nèi)部人士反復(fù)驗(yàn)證，我們是驚人的準(zhǔn)確，你用來(lái)洞察競(jìng)爭(zhēng)對(duì)手或者是消費(fèi)者看到這個(gè)，你會(huì)發(fā)覺(jué)，你跟從業(yè)十幾年的人看這個(gè)是一樣的。我們之間還有一個(gè)云圖的東西，自由對(duì)比展開了，你可以隨便對(duì)比，右邊這個(gè)圖，因?yàn)榇蠹叶际前l(fā)散的。你除了要有固定的衡量標(biāo)準(zhǔn)，你可以進(jìn)行管理，但是這里面最重要的價(jià)值是在于它的發(fā)散性，因?yàn)樗膶I(yè)度永遠(yuǎn)不如內(nèi)部的人專業(yè)。所以在這里一定要通過(guò)工具的方式進(jìn)行對(duì)比，它的發(fā)散性最有價(jià)值的一點(diǎn)，我們可以看到是在應(yīng)用場(chǎng)景，它會(huì)反復(fù)的提到你意想不到的應(yīng)用場(chǎng)景。我們把兩款手機(jī)在一起比，你可以看到上面不同的會(huì)高量出來(lái)，相同的會(huì)弱化，一個(gè)是三星，一個(gè)是小米，它們的應(yīng)用場(chǎng)景一般都是什么樣的，他們有非常巨大的營(yíng)銷價(jià)值，這個(gè)是對(duì)發(fā)散性思維的時(shí)候是這樣的，我就講到這里。
    
    提問(wèn)：
    剛才你提到你用的是爬蟲技術(shù)，現(xiàn)在百度和淘寶他們的頁(yè)面進(jìn)行了加密處理，這個(gè)對(duì)你們有障礙嗎？你們是怎么解決這個(gè)問(wèn)題的呢？
    
    陳里波：
    我沒(méi)有聽到加密處理，因?yàn)樗麄兪怯屑夹g(shù)背景的，他們的本質(zhì)原則是歡迎人去訪問(wèn)，屏蔽機(jī)器訪問(wèn)。他是怎么判斷你是機(jī)器的，你從一個(gè)IP地址總在半夜十二點(diǎn)去看，這套模型我們會(huì)緊密的跟蹤。我們爬一些頁(yè)面的時(shí)候，我們不光爬目標(biāo)鏈接，我們隨機(jī)跟周圍點(diǎn)一些鏈接，但是所有這些都是機(jī)器做的，這個(gè)本身在法律上沒(méi)有問(wèn)題。但是本身它是技術(shù)博弈的過(guò)程，百度的技術(shù)也比較強(qiáng)，我們之間的博弈才痛快，包括淘寶跟天貓他們封的非常厲害。但是本質(zhì)上如果他不防人，我們就可以批量的爬。
    
    徐小良：
    謝謝陳博士，前面幾個(gè)課題把我們待到了大數(shù)據(jù)、云端，云里霧里，有點(diǎn)比較高精尖。