個(gè)人大數(shù)據(jù)有問(wèn)題怎么解決，數(shù)據(jù)庫(kù)查詢大數(shù)據(jù)內(nèi)存溢出解決辦法

來(lái)源：整理時(shí)間：2023-01-12 13:18:29 編輯：大上海生活手機(jī)版

本文目錄一覽

1，數(shù)據(jù)庫(kù)查詢大數(shù)據(jù)內(nèi)存溢出解決辦法
2，如何解決數(shù)據(jù)庫(kù)數(shù)據(jù)量大的問(wèn)題
3，怎樣消除大數(shù)據(jù)
4，大數(shù)據(jù)可以解決的問(wèn)題有哪些
5，大數(shù)據(jù)有問(wèn)題能處理嗎
6，大數(shù)據(jù)安全問(wèn)題怎么解決
7，為什么說(shuō)大數(shù)據(jù)并不能夠解決所有問(wèn)題

1，數(shù)據(jù)庫(kù)查詢大數(shù)據(jù)內(nèi)存溢出解決辦法

設(shè)置-Xmx768或者1024試試，如果還是不好使，你可以查看下你的程序中是否有內(nèi)存泄露的問(wèn)題。或者通過(guò)debug調(diào)試明確到底是哪一步導(dǎo)致的OUT OF MEMORY。如果還未能解決，建議你貼出部分拋出異常的代碼以及完整的異常信息，應(yīng)該不難解決。發(fā)現(xiàn)問(wèn)題，解決問(wèn)題，正是經(jīng)驗(yàn)的積累，進(jìn)步的關(guān)鍵！！加油，仔細(xì)點(diǎn)查找原因吧，相信你能解決。

首先，這是你內(nèi)存不夠，機(jī)器配置較低，所以可以先用虛擬內(nèi)存替代物理內(nèi)存，在我的電腦->右鍵->屬性->高級(jí)->性能設(shè)置->高級(jí)->虛擬內(nèi)存更改->選中磁盤(pán)->自定義大小->設(shè)置->確定其次，優(yōu)化SQL語(yǔ)句，不要查詢無(wú)用、重復(fù)的數(shù)據(jù)

這個(gè)是典型的數(shù)據(jù)益處問(wèn)題，這個(gè)就是asp和access的弊端了，是無(wú)法避免的，當(dāng)access數(shù)據(jù)被瞬間大量讀取的時(shí)候，就會(huì)數(shù)據(jù)益處了。所以后來(lái)都用asp連接mssql，現(xiàn)在都是net連接mssql了。畢竟access只適合少量數(shù)據(jù)的查詢。

數(shù)據(jù)庫(kù)查詢大數(shù)據(jù)內(nèi)存溢出解決辦法

2，如何解決數(shù)據(jù)庫(kù)數(shù)據(jù)量大的問(wèn)題

mysql解決大數(shù)據(jù)量存儲(chǔ)問(wèn)題的方法是分表。1.如何去分表根據(jù)什么策略把現(xiàn)有表中的數(shù)據(jù)分到多個(gè)表中，并且還有考慮到以后的擴(kuò)展性上。建立一張索引表，用戶id與數(shù)據(jù)庫(kù)id對(duì)應(yīng)，（這里他將相同結(jié)構(gòu)的表分在了不同的數(shù)據(jù)庫(kù)中進(jìn)一步減少壓力，但同時(shí)對(duì)于數(shù)據(jù)的同步也需要通過(guò)其他手段來(lái)解決），其本質(zhì)也是分表了同時(shí)分庫(kù)了。這么做的好處是便于以后的擴(kuò)展，但損耗一點(diǎn)性能，因?yàn)闀?huì)多一次查詢。這樣索引表可能會(huì)成為新的瓶頸，除非用戶不會(huì)一直增長(zhǎng)哈。我的做法屬于另一種，寫(xiě)了個(gè)算法通過(guò)計(jì)算某列值，按照一定規(guī)律將數(shù)據(jù)大致均分在每個(gè)分表中。至于擴(kuò)展性，寫(xiě)算法時(shí)候考慮進(jìn)去了以后增加分表數(shù)的問(wèn)題了。選擇哪種策略，是要看自己的表的業(yè)務(wù)特點(diǎn)了，方法沒(méi)有絕對(duì)的優(yōu)缺，還是要根據(jù)自己的需求選取。2.分表之后主鍵的維護(hù) 分表之前，主鍵就是自動(dòng)遞增的bigint型。所以主鍵的格式已經(jīng)提早被確定了，像什么uuid之類的就被直接pass掉了。還有想過(guò)自己寫(xiě)一個(gè)主鍵生成程序，利用java 的atomic原子量特性，但是考慮還需要增加工作量并且高并發(fā)下，這里很可能是個(gè)隱患。還有就是通過(guò)應(yīng)用層上管理主鍵，如redis中有原子性的遞增。

解決數(shù)據(jù)庫(kù)數(shù)據(jù)量大的問(wèn)題,分庫(kù)或者分表都是辦法之一。分庫(kù)：編程會(huì)復(fù)雜一些；但是適合更大量的數(shù)據(jù)庫(kù)數(shù)據(jù)量。分表：數(shù)據(jù)文件可能還是偏大。

分庫(kù)或者分表。

如何解決數(shù)據(jù)庫(kù)數(shù)據(jù)量大的問(wèn)題

3，怎樣消除大數(shù)據(jù)

大數(shù)據(jù)（big data）是指無(wú)法在一定時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。大數(shù)據(jù)有五大特點(diǎn)，即大量（Volume）、高速（Velocity）、多樣（Variety）、低價(jià)值密度（Value）、真實(shí)性（Veracity）。它并沒(méi)有統(tǒng)計(jì)學(xué)的抽樣方法，只是觀察和追蹤發(fā)生的事情。大數(shù)據(jù)的用法傾向于預(yù)測(cè)分析、用戶行為分析或某些其他高級(jí)數(shù)據(jù)分析方法的使用。中文名大數(shù)據(jù)外文名big data,mega data提出者維克托·邁爾-舍恩伯格及肯尼斯·庫(kù)克耶提出時(shí)間2008年8月中旬應(yīng)用學(xué)科計(jì)算機(jī)，信息科學(xué)，統(tǒng)計(jì)學(xué)適用領(lǐng)域人工智能，BI，工業(yè)4.0，云計(jì)算，物聯(lián)網(wǎng)，互聯(lián)網(wǎng)+特點(diǎn)大量、高速、多樣、價(jià)值、真實(shí)性

數(shù)據(jù)分析師主要工作就是通過(guò)數(shù)據(jù)去解決企業(yè)實(shí)際遇到的問(wèn)題，包括根據(jù)數(shù)據(jù)分析的原因和結(jié)果推理以及預(yù)測(cè)未來(lái)進(jìn)行制定方案、對(duì)調(diào)研搜集到的各種產(chǎn)品數(shù)據(jù)的整理、對(duì)資料進(jìn)行分類和匯總等等發(fā)展前景很好，畢竟數(shù)據(jù)分析這一行在國(guó)內(nèi)才剛剛起步，很多企業(yè)都需要這方面的人才，是很有潛力的，這一行偏商科，技術(shù)輔助。真正的大牛不是數(shù)據(jù)分析工具技術(shù)，而是用數(shù)據(jù)幫助企業(yè)在產(chǎn)品、價(jià)格、促銷、顧客、流量、財(cái)務(wù)、廣告、流程、工藝等方面進(jìn)行價(jià)值提升的人。像我本人就是自學(xué)的數(shù)據(jù)分析師然后畢業(yè)后去了決明工作，現(xiàn)在基本實(shí)現(xiàn)了財(cái)務(wù)自由，但想成為大數(shù)據(jù)分析師的話，需要日積月累堅(jiān)持沉淀下去，相信你總有一天也能達(dá)到這個(gè)層次。

怎樣消除大數(shù)據(jù)

4，大數(shù)據(jù)可以解決的問(wèn)題有哪些

(1)以服務(wù)器為中心的傳統(tǒng)的直接存儲(chǔ)技術(shù)：DAS技術(shù)(Direct Attached Storage)。 DAS技術(shù)將通用服務(wù)器的一部分作為存儲(chǔ)設(shè)備，該服務(wù)器同時(shí)提供數(shù)據(jù)的輸入/輸出及應(yīng)用程序的運(yùn)行。數(shù)據(jù)訪問(wèn)與操作系統(tǒng)、文件系統(tǒng)和服務(wù)程序是緊密相關(guān)的。目前，這種以服務(wù)器為中心的存儲(chǔ)方式已不能適應(yīng)越來(lái)越高的信息存儲(chǔ)需求。但是，DAS產(chǎn)品的優(yōu)勢(shì)在于價(jià)格便宜，在那些數(shù)據(jù)容量不是很大和對(duì)數(shù)據(jù)安全性要求不是很高的部門(mén)還有一定的應(yīng)用市場(chǎng)。 (2)以數(shù)據(jù)為中心的網(wǎng)絡(luò)存儲(chǔ)技術(shù)：NAS(Network Attached Storage)和SAN(Network Area Storage)。 NAS技術(shù)是一種特殊的利用專門(mén)的軟、硬件構(gòu)造的專用數(shù)據(jù)存儲(chǔ)服務(wù)器，又有“瘦服務(wù)器”之稱。它將分布的、獨(dú)立的數(shù)據(jù)整合為大型集中化管理的數(shù)據(jù)中心。它將存儲(chǔ)設(shè)備與服務(wù)器分離，單獨(dú)作為一個(gè)文件服務(wù)器存在，去掉了通用服務(wù)器原有不適用的大多數(shù)計(jì)算功能，僅保留提供文件系統(tǒng)功能。可用于混合的UNIX/Windows NT局域網(wǎng)，不用購(gòu)置價(jià)格昂貴的多功能服務(wù)器。相比較而言，它更適用于一個(gè)需要公共文件系統(tǒng)的服務(wù)器群，如電子郵件服務(wù)器組，Web服務(wù)器集群等。 (3)存儲(chǔ)區(qū)域網(wǎng)(Storage Area Network，SAN)是一種將磁盤(pán)或磁帶與相關(guān)服務(wù)器連接起來(lái)的高速專用網(wǎng)，采用可伸縮的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，可以使用光纖通道連接，也可以使用IP協(xié)議將多臺(tái)服務(wù)器和存儲(chǔ)設(shè)備連接在一起。將數(shù)據(jù)存儲(chǔ)管理集中在相對(duì)獨(dú)立的存儲(chǔ)區(qū)域網(wǎng)內(nèi)，并可提供SAN內(nèi)部任意節(jié)點(diǎn)之間的多路可選擇數(shù)據(jù)交換。SAN獨(dú)立于LAN之外，通過(guò)網(wǎng)關(guān)設(shè)備與LAN連接，是一個(gè)專門(mén)的網(wǎng)絡(luò)。三個(gè)構(gòu)成要素：網(wǎng)絡(luò)互連結(jié)構(gòu)、管理軟件和存儲(chǔ)系統(tǒng)。

5，大數(shù)據(jù)有問(wèn)題能處理嗎

不是萬(wàn)能的，任何技術(shù)都有使用的場(chǎng)合，不過(guò)大數(shù)據(jù)技術(shù)是目前很流行的技術(shù)，學(xué)習(xí)還是比較好的。

像hadoop技術(shù)，對(duì)大數(shù)據(jù)的實(shí)時(shí)處理能力較弱。不過(guò)目前也有不少實(shí)時(shí)大數(shù)據(jù)系統(tǒng)。譬如國(guó)內(nèi)永洪科技的實(shí)時(shí)大數(shù)據(jù)bi。具體底層技術(shù)來(lái)說(shuō)。簡(jiǎn)單以永洪科技的技術(shù)說(shuō)下，有四方面，其實(shí)也代表了部分通用大數(shù)據(jù)底層技術(shù)：z-suite具有高性能的大數(shù)據(jù)分析能力，她完全摒棄了向上升級(jí)(scale-up)，全面支持橫向擴(kuò)展(scale-out)。z-suite主要通過(guò)以下核心技術(shù)來(lái)支撐pb級(jí)的大數(shù)據(jù)：跨粒度計(jì)算(in-databasecomputing)z-suite支持各種常見(jiàn)的匯總，還支持幾乎全部的專業(yè)統(tǒng)計(jì)函數(shù)。得益于跨粒度計(jì)算技術(shù)，z-suite數(shù)據(jù)分析引擎將找尋出最優(yōu)化的計(jì)算方案，繼而把所有開(kāi)銷較大的、昂貴的計(jì)算都移動(dòng)到數(shù)據(jù)存儲(chǔ)的地方直接計(jì)算，我們稱之為庫(kù)內(nèi)計(jì)算(in-database)。這一技術(shù)大大減少了數(shù)據(jù)移動(dòng)，降低了通訊負(fù)擔(dān)，保證了高性能數(shù)據(jù)分析。并行計(jì)算(mpp computing)z-suite是基于mpp架構(gòu)的商業(yè)智能平臺(tái)，她能夠把計(jì)算分布到多個(gè)計(jì)算節(jié)點(diǎn)，再在指定節(jié)點(diǎn)將計(jì)算結(jié)果匯總輸出。z-suite能夠充分利用各種計(jì)算和存儲(chǔ)資源，不管是服務(wù)器還是普通的pc，她對(duì)網(wǎng)絡(luò)條件也沒(méi)有嚴(yán)苛的要求。作為橫向擴(kuò)展的大數(shù)據(jù)平臺(tái)，z-suite能夠充分發(fā)揮各個(gè)節(jié)點(diǎn)的計(jì)算能力，輕松實(shí)現(xiàn)針對(duì)tb/pb級(jí)數(shù)據(jù)分析的秒級(jí)響應(yīng)。列存儲(chǔ) (column-based)z-suite是列存儲(chǔ)的。基于列存儲(chǔ)的數(shù)據(jù)集市，不讀取無(wú)關(guān)數(shù)據(jù)，能降低讀寫(xiě)開(kāi)銷，同時(shí)提高i/o 的效率，從而大大提高查詢性能。另外，列存儲(chǔ)能夠更好地壓縮數(shù)據(jù)，一般壓縮比在5 -10倍之間，這樣一來(lái)，數(shù)據(jù)占有空間降低到傳統(tǒng)存儲(chǔ)的1/5到1/10 。良好的數(shù)據(jù)壓縮技術(shù)，節(jié)省了存儲(chǔ)設(shè)備和內(nèi)存的開(kāi)銷，卻大大了提升計(jì)算性能。內(nèi)存計(jì)算得益于列存儲(chǔ)技術(shù)和并行計(jì)算技術(shù)，z-suite能夠大大壓縮數(shù)據(jù)，并同時(shí)利用多個(gè)節(jié)點(diǎn)的計(jì)算能力和內(nèi)存容量。一般地，內(nèi)存訪問(wèn)速度比磁盤(pán)訪問(wèn)速度要快幾百倍甚至上千倍。通過(guò)內(nèi)存計(jì)算，cpu直接從內(nèi)存而非磁盤(pán)上讀取數(shù)據(jù)并對(duì)數(shù)據(jù)進(jìn)行計(jì)算。內(nèi)存計(jì)算是對(duì)傳統(tǒng)數(shù)據(jù)處理方式的一種加速，是實(shí)現(xiàn)大數(shù)據(jù)分析的關(guān)鍵應(yīng)用技術(shù)。

6，大數(shù)據(jù)安全問(wèn)題怎么解決

要防控泄密事件發(fā)生，應(yīng)從數(shù)據(jù)加密、終端安全、高效辦公三個(gè)維度去實(shí)施。一、數(shù)據(jù)加密智能加密敏感數(shù)據(jù)，從文件創(chuàng)建開(kāi)始，就始終保持密文狀態(tài)，加密文件只有被授權(quán)的用戶才可以解密。系統(tǒng)支持對(duì)WPS、CAD、PS等任意格式的電子文檔及設(shè)計(jì)圖紙進(jìn)行加密保護(hù)，并且能對(duì)加密文件進(jìn)行精細(xì)化的應(yīng)用權(quán)限設(shè)置和分級(jí)保護(hù)，避免通過(guò)文件共享、郵件附件、QQ聊天等途徑泄密敏感信息。機(jī)密文件只能被授權(quán)人員（如核心人員）查看，在安全的授權(quán)應(yīng)用環(huán)境中（如企業(yè)內(nèi)部），在指定時(shí)間內(nèi)進(jìn)行指定的應(yīng)用操作，并且文件操作全過(guò)程將被詳細(xì)記錄到審計(jì)日志中，實(shí)現(xiàn)普通員工與機(jī)密文件的信息安全隔離，也能協(xié)助企業(yè)快速定位安全事故源頭。二、終端安全1.過(guò)濾敏感信息企業(yè)管理人員可設(shè)置關(guān)鍵字等敏感信息，禁止員工搜索或發(fā)送含有該敏感內(nèi)容的文件，有效防止終端用戶內(nèi)部泄密的行為。2.網(wǎng)絡(luò)與應(yīng)用程序限制對(duì)終端電腦的應(yīng)用程序和上網(wǎng)權(quán)限進(jìn)行一定的限制，比如上網(wǎng)時(shí)限、應(yīng)用程序的使用、網(wǎng)頁(yè)的瀏覽，在實(shí)現(xiàn)安全規(guī)范終端行為的同時(shí)，也為企業(yè)創(chuàng)造一個(gè)良好的辦公氛圍。3.離線管理功能控制出差人員只能在授權(quán)離線時(shí)間內(nèi)正常打開(kāi)離線計(jì)算機(jī)上的加密文件，一旦超過(guò)離線時(shí)間，筆記本上的所有加密文檔均無(wú)法打開(kāi)。同時(shí)，離線期間的所有操作記錄仍然實(shí)時(shí)記錄，在重新連上服務(wù)器后會(huì)自動(dòng)上傳，以便管理員審計(jì)。4.打印機(jī)設(shè)置為了有效避免員工通過(guò)打印泄密，系統(tǒng)支持對(duì)打印機(jī)的使用權(quán)限進(jìn)行限制包括禁用、指定打印機(jī)、指定程序等。可自定義打印水印內(nèi)容，支持文字水印和圖片水印，保證打印文件的安全性。三、高效辦公1.外發(fā)文件安全外發(fā)文檔可控制多種權(quán)限，例如禁止對(duì)方打印、修改、防止內(nèi)容拖拽、拷屏和設(shè)置一定時(shí)間內(nèi)自動(dòng)銷毀等權(quán)限。2.移動(dòng)存儲(chǔ)設(shè)備管控限制指定電腦的USB接口使用情況，分別有允許使用、禁止使用、USB設(shè)備只讀（即單向傳輸拷貝控制，只能從U盤(pán)上拷出數(shù)據(jù)，不能拷入數(shù)據(jù)）和斷網(wǎng)使用（即插入U(xiǎn)SB存儲(chǔ)設(shè)備時(shí)終端斷網(wǎng)）四種限制方式。3.移動(dòng)辦公實(shí)現(xiàn)用戶在家辦公或出差時(shí)，可隨時(shí)隨地調(diào)用企業(yè)內(nèi)部加密文件，實(shí)現(xiàn)隨時(shí)隨地的高效移動(dòng)辦公。綜上所述，數(shù)據(jù)加密無(wú)感知、終端安全性以及穩(wěn)定性、優(yōu)異的兼容性以及靈活的等級(jí)控制體現(xiàn)出了防泄密系統(tǒng)的核心優(yōu)勢(shì)，從源頭開(kāi)始保障企業(yè)數(shù)據(jù)安全。

可以通過(guò)對(duì)用戶場(chǎng)景及需求的深入挖掘，為用戶構(gòu)建“可發(fā)現(xiàn)”、“可協(xié)同”、“可預(yù)測(cè)”、“可度量”的安全網(wǎng)絡(luò)建設(shè)體系，并提供整體解決方案。詳細(xì)資料可以參考銳捷安全態(tài)勢(shì)感知解決方案，利用大數(shù)據(jù)安全分析平臺(tái)RG-BDS來(lái)實(shí)現(xiàn)大數(shù)據(jù)的安全分析、監(jiān)控等等。

7，為什么說(shuō)大數(shù)據(jù)并不能夠解決所有問(wèn)題

首先，讓我們談?wù)劦降资裁唇凶鞔髷?shù)據(jù)。事實(shí)上根據(jù)IDC的調(diào)查報(bào)告顯示，那些通常被稱為大數(shù)據(jù)的信息——包括由企業(yè)資源規(guī)劃（簡(jiǎn)稱ERP）、客戶關(guān)系管理（簡(jiǎn)稱CRM）以及其它商務(wù)系統(tǒng)（包括目前企業(yè)常用的分析工具）等量化并捕捉到的海量數(shù)據(jù)——事實(shí)上只占企業(yè)平均數(shù)據(jù)總量的10%左右。而其余部分則可以稱作“非結(jié)構(gòu)化”或者說(shuō)“質(zhì)化”數(shù)據(jù)，而這部分?jǐn)?shù)據(jù)在內(nèi)容上相當(dāng)混亂。這類信息可能來(lái)自客戶調(diào)查、響應(yīng)記錄、在線論壇、社交媒體、文件、視頻、新聞報(bào)道、指向服務(wù)中心的通話以及由銷售團(tuán)隊(duì)收集到的趨勢(shì)性論據(jù)等等。這類內(nèi)容通常以文本而非數(shù)字的形式存在，這就意味著其很難被“量化”，或者說(shuō)轉(zhuǎn)化成數(shù)值形式。這就產(chǎn)生了新的問(wèn)題。雖然大部分分析工具都能夠?qū)崿F(xiàn)信息量化——換言之，也就是數(shù)字處理——但非結(jié)構(gòu)化數(shù)據(jù)當(dāng)中通常包含大量背景信息，這意味著企業(yè)需要找到適合的理解角度才能讓這些信息產(chǎn)生價(jià)值。“數(shù)據(jù)帶來(lái)的問(wèn)題往往要比結(jié)論更多，而我們總是需要就定性數(shù)據(jù)趨勢(shì)背后的為什么作出一番證明。”Forrester調(diào)查公司分析師Anjali Lai指出。“如果在架空背景之下進(jìn)行數(shù)據(jù)分析，那我們往往無(wú)法把握事情的全貌。而定性數(shù)據(jù)則能夠提供這一必要的背景視角。”想象一下，大家所在的公司希望理解為什么在線銷售額度一直無(wú)法達(dá)到預(yù)期。要解決這個(gè)問(wèn)題，大家可以斥資購(gòu)置昂貴的營(yíng)銷分析工具，從而獲得用戶在各頁(yè)面上的平均瀏覽時(shí)間或者用戶取消購(gòu)物車內(nèi)容的比例等基于行為的重要數(shù)據(jù)。不過(guò)即使擁有大量此類數(shù)據(jù)，我們?nèi)匀晃幢啬軌蛟凇盀槭裁础边@道方程題中得出正確的答案。“大家可能很清楚，自己的網(wǎng)站每天擁有一萬(wàn)名訪問(wèn)者——這就是定性數(shù)據(jù)，”YouEye公司首席產(chǎn)品官Collin Sebastian指出，這是一家專門(mén)針對(duì)定性數(shù)據(jù)設(shè)計(jì)軟件與服務(wù)產(chǎn)品的企業(yè)。“定性數(shù)據(jù)能夠告訴我們，其中有四千名訪客對(duì)于特定產(chǎn)品類型很感興趣，他們希望了解什么、哪些內(nèi)容屬于意外情況，他們又會(huì)選擇哪些產(chǎn)品作為替代選項(xiàng)等。”定性數(shù)據(jù)的重要意義絕不僅限于確定數(shù)據(jù)點(diǎn)之間的關(guān)聯(lián)性，例如告訴我們哪些訪客在網(wǎng)站上停留的時(shí)間更長(zhǎng)、購(gòu)物的意愿更強(qiáng)烈。除此之外，定性數(shù)據(jù)還可以識(shí)別出因果關(guān)系，從而回答那些難以捉摸的“為什么”問(wèn)題。訪客為什么會(huì)在我們的網(wǎng)站上耗費(fèi)更長(zhǎng)時(shí)間——這到底是因?yàn)榫W(wǎng)站內(nèi)容足夠精彩，還是單純因?yàn)槲覀冊(cè)O(shè)計(jì)的購(gòu)物過(guò)程太過(guò)繁瑣？“當(dāng)前，每位CMO需要管理的信息儀表板平均達(dá)14套之多，”Sebastian表示。“這就是最為典型的分析癱瘓案例：我擁有1000萬(wàn)個(gè)數(shù)據(jù)點(diǎn)，從17種不同的角度對(duì)我的問(wèn)題作出審視——但我還是不具備能夠真正理解其涵義的必要背景信息。”從歷史角度講，對(duì)定性數(shù)據(jù)的分析往往需要以手動(dòng)方式進(jìn)行——也就是屬于人力密集型工作。“我們根本不可能單純?cè)谑占綌?shù)據(jù)之后向文件數(shù)據(jù)庫(kù)提交查詢，并指望著其返回一項(xiàng)可視化結(jié)果，”Booz Allen Hamilton公司首席數(shù)據(jù)科學(xué)家Kirk Borne解釋道。定性數(shù)據(jù)分析的結(jié)果一般會(huì)被限制在特定范圍當(dāng)中，但這種狀況目前已經(jīng)開(kāi)始扭轉(zhuǎn)。除了市面上開(kāi)始出現(xiàn)更多專門(mén)針對(duì)定性工具設(shè)計(jì)的工具及軟件包之外，我們還擁有了“越來(lái)越多理想的定性數(shù)據(jù)向量化數(shù)據(jù)轉(zhuǎn)換的途徑，并能夠借此讓定性分析在定性數(shù)據(jù)當(dāng)中充分發(fā)揮潛能，”Borne指出。YouEye是一款利用視頻與音頻記錄用戶同客戶網(wǎng)站內(nèi)容、廣告或其它素材交互流程的在線工具。一般來(lái)講，每次調(diào)查所選取的用戶數(shù)量會(huì)在50位到300位之間，具體取決于客戶要求。視頻利用人工編碼、自然語(yǔ)言處理及機(jī)器學(xué)習(xí)等機(jī)制進(jìn)行轉(zhuǎn)錄與編碼。在處理接近尾聲時(shí)，客戶能夠得到一份包含強(qiáng)調(diào)部分的調(diào)查結(jié)果。舉例來(lái)說(shuō)，如果客戶是一家咖啡供應(yīng)商，“我們會(huì)通過(guò)產(chǎn)品互動(dòng)情況匯總出一套包含強(qiáng)調(diào)部分的調(diào)查報(bào)告，其中突出體現(xiàn)了每一次客戶提到其它競(jìng)爭(zhēng)對(duì)手的情況，”Sebastian表示。“這樣大家就能立即對(duì)客戶流失狀況作出因果分析——而這顯然并不是定性數(shù)據(jù)能夠?qū)崿F(xiàn)的效果。”QSR International是另一家利用定制化軟件專門(mén)處理定性數(shù)據(jù)的企業(yè)，其NVivo產(chǎn)品已經(jīng)為Gallup所采用。除了廣為人知的全國(guó)民調(diào)服務(wù)之外，Gallup也以咨詢方的身份幫助企業(yè)了解客戶關(guān)系當(dāng)中的情感狀況，而這自然會(huì)涉及到大量定性數(shù)據(jù)。“一部分關(guān)鍵性研究問(wèn)題需要單獨(dú)通過(guò)定性方式處理，其中包括客戶為什么會(huì)主動(dòng)疏離或者對(duì)供應(yīng)商的服務(wù)表現(xiàn)出冷漠態(tài)度，乃至其在體驗(yàn)客戶服務(wù)過(guò)程當(dāng)中表現(xiàn)出的動(dòng)機(jī)與思維過(guò)程，”Gallup研究與策略顧問(wèn)Ilana Ron-Levey指出。“當(dāng)我們與企業(yè)建立合作關(guān)系之后，定性數(shù)據(jù)能夠幫助我們了解到特定觀點(diǎn)的廣泛性，同時(shí)也是我們了解其背后特定規(guī)律及分布含義的關(guān)鍵所在，”她解釋道。Gallup方面還利用一系列技術(shù)手段評(píng)估客戶心態(tài)。舉例來(lái)說(shuō)，在最近一個(gè)B2B項(xiàng)目當(dāng)中，Gallup方面就面對(duì)面采訪了100多位高級(jí)客戶，并以客戶參與度為核心收集到了大量定性與量化數(shù)據(jù)，Ron-Levey表示。該團(tuán)隊(duì)還利用NVivo以及微軟Excel手動(dòng)編碼的方式對(duì)定性數(shù)據(jù)進(jìn)行分析。有了這些分析結(jié)果，Gallup利用定性響應(yīng)以統(tǒng)計(jì)方式解釋了影響客戶參與度的諸多因素。其利用定性數(shù)據(jù)描述了這些因素如果驅(qū)動(dòng)客戶的所見(jiàn)內(nèi)容及感受。以此為基礎(chǔ)，“我們收集到了多種能夠切實(shí)提高不同類型客戶參與度的執(zhí)行策略，”她表示。在軟件當(dāng)中處理定性數(shù)據(jù)通常需要為其賦予數(shù)值形式，例如為特定定性響應(yīng)或者評(píng)論分配一個(gè)數(shù)值等級(jí)或者分值。比如在情緒分析當(dāng)中，研究人員通常會(huì)利用一個(gè)正值或者負(fù)值來(lái)表示定性數(shù)據(jù)，而后再分配另一個(gè)數(shù)值來(lái)描述這種情緒的具體強(qiáng)度，Born指出。文本分析包括以定性方式——例如議題模型及熱圖——對(duì)文本信息的內(nèi)容進(jìn)行總結(jié)，而自然語(yǔ)言與語(yǔ)義處理技術(shù)則能夠從語(yǔ)音當(dāng)中提取出真實(shí)含義——包括書(shū)面與口頭兩類。將定性數(shù)據(jù)轉(zhuǎn)化成量化形式可能會(huì)涉及到一些主觀決策。“這是一大挑戰(zhàn)，但其中同時(shí)也充滿了機(jī)遇，”Borne指出。“語(yǔ)言當(dāng)中包含著大量微妙且復(fù)雜的內(nèi)容，我們可以將其提取出來(lái)進(jìn)行深度理解，從而更加準(zhǔn)確地把握其含義。”QSR的NVivo產(chǎn)品中已經(jīng)采用了一系列算法，能夠通過(guò)常用詞匯或者句型對(duì)數(shù)據(jù)進(jìn)行分析。有了大量可視化工具，我們能夠更加輕松地解讀數(shù)據(jù)內(nèi)容——包括關(guān)鍵字云與樹(shù)狀圖。“這讓我們能夠以強(qiáng)大且可靠的可視化角度獲取觀點(diǎn)及其深層原因，”QSR公司CEO John Owen表示。定性數(shù)據(jù)收集工作往往相當(dāng)費(fèi)時(shí)，需要研究人員擁有高超的技巧并建立起和諧的關(guān)系，從而降低對(duì)受訪者意見(jiàn)的理解偏差，效力于Gallup的Ron-Levey指出。“作為一項(xiàng)長(zhǎng)期被低估甚至忽視的重要技能，定性數(shù)據(jù)研究人員需要擁有移情能力，”Forrester公司的Lai表示贊同。“而目前的狀況是，定性研究人員往往單純依靠編程而非深入考量背景信息或者潛臺(tái)詞的方式進(jìn)行數(shù)據(jù)分析。”處理數(shù)據(jù)并確保研究模型切實(shí)生效同樣不是件簡(jiǎn)單的事。大家可能需要從無(wú)到有對(duì)一整套量化數(shù)據(jù)集進(jìn)行規(guī)范化處理，但這項(xiàng)任務(wù)在面對(duì)定性數(shù)據(jù)時(shí)會(huì)變得非常艱難，Borne指出。“標(biāo)準(zhǔn)統(tǒng)計(jì)測(cè)試往往會(huì)對(duì)假設(shè)甲與假設(shè)乙進(jìn)行比對(duì)，但對(duì)于同時(shí)包含多種理解方式的定性數(shù)據(jù)來(lái)說(shuō)，這樣的直接假設(shè)根本無(wú)法生效，”他進(jìn)一步解釋稱。而從分析的角度出發(fā)，理解方式在推廣過(guò)程中往往會(huì)超出樣本數(shù)據(jù)集的涵蓋范圍，Ron-Levey提醒道。不過(guò)值得肯定的是，妥善打理定性數(shù)據(jù)確實(shí)能夠帶來(lái)令人欣慰的回報(bào)。“在大數(shù)據(jù)時(shí)代之下，我們開(kāi)始不斷探索數(shù)字背后所隱藏的真正意義，”Ron-Levey表示。“通過(guò)這種方式了解人們的感受、動(dòng)機(jī)以及觀點(diǎn)將幫助企業(yè)建立起創(chuàng)新成果與新的運(yùn)營(yíng)戰(zhàn)略，從而吸引到更多客戶的關(guān)注。”Forrester公司的Lai亦表示，“定性與量化觀點(diǎn)可以說(shuō)是客戶情緒認(rèn)知工作中的陰與陽(yáng)兩面，只有將二者結(jié)合起來(lái)，才能真正得到與消費(fèi)者行為相關(guān)的完整結(jié)論。”