Intuit數(shù)據(jù)工程副主管Loconzolo雙腳都已經(jīng)邁進數(shù)據(jù)湖里了。SmarterRemarketer首席數(shù)據(jù)科學家DeanAbbott也為云技術(shù)的發(fā)展指出了捷徑。他們二人一致認為,大數(shù)據(jù)與分析學前沿是個活動目標，這一領(lǐng)域包含了儲存原始數(shù)據(jù)的數(shù)據(jù)湖和云計算。盡管這些技術(shù)并未成熟，但等待也并非上策。

　　Loconzolo表示：“現(xiàn)實的情況是，這些工具都剛剛興起，他們構(gòu)筑的平臺還不足以讓企業(yè)依賴。但是，大數(shù)據(jù)和分析學等學科發(fā)展十分迅速，因此企業(yè)必須努力跟上，否則就有被甩掉的危險�！彼�還說：“過去，新興技術(shù)往往需要十年左右的時間才能夠成熟，但是現(xiàn)在大大不同了，人們幾個月甚至幾周時間就能想出解決方案。”那么，有哪些新興技術(shù)是我們應(yīng)該關(guān)注，或者說科研人員正在重點研究的呢？《電腦世界》采訪了一些IT精英、咨詢師和行業(yè)分析專家，來看看他們列出的幾大趨勢吧。

　　1.云端大數(shù)據(jù)分析

　　Hadoop是一組有一定框架結(jié)構(gòu)的工具，用來處理大型數(shù)據(jù)組。它原本用于機器群，但現(xiàn)在情況有所變化。ForresterResearch一位分析師BrianHopkins表示，現(xiàn)在有越來越多的技術(shù)可以運用到云端數(shù)據(jù)處理上來了。比如亞馬遜的BI數(shù)據(jù)庫、Google的BigQuery數(shù)據(jù)分析服務(wù),、IBM’sBluemix云平臺和亞馬遜的Kinesis數(shù)據(jù)處理服務(wù)。這位分析師還說，未來的大數(shù)據(jù)將是內(nèi)部數(shù)據(jù)部署與云端數(shù)據(jù)的結(jié)合體。

　　SmarterRemarketer是SaaS零售分析、市場細分和營銷服務(wù)的供應(yīng)商，它最近將自己室內(nèi)的Hadoop和MongoDB數(shù)據(jù)庫基礎(chǔ)設(shè)施轉(zhuǎn)移到了一個基于云技術(shù)的數(shù)據(jù)庫—AmazonRedshift.這家位于印第安納波利斯的公司收集線上和實體銷售數(shù)據(jù)、顧客信息和實時行為數(shù)據(jù)，之后進行分析，從而幫助零售商做出針對消費者的決策，有些決策甚至是實時的。

　　Abbott表示，Redshift可以節(jié)省這家公司的成本，這是因為它對于結(jié)構(gòu)數(shù)據(jù)擁有強大的匯總報告功能，而且它頗具規(guī)模，使用起來相對容易。用這些虛擬設(shè)備總是要比那些實體設(shè)備便宜一些。

　　相比之下，位于加州山景城的Intuit在走向云分析的過程中就要謹慎多了，因為它需要一個安全、穩(wěn)定、可控的環(huán)境。目前為止，這家金融軟件公司的數(shù)據(jù)都還在自家的數(shù)據(jù)庫—IntuitAnalyticsCloud里面。Loconzolo表示：“目前我們正跟亞馬遜還有Cloudera合作，建立一個我們幾家公司公用的能跨越虛擬、現(xiàn)實兩個世界的、具有高度穩(wěn)定性的云端，但是現(xiàn)在這個問題還沒有得到解決�！比欢�，可以說，對于像Intuit這種銷售云端產(chǎn)品的公司來說，向云端技術(shù)進軍是必然的。Loconzolo還說道，未來我們會發(fā)展到一個階段，那時把數(shù)據(jù)放在私有云端將是浪費的。

　　2.Hadoop：一個新的企業(yè)數(shù)據(jù)運行系統(tǒng)

　　Hopkins表示，向MapReduce這樣的分布式分析框架，正在逐漸演化成分布式資源管理器，這些資源管理器正逐步將Hadoop變?yōu)槎嘤猛緮?shù)據(jù)運行系統(tǒng)�！坝辛诉@些系統(tǒng)，你就可以進行多種多樣的操作和分析�！�

　　這對企業(yè)來說意味著什么呢？SQL、MapReduce、in-memory、流水式處理、圖表分析還有其它工作都能在Hadoop上進行，越來越多的企業(yè)會把Hadoop當做企業(yè)數(shù)據(jù)中心。Hopkins還說：“在Hadoop上能進行各種各樣的數(shù)據(jù)處理工作，這樣的話，Hadoop會慢慢變成一個多用途的數(shù)據(jù)處理系統(tǒng)�！�

　　Intuit已經(jīng)開始在Hadoop建立自己的數(shù)據(jù)基地了。Loconzolo說：“我們的策略是利用Hadoop分布式文件系統(tǒng)，因為它和MapReduce與Hadoop等聯(lián)系十分密切，這樣的話，人與產(chǎn)品之間的各種互動就可以實現(xiàn)了。

　　3.大數(shù)據(jù)湖泊

　　美國普華永道首席技術(shù)專家ChrisCurran說，傳統(tǒng)數(shù)據(jù)庫理論認為，人們應(yīng)該先設(shè)計數(shù)據(jù)集，然后再將數(shù)據(jù)輸入進去。而“數(shù)據(jù)湖泊“，也被稱作“企業(yè)數(shù)據(jù)湖泊”或者“企業(yè)數(shù)據(jù)中心”，顛覆了這個理念�！艾F(xiàn)在，我們先收集數(shù)據(jù)，然后把它們都存入Hadoop倉庫里，我們不必事先設(shè)計數(shù)據(jù)模型了�！边@個數(shù)據(jù)湖泊不僅為人們提供了分析數(shù)據(jù)的工具，而且很明確地告訴你，這里有什么樣的數(shù)據(jù)。Curran還表示，運用Hadoop的過程中人們就可以增加對數(shù)據(jù)的認識。這是一個遞增的、有機的大規(guī)模數(shù)據(jù)庫。當然，這樣一來，對使用者的技術(shù)要求相應(yīng)地會比較高。

　　Loconzolo表示，Intuit擁有自己的數(shù)據(jù)湖泊，這個數(shù)據(jù)湖里既有用戶點擊量的數(shù)據(jù)，也有企業(yè)和第三方的數(shù)據(jù)，所有這些都是Intuit分析云端的一部分，但關(guān)鍵是要讓圍繞這個數(shù)據(jù)湖的工具能夠為人們有效利用起來。Loconzolo還說，對于在Hadoop建立數(shù)據(jù)湖，一個需要考慮的問題是，這個平臺并沒有完完全全的為企業(yè)的需求設(shè)置周全�！拔覀冞�需要傳統(tǒng)企業(yè)數(shù)據(jù)庫已經(jīng)有了幾十年的一些功能，比如監(jiān)控訪問控制、加密、安全性以及能夠從源頭到去向地追蹤數(shù)據(jù)等等。

　　4.更多預(yù)測分析

　　Hopkins表示，有了大數(shù)據(jù)，分析師們不僅有了更多的數(shù)據(jù)可以利用，也擁有了更強大的處理打量不同屬性數(shù)據(jù)的能力。

　　他說：“傳統(tǒng)的機器學習利用的數(shù)據(jù)分析是建立在一個大數(shù)據(jù)集中的一個樣本基礎(chǔ)上的，而現(xiàn)在，我們擁有了處理了大量數(shù)字記錄的能力，甚至于每條數(shù)據(jù)有多種不同屬性，我們都應(yīng)對自如。”

　　大數(shù)據(jù)與計算功能的結(jié)合也讓分析師們能夠挖掘人們一天中的行為數(shù)據(jù)，好比他們訪問的網(wǎng)站或者是去過的地方。Hopkins把這些數(shù)據(jù)稱作“稀少數(shù)據(jù)（sparsedata）”，因為要想得到這些你感興趣的數(shù)據(jù)，必須過濾掉一大堆無關(guān)的數(shù)據(jù)。“要想用傳統(tǒng)機器算法對抗這種數(shù)據(jù)，從計算角度來講幾乎不可能。因為計算能力是一個十分重要的問題，特別是現(xiàn)在傳統(tǒng)算法的速度和記憶儲存能力退化很快。而現(xiàn)在你可以很容易知道哪些數(shù)據(jù)是最容易分析的，不得不說，賽場易主了�！�

　　Loconzolo表示：“我們最感興趣的地方是，怎樣在同一個Hadoop內(nèi)核中既能作實時分析，又能做預(yù)測模型。這里最大的問題在于速度。Hadoop花費的時間要比現(xiàn)有技術(shù)長20倍，所以Intuit也在嘗試另一個大規(guī)模數(shù)據(jù)處理器ApacheSpark及其配套的SparkSQL查詢工具。Loconzolo說：“Spark具有快速查詢、制表服務(wù)和分組功能。它能在把數(shù)據(jù)保留在Hadoop內(nèi)部的前提下，還將數(shù)據(jù)處理得十分出色。”