大數(shù)據(jù)和大數(shù)據(jù)分析成為時(shí)下企業(yè)關(guān)注的焦點(diǎn)，大數(shù)據(jù)分析平臺正在從企業(yè)的高配變?yōu)闃?biāo)配，是企業(yè)實(shí)現(xiàn)“一切業(yè)務(wù)數(shù)據(jù)化，一切數(shù)據(jù)業(yè)務(wù)化”目標(biāo)的基礎(chǔ)平臺。本期《大咖來了》邀請了阿里云智能高級解決方案架構(gòu)師鮑遠(yuǎn)松，分享主題為《零門檻構(gòu)建彈性大數(shù)據(jù)云分析平臺》，過程中對大數(shù)據(jù)分析平臺建設(shè)進(jìn)行階段劃分，并對每階段進(jìn)行了詳盡的闡述。

　　如下圖，為大數(shù)據(jù)分析平臺建設(shè)的四個(gè)階段，分別是自建、云托管、云服務(wù)和云原生。

　　大數(shù)據(jù)分析平臺建設(shè)之自建

　　為什么要自建大數(shù)據(jù)分析平臺呢?主要原因有三：其一、傳統(tǒng)大數(shù)據(jù)分析技術(shù)已經(jīng)不能滿足大數(shù)據(jù)分析，需要通過引入新技術(shù)進(jìn)行提升;其二、早期大數(shù)據(jù)技術(shù)相對不成熟、不可靠，需要專門的技術(shù)人才去研究;其三、市場上缺乏有效的大數(shù)據(jù)分析的成功案例和實(shí)踐，企業(yè)須摸著石頭過河。

　　自建大數(shù)據(jù)分析平臺屬于重資產(chǎn)模式，存在多方面不足，主要有如下幾點(diǎn)：

　　周期長：整個(gè)建設(shè)周期特別長，涉及機(jī)房選擇、硬件采購、集群部署、測試調(diào)優(yōu)、數(shù)據(jù)服務(wù)、運(yùn)維管理等諸多環(huán)節(jié)。

　　成本高：成本分為兩類，一類是服務(wù)器、存儲、網(wǎng)絡(luò)、運(yùn)維、IDC等顯性成本，另一類是業(yè)務(wù)影響、資源閑置、彈性擴(kuò)容、一次性資金投入等隱性成本。這些成本的投入是確定的，但產(chǎn)出卻是未知的。

　　門檻高：近些年大數(shù)據(jù)技術(shù)蓬勃發(fā)展，數(shù)據(jù)集成、數(shù)據(jù)存儲、分析計(jì)算及數(shù)據(jù)作業(yè)每個(gè)維度都有很多細(xì)分的技術(shù)，很多技術(shù)都需要投入專人進(jìn)行深入研究，對于普通企業(yè)來說人才門檻很高。

　　見效慢：大數(shù)據(jù)分析平臺需要自始至終不斷地進(jìn)行迭代和修正，直至數(shù)據(jù)質(zhì)量符合預(yù)期，數(shù)據(jù)分析結(jié)果可信，才可能真正達(dá)到極致彈性性能、高可靠、多場景應(yīng)用的效果。

　　大數(shù)據(jù)分析平臺建設(shè)之云托管

　　自建大數(shù)據(jù)分析平臺種種不足的背景下，云托管應(yīng)需而生，原因有三：其一、企業(yè)甩掉重資產(chǎn)的包袱;其二、大數(shù)據(jù)技術(shù)趨于成熟，企業(yè)不再聚焦于大數(shù)據(jù)技術(shù)本身，而是需要一批具有大數(shù)據(jù)技能的人來做大數(shù)據(jù)的開發(fā);其三、云廠商結(jié)合自身的優(yōu)勢，提供了云上大數(shù)據(jù)托管平臺。

　　自建大數(shù)據(jù)分析平臺通常是基于開源Hadoop平臺，而云托管是把自建開源Hadoop平臺轉(zhuǎn)化為企業(yè)級、標(biāo)準(zhǔn)型大數(shù)據(jù)分析平臺，具備統(tǒng)一集群管理、完備的監(jiān)控報(bào)警、計(jì)算與存儲分離、彈性擴(kuò)容、按需構(gòu)建、數(shù)據(jù)安全、低門檻運(yùn)維、豐富云生態(tài)對接等優(yōu)勢。

　　EMR提供了基礎(chǔ)資源、平臺管理、數(shù)據(jù)存儲、數(shù)據(jù)集成、計(jì)算引擎、數(shù)據(jù)使用和作業(yè)管理等平臺能力，對于很多組件都提供了完備的監(jiān)控報(bào)警，很多組件異常都可以第一時(shí)間做報(bào)警并且通知到用戶，同時(shí)基于平臺提供了智能的運(yùn)維管理、調(diào)度等功能。

　　接下來我們從基礎(chǔ)設(shè)施、運(yùn)維管理、云生態(tài)等角度，詳細(xì)了解下云托管的部分優(yōu)勢。

　　云托管之基礎(chǔ)設(shè)施

　　首先，云上有豐富的產(chǎn)品規(guī)格族，阿里云整個(gè)虛擬機(jī)分為通用計(jì)算、異構(gòu)計(jì)算、裸金屬&高性能計(jì)算三大類，每一類滿足不同的場景，可以快速構(gòu)建不同場景下的大數(shù)據(jù)分析平臺;其次，利用云的彈性，計(jì)算和存儲資源可以進(jìn)行獨(dú)立擴(kuò)充，滿足業(yè)務(wù)高峰期或業(yè)務(wù)對極致性能的追求的同時(shí)，還可以靈活的按需構(gòu)建;最后，云上構(gòu)建大數(shù)據(jù)分析平臺在成本上可以做大量優(yōu)化，可以根據(jù)業(yè)務(wù)特性靈活選擇購買方式，如通過Spot Instance 大幅降低計(jì)算節(jié)點(diǎn)的成本。

　　云托管之運(yùn)維管理

　　運(yùn)維整個(gè)大數(shù)據(jù)分析平臺非常復(fù)雜，需要專業(yè)的人才和大量的投入。從基礎(chǔ)運(yùn)維到管理運(yùn)維，再到組件運(yùn)維，云廠商提供了多維度運(yùn)維能力。

　　基礎(chǔ)運(yùn)維：云廠商借助自身大規(guī)模服務(wù)器運(yùn)維經(jīng)驗(yàn)構(gòu)建AlOps系統(tǒng)，可以提前對硬件做檢測分析、發(fā)現(xiàn)故障后快速進(jìn)行主動(dòng)運(yùn)維，減少對業(yè)務(wù)的影響。

　　管理運(yùn)維：EMR實(shí)現(xiàn)一鍵部署、開箱即用，還提供統(tǒng)一的配置管理、平臺狀態(tài)監(jiān)控和故障報(bào)警等功能。

　　組件運(yùn)維：組件運(yùn)維是大數(shù)據(jù)分析平臺頗復(fù)雜的部分，當(dāng)進(jìn)行版本升級時(shí)，由于組件之間存在著千絲萬縷的關(guān)聯(lián)，保障兼容是重中之重。組件運(yùn)維還有一個(gè)很重要的點(diǎn)就是性能優(yōu)化，云廠商會結(jié)合自身云計(jì)算優(yōu)勢對底層基礎(chǔ)設(shè)施進(jìn)行優(yōu)化，對內(nèi)核引擎進(jìn)行優(yōu)化，幫助開源組件提升性能。

　　云托管之云生態(tài)

　　云上有豐富的生態(tài)，避免后來者重復(fù)造輪子或從零開始，如下圖。

　　底層存儲在云上可以提供OSS對象存儲、HDFS存儲，HDFS存儲可以直接去訪問OSS對象存儲，與訪問HDFS文件沒有任何差別，這樣一來，就可以靈活的進(jìn)行數(shù)據(jù)歸檔和成本調(diào)優(yōu)。

　　在數(shù)據(jù)源方面， 支持OSS、SLS、RDS、消息隊(duì)列等服務(wù)作為數(shù)據(jù)源;在計(jì)算引擎方面，云上EMR平臺可與MaxCompute、Flink、Tensorflow引擎進(jìn)行打通;在融合方面，云上提供DataWorks服務(wù)，通過DataWorks可以把Hadoop整個(gè)上層元數(shù)據(jù)的管理、數(shù)據(jù)質(zhì)量管理進(jìn)行統(tǒng)一。除此之外，云上還提供DataV、QuickBI等分析展示能力。

　　除以上概述內(nèi)容外，后續(xù)還有云服務(wù)和云原生等方面更多干貨，請戳視頻進(jìn)行觀看： http://aix.51cto.com/activity/10019.html