欲妇荡岳丰满少妇岳_天天躁夜夜躁天干天干2020_eeuss影院www在线观看等最新内容!_丰满岳乱妇三级高清_国产精品丝袜在线中出_东北少妇高潮流白浆在线观看_暖暖在线观看免费高清完整版_国产成人啪精品视频午夜_日本在线无码观看_曰本AV中文字幕一区二区,一个人免费观看www,v无码专区亚洲av,亚洲欧美日韩国产伦理高清在线

購買與服務(wù)熱線：400-810-0466

服務(wù)郵箱：[email protected]

曙光為企業(yè)深度挖掘數(shù)據(jù)資產(chǎn)提供分析平臺

發(fā)布時間: 2017-11-23

經(jīng)過多年的信息化建設(shè),，企事業(yè)單位已經(jīng)積累了大量的數(shù)據(jù)。但目前數(shù)據(jù)中心在構(gòu)建時仍大多采用傳統(tǒng)的技術(shù)手段,，如集中式服務(wù)器構(gòu)建,，數(shù)據(jù)處理以單節(jié)點模式為主，缺少實際并行計算處理能力,。這導(dǎo)致數(shù)據(jù)中心無法對海量非結(jié)構(gòu)化數(shù)據(jù)進行有效存儲,、處理及分析，以及提供大數(shù)據(jù)環(huán)境下全訪問,、全類型的數(shù)據(jù)存儲及處理服務(wù)和為企業(yè)數(shù)據(jù)資產(chǎn)深度分析挖掘提供數(shù)據(jù)支撐,。

為解決以上問題，曙光開發(fā)了基于大數(shù)據(jù)技術(shù)的全業(yè)務(wù)統(tǒng)一數(shù)據(jù)中心數(shù)據(jù)分析平臺,，以充分發(fā)揮大數(shù)據(jù)技術(shù)在數(shù)據(jù)存儲,、并行計算、大規(guī)模數(shù)據(jù)分析挖掘,、線性擴展,、全類型數(shù)據(jù)支撐等方面的優(yōu)勢。

五大層次支撐總體架構(gòu)

根據(jù)信息系統(tǒng)以及數(shù)據(jù)現(xiàn)狀的調(diào)研分析,，曙光設(shè)計了基于大數(shù)據(jù)技術(shù)的全業(yè)務(wù)數(shù)據(jù)中心數(shù)據(jù)分析平臺的總體架構(gòu),，包括數(shù)據(jù)接入、數(shù)據(jù)存儲,、數(shù)據(jù)計算,、統(tǒng)一分析服務(wù)、系統(tǒng)管理五個層次,。

總體架構(gòu)圖

數(shù)據(jù)接入層主要實現(xiàn)數(shù)據(jù)的采集接入和清洗轉(zhuǎn)換兩個功能,。采集接入主要是將數(shù)據(jù)從各個業(yè)務(wù)系統(tǒng)數(shù)據(jù)源和外部環(huán)境數(shù)據(jù)導(dǎo)入到統(tǒng)一分析存儲系統(tǒng)中；數(shù)據(jù)清洗是發(fā)現(xiàn)并糾正數(shù)據(jù)文件中可識別錯誤的一道程序,，針對數(shù)據(jù)審查過程中發(fā)現(xiàn)的明顯錯誤值,、缺失值、異常值,、可疑數(shù)據(jù),，選用適當(dāng)?shù)姆椒ㄟM行清理，使臟數(shù)據(jù)變成干凈數(shù)據(jù)，有利于后續(xù)的統(tǒng)計分析得出可靠結(jié)論,。

數(shù)據(jù)存儲層采用分布式文件系統(tǒng)存儲方式,，將數(shù)據(jù)存儲總體上劃分為緩沖區(qū)、統(tǒng)一視圖,、數(shù)據(jù)倉庫,、數(shù)據(jù)集市、實時采集,、熱點數(shù)據(jù)6個部分,。

數(shù)據(jù)計算層提供分布式運行引擎和協(xié)同計算功能，及離線計算,、實時計算等能力,，可滿足各類業(yè)務(wù)應(yīng)用不同時效性數(shù)據(jù)計算需求。

統(tǒng)一分析服務(wù)層為業(yè)務(wù)人員提供數(shù)據(jù)挖掘工具和自助式分析服務(wù),，以滿足易用,、快速、靈活拖拽的業(yè)務(wù)報表和大數(shù)據(jù)挖掘應(yīng)用,，同時提供數(shù)據(jù)路由,、數(shù)據(jù)網(wǎng)關(guān)等功能，實現(xiàn)對外提供統(tǒng)一的數(shù)據(jù)服務(wù)及展現(xiàn)服務(wù),。

該系統(tǒng)通過標準化分析數(shù)據(jù)接口及數(shù)據(jù)跨庫查詢服務(wù)等功能建設(shè),，實現(xiàn)基于數(shù)據(jù)跨庫查詢服務(wù)的多查詢、多表或視圖聯(lián)接合并機制,。如圖所示,，提供具備數(shù)據(jù)模型定義可配置、數(shù)據(jù)發(fā)布快速等特性的數(shù)據(jù)接口服務(wù),，從而促進業(yè)務(wù)應(yīng)用系統(tǒng)與統(tǒng)一分析服務(wù)間的標準化集成,，支撐全業(yè)務(wù)數(shù)據(jù)中心統(tǒng)一分析服務(wù)組件建設(shè)。

四大優(yōu)勢全方位保障平臺運行

該系統(tǒng)采用Hadoop生態(tài)體系與自主研發(fā)的MPP并行數(shù)據(jù)庫解析技術(shù),，解決了傳統(tǒng)數(shù)據(jù)中心擴展性差,，建設(shè)成本高、數(shù)據(jù)存儲,、計算處理及分析挖掘能力有限等問題,。

在數(shù)據(jù)集成方面，支持非實時數(shù)據(jù),、實時數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)的全量接入,，并能對數(shù)據(jù)中心的所有的數(shù)據(jù)集成任務(wù)進行調(diào)度及作業(yè)監(jiān)控,。

在數(shù)據(jù)存儲方面,，基于混合架構(gòu)存放不同性質(zhì)的數(shù)據(jù)，并提供了不同的數(shù)據(jù)服務(wù)。

在分析服務(wù)方面,，提供了指標多維分析與固定報表展示功能,，以及數(shù)據(jù)挖掘模型的管理、訓(xùn)練,、評估及發(fā)布等,，并通過批量數(shù)據(jù)服務(wù)、異步數(shù)據(jù)推送,、數(shù)據(jù)實時服務(wù)等方式,，為外圍系統(tǒng)提供數(shù)據(jù)支撐。

在系統(tǒng)管理方面,，通過研發(fā)數(shù)據(jù)管理平臺實現(xiàn)了元數(shù)據(jù)管理,、系統(tǒng)監(jiān)控、接口監(jiān)控,、運行調(diào)度,、運維輔助等功能。

此外,，該系統(tǒng)克服了傳統(tǒng)技術(shù)擴展性不強,、建設(shè)成本高、計算處理及分析挖掘能力有限的缺點,，能滿足企業(yè)大數(shù)據(jù)環(huán)境下對全類型數(shù)據(jù)存儲,、處理、分析及應(yīng)用的需求,，從而實現(xiàn)大數(shù)據(jù)環(huán)境下全業(yè)務(wù),、全層級、全類型數(shù)據(jù)資產(chǎn)的集中整合,、存儲,、分析與應(yīng)用,，適用于大數(shù)據(jù)集成融合分析業(yè)務(wù)場景,，可廣泛應(yīng)用于能源、環(huán)境,、氣象,、政府等行業(yè)大數(shù)據(jù)統(tǒng)一分析應(yīng)用。

上一篇：“管用分離,，專注高效”邯鄲云計算中心獲IDC好評

下一篇：每一里都算數(shù),，曙光用智慧發(fā)掘城市交通數(shù)據(jù)價值

聯(lián)系我們

售后服務(wù)

嚴正聲明