成人做爰免费A片视频张悠雨,波多野结衣乳巨码无在线观看,黄色在线免费观看

首頁

產(chǎn)品簡(jiǎn)介

技術(shù)架構(gòu)

核心功能

產(chǎn)品簡(jiǎn)介

數(shù)據(jù)集成處理系統(tǒng)可對(duì)數(shù)據(jù)資源進(jìn)行信息采集、維護(hù)、查詢、分析、運(yùn)行監(jiān)控等管理。具體功能主要有數(shù)據(jù)源管理、數(shù)據(jù)采集配置、實(shí)時(shí)數(shù)據(jù)采集、數(shù)據(jù)轉(zhuǎn)換配置、數(shù)據(jù)導(dǎo)出配置、數(shù)據(jù)資源編目、數(shù)據(jù)倉庫管理、任務(wù)調(diào)度、數(shù)據(jù)接口管理和系統(tǒng)監(jiān)控。

產(chǎn)品詳情

總體架構(gòu)

核心功能

詳情介紹
批量數(shù)據(jù)采集
實(shí)時(shí)數(shù)據(jù)采集
數(shù)據(jù)加工廠
任務(wù)調(diào)度
數(shù)據(jù)資產(chǎn)管理

- 商品名稱: 數(shù)據(jù)集成處理系統(tǒng)
- 商品編號(hào): a02
數(shù)據(jù)集成處理系統(tǒng)可對(duì)數(shù)據(jù)資源進(jìn)行信息采集、維護(hù)、查詢、分析、運(yùn)行監(jiān)控等管理。具體功能主要有數(shù)據(jù)源管理、數(shù)據(jù)采集配置、實(shí)時(shí)數(shù)據(jù)采集、數(shù)據(jù)轉(zhuǎn)換配置、數(shù)據(jù)導(dǎo)出配置、數(shù)據(jù)資源編目、數(shù)據(jù)倉庫管理、任務(wù)調(diào)度、數(shù)據(jù)接口管理和系統(tǒng)監(jiān)控。

總體架構(gòu)
批量數(shù)據(jù)采集是數(shù)據(jù)集成處理系統(tǒng)獲取數(shù)據(jù)的主要通道。通過配置將各自分離的業(yè)務(wù)平臺(tái)數(shù)據(jù)采集到大數(shù)據(jù)資源平臺(tái)如Hbase、Hdfs、Hive及Mysql等數(shù)據(jù)儲(chǔ)存系統(tǒng)，為后續(xù)的資源分析、數(shù)據(jù)挖掘提供數(shù)據(jù)基礎(chǔ)。數(shù)據(jù)采集配置有數(shù)據(jù)庫采集、接口數(shù)據(jù)采集、文件數(shù)據(jù)采集和本地文件上傳等功能。配置包括新增、查看、修改、刪除、測(cè)試、數(shù)據(jù)內(nèi)容查看、添加任務(wù)調(diào)度及查看日志等一系列操作。
實(shí)時(shí)數(shù)據(jù)采集是針對(duì)流式數(shù)據(jù)采集的功能。配置包括新增、查看、修改、刪除、發(fā)布任務(wù)及數(shù)據(jù)采樣等一系列操作。流式數(shù)據(jù)包括Socket接口、日志數(shù)據(jù)流、視頻數(shù)據(jù)流等各類流數(shù)據(jù)。該功能針對(duì)不同類型的流數(shù)據(jù)采集到相應(yīng)業(yè)務(wù)平臺(tái)上來，為后續(xù)的資源分析、數(shù)據(jù)挖掘提供數(shù)據(jù)基礎(chǔ)。
數(shù)據(jù)加工廠主要是對(duì)數(shù)據(jù)進(jìn)行清洗、整理、轉(zhuǎn)化等腳本轉(zhuǎn)換操作提取價(jià)值數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，為上層業(yè)務(wù)提供數(shù)據(jù)基礎(chǔ)。數(shù)據(jù)轉(zhuǎn)換配置包括任務(wù)添加、查看、修改、刪除、添加調(diào)度任務(wù)等基本操作，并結(jié)合任務(wù)隊(duì)列實(shí)現(xiàn)各個(gè)數(shù)據(jù)轉(zhuǎn)換之間的復(fù)雜邏輯關(guān)系。
任務(wù)調(diào)度功能為數(shù)據(jù)采集、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)導(dǎo)出等功能提供定時(shí)的任務(wù)的調(diào)度，為大數(shù)據(jù)資源平臺(tái)提供自動(dòng)化的數(shù)據(jù)處理機(jī)制。其功能包括任務(wù)手動(dòng)執(zhí)行、任務(wù)配置、任務(wù)啟動(dòng)、任務(wù)暫定及任務(wù)刪除。任務(wù)調(diào)度整合Quartz和分布式調(diào)度框架，定時(shí)任務(wù)精確到秒級(jí)別。同時(shí)提供動(dòng)態(tài)部署、任務(wù)調(diào)度輪詢機(jī)制、任務(wù)錯(cuò)誤反饋機(jī)制為任務(wù)精準(zhǔn)地執(zhí)行提供保障，也方便運(yùn)維人員定位和排查問題。
數(shù)據(jù)資產(chǎn)管理是保障數(shù)據(jù)接口開放及安全管控的功能。該功能包含接口注冊(cè)、白名單、黑名單、訪問申請(qǐng)審核和訪問申請(qǐng)日志。數(shù)據(jù)提供方通過注冊(cè)接口，將自己的數(shù)據(jù)以webService接口方式對(duì)外開放。用戶想要訪問接口數(shù)據(jù)必須先申請(qǐng)?jiān)L問，待申請(qǐng)通過后系統(tǒng)添加用戶到白名單，用戶即可訪問接口數(shù)據(jù)。