大數據治理平臺

元數據管理

元數據統計

元數據相關(guān)信息統計概覽，包含數據源總數、元數據總數、占用總空間，以及數量、數據占用空間對比圖，熱門(mén)元數據排行等

數據源配置

管理平臺內需要對接數據的數據源信息，包含內部創(chuàng )建的數據源以及外部對接的數據源，數據源刪除走審批流程等

元數據采集

創(chuàng )建元數據采集任務(wù)，定義采集任務(wù)類(lèi)型、名稱(chēng)，以及采集對象（即數據源）名稱(chēng)，支持批量定時(shí)采集任務(wù)配置

元數據信息

查看已采集到的元數據相關(guān)信息，包含字典信息、數據特征、字段信息、血緣信息、任務(wù)信息、數據預覽以及變更記錄

數據血緣

支持查看元數據血緣，并支持自動(dòng)生成和編輯用戶(hù)編輯血緣關(guān)系，精確的字段級別，實(shí)現快速追溯上下游表關(guān)聯(lián)便于影響分析

數據地圖

平臺支持通過(guò)表名稱(chēng)、字段名稱(chēng)、服務(wù)名稱(chēng)、注釋信息等查詢(xún)相關(guān)數據信息

數據標準

數據元管理

1.支持維護數據元標簽、數據格式、采用標準編號等標準的定義
2.數據元詳情通過(guò)時(shí)間軸可查看變更記錄，用于追溯，可查看數據元被引用記錄
3.數據元快速錄入、導入、導出、使用統計等
4.數據元操作需要審核操作，非管理員新增、編輯、刪除需要審核后生效，支持查看審核狀態(tài)及審核結果

數據標簽管理

1.平臺內置數據標簽也支持用戶(hù)自定義創(chuàng )建標簽，標簽分組，用于對數據源、元數據等進(jìn)行標記、查找
2.可查看每個(gè)標簽詳情信息，被引用的次數統計以及引用的數據信息展示

數據字典管理

1.數據字典的添加、修改、刪除、導出等功能，管理字典及值域信息，能根據字典名稱(chēng)、字典編號等進(jìn)行字典查詢(xún)
2.內置數據字典，其他頁(yè)面使用時(shí)可引用，支持用戶(hù)可修改值域

數據資源目錄

1.按照交通標準行業(yè)體系或地方定制體系以樹(shù)形結構進(jìn)行數據資源目錄管理，為目錄掛載標準數據元
2.支持快速錄入、導入、導出，創(chuàng )建和使用統計等
3.數據目錄操作需要審核操作，非管理員新增、編輯、刪除需要審核后生效，支持查看審核狀態(tài)及審核結果

標準文檔管理

根據文檔標準號、分類(lèi)、來(lái)源、狀態(tài)等，統一對標準文檔進(jìn)行管理，支持用戶(hù)查看、編輯、下載

數據標準統計

統計數據元、數據資源目錄發(fā)布提交數量、數據標準文檔、數據資產(chǎn)變化歷史趨勢、熱門(mén)數據元、數據資源目錄排行統計等

數據質(zhì)量

規則配置

內置20多種質(zhì)量檢測模版，配置數據質(zhì)量檢測方案的規則

方案管理

管理數據質(zhì)量檢測的方案管理，并引入平臺內已有規則，形成獨立成體系的檢測方案

任務(wù)管理

查看數據質(zhì)量方案的執行情況，包含方案內規則的異常數和正常數，以及規則的執行狀態(tài)是否成功

質(zhì)量報告

數據質(zhì)量報告，平臺根據方案規則的執行情況，總結輸出數據質(zhì)量報告，包含檢測表總數、執行任務(wù)總數、檢測規則總數、全規則通過(guò)表數、已通過(guò)規則數、規則不通過(guò)表數、未通過(guò)規則數、異常規則排行榜、異常表排行榜、質(zhì)量檢測趨勢圖，并支持導出操作

數據比對

1.基礎數據比對：實(shí)現基礎元數據的比對，支持數據源、數據表、數據字段等，選擇不同的對比屬性執行，生成比對報告
2.業(yè)務(wù)數據比對：實(shí)現業(yè)務(wù)數據比對，包括數據表、字段hash值、MD5值等規則比對，比對結果展示差異數據量及行位置
3.比對規則管理：支持業(yè)務(wù)數據比對規則管理、新增、修改、刪除、啟?？刂频?/span>
4.比對記錄：展示保存的所有比對結果，并支持下載導出，可保留比對條件再次比對

數據服務(wù)

API管理

創(chuàng )建發(fā)布管理API接口，可對API進(jìn)行分組，可查看API發(fā)布狀態(tài)、使用應用數、調用總次數、以及API接口的情況測試

應用管理

創(chuàng )建應用，配置接入的API、日調用次數限制，系統自動(dòng)APPKEY和秘鑰信息，調用次數超限后不可應用

數據脫敏

設置數據脫敏規則，掩碼、HASH、假名、截斷等多種方式，實(shí)現分享安全性

API調用記錄

展示API調用明細，可查看調用時(shí)間、響應時(shí)間、調用是否成功、調用日志以及根據API及調用狀態(tài)、時(shí)間等檢索

分析報告

查看平臺內API整體調用分析報告，包含API發(fā)布總數、調用應用數、調用總次數、API調用總次數排行、應用調用API總次數排行、API調用平均耗時(shí)對比

數倉建模

版本管理

創(chuàng )建數倉版本名稱(chēng)、版本號管理、可查看版本內表數量、復制版本內表結構

數據層配置

配置數倉數據層，包含分層名稱(chēng)、英文標識、抓取規則、抓取范圍、表數量、狀態(tài)

主題域配置

配置數倉主題域，包含主題域名稱(chēng)、英文縮寫(xiě)、表數量等

數據表設計

可視化建模，可引用標準數據元，配置數倉內數據表結構的標準設計

數據開(kāi)發(fā)

腳本模板配置

統一管理常見(jiàn)通用腳本，并維護為腳本模板，方便后續腳本開(kāi)發(fā)進(jìn)行引用

開(kāi)發(fā)腳本配置

配置開(kāi)發(fā)腳本，通過(guò)腳本編輯處理數據遷移等需求，支持腳本內容的生成和下載

數據探查

數據表探查

查看不同數據源內的數據表數據情況，包含表基礎信息、可視化條件的點(diǎn)選對表內數據進(jìn)行過(guò)濾達到探查目的，支持探查結果的下載

自由探查

通過(guò)sql語(yǔ)句對不同數據源內的數據表進(jìn)行數據的自由探查，支持探查結果的下載

數據訂閱

訂閱任務(wù)

維護數據推送訂閱任務(wù)，包含任務(wù)名稱(chēng)、任務(wù)描述、訂閱方式、訂閱頻率、訂閱渠道等信息

全量任務(wù)清單

查看平臺內所有訂閱任務(wù)的執行任務(wù)清單，查看任務(wù)執行狀態(tài)，以及同步數據數據量，執行日志等

大數據調度計算系統

首頁(yè)

離線(xiàn)項目數據概覽

1.可視化統計：各任務(wù)和流程總數及當前各狀態(tài)監控統計（提交、運行、暫停、停止、成功/失敗、kill、等待等）
2.以項目維度分析，查看各狀態(tài)任務(wù)在項目中分布，便于查看項目情況，定位哪個(gè)項目失敗次數多，針對性分析
3.以用戶(hù)維度分析，各用戶(hù)創(chuàng )建的工作流數量統計對比分析，并查看每個(gè)用戶(hù)創(chuàng )建的工作流細節詳情

實(shí)時(shí)項目數據概覽

1.可視化統計各實(shí)時(shí)項目的總數及當前各任務(wù)狀態(tài)數量對比，并支持跳轉到各任務(wù)實(shí)例查看運行詳情信息
2.以用戶(hù)維度分析，各用戶(hù)在運行中任務(wù)/失敗中任務(wù)分布

離線(xiàn)項目管理

項目管理

離線(xiàn)項目的增刪改查，可查看每個(gè)項目的工作流定義數量、正在運行的進(jìn)程數量等統計信息

項目首頁(yè)

點(diǎn)擊每個(gè)項目查看單項目首頁(yè)：可視化統計該項目的任務(wù)狀態(tài)、流程狀態(tài)、各角色流程定義量統計

工作流

1.工作流定義：通過(guò)面板上拖拉拽任務(wù)來(lái)繪制DAG，可配置租戶(hù)、設置超時(shí)告警、工作流支持復制、導出、定時(shí)策略配置、樹(shù)形圖查看等靈活操作
2.工作流實(shí)例：工作流定義運行后，查看每個(gè)工作流的運行情況，以甘特圖形式查看各個(gè)狀態(tài)的運行節點(diǎn)時(shí)間軸
3.任務(wù)實(shí)例：每條任務(wù)的運行信息、運行時(shí)長(cháng)、重試次數等任務(wù)詳情信息，可查看運行日志

實(shí)時(shí)項目管理

任務(wù)管理

1.任務(wù)列表：Flink實(shí)時(shí)項目的管理，支持SQL任務(wù)和JAR任務(wù)創(chuàng )建及查詢(xún)，支持導入腳本模版，格式化代碼，語(yǔ)法提示，SQL預校驗等幫助快捷準確錄入
2.歷史版本：每次任務(wù)的變更自動(dòng)生成版本，記錄各個(gè)版本的變更詳情

運行日志

查看及檢索各個(gè)任務(wù)，各版本運行日志情況、任務(wù)狀態(tài)，日志存放位置，日志詳情等信息

資源中心

文件管理

文件夾和文件管理，支持多種格式文件的導入、在線(xiàn)編寫(xiě)及統一管理

UDF管理

資源管理和自定義函數管理，可上傳資源文件，通過(guò)頁(yè)面綁定資源創(chuàng )建管理UDF函數

數據源中心

數據源管理

數據源創(chuàng )建、測試、增刪改查管理，數據治理平臺數據源信息也會(huì )同步到該頁(yè)面，雙向同步

監控中心

服務(wù)管理

可視化統計各個(gè)服務(wù)的監控信息，包含Master、Worker、Zookeeper、DB等監控狀態(tài)、CPU、內存、負載、延遲情況等統計

統計管理

任務(wù)統計：統計待執行命令、失敗命令、待運行任務(wù)、待殺死任務(wù)數量

配置中心

租戶(hù)管理

租戶(hù)的增刪改查管理，租戶(hù)的編碼、名稱(chēng)、隊列等信息

用戶(hù)管理

用戶(hù)的增刪改查管理，賬號、密碼、郵箱、手機、所屬租戶(hù)等信息，可以為用戶(hù)授權項目、文件資源、數據源、UDF函數等

告警組管理

管理告警組，配置告警方式，配置接收預警的用戶(hù)人員

worker分組管理

管理worker分組，可選擇多個(gè)主機分配到一個(gè)組中，實(shí)現集中監控

隊列管理

管理隊列，實(shí)現隊列增刪改查，錄入隊列名稱(chēng)、隊列值信息

令牌管理

管理令牌，自動(dòng)生成令牌，設置失效時(shí)間、選擇用戶(hù)等

大數據集群管理

集群管理，創(chuàng )建和管理大數據集群信息，包含Hdfs集群、yarn管理地址、hdfs地址、filink環(huán)境hdfs路徑等信息

大數據運維監控平臺

總覽

數據概覽

查看平臺監控數據概覽情況，包含主機監控、服務(wù)監控、監控告警統計、監控告警趨勢、監控告警排行TOP10、采集日志量趨勢、服務(wù)error日志TOP5等可視化統計維度

拓撲圖

1.服務(wù)器拓撲圖：查看各主機設備健康狀態(tài)及連接狀況，并可查閱告警信息，定位告警問(wèn)題
2.服務(wù)集群拓撲圖：查看各大數據服務(wù)組件、類(lèi)型、實(shí)例、角色聯(lián)絡(luò )關(guān)系及異常情況，產(chǎn)生異常后通過(guò)拓撲圖一目了然定位
3.拓撲圖上查看服務(wù)器/服務(wù)的基本信息、監控信息、告警信息，并可執行運維事件：?jiǎn)?dòng)、停止、重啟操作
4.拓撲圖支持放大、縮小、全屏及導出操作

監控管理

服務(wù)器監控

1.列表展示監控的各個(gè)服務(wù)器信息，可通過(guò)服務(wù)器名稱(chēng)、IP、狀態(tài)等進(jìn)行篩選
2.服務(wù)器節點(diǎn)詳情：查看各服務(wù)器內存、cpu、磁盤(pán)、讀寫(xiě)變化情況及告警記錄
3.支持查看每個(gè)服務(wù)器下的各服務(wù)監控情況、掛接的接口、端口等網(wǎng)絡(luò )監控以及日志詳情

服務(wù)監控

1.列表展示各服務(wù)集群，可通過(guò)各服務(wù)集群、服務(wù)器類(lèi)型、各服務(wù)健康狀態(tài)等搜索
2.服務(wù)監控詳情：支持各服務(wù)監控指標可視化展示，包含角色指標以及jvm指標多維度對比分析
3.支持大數據組件：hdfs、yarn、kafka等服務(wù)類(lèi)型整體監控及各個(gè)服務(wù)角色分別監控，多監控信息可視化展示

網(wǎng)絡(luò )監控

1.接口監控：接口信息管理，實(shí)現實(shí)時(shí)在線(xiàn)接口監控包括：接口名稱(chēng)、源主機、監控地址、請求方式、返回碼、響應時(shí)間、監控狀態(tài)以及可視化圖表分析：響應時(shí)長(cháng)對比圖、返回碼分布統計等
2.端口監控：端口信息管理，實(shí)現實(shí)時(shí)在線(xiàn)端口監控包括：源主機、IP、端口、監控狀態(tài)以及響應時(shí)長(cháng)對比等

運維管理

運維服務(wù)列表

1.展示支持運維的服務(wù)列表，從服務(wù)類(lèi)型-服務(wù)角色-服務(wù)實(shí)例，可批量整體或單個(gè)實(shí)例操作運維事件
2.運維事件操作后可查看任務(wù)執行的進(jìn)度，操作日志，執行結果等信息

運維操作記錄

1.記錄所有執行的運維操作，包括服務(wù)信息、操作事件、操作人、操作時(shí)間、操作日志，并支持檢索，用于操作記錄追溯和查詢(xún)

巡檢管理

巡檢計劃

1.支持自定義巡檢計劃:選擇檢查項、巡檢周期、巡檢機器范圍、通知人等信息，系統自動(dòng)根據周期執行，也可手動(dòng)操作巡檢
2.巡檢項包含系統檢查：cpu、內存、磁盤(pán)、網(wǎng)絡(luò )、用戶(hù)以及應用檢查：端口檢查、進(jìn)程占用資源對比，并內置危險閾值，檢測異常提醒

巡檢歷史

1.按照巡檢計劃和巡檢服務(wù)器維度，查看每次巡檢記錄，巡檢結果，檢查到異常服務(wù)器信息以及異常隱患點(diǎn)
2.巡檢報告支持頁(yè)面預覽和批量excel導出下載

告警管理

告警配置

1.通知管理：管理各個(gè)告警人信息、所屬告警組管理
2.指標管理：配置各個(gè)告警指標名稱(chēng)、指標類(lèi)型、表達式，支持內置指標展示，用戶(hù)也可自定義創(chuàng )建
3.規則管理：平臺內置規則，如離線(xiàn)、內存/CPU/磁盤(pán)過(guò)高等，并支持用戶(hù)自定義創(chuàng )建規則，配置規則基礎信息、資源范圍、指標參數、通知規則、通知方式、通知時(shí)間等靈活可視化操作

告警歷史

告警歷史包含：服務(wù)器告警、服務(wù)告警、接口告警、端口告警等
1.查看平臺內全部告警信息，可通過(guò)主機名、主機IP、告警狀態(tài)、發(fā)生時(shí)間、告警級別、告警規則等多維度聯(lián)合檢索
2.告警詳情展示告警的全量信息，包含告警的基礎信息、從開(kāi)始檢測異常、告警、推送、恢復全生命周期時(shí)間軸展示

日志管理

日志檢索

1.支持對主機日志查詢(xún)和檢索，支持通過(guò)主機IP、主機名稱(chēng)、日志等級、開(kāi)始/結束時(shí)間、關(guān)鍵字匹配進(jìn)行檢索
2.服務(wù)日志支持通過(guò)服務(wù)集群、服務(wù)類(lèi)型、角色、實(shí)例、開(kāi)始/結束時(shí)間、日志等級、關(guān)鍵字等多維度綜合檢索
3.服務(wù)發(fā)生異常后，可快速跳轉日志定位

日志采集管理

配置日志采集對象，設置日志日志等，支持新增、編輯、刪除

配置管理

服務(wù)器配置

1.服務(wù)器組管理，多個(gè)服務(wù)器可歸屬于一個(gè)服務(wù)器組
2.服務(wù)器管理，管理主機IP、用戶(hù)名、責任人、所屬服務(wù)器組、當前健康狀態(tài)等，并且可根據實(shí)際業(yè)務(wù)情況配置是否進(jìn)行主機監控、進(jìn)程監控，可為服務(wù)器配置關(guān)聯(lián)的接口和端口等用于網(wǎng)絡(luò )監控

服務(wù)配置

1.服務(wù)集群管理，根據業(yè)務(wù)情況管理多集群、多類(lèi)型大數據組件服務(wù)，支持配置多個(gè)服務(wù)角色、關(guān)聯(lián)多個(gè)服務(wù)實(shí)例，通過(guò)平臺可靈活操作
2.可標注服務(wù)是否支持運維，如果支持運維后通過(guò)平臺可操作啟動(dòng)、停止、重啟等事件

大數據共享交換平臺

首頁(yè)

共享資源門(mén)戶(hù)

1.提供數據資源的一鍵查詢(xún)，能按照關(guān)鍵字、行業(yè)、業(yè)務(wù)、主題等分類(lèi)檢索
2.當前數據資源統計：數據目錄數、文件數、接口數，以及使用量統計：接口調用次數、文件下載次數
3.依據產(chǎn)品應用場(chǎng)景，按照行業(yè)、主題資源分類(lèi)展示和統計共享資源

數據資源

數據目錄

1.資源目錄導航圖:采取導航欄+ 列表的形式，根據資源開(kāi)放性進(jìn)行資源展示，可以根據層級對資源進(jìn)行篩選查看
2.數據目錄基礎信息：包括資源名稱(chēng)、內容簡(jiǎn)介、數據來(lái)源、更新時(shí)間、提供部門(mén)、所屬分類(lèi)、使用統計等
3.數據目錄按照共享條件分為無(wú)條件共享可查看數據文件，有條件共享需要申請審核后使用接口服務(wù)

數據接口

1.展示可共享的接口服務(wù)，可以根據接口類(lèi)型分門(mén)別類(lèi)查看和篩選
2.數據接口信息：包含接口名稱(chēng)、調用地址、發(fā)布信息、在線(xiàn)測試、使用統計及調用方法等
3.服務(wù)接口申請：申請內容包括接口名稱(chēng)、申請用途、申請要求、申請人、申請單位、資質(zhì)文件等內容

數據統計

數據概覽

統計納入共享的數據資源數、接口數、文件數，熱門(mén)接口和數據文件，共享任務(wù)的執行情況：調用失敗總數
并按照單位的維度統計出數據共享情況和數據被使用情況，便于宏觀(guān)掌握，通過(guò)數據對比指導業(yè)務(wù)分析

接口統計

1.按照部門(mén)、接口維度分別統計獲悉各個(gè)接口使用度對比，以及各部門(mén)單位使用接口的情況
2.以列表的形式直觀(guān)展示所有接口調用記錄，接口提供部門(mén)、使用人、調用狀態(tài)、時(shí)間等信息及檢索

文件統計

1.按照部門(mén)、文件維度分別統計查看數據文件下載使用度對比，以及各部門(mén)單位下載量的情況
2.以列表的形式直觀(guān)展示所有數據文件下載記錄及檢索

共享管理

目錄管理

針對管理員提供數據資源目錄查看，并進(jìn)行共享配置：資源名稱(chēng)、共享方式、共享條件、更新頻率、使用限制等；
并根據數據資源類(lèi)型，結合實(shí)際的業(yè)務(wù)應用，掛接服務(wù)接口或者提供數據文件下載

接口管理

針對管理員提供所有的服務(wù)接口查看功能，并根據業(yè)務(wù)需求配置是否允許共享，共享條件等

審核管理

待審核

1.針對用戶(hù)申請的數據資源，由管理者進(jìn)行單個(gè)或批量資源審核，可同意或駁回，填寫(xiě)審核意見(jiàn)
2.可查看及檢索所有提交審核記錄，資源信息、申請人信息、申請時(shí)間、申請原因

已審核

1.審核通過(guò)信息會(huì )傳遞到共享開(kāi)放列表中，用戶(hù)可查看基礎信息并進(jìn)行申請調用
2.可查看及檢索所有審核記錄，包含審核通過(guò)和駁回記錄，駁回原因、資源信息、申請人審核人信息、部門(mén)、時(shí)間等

駐場(chǎng)服務(wù)：自合同簽訂之日起至2025年12月31日期間，項目負責人及服務(wù)團隊人員需按采購人要求提供駐場(chǎng)技術(shù)服務(wù)。