隨著商業環境的不斷發展，企業間的競爭越來越激烈，如何利用現有的數據快速地定位問題、分析問題和解決問題，成為企業間競爭的焦點。為了應對復雜多變的市場環境，為企業各層決策者提供數據支持，從而贏得核心競爭力，阿里集團首先提出了“中臺”的概念。

　　數據中臺系統，就是對海量數據進行采集、計算、存儲、加工，形成標準的大數據資產層，為組織的內外部客戶提供高效數據服務。數據中臺能夠降低數據庫和數據倉庫的重復建設，減少煙囪式協作的成本，幫助組織構建新型的差異化競爭優勢。

　　數據中臺是涵蓋了數據資產、數據治理、數據模型、垂直數據中心、全域數據中心、萃取數據中心、數據服務等多個層次的體系化建設方法。“讓一切業務數據化，一切數據業務化”是對數據中臺系統功能的簡要概括。

數據中臺系統的特點

　　數據中臺與傳統的業務前臺和后臺有顯著的區別，與傳統的數據庫和數據倉庫既有一定的聯系，又有很大的區別。

　　數據中臺與前后臺

　　組織中的前臺是指各類數據應用，這些應用可能是管理流程的配置、支持決策的數據和報表的提供、各種數據查詢服務，也可能是支持業務工作的軟件開發等。

　　后臺是指對原始數據的管理，這些數據可能是關系型數據庫中的靜態實體數據或者業務數據；也可能是服務器、存儲、網絡設備等生成的各類日志數據；或者是人工填報和上傳的半結構化或非結構化的圖表、文本、音頻、視頻等數據。

　　介于前臺數據應用層和后臺原始數據管理層的中間層就是數據中臺。數據中臺主要是為了支持前端各類數據服務而對后臺原始數據進行加工和整合后生成的各類數據集合。這些數據集合可能有明確的服務對象，也可能尚無明確的服務對象。

　　數據中臺與數據庫和數據倉庫

　　數據中臺不同于數據庫。目前，高校各部門使用的業務系統數據庫主要是關系型數據庫，聚焦于對人、財、物的管理。而數據中臺中的數據，不遵循范式要求，并不針對某類具體實體或者聯系的管理，主要是面向應用；而且數據中臺中的數據不僅包括實體和聯系數據，還包括各類日志數據、圖表、文本、音視頻資料等半結構化和非結構化的數據。

　　數據中臺的概念也不同于數據倉庫，主要體現在以下三個方面：

　　1.數據來源不同。數據倉庫的數據主要來源于各類業務數據；而數據中臺的數據除了各類業務數據外，還包括各類日志、IOT（Internet of Things）數據、半結構化和非結構化數據等。

　　2.對數據實時性要求不同。數據倉庫主要是為了支持決策，因此，并不要求數據達到實時更新，一般能做到T+1就可以；但數據中臺由于要進行實時的業務支持和快速的問題分析，因此對數據的實時性要求更高。

　　3.服務對象不同。數據倉庫的服務對象主要是企業經營的決策者；而數據中臺的服務對象不僅包括決策者，還包括業務人員、運維人員、各類應用系統開發人員以及合作伙伴等。

　　此外，相比較于數據庫和數據倉庫，數據中臺離業務更近，對需求的響應更迅速。組織中現有的數據庫和數據倉庫都可以成為中臺系統的數據來源。

　　數據中臺系統的建立，可以降低數據服務的門檻，讓數據真正實現資產化和業務化，成為組織新型核心競爭力的來源。

建立數據中臺系統的動因

　　目前，高校信息化管理部門同時肩負管理（主要是IT設備和應用系統管理）和IT服務兩種職能，按照網絡、應用系統開發、數據整合、多媒體教室設備管理、實驗室管理、網絡安全管理、一卡通系統管理、有線電視網絡管理等“塊狀”業務設計組織架構。但是，隨著用戶需求的變更和技術的發展，這種“塊狀”的業務劃分方法將面臨變革，轉變為圖1所示的層次狀架構。

　　高效IT服務

　　隨著技術的發展，各類IT服務在前端技術上慢慢趨同，面向師生的各種網絡服務、校園卡服務、電教服務等所需的技能差異逐漸縮小，此類服務在客觀上可以整合在一個服務團隊中完成，通過工單系統快速響應、定位、診斷并處理用戶提出的問題，這套工單系統需要完整的師生數據、設備臺賬數據、各類設備和系統日志數據的支持。

　　高質量設備和資產管理

　　隨著師生對校園網絡和各類應用系統的依賴越來越深，“網絡不間斷”和“業務不中斷”成為廣大師生對信息化的基本訴求，這在客觀上要求高校信息化管理部門能夠持續提供高質量的IT運維，能夠預防并快速解決軟硬件系統中出現的任何問題。這些都在客觀上需要完整的設備資產、臺賬、日志及知識庫等數據的支持。

　　流程與決策支持

　　隨著高校之間競爭的加劇，高校行政系統運行效率和決策質量成為高校之間競爭的一個焦點。“一站式網上服務”、“一網通辦”成為高校各部門提供高效、高質量服務的客觀要求。此外，校各級管理部門也常常需要快速、完整、多維度的數據報表，以便輔助決策。這些流程配置和決策支持功能的實現，都依賴于對各類業務數據和日志的實時采集、加工和分析。

　　綜上，在高校信息化管理部門的IT服務、IT設備及資產管理以及流程與決策支持三大業務逐漸分離的趨勢下，一套強大的數據中臺系統成為高校信息化業務開展的基礎。

上海外國語大學數據中臺系統

　　建設方案

　　考慮到系統功能的持續擴展性，為防止系統由于過分依賴廠商或太過封閉造成今后的持續開發風險，本中臺系統由校方大數據項目團隊自主進行整體架構設計，在綜合權衡學校的數據規模和應用需求后，采用開源和自主開發相結合的方式進行建設。系統架構如圖2所示。

　　數據采集層采集人員數據、教務數據、財務數據庫、科研數據庫、人事檔案數據、學科數據庫、日志事件庫等業務基礎數據，支持離線和實時兩種數據采集方式。離線數據采集主要支持MySQL、SQL Server、Oracle、離線文件等；實時數據采集主要支持 MySQL、日志等，并支持API接口實現實時數據上報。實時數據采集對于其他類型的實時數據提供“邊緣數據采集工具集”，邊緣數據采集工具采用GO語言開發，直接部署在數據產生節點上，避免了集中處理數據的壓力。采集來的數據都被放入一個基于Apache Kafka 的消息隊列中，該消息隊列只投遞一次，避免因后續數據加工平臺和數據采集工具的處理能力不匹配而丟失數據。

　　對于業務數據，利用ETL工具定期從業務系統里抽取數據放到臨時數據庫，同時進行一些數據整合操作，再利用工具將臨時數據庫里的數據存入Kafka里。這些數據中，大部分是Syslog形式的，直接存入Kafka里即可；另外有些數據需要利用廠商提供的API導入Kafka里；還有一些手工填報的數據，需要利用Excel文件導入Kafka里。

　　在數據加工層，有數個數據處理節點不間斷地從Kafka里將數據取出，并完成兩項工作，一是將部分決策支持模型需要的原始數據轉存到6個月存儲期的集群中；二是抽取需要的數據到上層的查詢分析集群。

　　在數據服務層，提供基于Elastic Stack的大數據查詢和分析，方便用戶快速獲得所需數據；提供運行于ES數據集群之上、用戶自定義模型的各類預警和決策參考工具，利用ELK的預警模塊，通過“Push”和“Pull”兩種方式提供給用戶；提供開放的數據集、開放API以及標簽工廠等資源，在保證數據安全的前提下，方便用戶獲取數據和重新定義數據，讓用戶享受快速便利的數據服務。

　　問題與不足

　　數據中臺系統匯集了學校各業務系統的業務數據和硬件資源的日志數據，是一個集中的校園數據平臺，但也存在一定的問題與不足。首先本系統的安全性和權限管理是個非常重要的問題；其次數據分析所需的技能與高校信息化管理部門傳統的技能要求不同，因此，高校信息化管理部門的人員技能更新和人才引入也是一個亟需關注的問題；第三，決策支持模型的設計中，有價值的模型是要有充足的理論依據的，因此，決策支持模型的設計需要在理論層面獲得支持。（責編：付涵）

　　（作者單位為上海外國語大學信息技術中心）