隨著5G、物聯網技術的飛速發展,中國移動物聯網(中移物聯網)作為國內重要的物聯網服務提供商,其網絡數據流量呈指數級增長。其中,分組數據網關(PGW)作為連接移動用戶與外部數據網絡的關鍵節點,產生的實時會話數據具有海量、高并發、低延遲處理等核心需求。傳統數據處理架構在應對此類場景時,常面臨實時分析能力不足、存儲查詢效率低下、運維成本高昂等挑戰。在此背景下,DorisDB(現稱Apache Doris)憑借其卓越的實時分析性能和易于運維的特性,為中移物聯網PGW實時會話業務領域的數據處理與存儲服務提供了強有力的技術支撐。
一、PGW實時會話業務的數據挑戰與核心需求
PGW負責處理用戶設備(UE)的會話建立、修改、釋放,并記錄詳細的計費、服務質量(QoS)及用戶面流量信息。這些數據不僅是網絡運維、故障診斷的關鍵依據,更是用戶行為分析、精準營銷、實時風控等增值業務的數據基石。其業務挑戰主要體現在:
- 數據海量且高速生成:海量物聯網終端每時每刻都在產生會話信令與流量日志,數據吞吐量巨大。
- 要求極高的實時性:對于網絡質量監控、異常會話實時告警、實時計費扣費等場景,要求數據從產生到可分析查詢的延遲極低(通常在秒級甚至毫秒級)。
- 復雜的查詢模式:業務查詢既包含對特定會話詳情的點查詢,也包含面向全量或時間段的聚合分析、多維度關聯查詢(如結合用戶信息、地理位置等)。
- 高可用與可擴展性:系統需保證7x24小時不間斷服務,并能隨著業務增長平滑擴展。
二、DorisDB的核心特性與架構優勢
DorisDB是一個基于MPP架構的高性能、實時分析型數據庫,它完美契合了PGW實時會話業務的上述需求:
- 極致的實時分析與導入能力:支持毫秒級延遲的數據實時寫入與更新,數據寫入即可查。這對于需要實時監控會話狀態、即時發現異常流量的場景至關重要。其獨特的物化視圖和預聚合能力,能夠預先計算復雜查詢,極大提升高頻聚合查詢(如分省實時流量統計、APN維度會話數)的響應速度。
- 卓越的查詢性能:采用列式存儲、向量化執行引擎和智能查詢優化,在面對PGW數據常見的多表關聯、高并發點查與即席分析(Ad-hoc)時,仍能保持亞秒級響應,滿足運營人員與業務系統的交互式分析需求。
- 統一的數據服務層:DorisDB同時支持高吞吐的批量數據導入(如補充歷史數據)和實時流式導入,能夠將PGW從不同鏈路(如實時信令流、離線日志文件)產生的數據統一接入、存儲和分析,簡化了數據架構,降低了運維復雜度。
- 高度的可用性與易擴展性:系統支持多副本機制,自動實現故障切換與數據恢復,保障服務高可用。其存算分離(自2.0版本起)或彈性擴縮容能力,使得中移物聯網可以根據業務負載動態調整集群資源,實現成本與性能的最優平衡。
- 完善的SQL支持與生態兼容:兼容MySQL協議,使得現有基于SQL的分析工具和業務應用能夠幾乎無縫接入,降低了開發和遷移成本。
三、DorisDB在PGW業務中的典型應用場景
在中移物聯網的實踐中,DorisDB被深度應用于PGW數據處理與存儲服務的多個環節:
- 實時網絡監控與智能運維:將PGW產生的會話信令、流量指標實時寫入DorisDB。運維人員可通過儀表盤實時查看全國/各省的在線用戶數、會話建立成功率、流量峰值、平均時延等關鍵指標,一旦發現異常(如某區域成功率驟降),可立即鉆取到具體會話詳情進行根因定位,實現從“感知”到“處置”的分鐘級閉環。
- 實時計費與業務控制:對于預付費用戶或需要實時流量管控的場景,DorisDB可實時處理用戶流量使用記錄,并與計費策略關聯,支持實時扣費、達量限速等指令的快速生成與下發,保障計費的準確性和業務的靈活性。
- 用戶行為分析與業務洞察:基于DorisDB中存儲的全量歷史會話數據,市場與產品團隊可以進行多維度的離線分析,如識別高價值用戶群體、分析不同終端型號的網絡表現、評估新上線業務(如視頻業務)的流量模型,為網絡優化、套餐設計和精準營銷提供數據驅動決策。
- 安全與風控:通過實時分析會話行為模式(如頻繁的短會話、異常地理位置切換),DorisDB可以協助快速識別潛在的DDoS攻擊、惡意刷流量、偽基站等安全威脅,及時觸發防護策略。
四、實踐價值與未來展望
引入DorisDB后,中移物聯網在PGW實時會話業務領域實現了顯著的效能提升:數據處理鏈路從小時級縮短到秒級,復雜查詢響應時間大幅降低,同時降低了多套系統(如KV存儲用于點查、Hadoop用于離線分析)并存帶來的架構復雜度和運維成本。一個統一、高效、實時的高性能分析平臺,有力支撐了網絡智能化運營和物聯網數據價值的深度挖掘。
隨著物聯網連接數的持續爆發和邊緣計算的發展,PGW數據將進一步向“云邊端”協同處理演進。DorisDB憑借其輕量、高性能和易集成的特點,有望在邊緣側的數據聚合與實時分析場景中發揮更大作用,與云端分析形成協同,共同構建中移物聯網下一代智能、實時、統一的數據處理與存儲服務體系,持續賦能千行百業的數字化、智能化轉型。