技術架構

分布式架構云平臺在充分分析IT技術發展趨勢，遵循集中化、標準化、集成化、可靠化和可擴展化的設計原則，以價值創造為使命，以規范化、一體化、智能化的云平臺為支撐，實現信息的透明共享、業務的敏捷協同、管控及時、決策科學為設計目標，選擇傳統成熟的J2EE、SOA、應用集成和BI信息技術和新一代的云計算、大數據、移動應用信息技術相結合的技術路線。分布式架構云平臺規劃設計了集約化、云架構動態配置的企業IT基礎設施；共享化、集中數據存儲管理的企業數據資源服務；組件化、平臺化、柔性集成的企業應用支撐服務；標準化、服務化、整合智能的企業業務應用服務；一站式、多終端服務的企業信息展示交互服務等技術層，每層又包括若干成熟穩定的技術組件，各技術層，自下而上，層層支撐，各技術組件松散耦合，互聯互通，科學高效，易于擴展，減少了信息孤島，增強了系統的標準化和集約化，優化了系統的用戶體驗，提高工作效率。

分布式架構云平臺技術設計原則

• 先進性原則

在整體設計和實現上，依托云計算、大數據領域的知名開源項目(如Hadoop、Spark、OpenStack等)。由于遵循了業界廣泛認可的事實標準，可以充分借力全球生態圈的資源，推動軟硬件分層解耦，不斷提升兼容性。兼容多種異構物理設備，避免廠商綁定。數據層面，支持多種數據源，包括結構化/非結構化類型的數據處理，數據本身、數據計算也都支持開放共享。優先采用先進成熟的技術組件，搭建穩定并且高效的大數據云計算管理平臺，并在平臺基礎上實現大規模的數據采集與分析的相關業務應用。平臺設計以滿足當前的業務功能為主，兼顧考慮未來發展的趨勢。

• 可靠性原則

可靠性包括整體可靠性、數據可靠性和單一設備可靠性三個層次。通過大數據云計算平臺的分布式計算、存儲架構，從整體系統上提高可靠性，降低系統對單設備可靠性的要求；平臺設計方面保證基于hadoop和虛擬化的集群系統平臺的穩定與高效，提供針對現有底層硬件設備的Hadoop和虛擬化相關技術組件的調優，以及對于整體集群的配套監控系統的搭建和集群維護與管理等相關方案；應用設計方面采用明確的應用分層架構，一方面可實現上層數據應用與底層基礎數據的依賴分離，實現應用架構上的解耦；另一方面可提高上層數據的分析效率與降低運行成本。采用相關的容錯技術和故障處理技術，保證數據應用的安全可靠，保證數據分析平臺可用性達到使用要求。

• 安全保密性

采用統一的用戶認證，統一的用戶、權限管理和控制、密碼控制等多種安全和保密措施。為保證信息的安全性，對內部網上的信息建立符合安全要求的防火墻、入侵檢測、數字證書、防病毒、數據加密技術等，能夠嚴格有效地防止外來非法用戶入侵，能夠避免遭受網絡攻擊，防止失密情況的發生，防止非法侵入帶來的損失。

• 可擴展性

應用開發平臺采用模塊化建設和擴展模式。支持小規模起步，線性擴展，以滿足不同場景，不同投資計劃和規模的要求；隨著數據規模的擴大、應用的完善，現在數據平臺能夠在不影響當前用戶正常使用的情況下，靈活、方便地進行集群擴容。

• 開放性

云計算平臺是在成熟落地的方案上完全自主研發，主要應用開源技術。

分布式關鍵技術

•  微服務

將系統功能劃分為最小服務單元，完成單一功能，每個服務獨立部署，服務間通過互相調用形成完整業務邏輯。主要特點：

-  高內聚、低耦合

-  開閉原則

-  高效率

-  彈性計算

• 分布式事務

通過消息機制和分布式鎖實現分布式事務，在微服務架構中保證業務邏輯的完整性。主要特點：

   - 消息隊列

   - 原子操作

   - 回滾機制

•  跨機器調用

將任務分配在更多的節點上去運行，跨機器的調用取代原來單個節點內、進程內的調用。主要特點：

   - 多節點化

   - 同步+異步

• 伸縮與容錯

橫向擴展代替縱向擴展，使得伸縮性變得更好，整體容錯性大大提升。主要特點：

   - 一致性哈希

   - 多副本

平臺關鍵組件

• 企業服務總線

采用Dubbo+Zookeeper技術作為企業服務總線，對所有微服務進行管理，服務總線具有以下特點：
         - 自動發現和注冊服務，即插即用。
         - 可為微服務提供負載均衡策略，需要其他負載均衡軟件。
         - 統計與監控服務調用情況并記錄響應時間。為程序調優及擴展提供統計數據。

• 消息隊列

平臺的消息隊列采用Kafka技術，Kafka是高吞吐量的分布式發布訂閱消息系統，它可以處理消費者規模的網站中的所有動作流數據。主要用于：
         - 服務之間的消息通訊，實現完整的業務邏輯。

     - 提供大并發業務的隊列服務，避免大并發下服務崩潰問題。

• 分布式文件系統

平臺采用HDFS和FastDFS的分布式文件系統。
HDFS主要解決超大文件的存儲（如日志文件、視頻文件等）及HBase等大數據存儲。主要分為NameNode和DataNode，NameNode存儲文件的META信息，DataNode存儲數據塊?？蛻舳苏{用時從Name節點讀取到文件的多個數據塊信息，從多臺服務器上獲取后合并為一個文件。FastDFS是輕量級的分布式文件解決方案，主要解決存儲海量小文件，如上傳圖片、上傳文件、資源文件等等海量的小文件，這些文件不適合HDFS存儲，所以采用FastDFS存儲。

• 云服務器IAAS
  平臺采用OpenStack系列技術，支持Xen/KVM/Hyper-V/ESX等虛擬化技術。為分布式和大數據提供彈性計算服務。