2021-06-02 18:27 | 來源:天極網 | 作者:俠名 | [產業] 字號變大| 字號變小
5月31日,在華為云Techwave云基礎設施技術專題日上,華為云容器批量計算首席架構師馬達對CCETurbo的技術內幕進行了深度解讀,CCETurbo是華為云推出的一款革命性容器集群,...
5月31日,在華為云Techwave云基礎設施技術專題日上,華為云容器批量計算首席架構師馬達對CCE Turbo的技術內幕進行了深度解讀,CCE Turbo是華為云推出的一款革命性容器集群,在華為開發者大會(Cloud)2021上正式發布,通過計算、網絡、調度的全方位加速,為企業應用創新提速。
軟硬協同,為計算加速
為了解決集群服務器性能無法完全發揮的問題,華為云基于擎天架構的軟硬協同能力,推出了業界獨家的容器卸載技術,并應用到CCE Turbo,讓集群資源100%用于業務處理。同時,通過對引擎進行瘦身、優化內部執行邏輯及核心模塊重寫,如基于Rust語言重寫了 shimv2 和 agent,減少了進程數量、通過代碼優化減少內存消耗,提升容器啟動性能和Cgroup管理能力,同時結合擎天卡的高能性處理能力,將集群整體性能提升40%,資源使用成本節省30%。
Trunkport,為網絡加速
網絡連通速度、轉發效率一直是業務應對大流量時所面臨的挑戰,華為云基于云原生2.0“IN Cloud”理念,打造了全新的云原生網絡,利用Trunkport技術為網絡全面加速。
Trunkport技術使得容器可直通VPC網絡,將原有的“容器網絡 + 虛擬機網絡“的兩層模型變為一層,網絡資源連通時間縮短一半,有效支撐業務30秒內擴容1000容器實例,輕松應對流量浪涌,同時也將網絡通信時延降低了40%,讓應用訪問更流暢;
CCE Turbo還率先在業界實現了為容器配置獨立安全組和QoS,相比目前其它廠商容器與集群節點共享安全組的方案,不僅增強了容器通信安全性,還提升了大流量的轉發效率。此外,CCE Turbo還基于CRD機制擴展了Kubernetes對象,用于實現各種復雜安全隔離訴求,并進一步簡化容器安全組的配置。
Volcano,調度加速
企業核心業務全面云原生化后,如何提升調度效率、提升集群利用率,是困擾很多企業的難題。CCE Turbo基于Volcano實現了三大核心調度能力:
在線離線混合調度:CCE Turbo將企業離線和在線業務在同一集群中混合部署,相比之前不同業務分集群部署,極大的降低了運維工作量,同時,根據在線、離線業務的不同需求進行靈活調度,如:當在線業務訪問量低時,CCE Turbo可將空閑資源用來運行離線計算業務(如離線分析、模型訓練等),而當業務高峰來臨前,會自動釋放離線業務占用的資源,保障在線業務對資源的訴求;
應用感知智能調度:為了進一步提升混合部署后的集群利用率,通過感知應用模型(如web類應用、Tensorflow的PS和worker、Spark的Driver和executor等),針對不同應用模型對資源的訴求、應用負載情況,通過資源按需搶占、分時復用等機制,減少集群資源的空閑比例;并通過感知任務間拓撲結構,將各任務調度到最佳節點上,減少因網絡瓶頸、數據跨節點傳輸等帶來的時間損耗,進而可以將集群利用率提升2倍;
大規模分布式調度:為了保障業務混合部署后,海量任務并發調度的難題,CCE Turbo推出了分布式架構的任務調度器,提升吞吐能力,并通過調度算法剪枝,減少尋址深度和廣度,同時結合調度決策復用機制,可將調度尋址時間縮短10倍以上,實現每秒1萬容器的大規模并發調度。
CCE Turbo為VIPKID音視頻業務全面提速
VIPKID作為CCE Turbo的早期用戶,已充分享受到CCE Turbo三大加速為業務帶來的價值,本次專題日上,VIPKID后端研發高級專家慈軼恒在分享中表示,“使用CCE Turbo后,VIPKID音視頻業務在各方面的指標都得到了不同程度的優化,同等規格集群性能較之前提升了40%,業務交互時延降低了40%,使得用戶體驗進一步提升,整個業務成本節省43%左右,很好的控制了業務高速增長期的IT成本增長速度。”
作為最早一批投身云原生技術的廠商,華為云是云原生計算基金會(CNCF)在亞洲唯一的初創成員,社區代碼貢獻和Maintainer席位數均位居亞洲第一,并貢獻首個云原生智能邊緣項目KubeEdge和批量計算項目Volcano,在華為開發者大會 2021(Cloud)上,華為云還聯合多家企業開源了云原生多云容器編排項目 Karmada,持續引領云原生技術發展方向;在產品創新方面,華為云自2016年起相繼在業內首發一系列云原生產品與解決方案,在Forrester的產品能力評估中,連續兩年獲得滿分,且容器軟件市場排名已位居中國第一;在繁榮產業方面,華為云不僅聯合中國信通院發布了云原生2.0白皮書,全面詮釋云原生2.0核心理念,還與CNCF、中國信通院聯合構建了全球化的云原生交流平臺——創原會,華為云將聯合各行業云原生精英一起,共同探索前沿云原生技術、共享產業落地實踐,用云原生技術全面賦能企業數字化轉型。
《電鰻快報》
熱門
相關新聞