大规模确定性网络技术分析与展望 ―― 分层异构技术分析
作者:程作品、刘如冰、朱仕银、徐深超 新华三技术有限公司
上篇:《大规模确定性网络技术分析与展望——支撑类技术分析》01确定性网络分层技术确定性网络可以分为不同的技术路线,不同的技术路线往往从不同的层次切入来构建确定性网络,借助分层技术图谱可以清晰、快速地理清各个技术路线相关技术间的关系,其中不同技术工作或适应在不同的网络层次和网络范围,构成了从局域到广域的端到端确定性网络支撑。主要包括工作在L0-L1的TDM类技术和工作在L2-L3 的分组融合类技术。在L0-L1层次,TDM类技术主要包括波分、OTN和MTN等技术。这些技术通过对时隙、波长和多路复用等技术手段来实现时分复用和波分复用,提高网络的带宽和资源利用率。在L2-L3层次,分组融合类技术主要包括TSN技术、DetNet/DIP/EDN技术等。这些技术主要通过对队列技术的创新,并在时钟同步、预留容错、探测、分级分类等技术加持下,实现低延迟、高可靠性和网络安全隔离等功能。L0 OTN(Optical Transport Network)技术
OTN是以波分复用技术为基础在确定性网络中采用光传输网络技术的一种底层实现方式,通过光纤通道和波分复用技术,提供高带宽和低延迟的传输能力,是确定性网络提供可靠的数据传输基础。OTN的协议标准很多,ITU为OTN定义了一整套光传输体系(如,光传送网络架构标准的G.872和光传送网接口标准)。OTN是DWDM下一代的骨干传送网,通过电交叉、光交叉、增强了监控开销等手段解决了传统WDM网络对于波长/子波长业务调度能力差,组网保护能力弱等问题。细粒度方面ITU-T SG15 正在开展fgOTN技术标准化工作。fgOTN技术引入以10Mbps为颗粒的帧结构,实现了多种颗粒度业务的接入和硬切片传输。OTN作为确定性网络的底层技术之一,可以为上层的应用和服务提供高效、可靠的数据传输,也可以通过跨域异构协同技术来整合不同类型的网络资源,实现跨域网络的协同控制和优化,进一步提高网络的性能和服务质量。L1.5 FlexE(Flexible Ethernet)技术
FlexE是一种基于以太网时间分组直接传输的技术,将以太网分组串行传输到硬管道中,实现高精确度的时延和带宽保障。FlexE通过将以太网分组打包成固定长度的硬管道传输,可以实现网络中的时序同步和时隙对齐等。FlexE以捆绑、通道化和子速率三大功能为基础,通过大带宽接口、网络通道化、子速率等特性,实现带宽按需分配、通道隔离以及低时延保障。FlexE是OIF组织基于IEEE802.3/1标准体系架构的扩展研究。FlexE采用了Clients/Group的架构,其中 Clients为MAC层,Group为PHY层,向下对PHY层进行分割,化作资源池,向上将MAC层进行重新编码以适配PHY层,中间FlexE Shim层做好上下层的适配,以实现PHY层和MAC层之间的解耦。FlexE硬切片可以做到时延稳定、零丢包,并实现切片之间的硬隔离,带宽保证等。当前在切片粒度上能达到10M或更小。FlexE技术是继第一代IP/ETH,第二代IP/MPLS和VPN/SR之后的第三代以太网技术,它可以做到对以太网传输的精确控制,适用于对时延和带宽有严格要求的应用,如5G通信、数据中心互联等。L2 TSN(Time-Sensitive Networking)技术
TSN技术是一种局域网 (LAN) 级的技术,可以保证数据确定性传输,并可以做到与背景流或其他流量共存。它基于时间同步和时钟协同机制,通过对网络中数据流的优先级、时间截止和时序同步的控制,来实现低时延和可靠的网络传输。TSN是一系列的标准,先后发布了31个,正在制定19个(https://1.ieee802.org/tsn/ 截止2023年11月1日)。它从四个维度(1. 同步;2. 延迟;3. 可靠性;4. 资源管理)出发,通过三个基本的组件(1. 时间同步;2. 调度和流量整形;3. 通信路径的选择、预留和容错)间协调一致地工作,从而完整地发挥TSN实时通信的全部功能。TSN的物理层采用IEEE802.3的以太网或IEEE802.3cg的标准网络,数据链路层采用了桥接网络,通过不同的数据流调度策略实现确定性,比如,CBS-基于信用的整形器、Qbv-时间感知整形器、TAS/CQF-周期性排队与转发、ATS-异步传输整形器等等。TSN当前继续在5G+TSN,OPC UA,垂直行业(如:802.1DP用于下一代军民用飞机或无人机)等领域中的拓展,进一步完善TSN技术、应用场景和生态。L3 DetNet(Deterministic Networking)技术
DetNet技术主要关注网络中的第三层。DetNet旨在为数据流提供可靠和确定性的传输,通过引入拥塞保护、服务保障和显式路由等机制,实现对网络传输延迟、带宽和可靠性的保障,以满足关键应用对高可靠性和低延迟的要求。2015年IETF就成立了DetNet工作组,它的标准化工作仍在持续进行中,先后发布了14篇RFCs(https://datatracker.ietf.org/wg/detnet/documents/ 截止2023年11月1日)。一方面,IETF与IEEE TSN、ITU等之间的密切合作,以确保互操作性,并简化适用于第2层和第3层的确定性功能的实现;如针对FRER Extended Stream Identification Functions,在控制和管理平面方面TSN和DetNet针对流识别功能做了字段扩展,以确保功能正常的前提下提高相互间的互操作性;另一方面,自身体系完善,包括:整体架构、数据平面规范、数据流信息模型和相关YANG模型等,通过划分服务子层和转发子层,从数据平面、OAM、时间同步、管理、控制和安全等方面入手,达到对延迟、丢失和数据包抖动的限制以及具有高可靠性等要求。DetNet早期主要关注单域内的确定性,但随着确定性网络的扩展,进一步延伸到城域和广域。当前确定性大规模端到端网络成为了一大热点(draft-ietf-detnet-scaling-requirements),探索多样化确定性机制、时间的异步、多域异构协同、端网融合实现了诸如广域算力网间的低时延无损传输等解决方案。综上所述,确定性网络的分层技术包括L0 OTN、L1.5 FlexE硬管道、L2 TSN和L3 DetNet等。这些技术在网络的各个层次上提供了资源分配、时序同步和服务保障等能力。通过分组与TDM的融合以及基于截止时间、基于优先级和基于队列调度等方案的延伸,进一步提升了网络的时延保障、优先级调度和流量管理等能力。这些技术的综合应用可以实现更高效、可靠和确定性的网络传输和服务。02确定性网络异构协同确定性网络跨域异构协同是指一整套确定性网络解决方案,对异构的、跨越多个域的网络资源进行整合,以实现端到端的、可靠的、低延迟的实时通信服务。在此类场景中,可能涉及到多种不同类型的网络,如有线网络、无线网络、广域网、局域网、工业以太网等,这些网络在不同的行业和应用场景中往往扮演着不同的角色,也可能跨不同运营商,如用户通常通过某一运营商的网络接入,访问位于其它运营商网络下的服务。如此一来,要实现异构网络间的确定性,跨域异构协同不可避免多域互通
确定性网络可能只涉及单个域内的通信,也可以跨越多个域间进行互通。跨域异构协同技术需要解决不同域之间的协议、拓扑、隔离等方面的差异性挑战,以实现不同域的资源整合和服务协同等。如果网络之间的差异较大,成本和技术限制较多,可以考虑采用Option1的背靠背方案,实现跨域通信。
随着技术的发展和产品的完善,可以逐渐过渡到Option2的单跳跨域方案,通过在网络边界部署网关,进行转换和映射,实现端到端的协同。
如果有能力做到全网一体化管理,实现上层业务一致性和底层转发一致性,可以考虑采用Option3的多跳跨域方案,这样可以更好地利用端侧设备,在维护目标侧信息的同时,也维护好沿途信息的传递,减轻中间设备的负担。
建议,在当前阶段采用Option2方案,要求两个网络边界设备都具备或至少一方具备两个网络的管控和转发的机制,例如调度方式等。利用这些设备来实现两个网络之间的桥接、转换和映射等功能,以实现跨域通信。2、端到端QoS保障为了实现端到端的QoS保障,首先需要对流进行严格规范。在工业应用中,流的特征通常是可预知的,例如按周期或大小。因此,可以根据这些特征来规划和管理流量。除了前面介绍的分级分类、业务流关联、路径规划和确定性调度外,还要做好以下工作:入口流量调节:预先计划调整入口流量,通过可扩展的排队和增强的缓冲区容量来平衡不同速率和周期之间的适配。
容忍节点故障和拓扑改变:故障快速检测、快速发现,并采用冗余设计和多发选收策略来确保可靠性。
3、时钟同步时钟同步对于多域网络的协同也非常重要。具体可以参见“时钟同步”章节。下面主要针对多域网络做相应的扩展说明:建议采用主备时钟、边缘设备应具备授时功能、降低对时钟同步的依赖等。比如,采用解耦思路,允许不同域内设备使用本地时钟,通过弱同步方式穿越中间网络,以保证两端时钟同步,在抖动压缩的确定性方案中就是利用降低对时钟同步和中间网络的依赖,通过两端协同来达成时间维度的确定性;在域间的入口节点还要规划额外的缓冲区或增加deadtime作为保护带,以应对时钟同步过程中的漂移和抖动。4、多种调度机制间协同在多域环境中,通常存在多种不同的调度机制,为了实现协同,需要做好不同调度机制间的适配之外,还需做好带宽保护,以应对突发事件和干扰。首先域间节点(例如网关)支持多种调度机制,确保域间不同调度机制间转换和映射,以适应不同场景的需求。其次引入协同机制:引入等待和补偿机制,以适配不同调度机制之间的差异,这样可能会增加缓冲和时延。如,通过对关键流量设置GuardBand来保护其不受不必要的影响,以及产生对带宽利用率降低的影响。综上所述,多域确定性网络需要综合考虑各种因素,根据具体场景和需求进行合理的规划和配置,并通过合理的互连模式,以实现高效可靠的多域协同通信。管控模式
确定性网络的跨域协同可以采用集中式、分布式或混合式等多种管控模式。集中式管控模式将网络决策和控制集中在中心控制器中,集中对整个网络进行管理和协同控制。而分布式管控模式则将网络控制器和决策功能部署在不同的域内,实现更加灵活和分布式的网络控制。混合式介于二者之间。在集中式管控模式中,网络中存在一个集中的网络控制器,负责整个网络的路径计算、路由选择和资源管理。该控制器会全局感知网络拓扑和资源情况,通过搜集和分析网络状态信息,为不同的传输路径选择最佳的路由、调度方式,并通过南向接口指导相应设备执行。而在分布式管控模式中,每个域内会存在独立的网络控制器或各个网元之间通过协议交互来进行路径计算和选路,实现跨域的网络协同。在分布式模式下,可以根据自身的网络资源情况和需求,独立地做出最佳的路径选择和路由决策,具有更强的灵活性和可扩展性,适合于复杂网络环境和域间协同场景。确定性路由
确定性网络跨域协同中的路由问题需要综合考虑不同域之间的路由计算和路径选择能力:1、智能选路新型转发承载协议:利用SRv6的可编程能力提供更为强大的三层网络编程空间,满足不同网络路径需求。结合区域划分的标签压缩和高效的多路径计算算法(如eKSP路径计算算法,解决了大规模网络路径计算性能问题,提高了路径计算的效率和准确性),降低时间复杂度和提高路径压缩率,更高效地实现了路径选择。多约束路径智能算路:通过网络态势实时感知底层确定性资源和网络性能数据,支持基于时延、抖动、带宽等多重确定性约束条件下的智能路径计算。SRv6的可编程性使得实现多重确定性约束路径计算成为可能,为业务提供端到端确定性智能选路能力。2、全域路径计算能力确定性网络控制器需要拥有完备的全域路径计算能力,包括整个网络的拓扑信息、资源状态和传输需求等方面的综合考量。路径计算必须综合考虑带宽、延迟、带宽保障等多种因素,并根据实时网络状态进行灵活动态调整。在算法方面,可以采用静态路由算法或动态路由算法。3、跨域间路由协议和域间路由优化在跨域通信中,可能涉及不同的路由协议,因此必须确保这些协议能够互操作和兼容,以确保跨域通信的顺畅性。为了优化跨域路径选择,我们可以采用基于负载均衡和优先级的策略,根据各域的资源状况和传输需求来选择最佳的跨域路径,从而提高网络的利用率、性能和可靠性。综合以上优化措施,确定性网络跨域协同中的路由问题将会得到更为高效、可靠和灵活的解决,为各种确定性业务提供端到端的智能路径选择能力,以满足多领域多样化的通信需求。域间资源管理
针对多域确定性网络资源管理,可以采用以下方法:1、资源通道化切片技术:使用网络切片来隔离不同类型的业务,以确保资源的隔离和质量保障。每个网络切片都可以灵活定义自己的逻辑拓扑、SLA需求、可靠性和安全等级,以满足不同业务、行业或用户的差异化需求。管道化和队列管理:对于确定性网络资源采用管道化和队列的管理方式,以确保资源的可预测性和可控性。2、资源的管理自动发现和更新:引入自动化工具和机制,能够自动检测网络中的资源状态,并进行实时更新。这有助于避免资源冲突和提高资源利用效率。防止碰撞:采用碰撞避免机制,如虚通道流量控制(VCFC),来管理资源的分配,以避免资源冲突和竞争。3、资源的利用率自动选择和动态平衡:引入智能算法和策略,可以自动选择最适合的资源配置,并动态平衡多条链路资源的利用率。这可以通过实时监测网络负载和性能指标来实现。负载和资源动态配比:根据用户需求和网络负载情况,动态调整资源的分配比例,以确保资源的高效利用。4、跨网协同编排跨域协同器:引入跨域协同器,可以收集和分析来自不同网络域的信息,以制定资源管理的统一化和集约化策略。智能协同编排:通过智能算法和机器学习技术,跨域协同器可以做出准确的决策,以优化资源的分配和利用。这可以帮助实现资源管理的智能化。综上所述,通过确定性网络跨域异构协同技术,可以实现不同域的资源整合和服务协同,提供更为高效、可靠和稳定的网络服务。03未来发展展望确定性网络在未来既面临挑战又蕴含机遇。其发展前景涵盖以下几个关键方向:1、克服共性关键技术障碍通过创新研究和工程实践,推动关键技术的突破和进步,提升确定性网络的性能和可靠性。2、构建统一标准化体系通过统一的标准体系,可以促进不同厂商和产业链环节之间的协作和互操作能力,降低部署和维护的成本,推动确定性网络的产业化和商用化进程。3、解耦思路在确定性网络的设计和研究过程中,可以采用解耦思路,创新性地将不同网络层次和模块进行解耦,提高网络的灵活性和可扩展性。4、利用人工智能进行调优在确定性网络中,可以利用人工智能和机器学习等技术,进行质量调优和自适应优化,提供更高质量、更为高效的网络服务。未来,通过不断克服技术难题、建立统一的标准体系,提升网络的自适应性等等,确定性网络以其独特的端到端确定性数据传输和服务,将为各行各业创造更为高效和可信赖的网络环境,推动数字化和智能化在各个领域的发展。参考文献(向上滑动阅览)
[1] GROSSMAN Ethan. Deterministic Networking Use Cases RFC 8578[S]. IETF, 2019.
[2] FINN Norman, THUBERT Pascal, VARGA Balázs, et al. Deterministic Networking Architecture RFC 8655[S]. IETF, 2019.
[3] G. Fioccola, Ed., M. Cociglio, G. Mirsky, et al. Alternate-Marking Method RFC 9341[S]. IETF, 2022.
[4] 黄韬, 汪硕, 黄玉栋, 等. 确定性网络研究综述[J]. 通信学报, 2019, 40(6): 164-180.
HUANG Tao, WANG Shuo, HUANG Yudong, et al. Survey of the deterministic network. Journal on Communications[J]. 2019, 40(6): 164-180.[5] 刘鹏, 杜宗鹏, 李永竞, 等. 端到端确定性网络架构和关键技术[J]. 电信科学, 2021, 37(9): 64-73 doi:10.11959/j.issn.1000-0801.2021223.
LIU Peng. End-to-end deterministic networking architecture and key technologies. Telecommunications Science[J], 2021, 37(9): 64-73 doi:10.11959/j.issn.1000-0801.2021223.[6] 高凯辉, 李丹. 数据中心网络性能保障研究综述[J]. 电信科学, 2023, 39(6): 1-21 doi:10.11959/j.issn.1000-0801.2023125.
GAO Kaihui. Data center networks with performance guarantee: a survey. Telecommunications Science[J], 2023, 39(6): 1-21 doi:10.11959/j.issn.1000-0801.2023125.[7] 中国信息通信研究院. 确定性承载技术和评测体系研究报告[R]. 2023.
China Academy of Information and Communications Technology. Research Report on Deterministic Transport Technology and Evaluation System[R]. 2023.[8] 工业和信息化部网站. 工业和信息化部等八部门关于推进IPv6技术演进和应用创新发展的实施意见. 工信部联通信〔2023〕45号. 2023.
Ministry of Industry and Information Technology website. Implementation Opinions of Eight Departments including the Ministry of Industry and Information Technology on Promoting the Evolution and Application Innovation of IPv6 Technology. MIIT [2023] No. 45. 2023.[9] IEEE, "IEEE Standard for a Precision Clock Synchronization Protocol for Networked Measurement and Control Systems", IEEE Standard 1588-2008,.
[10] IEEE, "IEEE 802.1 Time-Sensitive Networking Task Group",.
[11] IEEE, "IEEE Standard for Local and Metropolitan Area Networks - Timing and Synchronization for Time-Sensitive Applications in Bridged Local Area Networks", IEEE 802.1AS-2011,.
[12] 3GPP, TS 23.501 System architecture for the 5G System (5GS), Stage 2 (Release 18) [S]. 2023.
[13] 陈昕, 向旭东, 张磊, 等. 网络演算理论及其在分组交换网中的应用[J]. 北京信息科技大学学报:自然科学版, 2011(1):11-16. 2011.
CHEN, Xin, XIANG, Xudong, ZHANG, Lei, et al. Network calculus theory and its application in packet-switching networks[J]. Journal of Beijing University of Information Science and Technology: Natural Science Edition, 2011(1):11-16. 2011.[14] 黄玉栋. 详解:实现广域确定性网络的三种技术路线[OL]. SDNLAB. https://www.sdnlab.com/25035.html. 2021.
HUANG, YuDong. Exploring three technical approaches for implementing wide-area deterministic networks [OL]. SDNLAB. https://www.sdnlab.com/25035.html. 2021.[15] 韩政鑫, 黄 蓉, 贾雪琴, 等. 基于网络演算的多业务场景确定性网络方案研究[J]. 邮电设计技术. doi:10.12045/j.issn.1007-3043.2022.03.00. 2023.
HAN, Zhengxin, Huang, Rong, Jia, Xueqin, et al. Research on deterministic network solutions for multi-service scenarios based on network calculus[J]. Telecommunications Design Technology. doi: 10.12045/j.issn.1007-3043.2022.03.00. 2023.[16] 王勇, 周慧怡, 俸皓, 等. 基于深度卷积神经网络的网络流量分类方法[J]. 通信学报, 39(1): 14-23. 2018.
WANG Yong, ZHOU Huiyi, FENG Hao, et al. Network traffic classification method basing on CNN[J]. Journal on Communications, 39(1): 14-23. 2018.作者简介
程作品(1975-),男,新华三技术有限公司,正高级工程师,有20余年的数据通信相关工作经验,主要研究方向为确定性网络及相关前瞻性网络技术。
刘如冰(1976-),男,新华三技术有限公司,高级工程师,主要研究方向为数据通信网络技术等。
朱仕银(1976-),男,新华三技术有限公司,高级工程师,主要研究方向为ICT基础设施前瞻技术和算网一体技术等。
徐深超(1976-),男,新华三技术有限公司,高级工程师,主要研究方向为存算网一体和ICT标准化工作等。
活动专栏
如何为自己的网站添加关键词,让搜索引擎优化更有效 知乎引流怎么做?知乎引流的13个实操经验分享! 外贸企业建站公司哪个好 数字营销,六式攻略:搜索、内容、社交、视频、邮件、程序化 中小企业如何借助地方网站和论坛进行推广 确定性网络技术体系介绍 如何通过网页版ChatGPT免费体验AI的强大 OpenAI智能诊断医疗:为未来健康护航 文字写作AI生成工具,让创作更简单高效 精准获客,打造高效营销新方式 响应式物流系统设备网站模板 高效网站建设,核心规划精简30字 搜索引擎网站推广:让您的品牌在网络世界中脱颖而出,息烽县公司网站建设 海兰信申请船舶监控界面生成方法专利,简化了开发流程,提高了效率和准确性尉迟恭墓志,为何被评为国宝级文物?墓志内容揭露了他怎样的身份 打造专业企业网站,一步到位! AI工具写作:让创作更简单、更高效 免费写作,让创意无限释放,轻松开启写作之旅 AI写作哪个号,助你轻松提高创作效率 网站优化哪家好?选择专业团队助力您网站腾飞! 网站克隆工具下载:轻松复制任何网站,实现快速建站 响应式塑料封条制品企业网站模板 关键词重构大师 AI写作免费使用免登录,助你轻松创作内容的全新选择 做SEO需懂得什么:揭秘成功的秘诀 关键词组合提升搜索引擎优化和营销效果的利器 SEO和SEM有什么区别?深度剖析两者的优势与应用 “轻量级H5制作神器,一触即达” 实验新解 中国禁止ChatGPT的原因:技术、政治与文化的多重考量 探营云栖大会黑科技:动嘴就能做网站,给灵感就能制作海报大s老公具俊晔演唱会落幕,我却要笑死在评论区里!