百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

Linux网络性能上不去?三招(DPDK、XDP、RDMA)打通瓶颈

nanshan 2025-02-20 17:11 9 浏览 0 评论

我们的活动在互联网上每天都会产生海量的数据。我们知道这是一个“很大”的数字,但你知道到底有多大吗?

据粗略估算,目前互联网上每天新增的数据量超过 1.15 EB 。而预测到 2025 年,这一数字会增长到 491 EB。如果看不出来这个数字有多大,那么看下这个单位换算公式:1 EB = 1*1024*1024*1024 GB

因为物联网也在超快地发展,无处不在的 IoT 设备会产生更多的数据,所以互联网数据会呈指数级增长。那么无论是云计算、大数据分析应用,还是 AI 处理,网络传输能否及时“吞”下暴涨的数据,就决定了服务的能力。

但目前承载互联网服务的主流操作系统 Linux却存在网络性能瓶颈,问题出在哪里呢?

1

Linux 网络的瓶颈

当 Linux 在 20世纪90 年代初设计开发 Linux 内核时,还无法预料到未来30年全球互联网的规模,所以也不可能按现在的数据流量去做设计。而 Linux 内核的基本结构也保持到现在。

因此问题就在于 Linux 内核网络协议栈的实现,相对于当下的数据吞吐量需求,有以下三个原因会产生网络传输瓶颈:

? 应用程序和网络协议栈在交换数据时,会频繁地在用户态与内核态之间切换,导致延时产生;

? 数据要在用户空间缓存与内核空间缓存之间往来复制,耗费时间;

? 内核协议栈需要对数据进行封装和解析工作,占用 CPU 时钟。

办法总比困难多,《Linux高性能网络详解:从DPDK、RDMA到XDP》一书就针对上述问题给出了包括软件与硬件的解决办法。本书的作者是业内资深专家,他在书中以理论结合实践,说明了 DPDK、RDMA、XDP 实现 Linux 高性能网络以及保障传输安全的方案

2

DPDK:低成本的高性能网络技术

DPDK(Data Plane Development Kit,数据平面开发工具包)在用户态运行的一组软件库和驱动程序。它的一大优点是可以在所有主要 CPU 体系上加速网络数据包的处理,这样一来,现有硬件无须升级,只要在内核加装相应驱动就可以提升网络性能,是一种低成本的实现方案。

DPDK 技术原理是绕过 Linux 内核协议栈直接访问网卡硬件,从而提高网络数据包的处理速度和吞吐量。DPDK 将网卡的数据包直接映射到用户空间,然后使用高效的数据包处理库进行数据包的处理和转发,最后再将数据包发送回网卡。

在数据中心、云计算、虚拟化、网络安全等应用场景中,DPDK可以提高网络应用的性能和吞吐量、降低网络延迟、提高网络应用的响应速度和稳定性,还可以支持多种网络协议和数据包格式,具有很好的灵活性和可扩展性。

DPDK 为处理数据包实现了一个“运行到完成”(run to completion)的模型,在执行数据平面处理逻辑之前,必须先分配所有资源,然后以逻辑核上执行单元(线程)的形式运行。该模型不支持调度器,以轮询的方式访问所有设备。

DPDK 的核心是一组库,下图是核心组件以及它们之间的依赖关系

DPDK 核心组件

《Linux高性能网络详解:从DPDK、RDMA到XDP》详细说明了 DPDK 的内存管理与优化、DPDK 的编译与运行方法,介绍了测试和分析高性能网卡的工具与方法,是手把手式的贴心教程。这对于讲述内核驱动开发来说,是相当友好的学习体验。

私信小编,发送“资料包”,领取网络工程师入门大礼包
更多网工提升干货,请关注公众号:运维法拉令

相关推荐

MongoDB 从入门到实战:.NET 平台完整指南

一、什么是MongoDBMongoDB是一种功能强大且灵活的NoSQL数据库,适用于处理大规模的半结构化数据和高并发场景。它不依赖于固定的表结构和关系模型,而是以文档的形式存储数据,每个文档可...

NET Framework安装失败的原因及解决方法

大家好我是艾西,一个做服务器租用的游戏爱好者兼网络架构系统环境问题网络工具人。在我们平时使用PC安装某些程序会出现.NETFramework缺失的提示,那么也会有很多的小伙伴搞不懂什么原因导致的,这...

这可是全网eNSP安装最完整,最详细的图解,没有之一(常见问题)

eNSP安装大纲eNSP安装详细图解篇幅较长,会分三篇更完。急需安装的朋友可以在文末获取图解文档和所需软件工具。ENSP安装常见问题和解决方案Vbox安装错误eNSP在安装的过程当中,经常会出现一...

如何在windows 2012安装.NET Framework3.5

Windowsserver2012R2,自带的是.NETFramework4.5,如果想装SQLserver2008或者SQLserver2012需要安装.ENTFramework...

3款国内可用的「Chrome」扩展下载网站

身为程序员,有几个不使用Chrome浏览器提升下编码效率呢?Chrome拥有众多丰富强大的扩展程序,今天给大家分享三个国内可用的Chrome扩展下载网站,收藏一下吧,不然下次就找不到我咯!C...

下载 Windows 10 应用商店程序离线包方法

有厂商为了图方便,会把Windows10应用商店里面的UMP应用改成EXE程序版本。例如之前「网易云音乐」UMP版本简洁清爽,获得不少用户推荐,后来官方懒得更新了,直接把UMP版本...

极速安装!NET Framework 3.5零距离指南!

.NETFramework3.5是一款由微软开发的应用程序框架,它为许多Windows应用程序提供了基础支持。它的新版本带来了许多令人兴奋的功能和改进,比如增强的XML和JSON处理能力以及强大的...

Microsoft.NET离线运行库合集发布 2021

软件介绍.NET是微软具有战略意义的框架,也是装机必不可少的框架,想要一个一个安装略显繁琐,再加上很多电脑小白不知道怎么下载,不小心就下载到某某高速加载器,这个运行库极大解决了这个问题,采用微软官方....

缺少.net framework 3.5怎么办?(缺少.net4.5.1或以上环境)

很多电脑用户在玩某些程序游戏时都会遇到一个头痛的问题,弹出缺少“NETFramework3.5”的提示。微软从Windows8开始默认屏蔽了“.NET3.5”,如果用户有需要就必须选择在线安装...

Windows11无法正常安装.net 3.5组件的解决方法

最近因公司部分电脑升级至Windows11之后,重新安装某些需要加载.net3.5组件的应用软件时,都提示无法完成加载或安装.net3.5而导致无法完成安装。使用离线安装包亦一样无法完成安装。一...

离线安装.Net Framework 3.5(离线安装.net framework 4.0)

前言.Net3.5已经越来越少用到了,但是偶尔还是会遇到一些老软件需要。而Win10、Win11的系统,直接在控制面板的里添加,经常会添加失败!解决方法首先需要一个系统的ISO镜像来提取sxs文件夹:...

Jenkins 11个使用技巧,90%以上的人没用过

一、Performance插件兼容性问题自由风格项目中,有使用Performance插件收集构建产物,但是截至到目前最新版本(Jenkinsv2.298,Performance:v3.19),此...

6款Linux常用远程连接工具,你最中意哪一款?

点击上方头像关注我,每周上午09:00准时推送,每月不定期赠送技术书籍。本文2106字,阅读约需6分钟Hi,大家好。远程连接的实现方法有很多,概括地说有两种,一种是用系统自带的远程连接,另外一种是用...

Linux常用远程连接工具介绍,总有一款适合你

作为运维或者网工最常用就是ssh远程和远程桌面工具,本文就介绍几个常用的远程连接工具,你在用哪一款呢SecureCRT介绍:我觉得这个是最好的SSH工具,没有之一。SecureCRT支持SSH,同时支...

终极软路由网络设置,ESXi虚拟机安装iKuai+openWrt双路由系统

本内容来源于@什么值得买APP,观点仅代表作者本人|作者:BigBubbleGum本文是软路由系列的第五篇,也是折腾时间最长的一篇,在ESXi下分别独立安装和使用iKuai和openWrt...

取消回复欢迎 发表评论: