百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

Linux网络性能上不去?三招(DPDK、XDP、RDMA)打通瓶颈

nanshan 2025-02-20 17:11 12 浏览 0 评论

我们的活动在互联网上每天都会产生海量的数据。我们知道这是一个“很大”的数字,但你知道到底有多大吗?

据粗略估算,目前互联网上每天新增的数据量超过 1.15 EB 。而预测到 2025 年,这一数字会增长到 491 EB。如果看不出来这个数字有多大,那么看下这个单位换算公式:1 EB = 1*1024*1024*1024 GB

因为物联网也在超快地发展,无处不在的 IoT 设备会产生更多的数据,所以互联网数据会呈指数级增长。那么无论是云计算、大数据分析应用,还是 AI 处理,网络传输能否及时“吞”下暴涨的数据,就决定了服务的能力。

但目前承载互联网服务的主流操作系统 Linux却存在网络性能瓶颈,问题出在哪里呢?

1

Linux 网络的瓶颈

当 Linux 在 20世纪90 年代初设计开发 Linux 内核时,还无法预料到未来30年全球互联网的规模,所以也不可能按现在的数据流量去做设计。而 Linux 内核的基本结构也保持到现在。

因此问题就在于 Linux 内核网络协议栈的实现,相对于当下的数据吞吐量需求,有以下三个原因会产生网络传输瓶颈:

? 应用程序和网络协议栈在交换数据时,会频繁地在用户态与内核态之间切换,导致延时产生;

? 数据要在用户空间缓存与内核空间缓存之间往来复制,耗费时间;

? 内核协议栈需要对数据进行封装和解析工作,占用 CPU 时钟。

办法总比困难多,《Linux高性能网络详解:从DPDK、RDMA到XDP》一书就针对上述问题给出了包括软件与硬件的解决办法。本书的作者是业内资深专家,他在书中以理论结合实践,说明了 DPDK、RDMA、XDP 实现 Linux 高性能网络以及保障传输安全的方案

2

DPDK:低成本的高性能网络技术

DPDK(Data Plane Development Kit,数据平面开发工具包)在用户态运行的一组软件库和驱动程序。它的一大优点是可以在所有主要 CPU 体系上加速网络数据包的处理,这样一来,现有硬件无须升级,只要在内核加装相应驱动就可以提升网络性能,是一种低成本的实现方案。

DPDK 技术原理是绕过 Linux 内核协议栈直接访问网卡硬件,从而提高网络数据包的处理速度和吞吐量。DPDK 将网卡的数据包直接映射到用户空间,然后使用高效的数据包处理库进行数据包的处理和转发,最后再将数据包发送回网卡。

在数据中心、云计算、虚拟化、网络安全等应用场景中,DPDK可以提高网络应用的性能和吞吐量、降低网络延迟、提高网络应用的响应速度和稳定性,还可以支持多种网络协议和数据包格式,具有很好的灵活性和可扩展性。

DPDK 为处理数据包实现了一个“运行到完成”(run to completion)的模型,在执行数据平面处理逻辑之前,必须先分配所有资源,然后以逻辑核上执行单元(线程)的形式运行。该模型不支持调度器,以轮询的方式访问所有设备。

DPDK 的核心是一组库,下图是核心组件以及它们之间的依赖关系

DPDK 核心组件

《Linux高性能网络详解:从DPDK、RDMA到XDP》详细说明了 DPDK 的内存管理与优化、DPDK 的编译与运行方法,介绍了测试和分析高性能网卡的工具与方法,是手把手式的贴心教程。这对于讲述内核驱动开发来说,是相当友好的学习体验。

私信小编,发送“资料包”,领取网络工程师入门大礼包
更多网工提升干货,请关注公众号:运维法拉令

相关推荐

0722-6.2.0-如何在RedHat7.2使用rpm安装CDH(无CM)

文档编写目的在前面的文档中,介绍了在有CM和无CM两种情况下使用rpm方式安装CDH5.10.0,本文档将介绍如何在无CM的情况下使用rpm方式安装CDH6.2.0,与之前安装C5进行对比。环境介绍:...

ARM64 平台基于 openEuler + iSula 环境部署 Kubernetes

为什么要在arm64平台上部署Kubernetes,而且还是鲲鹏920的架构。说来话长。。。此处省略5000字。介绍下系统信息;o架构:鲲鹏920(Kunpeng920)oOS:ope...

生产环境starrocks 3.1存算一体集群部署

集群规划FE:节点主要负责元数据管理、客户端连接管理、查询计划和查询调度。>3节点。BE:节点负责数据存储和SQL执行。>3节点。CN:无存储功能能的BE。环境准备CPU检查JDK...

在CentOS上添加swap虚拟内存并设置优先级

现如今很多云服务器都会自己配置好虚拟内存,当然也有很多没有配置虚拟内存的,虚拟内存可以让我们的低配服务器使用更多的内存,可以减少很多硬件成本,比如我们运行很多服务的时候,内存常常会满,当配置了虚拟内存...

国产深度(deepin)操作系统优化指南

1.升级内核随着deepin版本的更新,会自动升级系统内核,但是我们依旧可以通过命令行手动升级内核,以获取更好的性能和更多的硬件支持。具体操作:-添加PPAs使用以下命令添加PPAs:```...

postgresql-15.4 多节点主从(读写分离)

1、下载软件[root@TX-CN-PostgreSQL01-252software]#wgethttps://ftp.postgresql.org/pub/source/v15.4/postg...

Docker 容器 Java 服务内存与 GC 优化实施方案

一、设置Docker容器内存限制(生产环境建议)1.查看宿主机可用内存bashfree-h#示例输出(假设宿主机剩余16GB可用内存)#Mem:64G...

虚拟内存设置、解决linux内存不够问题

虚拟内存设置(解决linux内存不够情况)背景介绍  Memory指机器物理内存,读写速度低于CPU一个量级,但是高于磁盘不止一个量级。所以,程序和数据如果在内存的话,会有非常快的读写速度。但是,内存...

Elasticsearch性能调优(5):服务器配置选择

在选择elasticsearch服务器时,要尽可能地选择与当前业务量相匹配的服务器。如果服务器配置太低,则意味着需要更多的节点来满足需求,一个集群的节点太多时会增加集群管理的成本。如果服务器配置太高,...

Es如何落地

一、配置准备节点类型CPU内存硬盘网络机器数操作系统data节点16C64G2000G本地SSD所有es同一可用区3(ecs)Centos7master节点2C8G200G云SSD所有es同一可用区...

针对Linux内存管理知识学习总结

现在的服务器大部分都是运行在Linux上面的,所以,作为一个程序员有必要简单地了解一下系统是如何运行的。对于内存部分需要知道:地址映射内存管理的方式缺页异常先来看一些基本的知识,在进程看来,内存分为内...

MySQL进阶之性能优化

概述MySQL的性能优化,包括了服务器硬件优化、操作系统的优化、MySQL数据库配置优化、数据库表设计的优化、SQL语句优化等5个方面的优化。在进行优化之前,需要先掌握性能分析的思路和方法,找出问题,...

Linux Cgroups(Control Groups)原理

LinuxCgroups(ControlGroups)是内核提供的资源分配、限制和监控机制,通过层级化进程分组实现资源的精细化控制。以下从核心原理、操作示例和版本演进三方面详细分析:一、核心原理与...

linux 常用性能优化参数及理解

1.优化内核相关参数配置文件/etc/sysctl.conf配置方法直接将参数添加进文件每条一行.sysctl-a可以查看默认配置sysctl-p执行并检测是否有错误例如设置错了参数:[roo...

如何在 Linux 中使用 Sysctl 命令?

sysctl是一个用于配置和查询Linux内核参数的命令行工具。它通过与/proc/sys虚拟文件系统交互,允许用户在运行时动态修改内核参数。这些参数控制着系统的各种行为,包括网络设置、文件...

取消回复欢迎 发表评论: