Blackwell显卡架构 如RTX5070\5090等显卡

当前 Paddle 预编译版本中包含的 GPU 架构（即 SM 架构）是有限的，比如常见的 SM75（T4）、SM86（A10）、SM89（4090）等。Blackwell架构的显卡SM不同(SM100或者SM120)，例如RTX5070(SM120)、RTX5090(SM120)，具体可以参考网址：

Matching CUDA arch and CUDA gencode for various NVIDIA architectures:https://arnon.dk/matching-sm-architectures-arch-and-gencode-for-various-nvidia-cards/

目前的安装过程适合linux系统

• 安装依赖
• 确保已经安装gcc以及g++，验证命令行如下：

gcc --version g++ --version

• 安装zlib

sudo apt install zliblg-dev

• 安装cuda、cudnn
• 安装cuda前确保显卡驱动已安装。
• 安装cuda 12.9, 参考官网https://developer.nvidia.com/cuda-downloads, 可以自动生成所需指令，下面是wsl ubuntu24.04的对应指令：

wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-wsl-ubuntu.pin
sudo mv cuda-wsl-ubuntu.pin /etc/apt/preferences.d/cuda-repository-pin-600
wget https://developer.download.nvidia.com/compute/cuda/12.9.1/local_installers/cuda-repo-wsl-ubuntu-12-9-local_12.9.1-1_amd64.deb
sudo dpkg -i cuda-repo-wsl-ubuntu-12-9-local_12.9.1-1_amd64.deb
sudo cp /var/cuda-repo-wsl-ubuntu-12-9-local/cuda-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cuda-toolkit-12-9

• 编辑~/.bashrc文件，在末尾添加如下行以配置CUDA的路径：

export PATH=/usr/local/cuda-<version>/bin${PATH:+:${PATH}} 
export LD_LIBRARY_PATH=/usr/local/cuda-<version>/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

• 请将<version>替换为实际安装的CUDA版本号, 例如12.9等。
• 更改生效：

source ~/.bashrc

• 验证安装：可以通过如下指令查看 nvcc -v是否安装成功。
• 安装cudnn，参考网址：https://developer.nvidia.com/cudnn，可以自动生成所需指令，下面是wsl ubuntu24.04的对应指令：

wget https://developer.download.nvidia.com/compute/cudnn/9.11.0/local_installers/cudnn-local-repo-ubuntu2404-9.11.0_1.0-1_amd64.deb 
sudo dpkg -i cudnn-local-repo-ubuntu2404-9.11.0_1.0-1_amd64.deb 
sudo cp /var/cudnn-local-repo-ubuntu2404-9.11.0/cudnn-*-keyring.gpg /usr/share/keyrings/ 
sudo apt-get update 
sudo apt-get -y install cudnn

• 按装nccl
• NCCL（NVIDIA Collective Communications Library）是NVIDIA提供的一个库，用于优化多GPU和多节点间的通信效率。
• 假设系统是ubuntu24.04，导入NVIDIA包公钥：

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/3bf863cc.pub sudo apt-key add 3bf863cc.pub

• 添加NCCL存储库到源列表

sudo bash -c 'echo "deb http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu2404/x86_64 /" > /etc/apt/sources.list.d/nvidia-ml.list'

• 更新软件包并安装NCCL

sudo apt-get update sudo apt-get install libnccl2 libnccl-dev

• 安装git

sudo apt install git

• 安装cinn
• CINN是一个高性能的深度学习编译器，支持多种硬件后端。官方网址：https://github.com/PaddlePaddle/CINN
• 使用如下命令下载源码:

git clone --depth 1 https://github.com/PaddlePaddle/CINN.git

• 安装install.md的文件说明下进行编译安装，详细参考：https://github.com/PaddlePaddle/CINN/blob/develop/docs/source/install.md
• 安装cmake 需要3.27及以上，不多之前试过cmake4.1编译出问题了，所以建议在3.27在4.0（不含）之间
• 使用cmake --verison查看版本信息
• 如果cmake版本不满足可以使用命令卸载：

sudo apt remove cmake

• 添加 Kitware 官方 APT 仓库

wget -O - https://apt.kitware.com/keys/kitware-archive-latest.asc 2>/dev/null | sudo apt-key add - 
sudo apt-add-repository "deb https://apt.kitware.com/ubuntu/ $(lsb_release -cs) main" 
sudo apt update

• 安装cmake: "sudo apt install cmake" 或者指定cmake版本："sudo apt install cmake=3.27.7-1ubuntu1"
• 安装openssl
• OpenSSL 是一个开源的加密库和工具套件，广泛用于实现安全通信、数据加密及数字证书管理。

sudo apt install libssl-dev

• 安装patchelf
• PatchELF 是一个用于修改 ELF（Executable and Linkable Format）可执行文件和共享库的实用工具，主要用于调整动态链接属性和运行时行为。它在 Linux 和类 Unix 系统中广泛用于解决依赖库路径冲突、版本兼容性问题以及优化软件部署流程。
• 安装命令：

sudo apt install patchelf

• 安装protoc
• 通过如下命令行安装：

sudo apt update sudo apt install -y protobuf-compiler

• 安装Miniconda3或者Anaconda3 （如果已安装请忽略）

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh bash Miniconda3-latest-Linux-x86_64.sh 
source ~/.bashrc

• 创建虚拟python环境需要3.13及以上

conda create -n paddle python=3.13 # 激活环境 conda activate paddle

• 下载paddle源码

git clone https://github.com/PaddlePaddle/Paddle.git

• 安装python依赖
• 转到paddle源码目录

pip install ./python/requirements.txt

• 使用wsl编译时需要注意memory分配情况，可以使用free -h查看，如果比下面的配置高就不用修改。此项设置主要解决编译时出现的out of memory问题

### out of memeory issue
sudo fallocate -l 8G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo swapon /swapfile
## 在windows系统中Increase WSL2 Resources
###在windows平台编辑`.wslconfig`文件路径为 %USERPROFILE%.wslconfig，如果没有则创建:
[ws12]
memory=8GB
processors=6
swap=15GB
### 重启 wsl
wsl --shutdown

• 开始编译paddle，命令如下：

# paddlepaddle编译 5070、5090
cmake .. -DCMAKE_BUILD_TYPE=Release \
  								-DWITH_GPU=ON -DWITH_SHARED_PHI=ON 
  								-DWITH_TENSORRT=OFF -DWITH_OPENVINO=OFF \
                  -DWITH_ROCM=OFF -DWITH_CINN=ON -DWITH_DISTRIBUTE=ON \
                  -DWITH_MKL=ON -DWITH_AVX=ON -DCUDA_ARCH_NAME=Manual \
                  -DWITH_PYTHON=ON -DWITH_TESTING=OFF -DWITH_COVERAGE=OFF \
                  -DWITH_INCREMENTAL_COVERAGE=OFF -DPY_VERSION=3.13 \
                  -DWITH_PSCORE=ON -DWITH_PSLIB=OFF -DWITH_GLOO=ON \
                  -DWITH_XPU=OFF -DWITH_IPU=OFF \
                  -DXPU_SDK_ROOT= -DWITH_XPU_BKCL=OFF -DWITH_XPU_XHPC=OFF \
                  -DWITH_XPU_XFT=OFF -DWITH_XPU_XRE5=OFF -DWITH_XPU_FFT=OFF \
                  -DWITH_ARM=OFF -DWITH_STRIP=ON -DON_INFER=ON \
                  -DWITH_HETERPS=ON -DCUDA_ARCH_BIN=120 \
                  -DWITH_RECORD_BUILDTIME=OFF -DWITH_UNITY_BUILD=OFF \
                  -DWITH_ONNXRUNTIME=OFF -DWITH_CUDNN_FRONTEND=OFF \
                  -DWITH_CPP_TEST=OFF -DFA_BUILD_WITH_CACHE=OFF

# j后面的数字可以根据自己机器的配置修改，越大编译的就越快
make -j2

编译会生成pyhton的安装包.whl, 然后使用pip安装这个包即可。