首页 > Python资料 博客日记

【内网Tesla T4_16G为例】GPU安装NVIDIA Driver、CUDA、cuDNN、Python

2024-10-30 20:00:05Python资料围观6

本篇文章分享【内网Tesla T4_16G为例】GPU安装NVIDIA Driver、CUDA、cuDNN、Python,对你有帮助的话记得收藏一下,看Python资料网收获更多编程知识

这篇文章主要记录下在内网(无法连接外网)服务器安装NVIDIA Driver、CUDA、cuDNN、Python的过程,机器配置GPU:1*NVIDIA T4 16G,CPU:8C42G,操作系统:GPU-RHEL7.9-x86-64。

想了解如何内网部署ollama,使用大模型,可以参考我的另一篇文章:
【内网Tesla T4_16G为例】超详细部署安装ollama、加载uugf格式大模型qwen2、chatglm3及大模型的使用

前言

因为是内网环境,所以文章中的安装过程,不贴实际安装过程的图片。

因为是内网环境,所以所有的安装包都是先外网下载好,拷贝到内网执行的。下面所有安装包都是如此,不再赘述

该服务器除系统盘60G之外,还有一个扩展盘100G,我们可以理解为windows电脑的D盘,我的所有安装包都会装在该盘,如果你只有一个盘,可以新建一个文件夹安装,不建议安装在系统盘的其他文件夹中

一. 安装Python

1. 下载python离线包
安装包下载地址:https://www.python.org/downloads/source/
我下载的是Python 3.10.14

下面是linux服务器上的部署过程
2. 系统更新

sudo yum update -y

3. 安装必要的依赖项

sudo yum groupinstall “Development Tools” -y
sudo yum install openssl-devel bzip2-devel libffi-devel -y

2,3步骤可以在盘的主目录下直接执行。

**4. 解压Python-3.10.14.tgz并安装 **

#解压
sudo tar xzf Python-3.10.14.tgz
#进入解压后的包
cd Python-3.10.14
#设置安装地址,如果/mnt/data/python3.10之前没有,需要新建
sudo ./configure --enable-optimizations --prefix=/mnt/data/python3.10
#编译并安装(如果你需要在服务器中安装多个版本的python且不影响其他版本,这里要使用altinstall,而不是install)
sudo make altinstall

5. 是否安装成功

python3.10 --version
python3.10 # 该命令直接运行python,可以实现编码

此时安装完之后你可以使用python3.10 --version查看,如果你希望python --version
或者python3 --version等格式的命令,你可以通过符号链接将 python 指向 python3.10。

6. 创建符号链接(可选操作)
1)删除现有的 python 符号链接(如果存在,可通过python --version检查,是否返回其他版本):

sudo rm /usr/bin/python

2)创建新的符号链接
python --version
pip --version

sudo ln -s /mnt/data/python3.10/bin/python3.10 /usr/bin/python
sudo ln -s /mnt/data/python3.10/bin/pip3.10 /usr/bin/pip

python3 --version
pip3 --version

sudo ln -s /mnt/data/python3.10/bin/python3.10 /usr/bin/python3
sudo ln -s /mnt/data/python3.10/bin/pip3.10 /usr/bin/pip3

7.环境变量配置(建议做)
配置环境变量如果想全局都生效,可以配置在/etc/profile.d

  • 这里需要先进入/etc/profile.d,然后创建一个shell脚本,比如mkdir app_ env.sh。
  • vim app_env.sh,将
    export PATH="/mnt/data/python3.10/bin:$PATH"加进去。
  • 执行source /etc/profile,更新配置

二、下载并安装NVIDIA Driver

进入英伟达官网下载:https://www.nvidia.com/Download/index.aspx#
目前pytorch最高支持CUDA Toolkit 12.1,尽管CUDA已经更新到12.5。暂时没有CUDA Toolkit 12.1可选,所以就选择离12.1最近的CUDA Toolkit 12.2。


下面是安装过程:
1. 先安装一些依赖

sudo yum install epel-release
sudo yum update
sudo yum install pkgconfig libglvnd-devel

2. 安装
直接在NVIDIA-Linux-x86_64-535.161.08.run所在文件夹执行,脚本会自动配置安装位置

chmod +x NVIDIA-Linux-x86_64-535.161.08.run # 先赋予权限
sh ./NVIDIA-Linux-x86_64-535.161.08.run -s --no-x-check # 安装
nvidia-smi # 检查是否安装成功

下图为例图证明安装成功:

三、下载并安装CUDA

上面提到了在安装Nvidia驱动的时候,选择CUDA版本是12.2,因此,我们在下载的时候也要下载12.2的。下载地址:https://developer.nvidia.com/cuda-toolkit-archive

根据自己的机器,选择合适的安装包,直接在浏览器地址栏输入地址:https://developer.download.nvidia.com/compute/cuda/12.2.0/local_installers/cuda_12.2.0_535.54.03_linux.run,直接先下载

下面是安装过程:
(1)上传至服务器,进入到安装包目录,执行以下命令安装

sudo sh cuda_12.2.0_535.54.03_linux.run

(2)运行后在出现的页面中执行以下操作

输入 accept,继续执行

到下面这个页面时,在Driver行,按Enter,会取消掉CUDA自带驱动的安装,因为我们已经安装过了,取消掉的状态是没有前面的X了。
然后⬇到Install,按Enter,继续执行。

安装完成后,会出现下面的内容:
因为是内网无法截图和粘贴东西,以下内容参考文章:https://blog.csdn.net/weixin_46398647/article/details/137666448

===========
= Summary =
===========

Driver:   Not Selected
Toolkit:  Installed in /usr/local/cuda-12.2/

Please make sure that
 -   PATH includes /usr/local/cuda-12.2/bin
 -   LD_LIBRARY_PATH includes /usr/local/cuda-12.2/lib64, or, add /usr/local/cuda-12.2/lib64 to /etc/ld.so.conf and run ldconfig as root

To uninstall the CUDA Toolkit, run cuda-uninstaller in /usr/local/cuda-12.2/bin
***WARNING: Incomplete installation! This installation did not install the CUDA Driver. A driver of version at least 535.00 is required for CUDA 12.2 functionality to work.
To install the driver using this installer, run the following command, replacing <CudaInstaller> with the name of this run file:
    sudo <CudaInstaller>.run --silent --driver

Logfile is /var/log/cuda-installer.log

根据上面的提示信息设置路径:

export PATH=/usr/local/cuda-12.2/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-12.2/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

输入命令nvcc -V进行检验:

[root@Nvidia-Tesla-T4 Downloads]# nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2023 NVIDIA Corporation
Built on Tue_Jun_13_19:16:58_PDT_2023
Cuda compilation tools, release 12.2, V12.2.91
Build cuda_12.2.r12.2/compiler.32965470_0

三、下载并安装CuDNN

(1)下载CuDNN
下载地址:https://developer.nvidia.com/cudnn-archive
因为服务器的操作系统是RHEL7.9的,目前看只有9.0.0支持该系统,所以下载的是9.0.0,如果你是RHEL8或9可以选择其他版本


浏览器地址栏输入:https://developer.download.nvidia.com/compute/cudnn/9.0.0/local_installers/cudnn-local-repo-rhel7-9.0.0-1.0-1.x86_64.rpm,即可下载

(2)安装
拷贝到内网,在文件目录下执行以下命令:

sudo rpm -i cudnn-local-repo-rhel7-9.0.0-1.0-1.x86_64.rpm
sudo yum clean all
sudo yum -y install cudnn

这样就安装完成了。


版权声明:本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:jacktools123@163.com进行投诉反馈,一经查实,立即删除!

标签:

相关文章

本站推荐