香港GPU服務(wù)器顯卡驅(qū)動(dòng)安裝、深度學(xué)習(xí)環(huán)境搭建?

在香港搭建GPU服務(wù)器后，顯卡驅(qū)動(dòng)安裝和深度學(xué)習(xí)環(huán)境的配置是關(guān)鍵步驟。以下是一個(gè)詳細(xì)的指導(dǎo)：

1. 硬件確認(rèn)

確保你的香港GPU服務(wù)器硬件信息和安裝環(huán)境：

顯卡型號(hào)：如 NVIDIA RTX 40 系列、A100、V100 等。

操作系統(tǒng)：建議使用 Linux 系統(tǒng)(Ubuntu 是最佳選擇，版本如 20.04 或 22.04)。

網(wǎng)絡(luò)連接：服務(wù)器是否有穩(wěn)定的網(wǎng)絡(luò)(尤其是安裝驅(qū)動(dòng)和軟件時(shí)需要訪問互聯(lián)網(wǎng))。

2. 安裝 NVIDIA 驅(qū)動(dòng)

(1) 檢查顯卡信息

通過以下命令確認(rèn)顯卡是否已被系統(tǒng)識(shí)別：

lspci | grep -i nvidia

(2) 移除舊版本驅(qū)動(dòng)

如果系統(tǒng)中已經(jīng)安裝了舊的 NVIDIA 驅(qū)動(dòng)，先卸載：

sudo apt-get --purge remove "*nvidia*"

(3) 添加 NVIDIA 驅(qū)動(dòng)庫

為確保獲取最新版本驅(qū)動(dòng)：

sudo add-apt-repository ppa:graphics-drivers/ppa

sudo apt-get update

(4) 安裝推薦驅(qū)動(dòng)

系統(tǒng)會(huì)自動(dòng)推薦兼容的驅(qū)動(dòng)版本：

ubuntu-drivers devices

sudo apt install nvidia-driver-<版本號(hào)>

例如：

sudo apt install nvidia-driver-535

(5) 驗(yàn)證安裝

安裝完成后，重啟服務(wù)器并驗(yàn)證驅(qū)動(dòng)是否正常運(yùn)行：

nvidia-smi

若顯示 GPU 相關(guān)信息，說明驅(qū)動(dòng)安裝成功。

3. 安裝 CUDA 和 cuDNN

NVIDIA 驅(qū)動(dòng)只是基礎(chǔ)，還需要安裝 CUDA 和 cuDNN 來支持深度學(xué)習(xí)框架。

(1) 確認(rèn)兼容的 CUDA 版本

根據(jù)顯卡型號(hào)和深度學(xué)習(xí)框架的需求選擇 CUDA 版本：

NVIDIA CUDA 版本兼容性列表

(2) 下載并安裝 CUDA

下載 CUDA：

wget https://developer.download.nvidia.com/compute/cuda/<版本號(hào)>/local_installers/cuda_<版本號(hào)>_linux.run

例如：

wget https://developer.download.nvidia.com/compute/cuda/12.2/local_installers/cuda_12.2.0_535.54.03_linux.run

安裝：

sudo sh cuda_<版本號(hào)>_linux.run

遵循提示安裝并選擇 "Driver" 和 "Toolkit"。

配置環(huán)境變量：在 ~/.bashrc 添加：

export PATH=/usr/local/cuda/bin:$PATH

export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

然后執(zhí)行：

source ~/.bashrc

驗(yàn)證安裝：

nvcc --version

(3) 安裝 cuDNN

前往 NVIDIA cuDNN 下載頁面 下載對(duì)應(yīng)版本。

解壓并拷貝文件：

tar -xzvf cudnn-<版本號(hào)>.tgz

sudo cp cuda/include/cudnn*.h /usr/local/cuda/include

sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64

sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*

4. 安裝深度學(xué)習(xí)環(huán)境

以下是推薦的深度學(xué)習(xí)環(huán)境安裝步驟：

(1) 安裝 Python 和包管理工具

安裝 Python 及其包管理工具：

sudo apt update

sudo apt install python3 python3-pip

(2) 創(chuàng)建虛擬環(huán)境

使用 venv 或 conda 創(chuàng)建隔離的環(huán)境：

python3 -m venv dl-env

source dl-env/bin/activate

(3) 安裝深度學(xué)習(xí)框架

PyTorch：根據(jù) PyTorch 官網(wǎng) 的指引安裝，示例：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu12

TensorFlow：根據(jù)所支持的 CUDA 版本安裝，示例：

pip install tensorflow

(4) 驗(yàn)證安裝

驗(yàn)證 GPU 是否被深度學(xué)習(xí)框架檢測(cè)到：

PyTorch：

import torch

print(torch.cuda.is_available())

print(torch.cuda.get_device_name(0))

TensorFlow：

import tensorflow as tf

print(tf.config.list_physical_devices('GPU'))

5. 遠(yuǎn)程訪問與開發(fā)工具

為了方便操作，可以部署以下工具：

Jupyter Notebook：安裝并運(yùn)行 Jupyter 服務(wù)：

pip install jupyter

jupyter notebook --ip=0.0.0.0 --port=8888 --no-browser

VS Code Server：便于遠(yuǎn)程開發(fā)，可安裝 code-server。

6. 性能優(yōu)化與管理

(1) GPU 使用監(jiān)控

使用 nvidia-smi 查看顯存、溫度和利用率。

或安裝 NVIDIA 工具如 Nsight Systems。

(2) 任務(wù)調(diào)度

安裝 Slurm 或其他調(diào)度系統(tǒng)，優(yōu)化多用戶任務(wù)的管理。

(3) Docker 化部署

安裝 Docker 和 NVIDIA 容器工具包，簡(jiǎn)化環(huán)境配置：

sudo apt-get install docker.io

distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \

&& curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \

&& curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \

sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt-get update

sudo apt-get install -y nvidia-container-toolkit

sudo systemctl restart docker

7. 維護(hù)與常見問題

驅(qū)動(dòng)沖突：如果使用 TensorFlow 和 PyTorch，確保安裝的 CUDA 版本和框架兼容。

系統(tǒng)更新：避免自動(dòng)更新可能導(dǎo)致驅(qū)動(dòng)不兼容，建議鎖定驅(qū)動(dòng)版本。

如果有更多具體需求或遇到問題，可以隨時(shí)告訴我!