如何把一块 Nvidia 显卡掰成两半使用

发表于   |   分类于 [原创]服务器   |   暂无评论

起因就是家里两个小家伙总是争抢一台电脑玩游戏，抢不到就唧唧歪歪。想想 Minecraft 也不是什么吃显卡的游戏，目前显卡价格虽然降了一些，但还是很贵。而且 Intel UHD 核显也的确性能拉跨。家里正好躺着一块 Nvidia GT 1030 “亮机卡”，性能足够两个人同时玩 Minecraft。

搜刮了一下互联网，看来我不是第一个研究“把一块显卡掰成两半使用”的人，不仅已经有人实现了，还记录了详细的步骤，另外还有人做了视频教程。

说搞就搞，打开 Kijiji 开始捡垃圾。CPU 得要个强劲的，核心数量优势在 AMD Ryzen 这边，相应的主板就选择 B450，内存 32GB。于是捡了一圈垃圾，又从我的电脑上拆了两条内存，加上刚换下来的电源，组装了这么一台奇怪的机器：

  • AMD Ryzen 7 2700 (8-core, 16-thread)
  • Asrock B450M-HDV R4.0
  • 2x16GB Vulcan T-force 3200MHz
  • Nvidia GT 1030 2GB (D5)

硬件搞定，接下来就是软件部分了。遵照教程，软件使用 Proxmox 7.2 虚拟环境 + Windows 10。

-1. 原理介绍

其实拆分显卡利用的是 Nvidia 给数据中心提供的驱动（破解版），把消费级显卡当作同代核心的商用显卡使用。比如把使用 GP108 核心的 GT 1030（Pascal 架构）识别成 Tesla P40。原教程里面提到，目前只有 Pascal 和 Turing 架构的消费级显卡可以拆分，所以 Ampere 架构的 30 系显卡目前还没法拆分使用。

消费级显卡拆分的最大限制是显存。拆分之后的虚拟显卡可以使用 GPU 全部可用的算力，但是只能使用预先设置好的显存容量。而显存容量又会影响 3D 游戏的渲染性能，所以在装机的时候就要先考虑好究竟买多大显存的显卡。对于我家这种只玩 Minecraft 的情况，就算 2GB 显存对半分，每人 1GB 显存也绰绰有余了。

0. 准备工作

在新窗口/标签页打开 Proxmox 7 vGPU 教程。最好通读一遍，虽然本文记录了详细过程，但是源教程里面还有一些背景知识介绍。

记得去 BIOS/UEFI 里面将所有跟虚拟化有关的项目都打开。

  • Intel VT-d 或者 AMD SVM
  • IOMMU
  • SR-IOV
  • Above 4G decode + Resizeable BAR

接着安装好 Proxmox 7.2，通过 https:// <ip> :8006 登录管理页面，上传 Windows 10 安装镜像，上传 VirtIO 驱动光盘镜像。

SSH 进入后台，将 apt 源更换为非氪金用户专用地址。

$ mv /etc/apt/sources.list.d/pve-enterprise.list ~
$ echo "deb http://download.proxmox.com/debian/pve bullseye pve-no-subscription" | tee /etc/apt/sources.list.d/pve-no-subscription.list

安装接下来必需的工具包。

apt update && apt upgrade -y
apt install -y git build-essential pve-headers-`uname -r` dkms jq cargo mdevctl unzip uuid

1. 设置虚拟化环境

首先，编辑 /etc/default/grub 文件， 根据 CPU 品牌，将 GRUB_CMDLINE_LINUX_DEFAULT 一项改为

# Intel
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt"
# AMD
GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on iommu=pt"

然后更新 grub。

update-grub

然后，将下面几行添加到 /etc/modules-load.d/modules.conf 最后。

vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd

再设置一些启动参数。

$ echo "options vfio_iommu_type1 allow_unsafe_interrupts=1" > /etc/modprobe.d/iommu_unsafe_interrupts.conf
$ echo "options kvm ignore_msrs=1" > /etc/modprobe.d/kvm.conf
$ echo "blacklist nouveau" >> /etc/modprobe.d/blacklist.conf

更新 initramfs 并重启

$ update-initramfs -u
$ reboot

2. 在主机端安装（破解版）显卡驱动

这是先人已经做好的破解版显卡驱动，版本定格在 460.73.01。需要其他版本的话，需要参考原教程里面的 The hard way 部分，给新版驱动打了补丁才能使用。

chmod +x NVIDIA-Linux-x86_64-460.73.01-grid-vgpu-kvm-v5.run
./NVIDIA-Linux-x86_64-460.73.01-grid-vgpu-kvm-v5.run --dkms

然后安装 vgpu_unlock 和对应的启动程序。

$ git clone https://github.com/DualCoder/vgpu_unlock
$ chmod -R +x vgpu_unlock

$ git clone https://github.com/mbilker/vgpu_unlock-rs.git
$ cd vgpu_unlock-rs
$ cargo build --release
$ cp target/release/libvgpu_unlock_rs.so /lib/nvidia/libvgpu_unlock_rs.so

重启主机加载显卡驱动。

$ reboot

3. 设置虚拟显卡

首先，先生成 UUID，原则是需要拆分几个虚拟显卡，就生成几个 UUID。我这里只生成两个 UUID。打开记事本，把生成的 UUID 粘贴进去，接下来要用。

$ uuid -n 2

接下来，查看一下显卡的 PCI 地址。这个地址在每台机器上都不一样，所以照例粘贴到记事本里面去备用。我的显卡 PCI 地址是 09:00.0，前面多加几个零，记录成 0000:09:00.0。

$ lspci | grep -i nvidia
09:00.0 VGA compatible controller: NVIDIA Corporation GP108 [GeForce GT 1030] (rev a1)
09:00.1 Audio device: NVIDIA Corporation GP108 High Definition Audio Controller (rev a1)

然后查看可用的虚拟显卡预设。

$ mdevctl types

预设的命名规则是：显卡型号-显存容量 使用目的。比如我选的 P40-1Q，就是说这块显卡被识别成 P40，给虚拟显卡分配 1GB 显存，用于工作站。

  nvidia-46
    Available instances: 0
    Device API: vfio-pci
    Name: GRID P40-1Q
    Description: num_heads=4, frl_config=60, framebuffer=1024M, max_resolution=5120x2880, max_instance=24

选好了预设之后，就可以创建虚拟显卡了。（-u 后面是 UUID，-p 后面是 PCI 地址，-t 后面是预设）

$ mdevctl start -u <uuid> -p 0000:09:00.0 -t nvidia-46
$ mdevctl define -a -u <uuid>

每一个 UUID 都要运行一遍上面两行命令

4. 创建虚拟机

按照正常流程创建虚拟机，注意以下几点：

  • 设置 CPU 的时候，CPU 类型要选择 Host（列表最下面那个）
  • 电脑类型要设置成 q35
  • BIOS 类型要选择 UEFI
  • SCSI 控制器选择 Default（因为 VirtIO 会造成主机死机）

5. 分配虚拟显卡

编辑虚拟机配置文件，例如 /etc/pve/qemu-server/100.conf，加入下面一行。将 <uuid> 替换成虚拟显卡的 UUID。

args: -device 'vfio-pci,sysfsdev=/sys/bus/mdev/devices/<uuid>,display=off,id=hostpci0.0,bus=ich9-pcie-port-1,addr=0x0.0,x-pci-vendor-id=0x10de,x-pci-device-id=0x1c31' -uuid 00000000-0000-0000-0000-000000000100

然后用同样的方法修改 101, 102, ... 等等虚拟机的配置文件，注意更换虚拟显卡的 UUID。也要注意最后那个一串 0 的虚拟机 UUID 也要跟虚拟机编号对应上。

注意，上面那一行代码会把虚拟显卡标记成 Quadro P2200。若使用 Turing 架构的显卡，需要去原教程里面寻找对应的分配代码（标记成 Quadro RTX6000）.

此时，确认显卡上没有接任何显示器。如果接了显示器，需要拔掉显示器并重启主机。

$ reboot

6. 在虚拟机上安装驱动

去 Nvidia 官网下载对应的 Quadro 驱动（Pascal 架构下载 P2200 驱动，Turing 架构下载 RTX6000 驱动），安装。

在 Windows 设置中开启远程桌面。

注意：如果登录微软账户时使用了验证器而不是输入密码，需要先同步账户密码才能登录远程桌面。在虚拟机中打开命令行，执行下面命令，强制 Windows 从微软账户服务器同步密码。

> runas /u:MicrosoftAccount\<Microsoft account email> cmd.exe

关闭虚拟机电源。

然后在管理页面上找到虚拟机，选择 Hardware，双击 Display，把类型改成 none。

重新启动虚拟机，通过远程桌面登录，确认驱动正常工作。

到这一步，已经可以通过远程桌面运行游戏了。

7. 连接键盘和物理显示器

远程桌面毕竟还需要一台电脑，如果能直接把鼠标和显示器接到虚拟机上，就省了一台远程桌面客户机。

连接键盘很简单，将 USB 接收器插到主机上，然后去虚拟机设置里面选择 Hardware，添加 USB 设备，选择 Use USB Vendor/Device ID，然后在列表里面选择 USB 接收器即可。

连接物理显示器需要一个 USB-to-HDMI 转接器，推荐使用 DisplayLink 方案的转接器，然后用上面的方法把 USB-to-HDMI 转接器直通给虚拟机即可。亚马逊上卖的使用 Fresco Logic 方案的转接器经测试无法工作，该系列转接器的特点是使用了 USB-to-VGA + VGA-to-HDMI 两块芯片。

注意：连接物理显示器之后，首次启动时，显示器会黑屏，这是因为 Windows 系统把挂载在虚拟显卡上的虚拟显示器当成主显示器，而物理显示器则是当成第二显示器。此时要么盲操作登录系统进入桌面，要么按 Win + P 组合键切换显示器。

8. vsync（垂直同步）

在进行 Minecraft 测试时，使用 Win + G 调用 Xbox 覆盖界面发现游戏只有可怜的 30 FPS，同时 CPU 和 GPU 的占用只有区区 20%。这就是传说中的“垂直同步逆向优化”。需要打开 Nvidia 控制面板，在图形设置里面把 vertical sync 设置成 Off（全局强制关闭）。反正 GT 1030 也用不上什么垂直同步嘛。

9. 电源设置

在进行系统测试的时候，发现虚拟机放了一会儿，进入睡眠状态之后就再也活不过来了。这是 Proxmox VE 虚拟机系统的问题，严格说是 Qemu 的问题。需要到虚拟机的 Windows 电源设置里面把进入睡眠状态的时间调整为 Never（永不）。

50. 系统更新

如果更新了 PVE 系统的内核，需要重新使用新内核生成并安装驱动。

# 安装新内核的头文件
$ apt install -y pve-headers-`uname -r`

# 重新安装 NVIDIA 驱动
$ ./NVIDIA-Linux-x86_64-460.73.01-grid-vgpu-kvm-v5.run --dkms

# 重新安装 vgpu_unlock-rs
$ cd vgpu_unlock-rs
$ cargo clean
$ cargo build --release
$ cp target/release/libvgpu_unlock_rs.so /lib/nvidia/libvgpu_unlock_rs.so

# 重启系统
$ reboot

51. 更换显卡

如果 460.73.01 驱动也支持新显卡（10xx/16xx/20xx 系列显卡），则不需要重新安装驱动，只需要重新配置虚拟显卡即可。

首先需要移除现有的虚拟显卡。

$ mdevctl list
$ mdevctl stop <uuid>
$ mdevctl undefine <uuid>

然后根据第 3 步重新设置虚拟显卡。推荐重用之前的 UUID，否则还需要根据第 5 步重新分配虚拟显卡。

如果从显卡从 10xx 升级到 20xx（从 P40 升级到 RTX 6000），则需要根据第 5 步重新设置伪装的硬件识别码，并在虚拟机中更新对应型号的驱动。

99. 后记

从一个点子，开始找资料，捡垃圾，拼好之后调整设置，到实际放到桌子上给娃使用，用了整整一个星期时间。两个小家伙都有了自己的“电脑”，可以同时玩游戏不打架，小家伙们也很高兴。另外还有个好处，现在两个“电脑”可以分开进行家长控制了，之后应该不会再听到“他玩多了我没玩够”的抱怨了。

100. Q&A？

Q：AMD 的显卡能拆分么？
A：目前不能，因为 AMD 没有提供虚拟化驱动。AMD 显卡只能直通（passthrough）。

Q：为啥不用 Aster？
A：的确这个拆分显卡就是 multiseat，但是 Aster 要花钱啊！另外，如果两个人同时玩一个游戏，使用 Aster 还要配沙盒软件 Sandboxie……

Q：为啥不用 Parsec？
A：同上，花钱啊，而且不仅仅是 Parsec 花钱，远程桌面客户端还需要再准备一台电脑。

Q：为啥不用 Hyper-V？
A：因为 Hyper-V 没法给虚拟机接物理显示器，而且还要浪费一个 Windows 序列号。

Q：为什么不直接插两块 GT 1030，全部做直通？这样还能节省 DisplayLink 转接器的花销。
A：主要原因是为了今后升级显卡考虑，升级一块显卡和升级两块显卡的开销差别还是很大的。另外就是主板上的插槽也不够插两块卡的。
添加新评论