搭建实验室公共GPU服务器

发表于 更新于 分类于
使用LXD, ZFS搭建一台多人共用且不冲突的GPU深度学习服务器。

搭建需求，硬件配置，方案简介

搭建需求

实验室新进一台GPU服务器，带了两块Titan V，显存比单机多很多，公用的服务器总不能让同学一个一个轮流坐到电脑前操作，所以就有了多人同时使用的需求。

虽说Linux可以设置各种用户和权限、Anaconda可以建立各个虚拟环境，但难免遇到软件版本需求不同相互冲突、新手乱删文件等情况，最好还是给每个同学建立相互隔离的环境最舒服了，随便怎么折腾也不会干扰其他人。

具体的需求无非包括：

  • 独立：不同用户的环境相互独立，不能互相访问，且可以同时使用。（唯一通道是共享文件夹）
  • 隔离：用户是不可以访问宿主机的（唯一通道是共享文件夹）。
  • 自由：用户可以像使用一台自己的Linux机器一样，方便访问，拥有最大的权限，自有安装程序、自由访问网络等等。（事实上，这种操作方式与购买GPU云主机的体验基本等同）
  • GPU：最最重要的是每位同学能直接访问GPU。
  • 可控：虽说要自由，但必要时候（同时使用的人太多），还是要能够限制每位同学的资源的（CPU，内存，GPU这些）

硬件配置

指标 参数
CPU Intel至强 E5-2680 v4 *2
GPU NVIDIA TITAN V *2
Memory 128G
Disk 480G SSD + 8T HDD + (4T RAID HDD)

方案简介

鉴于之前搭建过一次GPU服务器的经历搭建公用GPU服务器过程记录 ，这次依旧采用LXD+ZFS的方案，即LXD做前端容器管理+ZFS做后端存储管理。虽然都说Docker这种方式是未来潮流，但我认为LXD/LXC并不差劲，且Docker的一应用一Docker的理念，可能与这种全权限访问容器主机的方式，是有本质上的区别的吧。

大致讲一下整个方案的流程：

  1. 宿主机安装Ubuntu18.04系统，安装GPU驱动。
  2. 安装LXD/ZFS软件并进行配置。
  3. 创建容器模板（Ubuntu16.04），包括：网络、GPU驱动、共享目录、SSH登录。
  4. 按需分配，克隆容器模板，并做个性化修改。
  5. 使用lxdui进行可视化容器管理。

第一步：安装系统、显卡驱动

系统

系统选择Ubuntu 18.04。

原因：Ubuntu 16.04下默认下载安装的是LXD2.0，LXD2.0不支持配置GPU到容器中，如果Ubuntu16.04需要配置GPU到容器，则需自行编译LXD3.0。而Ubuntu 18.04默认下载安装的则是LXD3.0的，安装方便。

安装完成后，注意将软件源配置为清华源，提高下载更新速度。具体步骤参考：Ubuntu 镜像使用帮助

GPU驱动

往常Linux下的GPU驱动安装是很复杂的，网上NVIDIA Driver教程百花绽放。经过实践发现，装完系统后，使用系统软件和更新中提供的NVIDIA驱动是可行的，非常方便。

GPU驱动

安装完成后，重启，输入nvidia-smi进行确认，注意显卡驱动版本：

显卡信息

第二步：LXD/ZFS安装及配置

LXD软件安装

  • LXD：用于创建和管理容器
  • ZFS：用于管理物理磁盘，支持LXD高级功能，负责容器存储。
  • Bridge-Utils：用于搭建网桥，负责容器上网。

运行命令进行安装：

1
sudo apt-get install lxd zfsutils-linux bridge-utils

配置

关于网络

需要注意的是，不同网络环境下，大家对于上网方式的诉求是不一样的。有些情况是希望用户在自己容器中登录校园网进行上网，有些情况则是上网免费，无所谓个人不个人。不同情况下，对于网络的配置是不同的。

目前我们是这样打算的，宿主机使用我的个人账号登录，每个容器就直接通过宿主机NAT上网，也不需要每个同学登录了，反正费用最后都能报销。对于较大的几十个G的数据集，则建议用户自己下载下来后，通过物理拷贝或者局域网内传输的方式上传到容器。

这种情况的下网络配置是最简单的，因为LXD默认初始化的网络方式就是：宿主机通过DHCP的方式给每个容器分配IP。如果上网方式跟我的相同的话，可以参考下节的配置。如果不是的话，请留意网络/网桥的配置

初始化LXD

运行sudo lxd init 进行LXD初始化配置，选项如下图：

LXD初始化

  • LXD Clustering：不需要
  • new storage pool：需要创建一个存储池
  • Name of storage pool：给存储池命名
  • storage backend：存储后端，使用ZFS
  • Create a new ZFS pool：需要创建一个ZFS池
  • use an existing block device：Yes
    Path to block device：使用已有的磁盘分区用于ZFS的存储后端。细节可以参考Be aware
  • MAAS server?：不知道是啥，不需要
  • new local network bridge?：需要，我只需要使用LXD默认的网桥即可。
  • new bridge be called：给网桥命名
  • IPv4：默认auto
  • IPv6：默认auto
  • LXD available over the network？：默认no
  • stale cached？：默认yes
  • YAML printed？：打印信息，yes/no都行，原谅最后手抖的yno

测试

sudo zpool list lxd 查看ZFS的后端存储池。

sudo lxc info 查看LXD的配置信息。

sudo lxc profile show default 查看默认容器配置。

sudo lxc list 查看容器列表。

更多命令可以参考LXD Documentation

#第三步：创建容器模板

创建容器模板的意义在于：每次创建一个容器都需要重复大量工作（更新、配置GPU、共享目录、SSH登录等等），而创建容器模板以后，可以省去这些操作，利用LXD的克隆功能，复制一个容器稍作修改，就能成为用户独属的容器。

创建容器模板

LXC清华源

使用lxc清华源可以加速镜像的下载。LXC Images 镜像帮助

运行如下命令配置：

1
2
# 创建一个remote链接，指向TUNA镜像站。
sudo lxc remote add tuna-images https://mirrors.tuna.tsinghua.edu.cn/lxc-images/ --protocol=simplestreams --public
1
2
# 查看镜像列表，寻找合适的镜像的FINGERPRINT，用于下载
sudo lxc image list tuna-images:

下载创建

1
2
3
4
5
# FINGERPRINT是镜像的指纹，在上条命令下查找，ContainerTemplateName为容器模板名称，自己定义。
sudo lxc launch tuna-images:<FINGERPRINT> <ContainerTemplateName>

# 举例，创建一个名为xenialTemplate的容器。在lxc清华源中24be957c5e9f是Ubuntu16.04的fingerprint
sudo lxc launch tuna-images:24be957c5e9f xenialTemplate

运行 sudo lxc list 进行容器列表查看。

运行sudo lxc exec <ContainerTemplateName> bash可进入容器的root用户下 bash。

可以使用su ubuntu或 sudo su 进行用户切换。

如果容器下出现 sudo: no tty present and no askpass program specified 的问题。

解决方式：

创建 /etc/sudoer.d/ubuntu 文件，编辑内容为

1
ubuntu ALL=(ALL) NOPASSWD:ALL

配置共享目录和GPU

共享目录设置

设置共享目录来实现宿主机与容器之间的文件传输。

1
2
3
4
5
# 设置键值
sudo lxc config set <ContainerTemplateName> security.privileged true
# 设置共享目录，其中shareName为虚拟的设备名称，lxd会虚拟出该设备并导通接通两者共享目录。
# path1为宿主机下共享目录路径，path2为容器下共享目录路径
sudo lxc config device add <ContainerTemplateName> <shareName> disk source=<path1> path=<path2>

GPU配置

添加GPU

1
2
3
4
# 为容器添加所有GPU: 
sudo lxc config device add <ContainerTemplateName> gpu gpu
# 添加指定GPU： 
sudo lxc config device add <ContainerTemplateName> gpu0 gpu id=0

安装显卡驱动

还记得之前记录的宿主机显卡驱动的版本号码，根据版本号去官网下载驱动文件，通过共享目录传至容器中。

例如，宿主机中的NVIDIA Driver Version为390.77，则下载NVIDIA-Linux-x86_64-390.77.run。

安装显卡驱动。

1
2
3
4
# 进入容器
sudo lxc exec <ContainerTemplateName> bash
# 安装驱动
sudo sh NVIDIA-Linux-x86_64-xxx.xx.run --no-kernel-module

运行nvidia-smi进行确认。

配置SSH免密码登录

SSH免密登录网上资料一大把，有不明白的地方可以网上找。

###安装SSH服务

1
2
3
4
5
6
7
8
# 装OpenSSH服务
sudo apt install openssh-server

# 启动SSH服务
sudo service ssh start

# 查看SSH服务状态
sudo service ssh status

生成RSA文件

1
2
3
4
5
6
7
8
9
10
11
# 进入SSH目录
cd ~/.ssh

# 生成RSA
ssh-keygen -t rsa

# 复制公钥内容到authorized_keys
cat id_rsa.pub >> authorized_keys

# 重启SSH服务
sudo service ssh restart

测试SSH

容器终端运行ifconfig ，确认容器IP和网段，这些是LXD自动分配的。如模板容器的IP为10.135.139.83。

宿主机终端运行ifconfig，查看宿主机在网桥lxdbr0下的IP。如宿主机在该网段下的IP为10.135.139.1。

通过共享目录将SSH秘钥 id_rsa文件拷贝到宿主机，宿主机运行如下命令登录容器：

1
2
3
4
5
# 给容器SSH秘钥文件合适权限
sudo chmod 400 id_rsa

# 命令行登录SSH
ssh -i id_rsa ubuntu@10.135.139.83

成功后，进行下一步frp的设置（端口转发）。

配置frp（内网穿透工具）

关于frp

根据上面的网络配置，可以看到，每个容器其实是处于宿主机构建出来的小型局域网内的，并不暴露在校园网内，也就是说用户从校园网是无法直接访问容器的。

一般来讲，要做的就是在宿主机上做端口转发了。我使用的是内网穿透工具frp，配置和使用都很简单。

架在宿主机上，我们可以通过校园网在校园内访问容器；架在公网服务器上，我们就可以在家访问容器。

FRP架构

使用方式

在 frp版本发布页面 下载linux的文件，如frp_0.21.0_linux_amd64.tar.gz。解压后文件如下：

  • frps：服务端执行文件
  • frps_full.ini：服务端参数参考
  • frps.ini：服务端参数文件
  • frpc：客户端执行文件
  • frpc_full.ini：客户端参数参考
  • frpc.ini：客户端参数文件

服务端配置

服务端文件放置在宿主机中，宿主机的frps.ini可供参考，更多参数请看官方文档。

1
2
3
4
5
[common]
bind_port = 7000

# 限制端口，要对端口做好管理
allow_ports = 2000-3000

宿主机执行./frps -c frps.ini 开启服务。

客户端配置

客户端文件放置在用户容器中，容器的frpc.ini可供参考，更多参数请看官方文档。

1
2
3
4
5
6
7
8
9
[common]
server_addr = 10.135.139.1 # 网段下宿主机的IP
server_port = 7000 # 服务端的bind_port

[ssh-template] # 一个转发实例，注意每个实例名称都不能相同,括号中的名称自定义
type = tcp
local_ip = 127.0.0.1
local_port = 22 # 容器本地SSH访问端口
remote_port = 2011 # 宿主机映射端口

容器执行./frpc -c frpc.ini 连接服务。

在校园网内进行测试

如上步骤，在已知宿主机校园网IP和容器SSH的映射端口之后，就可以在校园网内访问容器了。

这一步就不多讲了。

第四步：给用户分配容器

创建了容器模板之后，就可以按需给用户分配容器了。

克隆容器

1
2
3
4
5
6
7
8
# 克隆容器 参数一为模板容器名称，参数二为目标容器名称
sudo lxc copy <ContainerTemplateName> <newContainerName>

# 运行新容器
sudo lxc start <newContainerName>

# 进入新容器bash
sudo lxc exec <newContainerName> bash

修改hostname

克隆的容器还保留着模板的hostname，看起来令人不悦。快速修改hostname的步骤如下：

1
2
3
4
5
6
7
8
9
10
11
# 进入新容器bash
sudo lxc exec <newContainerName> bash

# 将旧的hostname 改成新的
sudo vim /etc/hostname

# 将旧的hostname改成新的，在127.0.0.1后面
sudo vim /etc/hosts

# 重启生效
sudo reboot

修改SSH秘钥文件

克隆的容器还保留着模板的SSH id_rsa文件，要是大家都用一份id_rsa文件访问不同的容器，就太扯了。所以要生成新的id_rsa文件。快速修改id_rsa文件步骤如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
# 进入新容器bash
sudo lxc exec <newContainerName> bash

# 注意切换成ubuntu用户
su ubuntu

# 进入SSH目录
cd ~/.ssh/

# 生成新的id_rsa文件
ssh-keygen -t rsa

# 复制公钥内容到authorized_keys
cat id_rsa.pub >> authorized_keys

# 重启SSH服务
sudo service ssh restart

# 记得将新生成的id_rsa文件拷贝到外部，共SSH访问使用

修改frp映射端口

道理很简单，要能访问不同的容器，就要将不同容器的SSH 22端口映射到宿主机不同的端口上。

直接修改容器中的frpc.ini，将转发实例中的括号名和remote_port。

然后容器执行./frpc -c frpc.ini 连接服务即可。

交付容器

把容器的SSH秘钥文件、SSH访问IP和SSH访问端口交付给同学即可。

Tips 记得交付之前，调用LXD的快照（snapshot）进行初始版本的备份，免得后面弄砸了，又要重新配置。

执行sudo lxc snapshot <ContainerName>进行快照。

第五步：拓展

LXDUI 可视化管理界面

LXDUI是一个LXD/LXC的Web UI工具，支持LXD/LXC的一些基本操作。

具体使用请参考：lxdui GitRepo

效果如下：

lxdui

lxdui

##资源限制问题

目前是公平的给大家所有的硬件访问权限，后面如果涉及到资源拥挤的话，不可避免需要对每个人的资源进行限制，资源限制请参考：LXD 2.0 系列（四）：资源控制

图形界面

目前我还没有实现图形界面，比较担心的是大家都用图形界面的话，带宽会不会被占用太多。

NAS资源访问

NAS后期更新。

驱动的更新

宿主机的软件一般不用更新，毕竟能够维持容器运行即可，所有的操作反正都在容器中进行。

但偶尔难免会出现打开终端双手不受控制的输入update和upgrade的情况，一般情况都还行，但是万一更新显卡驱动，就有糟心事了。

但是别慌，如果由于宿主机更新显卡驱动，导致容器显卡没法用了，就按照之前的安装容器显卡驱动一样，下载和宿主机显卡驱动版本相同的驱动文件，拷到容器内，无内核安装即可。

2019.1.9 更新：关于镜像自动备份

使用固然方便，如果能替大家实现定时备份容器的镜像就更好了。可以弄崩溃了恢复原来的备份即可。

解决方案参考：

LXD Automatic snapshotting

lxdsnap

需要注意的地方就是，关注一下代码和定时设置：定时间隔？哪些要保存？哪些过期删除？千万不要误删了重要的备份节点。

参考链接

这次的安装记录整理的实在太累了。下次都上带个相机，直接录下来就好了。