【slurm】docker部署slurm集群和jupyter,并支持使用slurm提交作业(二)
本人之前写过一篇手动部署slurm集群的文章
但是今天看到很多人在搜索docker部署slurm,其实也是可以的
只是生产上很难使用,但是如果是个人学习slurm的使用,却是相当方便
下面具体介绍下如何使用docker部署slurm集群
说明:
本次部署在一台物理机部署,
容器包含一台slurm控制节点
两台slurm计算节点
一台jupyter节点
一、安装docker和docker-compose
参考博文《安装docke》r和《安装docker-compose》
二、提前下载镜像
也可以不提前下载,在启动容器的时候自动下载
docker pull rancavil/slurm-jupyter:19.05.5-1
docker pull rancavil/slurm-master:19.05.5-1
docker pull rancavil/slurm-node:19.05.5-1
三、编写docker-compose.yml
version: '3'
services:
slurmjupyter:
image: rancavil/slurm-jupyter:19.05.5-1
hostname: slurmjupyter
user: admin
volumes:
- shared-vol:/home/admin
ports:
- 32000:8888
slurmmaster:
image: rancavil/slurm-master:19.05.5-1
hostname: slurmmaster
user: admin
volumes:
- shared-vol:/home/admin
ports:
- 6817:6817
- 6818:6818
- 6819:6819
slurmnode1:
image: rancavil/slurm-node:19.05.5-1
hostname: slurmnode1
user: admin
volumes:
- shared-vol:/home/admin
environment:
- SLURM_NODENAME=slurmnode1
links:
- slurmmaster
slurmnode2:
image: rancavil/slurm-node:19.05.5-1
hostname: slurmnode2
user: admin
volumes:
- shared-vol:/home/admin
environment:
- SLURM_NODENAME=slurmnode2
links:
- slurmmaster
volumes:
shared-vol:
#如果想部署多一些节点,继续按编号顺序添加 slurmnode即可
四、启动容器
docker-compose up -d
五、使用slurm
http://ip:32000/lab 登录jupyter,可以看到slurm queue插件,这里可以提交作业,查看作业队列等。
编写程序脚本和作业脚本就可以提交作业了
sinfo可以查看集群信息
24咨询热线

- 13938583546
- 微信同号
- 吴老师