您好,欢迎访问我们的网站,预祝您找到满意的课程!

【slurm】docker部署slurm集群和jupyter,并支持使用slurm提交作业(二)

本人之前写过一篇手动部署slurm集群的文章
但是今天看到很多人在搜索docker部署slurm,其实也是可以的
只是生产上很难使用,但是如果是个人学习slurm的使用,却是相当方便
下面具体介绍下如何使用docker部署slurm集群

说明:
本次部署在一台物理机部署,
容器包含一台slurm控制节点
两台slurm计算节点
一台jupyter节点

一、安装docker和docker-compose

参考博文《安装docke》r和《安装docker-compose

二、提前下载镜像

也可以不提前下载,在启动容器的时候自动下载
docker pull rancavil/slurm-jupyter:19.05.5-1
docker pull rancavil/slurm-master:19.05.5-1
docker pull rancavil/slurm-node:19.05.5-1

三、编写docker-compose.yml

version: '3'
services:
  slurmjupyter:
        image: rancavil/slurm-jupyter:19.05.5-1
        hostname: slurmjupyter
        user: admin
        volumes:
                - shared-vol:/home/admin
        ports:
                - 32000:8888
  slurmmaster:
        image: rancavil/slurm-master:19.05.5-1
        hostname: slurmmaster
        user: admin
        volumes:
                - shared-vol:/home/admin
        ports:
                - 6817:6817
                - 6818:6818
                - 6819:6819
  slurmnode1:
        image: rancavil/slurm-node:19.05.5-1
        hostname: slurmnode1
        user: admin
        volumes:
                - shared-vol:/home/admin
        environment:
                - SLURM_NODENAME=slurmnode1
        links:
                - slurmmaster
  slurmnode2:
        image: rancavil/slurm-node:19.05.5-1
        hostname: slurmnode2
        user: admin
        volumes:
                - shared-vol:/home/admin
        environment:
                - SLURM_NODENAME=slurmnode2
        links:
                - slurmmaster
volumes:
        shared-vol:

#如果想部署多一些节点,继续按编号顺序添加 slurmnode即可

四、启动容器

docker-compose up -d

五、使用slurm

http://ip:32000/lab 登录jupyter,可以看到slurm queue插件,这里可以提交作业,查看作业队列等。
编写程序脚本和作业脚本就可以提交作业了

sinfo可以查看集群信息


24咨询热线

  •  13938583546
  •  微信同号
  •   吴老师
返回顶部