1.0 HPCC服务简介2.0 HPCC服务使用申请3.0 HPCC服务使用环境配置3.1 Windows Subsystem for Linux (WSL) & Linux 发行版3.2 Secure Remote Access (VPN)3.3 FileZilla Client4.0 HPCC服务使用说明4.1 在Windows操作系统下访问HPCC4.2 在MacOS下访问HPCC4.3 在HPCC中运行任务5.0 相关链接
1.0 HPCC服务简介
从博士课题研究到本科科研项目,优秀成果常常与大样本以及随之而来的高强度数据处理密切相关。当个人电脑与电脑厅设备难以满足算力要求,而实体工作站又并非可行方案之时,ITSC为科大研究者提供的HPCC服务便凭借其配置优秀、支持远程访问与不设收费的特点成为算力短缺的极佳解决方案。
高性能计算集群(High Performance Computing Cluster, HPCC),是LexisNexis Risk Solutions公司开发的大数据处理平台。这是一系列超级计算机的联合体,常常被简称为Cluster,凭借其强大算力为科大研究提供技术支持。目前科大拥有两台正在运转的HPCC。分别是主打CPU算力、配合GPU处理器辅助的HPC2;以及兼备CPU与GPU算力的HPC3。两款HPCC均面向全体科大研究者开放申请。
2.0 HPCC服务使用申请
希望使用HPC2及HPC3的用户应事先获得实验组负责人批准,之后前往对应页面(HPC2、HPC3)进行申请递交。受批准的申请者将会收到邮件通知获允访问的服务器地址(例:macyang4.math.ust.hk)。
3.0 HPCC服务使用环境配置
在正式使用HPCC之前,我们需要解决这样几个问题:科大提供的HPCC建立在Linux操作系统上,与Windows操作系统或苹果电脑的MacOS不相兼容;在校园外Eduroam网络无法覆盖的地方,我们自己的电脑也无法访问科大服务器,这其中就包括HPCC。幸运的是,微软开发了适用于Linux的Windows子系统、Mac用户也有办法直接访问Linux云服务器;ITSC还提供了虚拟专用网络(Virtual Private Network, VPN),把个人电脑与学校网络联系起来,使校外用户访问内部服务器成为可能。接下来我们依次解决(1)操作系统不兼容;与(2)校外无法远程访问的问题,此外附上一份(3)允许用户通过可视化窗口传输文件的应用,方便尚不熟练命令行指令的同学快速上手。
3.1 Windows Subsystem for Linux (WSL) & Linux 发行版
用于衔接个人电脑Windows操作系统与科大HPCC Linux操作系统的配置,Windows环境必需品。MacOS用户则无须进行额外操作。
以安装Ubuntu为例,使用快捷键“Win + R”进入运行窗口;输入”powershell”后按下“Ctrl + Shift + Enter”以管理员身份运行PowerShell。


“运行”窗口
PowerShell
输入
wsl --install -d ubuntu并按下回车键以下载WSL与Ubuntu。安装完毕后将会弹出Ubuntu窗口要求用户设置用户名。方便起见,不妨将用户名设为ITSC账号(无须@connect.ust.hk或@ust.hk后缀)并设置相同密码(设置密码时窗口不会更新已输入的字符,这并非系统故障)。
在 Ubuntu窗口中设置账户名与密码
在绿色字体”UserName@LocalName”显示之后,输入
ssh <所申请HPCC地址>(例:ssh macyang4.math.ust.hk)并按下回车键访问Cluster。若系统提示“Are you sure you want to continue connecting?”,输入”yes”并按下回车键即可。正确输入密码后(输入密码时窗口不会更新已输入的字符,这并非系统故障)便可成功访问Cluster。
在 WSL中利用 ssh指令访问 Cluster
3.2 Secure Remote Access (VPN)
用于在校外远程访问HPCC,校内用户无须下载。此VPN功能限于提供远程访问科大局域网的连接,而无法帮助内地用户访问外网信息。
安装完毕并启动桌面端Pulse Secure后将会显示如下页面:


MacOS
Windows操作系统
点击图中“+”号进入新增连接设置,在服务器名称”Name”一栏输入
HKUST SSL VPN,并在服务器地址”Server URL”一栏输入remote.ust.hk后,依次点击添加“Add”与连接”Connect”;并输入ITSC账号(无须@connect.ust.hk或@ust.hk后缀)与密码、使用DUO Mobile进行双重认证后,即可成功远程访问HPCC等科大服务器。

MacOS
Windows操作系统
在其它平台安装并使用科大VPN的步骤与上述实例相似。详情请见前述ITSC官方文档链接。
3.3 FileZilla Client
允许用户操作可视化界面在Cluster与本地电脑间进行文件传输,并非必需。

选择 FileZilla Client的默认安装配置
安装完毕并启动客户端后将会显示如下界面:

尚未登入 Cluster的 FileZilla Client界面
在屏幕顶端菜单栏下方,于服务器主机”Host”一栏输入所申请的服务器地址(例:macyang4.math.ust.hk),在用户名”Username”与密码”Password”两栏分别填写ITSC账号(无须@connect.ust.hk或@ust.hk后缀)与密码,并在端口”Port”一栏输入22;点击快速连接”Quickconnect”即可建立本地设备与Cluster的连接。连接成功后,通过鼠标拖拽即可直接实现左侧本地文件与右侧服务器文件之间的传输。

成功登入 Cluster的 FileZilla Client界面
4.0 HPCC服务使用说明
4.1 在Windows操作系统下访问HPCC
Windows系统下,由命令提示符“cmd.exe”进入WSL即可方便地访问Cluster。首先使用快捷键“Win + R”进入运行窗口;输入”cmd”后按下回车键运行命令提示符。


“运行”窗口
命令提示符
在命令提示符中输入
wsl -l --all并按下回车键查看已安装的Linux发行版名称,接着输入wsl -d <Linux发行版名称>并按下回车键进入所选Linux环境。若以绿色字体标注的“UserName@HostName”中”UserName”并非用户ITSC账号(无须@connect.ust.hk或@ust.hk后缀),应首先输入su <ITSC账号>与对应密码(输入密码时窗口不会更新已输入的字符,这并非系统故障),切换WSL账户。
通过命令提示符进入 WSL
之后输入
ssh <所申请HPCC地址>(例:ssh macyang4.math.ust.hk)并按下回车键访问Cluster。正确输入密码后(输入密码时窗口不会更新已输入的字符,这并非系统故障)便成功进入Cluster。
通过 WSL访问 Cluster
4.2 在MacOS下访问HPCC
MacOS使用者可通过终端”Terminal.app”访问Cluster。首先使用快捷键“Command + Space”进入Spotlight搜索引擎;输入”terminal”后按下回车键运行终端。


Spotlight搜索引擎
终端
接着在终端输入
ssh <ITSC账号>@<所申请HPCC地址>(例:ssh jyubq@macyang4.math.ust.hk)并按下回车键访问Cluster。正确输入密码后(输入密码时窗口不会更新已输入的字符,这并非系统故障)便成功进入Cluster。4.3 在HPCC中运行任务
公共HPCC使用者应通过撰写Simple Linux Utility for Resource Management (Slurm)脚本,并在脚本所在目录下通过
sbatch <SLURM_script.txt>提交运算任务,具体方法详见ITSC官方指南。
研究组HPCC使用者可以按照Windows Subsystem for Linux (WSL)的使用方式直接运行程序。
研究组HPCC使用者除遵守相关条款外,还应向所在研究组导师或其它成员确认其它注意事项。例如:为避免Cluster内部程序相互冲突,个人用户应于Anaconda等虚拟环境内,而非使用
apt-get install全局安装运算所需软件。5.0 相关链接
除去科大官方提供的HPCC,部分工学院实验室也将自己的部分算力无偿开放给科大师生。Turing人工智能计算云平台就是一个例子——由iSING Lab搭建的这一Cluster已经开放使用申请,欢迎有需要的科大师生前往使用。
