面向21CMA的分布式存储运维管理系统设计与实现

doi:10.7523/j.ucas.2024.021

中国科学院大学学报 ›› 2026, Vol. 43 ›› Issue (1): 136-143.DOI: 10.7523/j.ucas.2024.021

• 电子信息与计算机科学 • 上一篇

面向21CMA的分布式存储运维管理系统设计与实现

杨嘉宁¹^,²(), 韩军¹^,³, 崔辰州¹^,²^,³

^1.中国科学院国家天文台，北京 100101
^2.中国科学院大学，北京 100049
^3.国家天文科学数据中心，北京 100101

收稿日期:2023-12-21 修回日期:2024-04-07 发布日期:2024-05-22
通讯作者: 杨嘉宁
基金资助:
SKA专项(2020SKA0120201);国家重点研发计划(2022YFF0711500);国家自然科学基金(12273077);国家自然科学基金(12103070);中国科学院网信专项2022年度应用示范项目(CAS-WX2021SF-0204)

Distributed storage operation and management system for 21CMA

Jianing YANG¹^,²(), Jun HAN¹^,³, Chenzhou CUI¹^,²^,³

^1.National Astronomical Observatories，Chinese Academy of Sciences，Beijing 100101，China
^2.University of Chinese Academy of Sciences，Beijing 100049，China
^3.National Astronomical Data Center，Beijing 100101，China

Received:2023-12-21 Revised:2024-04-07 Published:2024-05-22
Contact: Jianing YANG

摘要/Abstract

摘要：

21 cm阵列望远镜（21CMA）是我国在平方公里阵列（SKA）低频波段的先导设备，为使其具备脉冲星观测能力，SKA专项启动了21CMA的升级计划。为解决升级后海量观测数据的接收与存储问题，项目设计并引入了基于高级精简指令集计算机（ARM）的分布式文件系统，但现有系统在便捷性和标准化上还存在不足。为此，针对21CMA存储设备定制了部署模块、故障恢复模块和系统监控界面，并对系统进行全面测试。测试内容涵盖部署时间、故障恢复时间以及监控系统数据库的稳定性。测试结果表明，本系统不仅解决了21CMA存储设备的运维管理问题，还提高了其可靠性和效率，满足21CMA多集群监控的需求。

关键词: 运维管理, 监控可视化, 分布式存储, 21 cm低频射电阵列

Abstract:

21 centimeter array （21CMA） is China’s pilot equipment in the square kilometre array （SKA） low-frequency band， therefore， the National SKA Program of China launches a special upgrade plan for 21CMA to enable pulsar observation capability. To solve the problem of receiving and storing massive observation data after upgrading， the project designed and introduced a distributed file storage system based on advanced RISC machine （ARM）， but there are still shortcomings in terms of usability and standardization. This study customizes deployment， failure recovery， and system monitoring interface module for 21CMA storage device， and carries out system tests. The test covers the deployment time， failure recovery time， and database stability of the monitoring system. The test results show that the system solves the operation and maintenance management problems of 21CMA storage devices， also improves their reliability and efficiency， meets the needs of 21CMA’s multi-cluster monitoring， and is of great significance for similar projects in the future.

Key words: operations and maintenance management, monitoring and visualization, distributed storage system, 21CMA

中图分类号:

P111.5

杨嘉宁, 韩军, 崔辰州. 面向21CMA的分布式存储运维管理系统设计与实现[J]. 中国科学院大学学报, 2026, 43(1): 136-143.

Jianing YANG, Jun HAN, Chenzhou CUI. Distributed storage operation and management system for 21CMA[J]. Journal of University of Chinese Academy of Sciences, 2026, 43(1): 136-143.

图/表 9

图1 21CMA存储系统架构图

Fig.1 Storage system architecture for 21CMA

表1 存储设备硬件信息

Table 1 Hardware information of a storage device

硬件	配置信息
服务节点	树莓派4 B
硬盘	20 TB SATA机械硬盘
交换机	H3C万兆交换机

图2 部署及资源展示模块页面

Fig.2 Page of deployment and resource display module

图3 故障检查及恢复流程图

Fig.3 Flow chart of failure checking and recovery

图4 存储设备监控数据

Fig.4 Monitoring data

图5 存储设备的统一监控及可视化

Fig.5 Unified monitoring and visualization of storage devices

表2 部署时间及成功率

Table 2 Runtime and success rate of the deployment

测试场景	完成时间/ms	成功率/%
添加节点信息	≤400	≥99
扫描单节点磁盘	≤420	≥99
部署文件系统	≤27 750	≥99
启动文件系统	≤960	≥99

表3 故障恢复时间及成功率

Table 3 Runtime and success rate of the self-recovery

测试场景	完成时间/ms	成功率/%
存储服务器BuddyMirror模式	≤50 000	≥99
存储服务器Raid0模式	≤9 800	≥99
元数据服务BuddyMirror模式	≤29 000	≥99
元数据服务器Raid0模式	≤9 800	≥99

图6 查询耗时随时间的变化

Fig.6 Change of query response time over time

参考文献 7

[1]	郭绍光，陆扬，安涛，等. 面向SKA1时代的科学数据流及阵列模拟分析［J］. 中国科学：物理力学天文学， 2023， 52（2）： 36-47.
[2]	武向平. 中国SKA科学报告［M］. 北京：科学出版社， 2019.
[3]	Zheng Q， Wu X P， Johnston-Hollitt M， et al. Radio sources in the NCP region observed with the 21 centimeter array［J］. The Astrophysical Journal， 2016， 832（2）： 190. DOI： 10.3847/0004-637x/832/2/190 .
[4]	Jongerius R， Wijnholds S， Nijboer R， et al. An end-to-end computing model for the square kilometre array［J］. Computer， 2014， 47（9）： 48-54. DOI： 10.1109/MC.2014.235 .
[5]	Xue M Y， Bhat N D R， Tremblay S E， et al. A census of southern pulsars at 185 MHz［J］. Publications of the Astronomical Society of Australia， 2017， 34： e070. DOI： 10.1017/pasa.2017.66 .
[6]	Sanidas S， Cooper S， Bassa C G， et al. The LOFAR tied-array all-sky survey （LOTAAS）： survey overview and initial pulsar discoveries［J］. Astronomy & Astrophysics， 2019， 626： A104. DOI： 10.1051/0004-6361/201935609 .
[7]	韩军，朱炜玮，岳友岭. 低功耗分布式存储系统及终端设备： CN113630441B［P］. 2023-12-08.

面向21CMA的分布式存储运维管理系统设计与实现

Distributed storage operation and management system for 21CMA

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 7

相关文章 2

编辑推荐

Metrics

本文评价

访问统计

联系我们

[1]	黄遵祥, 朱磊基, 熊勇. 一种基于双控节点的Ceph写性能优化方法[J]. 中国科学院大学学报, 2022, 39(6): 817-826.
[2]	侯金钟, 张立波, 罗铁坚. 一种均衡视频资源的分布存储方法[J]. 中国科学院大学学报, 2016, 33(5): 686-692.