×

扫码关注微信公众号

挖贝网> 产业> 详情

霄云科技碧海分布式存储落地贵州,助力气象智能化存储升级

2026/7/13 16:18:34     

气象数据是预测天气、防范自然灾害的核心资源。随着观测手段的不断丰富和精细化预报需求的提升,气象数据正呈现爆发式增长。尤其是海量、高并发且实时性强的小文件数据,对底层存储系统构成了严峻挑战。为破解山地气象存储难题,贵州省气象局信息中心联合上海交通大学大数据存储实验室、霄云科技三方产学研协同攻关,定制落地碧海分布式气象专属存储系统,稳定承载百亿级小文件读写,全面支撑全省气象核心业务的高效运转,成为国内山地气象存储优质实践案例。

33b8476a843dc2126f9c1aa6322bfc3a.png

严峻挑战:气象数据存储的“三高”痛点

贵州省地处云贵高原,地形复杂且天气系统多变,对气象监测预报的精细度和时效性要求极高。该局承载的如“天擎”气象大数据云平台等核心业务,需要实时接入和处理来自全省及周边区域的雷达基数据、自动站数据、卫星资料、数值预报产品等海量观测数据。这些数据呈现出典型的“三高”特征:

1、‌文件海量化与微小化‌:数据多以百亿级别的独立小文件形式存在,单个文件体积通常在KB级别。例如,高频次的雷达扫描、密集的地面观测点数据,每秒都在产生数以万计的小文件。

2、‌写入高并发‌:在多源数据同时实时入库的业务高峰时段,存储系统需要瞬时承受极高的并发写入压力,要求极高的IOPS(每秒输入输出操作次数)和稳定的写入带宽。

3、‌访问高实时性‌:无论是短临预报、灾害预警还是科研分析,都对数据访问的延迟极为敏感,要求存储系统提供稳定、低延迟的读写能力。

原有存储架构在应对以上业务场景时短板明显:随着文件总量不断增加,读写性能出现明显下滑,硬件资源消耗偏高,整体使用成本居高不下,严重制约了气象业务处理效率。

三方联合定制,打造适配山地气象的专属存储架构  ‌

为从根源化解这一气象行业存储共性难题,2024年贵州省气象局信息中心、上海交大大数据存储与智能安全实验室、霄云科技正式启动联合研发攻关。项目基于霄云科技碧海分布式存储的底层架构,围绕气象小文件元数据管理、高并发实时写入、百亿级文件管理及多源冷热数据混合存储等方向进行专项优化,贴合气象核心业务持续打磨。

目前,该系统覆盖贵州省气象信息中心的三大核心应用场景:

核心“天擎”气象大数据业务平台‌:作为全省气象数据汇总、处理、对外服务的核心枢纽,承接全部峰值业务压力。

山地气象科学数据集长期存储‌:为气候研究、模式开发提供可靠、高效的海量历史数据存取服务。

虚拟化平台存算分离架构‌:为各类气象应用虚拟机提供高性能、弹性扩展的后端存储资源池。

504afd6e53780e6bd4ec920395a48b18.png

业务价值:效率跃升与可靠保障

碧海分布式存储作为 “天擎” 平台核心存储设备上线后,贵州省气象局整体信息化运行效率实现大幅提升,实际使用效果直观突出:

业务效率提升300%‌直观的改善体现在数据入库环节。过去,数据入库往往需要数十秒甚至更长的等待时间。启用碧海存储后,‌实现了无延迟的实时入库‌,气象数据的处理时效性得到大幅提升,为短临预报和预警争取了宝贵的时间窗口。

7×24小时稳定可靠‌:自2025年作为主存储稳定运行以来,系统长期平稳运转,有力保障了贵州省气象核心业务全天候不间断运行,为防灾减灾决策提供了坚实的数据底座。

化解海量小文件存储行业难题‌:系统通过创新的数据组织和管理方式,有效消除了原存储中因条带化带来的小文件写放大问题,并大幅提升了海量小文件场景下的管理效率,从根源上解决了长期困扰气象行业的存储性能问题。

显著降低总拥有成本(TCO)‌:以更少的服务器节点、计算资源和硬盘数量,实现了超过原方案的性能。这不仅降低了前期的硬件采购成本,也减少了后期的机房空间占用、电力消耗和运维复杂度,实现全生命周期综合成本优化。

4ac93e1f92ef41342e1df9aeae79a31f.png

为何选择碧海分布式存储?

贵州省气象局的成功实践,为碧海存储在关键行业的核心应用提供了有力证明。其核心优势在于:

深度业务定制化:不是通用产品的简单适配,而是围绕气象数据“小、多、并、快”的核心特征进行的深度定制开发,真正实现了存储与业务的融合;

全业务场景经过实际验证,运行稳定可靠:系统已在气象实时核心业务、长期历史数据归档、虚拟化存算分离等多类场景完成长期实地运行检验,技术成熟度、工程稳定性能够满足气象行业全天候不间断运行的严苛标准;

资源利用率高,综合性价比突出:依托成熟分布式架构与软件优化算法,轻量化硬件配置即可输出高性能表现,兼顾业务运行需求与资金投入预算。

依托产学研协同创新,霄云碧海分布式存储有效匹配贵州山地气象海量小文件业务需求,全面支撑天擎平台、气候科研、数值预报、防灾预警全链路业务提质增效。后续霄云科技将持续联合贵州省气象局、上海交通大学实验室推进技术迭代,紧跟智慧气象发展方向,适配高分辨率气象网格、全域立体观测、气象AI大模型等新兴业务,搭建稳定高效、低成本的统一存储底座,助力山地气象现代化建设,为全国气象海量小文件存储提供可供参考、可复制的落地实践方案。

(注:本文效率提升数据源自贵州省气象局信息中心、上海交通大学大数据存储实验室、霄云科技三方联合测试结果)