北京谷数科技股份有限公司招股说明书（394页）.pdf

1、以遥感影像为代表的数据处理具有数据量大，多业务、多用户、高并发，实时高性能等特点，当前传统的分布式存储技术无法满足此类数据的大规模并发处理 I/O 需求。公司自主研发了高性能、高并发的分布式存储访问技术，该技术实现了海量结构化、半结构化和非结构化数据的融合存储管理。基于全对等分布式存储架构，提升存储内核多线程并发访问性能，采用全局缓存加速技术，持续优化CIFS、NFS 并发能力;研发智能主机端负载均衡技术，在分布式环境下对客户端服务器提供基于唯一 IP 地址挂载点的全局统一命名空间，实现统一访问，实现基于服务器主机端的负载均衡功能;支持数据分层，RAID及N+M冗余保护，镜像容灾等数据管理保护

2、功能。同时优化主机端到存储磁盘端的数据访问，提升多线程并发读写能力，支持 NVMe 等新型存储介质、100Gb Infiniband 及100Gb GigE 等高速的传输网络，单存储节点的输出带宽可达 20GB/s 以上，并且读取性能可随着节点数量的增加线性扩展，极大提升存储系统 I/O 吞吐能力。该技术为军用卫星海量遥感影像数据中心、地理测绘等系统和应用场景提供了高性能数据存储系统及相关技术支撑。在以通信数据实时处理为代表的数据情报挖掘领域，主要满足海量小文件(文件大小<1MB，数量超过 1 亿)处理需求，当前主流存储系统在处理海量小文件时普遍存在性能瓶颈，体现在并发性差，延迟大等方面

3、。公司针对此类海量小文件处理场景，自主研发了高并发的 128 位全日志分布式文件系统。采用无主节点结构，多节点并发处理 I/O 请求，避免了大多数分布式文件系统所面临的主节点性能瓶颈问题，提升了整个系统并发访问的能力;采用 I/O 合并及 SSD 元数据管理技术，充分利用固态硬盘随机访问能力强的特点以提升磁盘级数据访问性能;优化文件系统并发能力，进一步提升整个系统的海量小文件的处理效率，可实现千亿级海量小文件的高速读取和存储管理。跨域数据实时共享技术在跨区域数据共享访问的应用场景下尤为重要，当前技术主要在应用层实现数据跨域调度共享，结构复杂且效率低下。在数据库及文件系统所处的数据管理层实现跨域

4、数据实时共享相关技术，在国内目前参与研发的企业还较少，此类技术研发主要以国外互联网龙头企业为主。公司针对此类场景，自主研发了跨域场景下的数据同步与共享技术。基于Paxos 协议，实现分布式环境下的全局元数据一致性控制，保证跨域数据的一致性以及全局视图的呈现;整个数据的实时同步在数据库及文件系统层实现，对上层应用完全透明，结构清晰，效率高;节点间实现 I/O 请求迁移，跨域数据精准调度，提升数据共享访问效率;支持文件压缩传输、断点续传，在工程上可适配防火墙、网关等设备，整体在数据管理层实现了跨域数据的实时共享。该技术在移动站点(如车载、机载、舰载)情报数据快速共享及联合指挥控制，以及跨区域固定站点(如跨区域数据中心，传感器阵地等非本地数据中心内)数据情报分析等场景中有大量实际需求，可提升数据共享效率。