存储系统方案
A. 存储的架构有哪些
目前市场上的存储架构如下:
(1)基于嵌入式架构的存储系统
节点NVR架构主要面向小型高清监控系统,高清前端数量一般在几十路以内。系统建设中没有大型的存储监控中心机房,存储容量相对较小,用户体验度、系统功能集成度要求较高。在市场应用层面,超市、店铺、小型企业、政法行业中基本管理单元等应用较为广泛。
(2)基于X86架构的存储系统
平台SAN架构主要面向中大型高清监控系统,前端路数成百上千甚至上万。一般多采用IPSAN或FCSAN搭建高清视频存储系统。作为监控平台的重要组成部分,前端监控数据通过录像存储管理模块存储到SAN中。
此种架构接入高清前端路数相对节点NVR有了较高提升,具备快捷便利的可扩展性,技术成熟。对于IPSAN而言,虽然在ISCSI环节数据并发读写传输速率有所消耗,但其凭借扩展性良好、硬件平台通用、海量数据可充分共享等优点,仍然得到很多客户的青睐。FCSAN在行业用户、封闭存储系统中应用较多,比如县级或地级市高清监控项目,大数据量的并发读写对千兆网络交换提出了较大的挑战,但应用FCSAN构建相对独立的存储子系统,可以有效解决上述问题。
(3)基于云技术的存储方案
当前,安防行业可谓“云”山“物”罩。随着视频监控的高清化和网络化,存储和管理的视频数据量已有海量之势,云存储技术是突破IP高清监控存储瓶颈的重要手段。云存储作为一种服务,在未来安防监控行业有着客观的应用前景。
与传统存储设备不同,云存储不仅是一个硬件,而是一个由网络设备、存储设备、服务器、软件、接入网络、用户访问接口以及客户端程序等多个部分构成的复杂系统。该系统以存储设备为核心,通过应用层软件对外提供数据存储和业务服务。
B. 云计算使得使用信息的存储是一个什么样的方式
产品定义:
BC—oNest(Object Nest)是一个以对象形式存储和管理海量非结构化数据的云存储系统。BC—oNest可以为互联网业务和企业用户提供低成本的PB级存储规模,具备高可靠、高安全性和高扩展性的云存储服务。
产品实现了跨机架的海量对象存储和备份功能:提供WEB方问(业务使用门户以及REST API)以及SDK:提供批量导入导出工具来支持oNest和Linux本地目录之间的相互拷贝:支持Windows客户端工具,方便用户的使用。
产品特点
按需分配的存储空间:系统支持TB级到PB级的存储空间管理,存储容量可在线平滑扩容。
可靠的数据存储:系统支持对象数据跨机架存储;在每个AZ内多副本存储。系统的健康检查模块保证副本减少的情况下,自动修复副本数量:同时系统内部实现了数据的完整性校验机制,防止数据被非法篡改或损坏。
安全的数据访问控制:系统的认证鉴权和ACI一访问控制机制保证数据只被授权用户访问:同时系统支持密钥签名机制,保证用户访问消息在传输通道上的安全性。
高性能的数据处理:提供Multi Part的并发上传功能提高大对象上传速度:支持基于Range的多点并发下载功能提高对象下载速度:数据节点内部采用文件聚合的方法提高性能:支持高并发的用户访问和高吞吐的数据流量。
高可用的数据服务能力:AZ内多副本存储和副本自动修复能力,提高了系统持续服务能力,在常见的服务器集群节点或局部网络故障情形中,系统具有高可用性。
提供多种数据访问接口:系统对外提供WEB访问(业务使用门户及REST API)以及SDK,并提供批量导入导出工具来支持oNest和Linux本地目录之间的相互拷贝。
在服产品版本及特性:
5.X版本:
自主研发的以对象形式存储和管理海量非结构化数据的存储系统
基于跨机架的大规模数据中心环境设计,具有极强的水平扩展能力
提供类AWS S3的REST API和SDK,以及本地批量数据导入导出工具
支持用户、容器以及对象的访问权限管理和控制
服务可用性99.9%,数据可靠性99.999999999%,无单点故障,支持线性扩展
支持至少千亿级对象存储,单个对象最大5TB,千兆网络环境下4KB对象读取响应时间小于100ms
支持用户可选的服务器端及客户端数据加密存储,整个过程对用户透明
支持系统和存储资源监控及告警功能,易运营可管理
提供面向系统、用户和容器三个级别的准实时统计计量能力,支持用户按需付费
6.0版本:
基于主流ceph产品,支持纠删码,支持主流s3接口
核心功能:
1:对象相关功能
对象管理:系统支持对象的创建、读取和删除、设置用户自定义元数据等功能。
对象访问控制:系统支持设置或获取容器和对象访问权限(ACL)等功能。
2:容器相关功能
容器管理:系统按容器组织对象,每个用户可拥有零或多个容器,每个用户可包合零或多个对象。系统支持容器的创建、删除,按字典序列出容器内的对象等功能。
3:用户相关功能
用户认证及权限:对用户的身份进行认证,确认访问用户的身份,完成认证后基于用户状态、配额和权限进行确认。
4:系统相关功能
计量信息:提供为资源池管理系统提供计费需要的计量信息,包括空间占用、访问流量等。
用户控制:提供用户运营管理访问控制包括签约对象存储服务、查看对象存储服务等功能。
日志管理:提供对系统日志的记录及浏览功能。
统计报表:提供对系统各项指标的统计和分析,包括系统数据日志、用户日志及日志管理、访问统计、统计总空间占用、统计总用户数、统计各个节点上占用空间大小、容器总数量、流量信息统计等。
运维管理:提供云存储系统内部管理、维护,包括系统管理用户认证鉴权、系统管理角色管理、设备状态监控、设备维护等功能。
产品优势:
BC—oN est是基于标准X86服务器集群的对象存储系统。产品优势主要体现在:
容量和性能随节点增加而线性增强,且支持无缝的在线扩容和升级维护。
基于X86存储服务器的结构具有低成本特点。
系统的高可靠设计,单磁盘和单服务器故障不会影响系统服务,保障用户数据的可用性。
安全认证和数据加密手段,为用户提供安全的数据存储服务。
应用场景:
广泛应用于公众云存储服务,为用户和企业提供按需扩展的云存储服务。支持各类互联网应用,如网盘
类应用中对图片、文档和音视频的存储j对象存储通过与主流备份软件结合,可向用户提供更具成本效益、
更低TCO的备份方案j对象存储与归档软件、分级存储软件结合,可以将在线系统中的数据无缝归档/分级
存储到对象存储系统,减少阵列等在线系统存储资源。
应用案例:中国移动公众服务云
一:应用背景和面临的问题
云存储是laaS核心服务之一,主要支撑海量非结构化数据的存储和处理需求。传统的非结构数据存储系统主要采用磁盘阵列和NAS设备实现,为本地服务器提供块存储空间或文件存储空间,本质上属于数据中心内部的解决方案,主要存在的问题包括:首先,两者的服务接口协议上都不能满足在广域网范围提供服务的能力要求j其次,磁盘阵列和NAS设备的扩展I生也有限,不能满足百亿级文件的存储需求j最后,设备成本较高,基于阵列设备提供的云存储服价格不具备竞争性。
二:解决方案
公众服务云的对象存储服务使用BC—oNest产品实现。300台存储服务器可以提供PB级的对象存储服务空间支持百亿级的对象存储。
三:商业价值
中国移动公众服务云采用自主研发的BC—oNest,系统建设上相比使用商用解决方案节约成本数百万元。自主研发产品的应用也使得研发和运营实现紧密互动,对象存储服务的功能可随着市场竞争的要求实现快速迭代开发。
基于BC—oNest的对象存储服务是中国移动在公众服务云布局的重要环节之一,将为中国移动拓展行业云应用奠定坚实的基础。
欢迎拨打4001100865至中移软件技术有新公司咨询!