导读：本文收拾自同名《云智公开课》系列共享，详细介绍百度沧海存储怎么进行大规模数据，流通上云、智能分级存储、安全办理、多事务运用。
全文5657字，估计阅览时刻20分钟。
01 ABC 年代下存储面临的四大应战
咱们称当前这个年代为 ABC 年代。A 指的是咱们正处于人工智能的年代；B 指的是咱们正处于大数据的年代；C 指的是咱们正处于一个万物皆可上云的年代。
存储系统在许多年前就现已出现了，在当下存储又会面临着哪些新的应战呢？
应战的第一个关键词：海量。关于企业而言，曾经或许仅仅存放一些互联网上的运用数据，最多就再有一些文本数据，备份数据。但现在，咱们看到更多是以视频、音频等为载体，数据量呈现出一个爆破式增加的态势。在这个布景之下，云服务商面临的是怎么处理海量数据的上云和存储问题。换句话说，咱们的物理容量怎么更好地去承载数据的爆破式增加。
应战的第二个关键词：性价比。在这个年代傍边，咱们将数据视为是有价值的财物。既然数据有价值，那就要求云服务商怎么在确保数据不删的前提下，怎么协助客户花小钱办大事，这个是客户以及咱们都比较关心的。举个比方，十年前客户的数据是 10 PB， 10年之后它的数据发展到 50 PB，数据量是本来的 5 倍。那是否意味着客户的存储本钱也是本来的 5 倍？这是不必定的，因为咱们要想方设法地协助客户去尽量减少数据存储的本钱。
应战的第三个关键词：稳定性。当分布式系统承载数以万计的客户事务时，咱们如履薄冰，因为这要求咱们有必要去确保系统的稳定性。一起，咱们的存储产品还要去协助客户去完结必定的容灾才能，和必定的备份才能。
应战的第四个关键词：多样性。多样性它其实体现在许多方面，最首要的一个表现是客户的事务场景日趋多样性。比方说许多年之前，客户的场景更多是数据存进去之后，在需求的时分能够把数据读出来就能够了。当下数据不仅仅存储，还出现了不同的场景，比方大数据剖析，AI练习，混合云渠道建立等出现，需求运用不同的存储产品和组合来满意事务需求。
针对这四个应战，今日我首要经过五个部分和大家来共享。
02 百度沧海存储的产品系统概览
首要给大家介绍一下百度沧海存储。他确保了百度核心事务高效可靠地运行。比方说像咱们大家熟知的百度查找、百度网盘、百度贴吧、百家号、百度地图、百度全球抢先的 AI 事务等等。
沧海的产品系统是一个矩阵式的结构。包含目标存储 BOS、块存储 CDS、文件存储 CFS、并行文件存储 PFS 等等。
别的咱们也会有一些特定场景下的产品，比方说数据湖存储加快 RapidFS，它的意图是加快目标存储数据在大数据或许 AI 场景下的拜访。别的包含边际存储，以及面向传统客户的混合云存储 ABC Storage 等。
除此之外，咱们还有一些东西型产品，比方说数据流通渠道 CloudFlow，它处理了数据上云和流通的一些问题。别的还有像针对 IDC 企业上云的场景，咱们推出月光宝盒这个产品，它能够完结数据的复制和物理搬迁。别的针对混合云场景，咱们也供给存储网关的才能。比方一个用户的核算节点在本地，他在云端购买了目标存储，那么他能够经过存储网关来把本地和云端进行交融，对本地的资源空间在云端进行拓宽。
以上是沧海的产品系统。产品系统下面是咱们全体的一个技能渠道。咱们强调三个点，一个是存算协同，别的一个是软硬交融，还有一个是云边一体。
产品系统的上层，是咱们的处理计划。咱们现已服务了数万家客户，在这个过程中咱们沉积了许多处理计划，比方说云相册处理计划。大家都知道现在手机都有云相册功用，并在相册中集成一些才能，如对人脸进行分类而构成人脸相册等等。基于此咱们也供给针对手机厂商的云相册处理计划。
还有像互联网的存储分发计划。比方说一部电视剧，一部电影，一段短视频，都需求分发到全球各地的终端，因而咱们也推出了互联网存储分发处理计划。别的针对客户会把数据存在不同的云厂商中存储，咱们也供给多云的处理计划。
别的咱们也供给归档备份的计划。有些数据长时间不用，但又偶然会有拜访，因而咱们供给一个低本钱的归档备份计划。别的，咱们针对不同的行业或许说不同的场景，也会有不同的处理计划，比方说游戏存储、自动驾驶、合规存储，还有像医疗印象存储等。
03 百度沧海存储怎么处理四大应战
3.1 数据流通全景计划，高效上云
关于上云而言，咱们一般会先区分数据源端，包含：企业自有 IDC、其它云服务商（如 AWS、腾讯云或许阿里云等）。关于企业自有 IDC 这类客户而言，客户往往期望本地数据能够上到咱们云端目标存储 BOS 傍边。
咱们供给三种方法，比方说磁盘阵列混合云，还有像方才说到月光宝盒。它就像一个大 U 盘，这个大 U 盘把数据从本地复制完结后，经过物流的方法寄送到百度智能云的机房，由咱们的专业操作人员帮客户完结数据的上传。
别的，或许有些客户的数据量比较大，此时也能够经过咱们的专线服务来进行搬迁。如在客户的 IDC 和百度智能云机房之间拉一条专线，这样能够走内网去把数据高效地传输到 BOS 傍边。
关于现已上到其他云的客户，他的搬迁就涉及到跨云的搬迁，用户能够用数据流通渠道 CloudFlow 进行可视化的、一键式地去发起数据的搬迁和同步。用户只需填写一下源端信息、意图端信息，一起填写一下对功能或许对存储途径等的要求，点击承认后，就能够自动开端搬迁使命了。
别的，针对一些特殊的场景，如用户期望将其他云的增量数据搬迁到 BOS 中，此时能够敞开镜像回源的功用。当数据被拜访的时分，能够直接从其它源端把数据自动地同步到 BOS，协助用户完结事务的连续性。
除了跨云搬迁之外，咱们还能够完结跨云的同步。
跨云同步，一般咱们是指增量数据的跨云搬迁。用户能够在 CloudFlow 中装备一个基于事情告诉的功用，来完结守时扫的使命。比方说距离一小时或许距离一天去扫描一下源端是否又新写入了一些数据，我能够精准地把这些增量的数据搬迁到 BOS 中来。
3.2 智能生命周期办理，存储最优
用户对存储的本钱是比较关心的。关于目标存储 BOS 而言，它现已发展到了 EB 等级的物理空间，数万台的物理服务器，数万亿等级的文件数量，这个规模在国内是十分大的。
跟着时刻的推移，比方说或许在经过这个半年或许说一年、三年之后，数据或许就没有什么人拜访了，但用户还有必要存储。
因而针对这样的一个诉求，咱们推出了分级存储，包含规范存储多 AZ、规范存储、低频存储多 AZ、低频存储，或许说冷存储还有归档存储。
不同的存储类型从左往右，它所对应的这个数据的拜访频率是逐步下降的。关于频频运用的热数据，一般运用规范存储。跟着它的拜访频率下降，能够逐步沉下降频存储、冷存储或许归档存储。尤其像归档存储，它更多针对三年拜访一次的场景。比方有些数据需求长时间保存，像基因数据，电商直播数据，一些为应对查看而有必要保存的合规性数据等等。
关于优化本钱而言，目标存储还供给了“生命周期沉降”这样的一个功用。
比方说数据最开端是热数据，即存储在规范存储中。咱们能够设置一个生命周期规矩，比方说在上传之后的 30 天从规范存储沉降为低频存储，再过 60 天后进一步沉降到归档存储。用户能够提前去设置这样一个规矩，当沉降日期到来时，数据会自动进行沉降。详细的价格方面，咱们最冷的一级归档存储只有规范存储单价的 18%，所以说经过沉降来降本钱的作用是十分明显的。
除了沉降之外，咱们还支撑生命周期上浮。比方说现在或许有一个文件，它是一个冷存储的文件。一般而言，冷存储文件的拜访频率是比较低的，但是也不扫除会有一种状况，即这个文件在一段时刻之内它的拜访频率变得十分高。
这种状况下，用户能够设置一个生命周期上浮的规矩，经过 BOS 的自动化监测，当冷数据被频频拜访时，上浮到上层存储类型如低频存储、规范存储。因而，生命周期办理的运用方法是十分灵活的，用户完全能够依据自己的需求去挑选适宜的存储类型，一起去设置适宜的沉降规矩。
一个典型的事例，比方爱奇艺的长视频，包含像电影、电视剧等都存在 BOS 里边。这个数据一开端或许是热数据，运用了规范存储。但当这个数据长时间没有人拜访之后，它能够自动沉降到冷存储，这个规矩协助爱奇艺节省了很多的运用本钱。
与此一起，爱奇艺又经过咱们的 CDN 节点来进行数据分发，来确保数据能够分发到全球各地的终端。
3.3 数据存储多级容灾，安全可靠
客户在运用云端存储的时分，怎么确保数据的安全可靠呢。这儿咱们要讲云存储的两个目标。
第一个咱们称之为可靠性。目标存储 BOS 外许诺的可靠性是 12 个 9 ，也便是99.9999999999%，这是一个十分高的水平，数据丢掉的概率是千亿分之一。咱们是怎么完结高可靠的呢？BOS 建立了超大规模的纠删码集群，把数据均衡地分布到多个AZ，也便是说咱们能够冗余 N 台交换机的毛病，冗余单 AZ 的毛病。
别的一个目标，咱们称之为可用性。关于可用性而言，单 AZ 存储类型的可用性是99.95%，多 AZ 是 99.99%。但长时间经历来看，咱们真实的可用性在 99.9995%，是一个十分高的水平。
咱们是怎么确保这个可用性？BOS 运用了四层负载均衡，集群模式无单点。而数据 EC 编码也确保了多冗余读取。并且接入拜访层能够水平拓宽，也进一步提高了产品的可用性。
咱们供给了多个等级的容灾才能。
首要，BOS 具有物理机等级的容灾。BOS 底层选用分布式存储架构，并选用 EC 编码技能。如果某一台物理机因为网络原因或其他原因导致临时宕机时，事务能够自动切换，而用户根本感知不到物理机宕机的状况。
其次，咱们推出了多 AZ 存储类型**。**比方说像方才说到的规范存储多 AZ，低频存储多AZ，咱们把数据是在多个机房一起存储。当某一个机房突然间因为自然灾害等原因导致机房不行用时，BOS 能够完结机房等级的容灾切换。别的，咱们也能够完结跨地域的备份和容灾。咱们在北京、姑苏、广州、保定等区域都供给服务，用户能够提前把数据同步到其他区域。
最终，咱们供给数据镜像回源的才能。当数据在主源站中不存在时，会自动到备源站中去捞取数据。
3.4 多产品数据流联动，简单易用
最终一个部分，给大家介绍一下前面说到的运用多样化。单一产品越来越无法满意客户的需求，需求供给多个产品来构成一整套的处理计划，进而协助用户去处理问题。
这儿今日要点给大家介绍这个三种处理计划。第一个是大数据场景下的数据湖加快计划，另一个是混合云存储场景下的计划，第三个是 AI 场景下的 HPC 存储。
首要第一个是大数据场景下的数据湖加快计划。咱们数据湖加快是以 BOS 作为整个数据湖的底座，一起咱们会有一个数据湖存储加快产品叫做 RapidFS，打通大数据场景下面核算和存储间的数据高速公路。
不管是 MapReduce 这样的大数据场景，仍是 AI 场景，底层其实都能够挑选目标存储 BOS 来承接海量数据的存储才能。关于大数据场景而言，常见的场景包含离线核算场景和线核算场景。
离线核算场景中，典型的像网站内容引荐。用户在一个网站上面的阅览行为会构成许多阅览数据。关于网站厂商而言，往往会在晚上对用户这些行为进行剖析，从而当用户下一次阅览网站时，为其做内容引荐。咱们称之为是一个离线练习的场景。
还有便是在线核算场景。典型的比方说咱们在用一些 APP，或许说用一些网页的时分，咱们点了一个查找框期望查找某些东西，网站/APP会在线的对用户的一系列行为进行在线核算，优化查找成果。
离线场景往往对核算的推迟要求较低，因而引荐运用 BOS 的原生层级 Namespace 架构。比较选用平整 Namespace 的 S3 存储，选用层级 Namespace 的目标存储，其 prefix 具有操作的原子性，对很多小文件的频频拜访会愈加友爱。一起，能够经过 RapidFS，在近核算节点做热数据缓存，进一步达到数据拜访加快的才能。
关于在线核算的场景，客户能够在 VPC 内装置 RapidFS 组件。除了进行缓存之外，也能够敞开 VPC 内的层级 Namespace。由于层级 Namespace 布置到了 VPC 内，因而比较下图左边的计划，右边计划的加快作用会更好，关于大数据场景下常见的rename、list、delete 等操作，拜访功能会有较大的提升。
别的一个是咱们的混合云存储。比方说像这个客户会有自己的 IDC。因为本地的容量是有限的，所以客户期望将老旧的冷数据，经过某种方法同步到云端。这样做的话，既能够节省自己本地的一些空间，又能够在云上运用 BOS 的分级存储和生命周期才能，下降存储的本钱。
在这个场景下，咱们供给存储网关 BSG 这样一款产品。用户能够把 BSG 布置到自己本地的 IDC 傍边，一键打通本地和云端。比方说，BSG 布置在 IDC 后，用户能够经过 BSG 来挂载 BOS 的一个存储桶，这样用户在往本地 IDC 写数据的时分，他看到的或许是写到自己本地 IDC 的一个途径，但其完结已把这个数据写到了云端。咱们能够做到不同协议的兼容，在不改变用户运用习气的前提下，协助用户去建立混合云存储。
最终一个场景，咱们专门针对 AI 场景。在这个场景中，咱们也是引荐运用目标存储BOS 作为数据底座，一起在上层搭配并行文件系统 PFS。AI 场景下，更多操作以读数据为主，比方 AI 练习时会有许多读数据集的操作。
详细而言，这个计划会有三个特色。首要，咱们包含兼容 POSIX 接口的加快层，基于本地盘和全闪硬件的 PFS；别的，咱们能够完结资源和数据集的准备自动化，和调度器深度交融，下降运用的复杂度；第三，在练习数据时，支撑装备不同的数据加载策略，比方说预加载、首次拜访时加载等等。
——————————END——————————
引荐阅览：
增强剖析在百度统计的实践
基于 TLS 1.3的百度安全通信协议 bdtls 介绍
百度用户产品流批一体的实时数仓实践
怎么管理资源浪费？百度云原生本钱优化最佳实践
面向大数据存算别离场景的数据湖加快计划
百度APP Android包体积优化实践（三）资源优化
ffplay视频播放原理剖析
