写在前面
面试的时候常常会被问到怎么规划一个高并发体系，很多人都只能说出缓存、读写别离、异步等几个常见办法，今日就体系全面总结一下这个问题，希望能帮助到咱们。
什么是高并发体系
简略说便是你的体系要能支撑瞬间大量的恳求。比方淘宝双11、过年抢红包等。那怎么量化的界说一个体系是不是高并发呢？有一些称号需求了解一下。
名词解释
QPS
QPS 全称是 Query Per Second ，意义是每秒查询数，即服务每秒处理完结的恳求数。
TPS
TPS 全称是 TransactionPerSecond ，意义是每秒业务数，即服务每秒处理完结的业务数。
RT
RT 全称是 Response Time ，意义是呼应时刻，即服务处理一次恳求的均匀呼应时刻。
并发量
并发量指的是客户端一起建议的恳求数。留意，这儿并不是服务处理的恳求数。
服务并发处理数
服务端一起处理的恳求数。这儿要留意和并发量作区别。
用户数
用户数能够分为并发用户数、注册用户数和在线用户数。
并发用户数在真实线上环境下，指的是一起建议恳求的用户数。在压测环境下，指的是压测东西中的虚拟用户数（VirutalUser）。留意，并发用户数是必定会对体系发生压力的用户数。
注册用户数一般指的是数据库中存在的用户数，对体系不发生压力。
在线用户数指的是当时运用体系的，“挂” 在体系上的用户数，一般不对体系形成压力。
吞吐量
吞吐量，指的是体系服务在网络上传输的数据总和。
吞吐量不能作为衡量体系才能的方针，由于跟着时刻的拉长，吞吐量自然就上去了。比方滴水一天或许比全量开 1 分钟水龙头的自来水的流量还多，而咱们的感受肯定是全量开水龙头的水流量大。因此，衡量体系吞吐才能，一般用单位时刻内的吞吐量来衡量。即吞吐率。
衡量吞吐才能的方针一般有 QPS 、 TPS 、字节数/秒 和 页面数/秒等。
用户考虑时刻
在真实场景中，用户要完结某个业务（如付出）需求多个过程，而每个过程用户都需求必定的考虑时刻，这儿每步操作之间的中止的时刻，即用户考虑时刻。
TP99
TP 的全称是 TopPercentile，即 Top 百分位数，此方针衡量的是某百分位处的恳求呼应时刻，主要用于衡量对呼应时刻灵敏的服务。比方：
- TP90：按呼应时刻从小到大摆放，坐落 90% 处的呼应时刻；
- TP99：按呼应时刻从小到大摆放，坐落 99% 处的呼应时刻；
- TP999：按呼应时刻从小到大摆放，坐落 999% 处的呼应时刻。
TP 百分位数要求越高，则表示对功能要求越高。
PV
PV 的全称是 Page View，即页面拜访量。
UV
UV 的全称是 UniqueVisitor ，独立访客量，即去重后的拜访用户数。
DAU
DAU 的全称是 DailyActiveUser，即日活泼用户数。
MAU
MAU 的全称是 MonthActiveUser，即月活泼用户数。
名词概念之间的联系
了解了根本的称号概念后，还需求了解一些重要概念之间的联系，要知道有些方针概念之间是有必定的联系的，乃至是能够相互影响的。
下面介绍一些重要概念之间的联系。
QPS vs TPS
杂乱场景下，用户要完结某个业务，或许需求拜访多个或多次接口，此刻：1TPS = nQPS。
关于简略场景，如完结一个业务，只需求拜访一次一个接口，此刻：1TPS = 1QPS。
并发用户数 vs 并发量
在多接口的杂乱场景下，一个用户或许一起拜访多个接口，此刻关于体系来说，并发用户数 < 并发恳求数。
在简略串行场景下，一个用户逐个拜访单接口，此刻关于体系来说，并发用户数 = 并发恳求数。
并发量 vs 体系并发处理数
当并发量 > 体系并发处理才能时，并发量 > 体系并发处理数。
当并发量 <= 体系并发处理才能时，并发量 = 体系并发处理数。
TPS & RT & 体系并发处理数 & 用户考虑时刻
TPS = 体系并发处理数 / ( RT + 用户考虑时刻)。
体系并发处理数，是服务端一起处理的恳求数。
RT 为体系均匀呼应时刻，它的大小是网络传输时刻总和、服务处理时刻总和、数据库呼应时刻总和、缓存呼应时刻总和、磁盘IO时刻总和以及其他时刻的总和。
用户考虑时刻，关于单接口来说，是零；关于杂乱接口（如完结付出业务）来说：用户考虑时刻 = 用户各操作过程间隔时刻。
TPS & RT & 并发数
体系 TPS 、RT 和并发数是相互影响的。其三者之间的影响联系，能够依据并发数的进步分为体系低负荷阶段、体系满负荷阶段和体系超负荷阶段。如下图所示。
在体系低负荷阶段（轻压力区），并发数很低，CPU 作业不饱和，跟着并发数的增加， TPS 跟着增加， RT 几乎是平稳的。
跟着并发数的增大，体系进入满负荷状态（重压力区），CPU 作业进入饱和状态，这时体系资源利用率到达最大值，TPS 到达最大值，RT 开端明显增加。
进一步增大并发数，体系就会进入超负荷状态（拐点区），这时体系开端处理大量恳求，线程频频切换，CPU load 超负荷，而此刻真实处理的恳求数反而会下降，最终导致 TPS 下降，RT指数级增加。
中心方针
要实现高并发体系，必须满意以下三个方针：
- 高功能
高功能，即体系的并行处理才能，其主要的衡量方针是 RT 和并发处理数。依据体系的 TPS 计算公式，TPS = 并发处理数 / RT ，要想进步体系的功能，一是要进步体系并发处理才能，二是要下降体系处理的 RT 。
显而易见，高功能是高并发体系最主要的方针之一。比方你的体系呼应时刻是 10S ，他人的体系呼应时刻是 0.1S ，那用户体验是截然不同的。再比方你的体系只能支撑 100 人来抢购，他人的体系能支撑 10000 人来抢购，很或许用户来一次就不想再来了。
高可用，即体系的安稳性。简略来讲，当秒杀活动的用户流量来临时，你的体系能不能安稳的处理这些流量，别流量一来，你的体系就崩掉了。
显而易见，体系的可用性也是高并发体系的最主要的方针之一。比方秒杀活动期间，流量一来，你的体系崩掉了，这时想必用户要溃散了，不只买不到自己想要的产品，也会影响平台口碑：招商招不来，用户不来买等等。
可用性的衡量方针一般用可用率来表示，可用率 = 正常运转时刻 / 总运转时刻。
业界一般用几个 9 来表示体系的可用性，比方可用性是 4 个 9 ，则表示可用率 = 99.99% ，总运转时刻按一年时刻来算的化，每年的不可用时刻要小于 51.264m（356 * 24 * 60 * (1-99.99%)）
- 高伸缩性
高伸缩性，指的是体系能不能经过增减硬件装备，来扩容和缩容集群吞吐才能。
在实际线上场景中，平时流量一般不会特别大，而秒杀活动期间的流量或许是平时流量的数十倍，乃至是上百倍。从本钱上考虑，假设一直用秒杀活动的硬件装备，明显过分浪费了。最好的作用是能够在平时用少数的硬件装备，在活动期间增加到大流量的装备。以此来充沛有用的节约机器本钱。
衡量高伸缩性的方式，便是要看体系的吞吐才能是不是能跟着机器的扩容而增强，跟着机器的缩容而下降。比方增加一倍的机器，能不能增加一倍的吞吐才能。
怎么规划高并发体系
体系拆分
便是把单体体系拆分成多个微服务，一个微服务挂了不会影响其他微服务，经过兼容、容错等办法疏忽当时微服务宕机带来的影响。
集群布置
一个服务布置多个实例，经过负载均衡、服务发现做调度
缓存
一般用redis缓存、内存缓存，将那些常常需求查询并且变动较小的缓存起来，能够做长时刻缓存，也能够做短暂的缓存，当时恳求有用。
CDN
加快静态资源拜访
异步排队
运用音讯队列，将恳求或许耗时的操作放到音讯队列中渐渐处理，实现削峰填谷。
分库分表
按照某个业务关键字分库分表，比方按租户分库，按月份分表等
池子化技能
很多耗时耗资源的第三方链接能够经过衔接池实现服用。比方http衔接、rpc衔接、db衔接、redis衔接、线程等，经过池化技能先初始化好衔接，待到要运用的时候直接用，用完放回去，下次接着用。
读写别离
一般是主从别离，一主多从，写主读从。
ES
Elasticsearch 分布式、高扩展、高实时的查找与数据剖析引擎，简称为ES。一般耗时的查询、统计、全文查找能够用ES
熔断
当拜访量突增或许某个机房遇到突发情况时，需求做一些降级办法，防止影响其他服务。比方经过开关，关闭某些恳求或许服务，切换流量
限流
能够在接口上增加一些限流器来约束拜访频率。
总结
参阅
[1]架构系列：高并发架构的CDN常识介绍
[2]怎么规划一个高并发体系？
[3]高并发体系，你真理解了吗？
[4]高并发体系规划 40 问
[5]高并发体系是怎么规划的？
[6]字节三面：怎么规划一个高并发体系
