测验环境关于任何一个软件公司来讲，都是中心基础组件之一。转转的测验环境伴跟着转转的发展也从单一的几套环境发展成现在的恣意的docker动态环境+docker安稳环境环境体系。期间环境体系不断的演进，去适应转转集群扩张、新事务的扩展，走了一些弯路，但终究咱们将体系晋级到了咱们认为的终极计划。下面咱们介绍一下转转环境的演进和终究的处理计划。

1 测验环境演进

1.1 单体环境

    转转在2017年成立之初，5台64G内存的机器，搭建5个完整的测验环境。就满意了转转的日常所需。一台分给开发，几台分给测验。经过交流协调就能处理多分支并行开发下冲突问题。

1.2动态环境+安稳环境

    跟着微服务化的进行，转转的服务数量是急速扩展的。分支并行开发增多，共用环境造成的相互影响也逐步增多。单体环境已经不能满意咱们的需求。新的组织形式被提了出来。动态环境布置修正的服务和一些必要服务。安稳环境布置和线上一致的服务。同时咱们开发了一个环境渠道去办理环境的恳求到收回的整个生命周期。阶段性的满意了咱们诉求。

    存在问题：恳求进入到安稳环境之后，调用将会在安稳环境中，无法调用到动态环境的服务。导致被测服务之前的所有服务、mq的生产方都要布置到当时测验机上，即使这些服务没有任何改变，跟着集群规划的持续扩展，对资源的耗费飞速添加。

1.3 动态环境+安稳环境（ip路由）

    关于上面的问题，咱们期望能做成恳求的流量是动态环境下优先，假如没有的状况下再恳求到安稳环境上，这样测验机上只布置发生了改变的服务和进口服务（必需）就能够了。随后和架构运维一起完成了ip路由的功用，就是将ip作为泳道名称向下传递。

    这个计划上线后，资源运用量下降30%左右。在2019年上线后的两年内，转转阅历了和找靓机合并，芯片供给严重导致机器长期无法收购到，在这个背景下，确保了转转环境的运用。可是问题也日益的凸显。

2 环境运用中的问题

    从大的方面来讲：体系安稳性，资源本钱，运用功率三个方面相互制衡。在本钱（包含收购困难）这个约束下，旧机器无法筛选导致安稳性问题。资源缺乏，现存的测验机运用率就降不下来，安稳环境就无法坚持内存30%闲暇率的下限，安稳性就会成问题。测验环境就需求严厉的收回策略，导致用户的运用体会和运用功率下降，如：到期收回和资源闲暇收回，肯定会导致部分运用中的环境被收回掉，尤其是大的内存环境，对应大的项目，恢复起来慢，影响也大。已有的架构下不能做到三者兼得，或者说不能做到咱们期望的退让。详细的问题如下：

2.1 资源的缺乏

    事务的添加和集群数量的添加，叠加服务器收购不到的状况，机器资源很严重。测验资源池3.8T, 顶峰占用率80%。剩下资源散落在20几台物理机上，导致超越40G内存的机器都是比较难恳求的。

2.2 资源的糟蹋

    在机器资源缺乏的状况下，还存在机器资源糟蹋的状况，现有的计划，机器恳求下来内存是固定的，不能主动的扩容和缩容，跟着环境中被测服务的逐步上线，最新版别会被同步到安稳环境中，动态环境和安稳环境中重复的服务会越来越多。可是无法将测验资源收回到资源池之中。

2.3 安稳性问题

• 机器的安稳性

    众所周知，测验环境的机器根本都是线上过保的机器，年纪纷歧，可是一般比较大，损坏是常有的事情，咱们顶峰期一个月损坏了5台物理机。对事务产生直接影响。

• 布置进程简要介绍

先简单介绍下机器发动布置进程：

• 体系的安稳性
• • 整个初始化布置，流程7-8步，各个环境都可能出现问题，日常安稳性缺乏。
  • 在上面3个计划的前史迭代中，积累了大量的前史包袱。每次布置都要要对测验装备文件中的数据库、redis、mq、zk等装备进行替换，易犯错，不易保护，工程规范化缺乏。
  • 在环境的构成中，环境中每次添加删去服务，都要从头核算nginx和host，依靠长，简单犯错。
  • 日常运用中，内存缺乏的状况下，无法主动扩容，只能从头恳求环境，时刻本钱高。
  • Kvm资源计划生态差，保护本钱高。

    以上这些进程中的问题，每周会有25个左右环境问题反馈，咱们每周都需求8h左右的运维时刻。为了处理上面的问题，咱们开发了体系错误分析东西，虚拟机重启东西、机器资源报警东西、机器存活监控、安稳环境全体搬迁东西等众多办理员东西帮助用户和咱们处理日常问题。全体来讲日常的保护本钱是很高的。用户用着有许多问题，也很不爽。

3 处理计划：动态环境+安稳环境（标签路由）

3.1 处理计划

• 体系底层架构修正

    由于以上的问题，咱们和架构运维从头设计了环境渠道的计划。咱们终究选用了docker + 安稳环境的计划。ip路由变成了标签路由，一个环境不再是一台机器上布置多个服务，而是一个环境下，多个docker组成，多个ip组成，如下：环境yyy由服务B和D组成，ip分别为192.168.5.1和192.168.6.1。

    这样镜像初始化、agent初始化进程被干掉。环境的巨细约束不再是一个宿主机巨细决议，极限状况下一个环境能够包含转转所有的服务。单个环境容量不再是问题。    经过k8s的特性，布置时会新发动一个节点，而且新节点发动成功之后，下线旧节点。确保了服务在布置进程中，服务不中止。

• 工程规范化

推进rd晋级服务，将测验装备修正为正常的装备，然后下掉渠道的装备替换。

• nginx中心化

去掉每个环境上的nginx，消除ng布置生成进程的问题。经过体系联动运用运维的中心化nginx。

• host装备

推进删去不必要的公共host，在服务晋级的进程中推进RPC的host调用方法晋级为服务办理渠道，剩下公共host选用内部dns才能进行处理。

• 新问题

在拟定新计划的进程中，一个目标是处理之前的依靠问题，一个就是尽量削减新计划带来的运用方法上变化，削减用户运用本钱。环境docker化之后最大的影响是什么呢？一、ip变成了标签，不再是仅有ip。

二、服务每布置一次，ip变一次。

ip没了，那么进口host怎样装备？ip变了，那么如何登录到机器上？如何查看前史日志？如何进行单元测验？处理计划：

1. 转转之前有泛域名解析的才能,如app.zhuanzhuan.com带标签能够写为app-${tag}.zhuanzhuan.com。
2. 恳求whistle装备中 添加：192.xxx.xxx.xxx app.zhuanspirit.com excludeFilter://*/api reqHeaders://(Global-Route-Tag:test1234)。注：192.xxx.xxx.xxx为中心化nginx。
3. 添加webshell 处理ip变化带来的登录本钱添加。
4. 添加前史日志查询功用，处理ip毁掉后前史日志查询问题。
5. 添加本地化标签路由的功用，处理单元测验每次输入ip的问题。变成标签设置。注：在后面的docker推行进程中，咱们发现计划中，咱们漏掉了长途debug场景下，ip变化的问题。最后经过开发了一个idea插件和环境渠道联动处理。

• 新的运营方法

    新的技能计划中，资源的最小办理节点由之前的一个kvm变为标签中的一个服务。在测验服务上线之后，环境渠道会主动同步最新代码到安稳环境，之后将测验标签中刚刚上线的服务删去，收回资源。然后防止资源的糟蹋。

• 成果

布置进程缩减为：服务镜像发动 + ng装备同步。步骤极大的缩减。安稳性、功率进步。在宿主机挂掉的状况下，k8s主动调度到新的节点。进一步确保安稳性。资源本钱、安稳性和运用功率三方的制衡被打破。三方面充沛的得到了进步。目前：

• 用户问题：削减95%，而且大项目测验中，环境问题消失了。
• 恳求时刻：由28分钟到5分钟以内。
• 资源占用：3200G到1200G。

总结

在拟定了这个计划之后，转转在架构、运维和工程功率三个部门相互配合状况下，1个月内完结开发，3个月内完结了服务晋级。1年内完结了全体功用的推行。取得了丰盛的成果。
docker化之后，改变了整个环境的运用生态。现在，要用一个测验环境，恳求则立即可用。进程中不再有任何心力耗费，不再有中止。而且资源办理的最小节点变为一个服务。环境体系的底层技能架构在咱们看来处于业内目前的最优的计划，在体系、用户层面上做到了资源，功能和功率三者的全体性提升和平衡。整个体系是相对老练的，能够预见的是，在未来很长一段时刻内体系不需求再进行体系结构上的晋级。

更多技能完成细节

关于作者

陈秋，转转工程功率担任人，主要担任装备办理和devops体系建设。欢迎我们留言、交流相互学习。

转转研制中心及业界小伙伴们的技能学习交流渠道，定时共享一线的实战经验及业界前沿的技能论题。

关注公众号「转转技能」（综合性）、「大转转FE」（专心于FE）、「转转QA」（专心于QA），更多干货实践，欢迎交流共享~