1.布景

得物社区是一大批年轻人获取潮流信息、分享日常日子的潮流日子社区。其间用户阅览的信息，进行特性化的分发，是由引荐体系来决议计划完结的。现在得物社区多个场景接入了引荐算法，包含主页引荐双列流、沉溺式视频引荐、分类tab引荐流、直播引荐流等多个场景，为了给用户供给更好的服务和体验，咱们从整个引荐体系维度为相关服务做了许多优化。现在主流的引荐体系都会有召回、粗排、精排和机制等多个模块组成，本文首要介绍咱们在精排层面演进进程中做的一些作业和思考。

2.应战和解法

用户在与信息流交互进程中，会发生点击、阅览、点赞、重视、保藏、谈论和负反应等行为，一般是事务关心的中心方针，也可作为算法同学建模的信号。其间，点击是用户一系列行为轨迹的入口，相对不稀少，往往是一个信息流引荐体系初期最重视的方针之一。怎么对用户爱好进行精准建模，是这些年来引荐体系在工业界从初出茅庐到大展身手的进程中始终抢手的主题。在工业界中一个好的事务建模范式是在必定资源束缚下，做好服务于事务方针的可迭代的体系优化，关于引荐体系来说，需求考虑体系引擎、计算资源、模型迭代和维护的人力、体系和模型的可迭代性以及多团队合作等多方面因素下，推进整个体系向着事务方针继续前进。拆解到精排层面，咱们需求处理多场景、多人群和多方针等为精确预估用户爱好带来的应战。下面从特征、样本、多方针建模和新用户冷启动等多个方历来论述咱们对这些应战在得物社区的详细解法。

2.1 特征

单方针的CTR模型的技能演进可从两个不同的视角进行调查，一个维度是特征工程，别的一个维度便是模型结构复杂度。在CTR模型前期的时分，受限于计算资源，模型结构往往比较简单，初期运用最广泛的便是LR模型。这个阶段算法工程师更多的时刻是人工规划特征，然后针对不同的事务布景进行迭代拿到方针收益。

引荐体系精排模型其实是一个预估用户行为概率的模型，咱们期望模型一方面可以记住用户的前史行为(即拟合才能)，另一方面可以依据前史数据进行合理扩展(即泛化才能)。在传统机器学习时期，LR、SVM和GDBT等模型就现已具有很好的拟合才能，可以在练习数据集上有极好的表现。但在实践事务上，实在的困难在于，怎么依据过去数据精确地预估未来行为。万物依据数，在数学的视角上，模型建模本质上是对实践世界一部分运行规律在数字空间的笼统和模仿。实践行为在数字空间的表征的精确性很大程度上决议了建模的作用，走运的是跟着深度学习的开展，依据Embedding的表征技能越来越老练，根本处理了建模的表征瓶颈，而这个映射空间往往称为特征向量空间。

关于引荐体系精排模型而言，在向量空间中具有实践概念的根本单元便是特征，这也提醒了针对特征的作业，关于整个建模的重要性。各个事务场景特征的规划，要求算法工程师对事务具有满足的了解，以及具有丰厚相关经验，特征工程也是算法作业中资源投入权重很大的作业，需求继续打磨优化，所谓磨刀不误砍柴工。

2.1.1 特征规划

模型运用的特征依据不同的视点可进行不一样的划分。依据特征来历，可以分为用户特征、Item特征、上下文特征、穿插特征以及级联模型特征；依据特征结构，一般可依照Dense和Sparse进行区别；依据特征时效性，往往又分为离线特征和实时特征。关于详细的事务场景，可依据特征来历，依照下表从全体上规划各个域的特征，在迭代的进程中继续优化晋级特征。

每个特征都应该结合事务进行规划，比方其间统计类特征需求考虑聚合的时刻窗口，序列特征需求考虑序列的长度，这些都可以依据实践状况进行取舍和挑选。

在规划特征的根底上，算法工程师还需求推进上下游打通数据链路，校验特征质量，引进到现有模型中进行离线调研，要是小流量AB试验有置信收益，新版特征就可以全量收效。一个常见的发掘特征的手法，便是依据内容了解算法，运用自然语言处理、计算机视觉、语音识别等等，对内容进行深度发掘，出产优质特征，然后让模型更容易捕获用户爱好点。依据事务需求在继续迭代的进程中，会不断新增有用特征，旧的失效特征也会慢慢下线，在咱们的事务场景中，模型运用的特征数也在迭代的进程相对增加了30%，体系的分发功率也有很大的进步。特征对模型预估的重要性可以经过auc-diff进行评价，为了体系的稳定性，还需求实时监控线上每个特征的覆盖率和取值散布状况，防止反常数据影响大盘。

2.1.2 特征处理

在引荐体系中运用的一切特征，依照特征结构和处理方法的不同，可以分为四类。

数值型特征，特征的原始值是必定区间内的连续值，比方动态后验CTR、视频时长、点赞数等等，通常处理方法如下

• 可以增加对特征反常值的鲁棒性、进步非线性才能、加快算法处理性能、方便特征穿插
• 会丢掉部分信息、鸿沟离散值的跳变会影响模型预估稳定性
• 可以选用等宽分箱、聚类分箱、等频分箱、决议计划树分箱和卡方分箱等方法
• 特征最大最小归一化、标准化等等
• 连续特征离散化
• 非线性改换，比方常用的log(x+1)等等

单值离散特征，一个样本只要一个离散取值，比方手机类型、用户性别等等

• One-Hot编码
• 查LookUp表，得到向量表征

多值离线特征，一个样本可以有多个离散取值，比方用户点击序列、Item标签等等

• 人工生成穿插特征
• 查LookUp表，得到多维向量，可选用拼接、Pooling、Attention等方法生成交融后唯一的向量表征

KV特征，一个样本Key可以有多个离线取值，并有与之对应的Value值

• Key和Value离散化后，加权运用
• 可以将Key和Value进行拼接后，离散化运用

在引荐体系领域，在上表林林总总的特征中，有两种类型的特征很具有引荐特色，并在不同的事务上往往都是算法工程师大力投入，根本会获得不错收益的技能点。

2.1.3 高维稀少类别特征

第一个便是高维稀少的类别特征，这类特征因为其高维稀少性，在向量空间上具有更好的线性可分性，然后模型更容易记住样本。关于一个相对老练的引荐体系来说，此类特征的维度可达到上亿维，甚至几十亿维。

为了让模型顺利运用这么大的高维特征，需求算法联合工程做许多深度优化作业。一般选用的处理计划是动态弹性特征(EmbeddingVariable)，可以处理静态特征词表大小难预估、特征抵触、内存和IO冗余等问题，并可以经过特征准入、特征离场、底层哈希表无锁化和精细化内存布局等措施，来进步存储和拜访功率。跟着动态弹性EV特征的引进，在得物社区的各个场景上均有着不错的收益。

2.1.4 穿插特征

别的一个便是大名鼎鼎的穿插特征。穿插特征是经过多个特征进行穿插组合而来，可以有用地增强模型的表达才能。这些年来算法工程师在特征穿插上测验了许多的作业，全体来说分为显示穿插和隐式穿插。

显式穿插是依据先验知识，算法工程师人工结构穿插特征，一般可以选用的穿插方法有如下三种。其间笛卡尔积因为作用好更常运用，但笛卡尔积或许会发生维度爆炸，所以需求依据实践事务的数据剖析状况来结构笛卡尔积。举个比方，在咱们的场景中，每个用户在不同类目上爱好偏好会有所区别，为了让体系在给用户供给服务时更重视这一点，可以在模型中测验引进用户偏好和动态类目的穿插特征，进步用户体验。

隐式穿插是经过网络结构让模型主动学习穿插，跟着穿插技能的开展，算法工程师更多时分运用的方法是隐式穿插，不仅可以解除对人工经验的依赖，一起可在模型练习进程中不断自我优化。近些年在这方面经典的作业首要是FM、FFM、Wide&Deep、DeepFM、DCN和CAN等结构，其间DeepFM更是因为其结构简单、作用突出，在不同的引荐场景下均可作为比较好的基准。

作为特征穿插结构的经典集大成者，DeepFM可以完成端对端的低阶和高阶特征穿插交融。其间FM结构可以进行低阶特征的穿插，进步模型的回忆才能；Deep结构进行高阶特征的穿插交融，进步模型的泛化才能。得物社区最前期的时分，在排序层面，精排模型只是对CTR进行建模，模型架构就选用了比较老练的DeepFM。

2.2 样本

关于一个引荐体系，模型练习样本和特征决议了模型作用的上限，一个高质量的练习样本集可以有用进步精排模型的预估才能。样本的发生需求依赖线上日志，一个优秀的出产样本流的结构会涉及多方，包含前端埋点、引荐引擎、预估服务和数仓等等。为了对事务作用担任，算法工程师除了重视模型自身外，还需求对样本质量进行监控，与上下游一同保证高质量样本出产的稳定性。

2.2.1 实时样本流架构

得物社区前期时，模型练习样本是依据离线特征表和离线用户行为表拼接而成，除了会有显着的时效性问题外，还或许会发生样本特征线上线下不共同性问题，影响体系全体的分发功率和分发作用。

为了处理高质量样本出产的问题，咱们经过和谐资源，规划和推进多方搭建了实时样本流结构。经过实时样本流出产样本，样本的时效性大幅进步，从天级到分钟级，然后可以支撑实时模型的上线，也为后续算法模型的快速迭代打下了坚实的根底。

实时数据流架构可以概述为三条日志流的出产、归因和拼接。

• 第一条数据流是客户端日志流，它是依据客户端埋点经过触发事情上报埋点信息而来，埋点数据包含了服务端下发给客户端的(reqid, userid, itemid)三元组等信息。用户在阅览信息流时，会继续触发曝光、点击、点赞等行为数据，然后客户端日志流连绵不断出产数据。
• 第二条数据流是服务端引擎日志流，它是依据客户端建议的用户恳求，经过服务端和整个引荐引擎，拿到引荐成果并回来给客户端这个进程中，在引擎落下的重要信息，相同包含(reqid, userid, itemid)三元组、引荐成果以及正排信息等。
• 终究一条数据流是在预估服务落下的预估日志流，它是引擎将用户画像和召回或许粗排的成果下发到预估机器，由预估机器中的精排模型进行打分，在这个进程中会将模型运用的item特征和user特征等特征信息dump下来。特征流的数据量也是三个流中最大的，往往需求经过ACK的方法下降dump的物品数，然后有用节约资源。

三条日志流可以经过(reqid, userid, itemid)三元组进行有用关联，然后构成实时归因大宽表。其间，客户端日志流供给了用户实在反应标签，服务端引擎日志流供给了引荐引擎各环节的信息，预估服务日志流供给了模型运用的特征信息，保证了线上线下特征共同性。

在运用实时样本流出产实时样本的进程中，会遇到一个经典的问题，那便是“用户推迟反应”。这是因为从曝光埋点上报数据，到用户对动态进行点击和更深度的交互行为，这两个事情往往存在必定的时刻差。比方用户在观看一个视频时，过了几分钟看完后才会对视频进行点赞和谈论，此刻假如咱们对归因规划不合理就会造成这条实时样本是负样本。一般对用户反应标签进行归因时，会考虑归因的时刻窗口。离线表的归因窗口可以了解为1d，不过实时计算是在内存中完成的，出于对成本的考虑，很难设到很大的窗口，可以结合剖析实在的事务数据状况，在成本、时效性和标签精确性之间找到适宜的平衡点。在咱们的场景上，经过选取适宜的阈值，终究实时样本表的正标签达到了离线表的95%。关于推迟样本，一个有用的处理计划是规划不同的样本回补机制，依据重要性采样对样本散布进行纠偏。

2.2.2 采样

CTR模型为了预估用户阅览到的曝光中会进行点击的概率，是一个二分类模型。直观上建模时，会将用户点击作为正样本，曝光未点击作为负样本。但因为用户点击行为相对稀少，这种直接构建练习样本集的方法，会造成正负样本严重失衡，有些场景或许低于1:100，练习作用往往不行好。

为了处理类别不均衡问题，一个常用的做法便是对负样本进行采样，只要经过必定战略采样后的负样本可以用来练习模型。负采样有许多完成方法，一般会依据采样质量、采样偏差和采样功率进行取舍，大体分为人工规矩采样和依据模型采样。其间，常用的人工规矩采样是随机负采样和依据盛行度负采样，依据模型采样本质上是经过模型迭代优化负样本的质量，一般借鉴Boosting和GAN对立学习的思想，不断发掘强负样本，这块近期比较好的作业便是SRNS。

在咱们场景上，现在是经过随机丢弃负样本的方法来完成采样的。采样后练习的模型预估出来的pctr与实在后验点击率CTR是有偏差的，所以线上运用预估分pctr时需求先用如下转化公式进行批改，然后在排序时运用。除了采样外，别的一个可以测验的解法是在练习时经过对不相同本的Loss进行调权，也可以缓解类别不均衡带来的影响，不过调权任务比较繁重，或许一时很难调到抱负的作用，预估分也难以复原。

关于一个事务场景，往往会重视多个事务方针，除了点击之外，另一些重要的重视点是用户点击后的后续行为。关于电商场景一般是保藏商品、下单商品等用户深层次行为，关于信息流场景更多的是观看时长、点赞、谈论等用户交互行为。这些转化行为是用户点击之后发生的，假如在点击样本空间上对互动进行建模，线上直接运用会发生bias，称为样本挑选偏差，多方针联合建模时可以经过规划特定的模型结构来处理。

在得物社区场景，咱们依据线上遇到和发现的一些问题，在样本层面也做过其他的探索和实践。

• 像谈论、重视、分享等这些用户转化信号一般比较稀少，独自建模的话模型练习不行充分很难获得好的作用，与点击联合练习又会被更密布的点击信号带偏。一种有用的解法是对同类型信号进行聚合运用，一起对这些信号重采样缓解点击信号的影响。
• 样本随机负样本对低活用户是不友好的，甚至会让曝光未点击用户逐渐流失。在负采样时需求考虑低活用户曝光未点击的样本，一起可以测验在特征层面加上曝光未点击序列。
• 抱负样本是在剔除噪音搅扰的状况下，尽或许多的保留和依据先验知识提取实在场景的有用信息。其间一个或许有收益的信息便是用户样本的Session，所以建议试试依据用户Session构建样本。

2.3 多方针

相比单个方针建模，对多个事务方针进行建模会遇到更多的应战，其间比较常见的问题便是多个方针之间会有跷跷板现象。为了缓解这些问题，在业界经过多年的实践和技能开展，堆集不少的优秀模型ESSM、MMOE、PLE和ESCM等等，其间比较重要和运用广泛的模型是ESSM、MMOE，它们在许多事务场景都有着不错的作用，在得物社区场景，对多方针的建模也借鉴了相关模型的思路。

2.3.1 模型结构

2.3.1.1 主页双列流

跟着事务的开展，得物社区主页引荐流精排模型也一直在迭代晋级中，模型特性化才能不断进步，总的来说可以划分为四个阶段。

第一阶段是前期时分，只对用户点击率建模，精排层只要CTR模型。期间经过几次迭代，从开始的DeepFM结构，到结合事务特色的DLRM结构，特征穿插才能显着进步，以及增加了提取用户深度爱好的DIN模块，都获得了不错的收益。

• CTR模型

第二阶段是增加了对用户时长的独自建模，期望进步体系对用户时长的预估才能，精排层会有CTR模型和时长模型。时长模型第一版选用了比较老练DeepFM结构，在CTR丢失兑换可接受的状况下，带来大盘人均时长相对进步+3%。

• 时长模型

第三阶段是对用户点赞、重视、保藏、谈论和分享等互动行为与用户时长联合建模，借助互动信号更好地捕获用户爱好点，精排层会有两个模型，包含CTR模型和时长互动双塔模型。经过对多方针分交融公式进行有用调参后，在其他方针根本持平状况下，大盘互动用户渗透率，相对进步+6%。

• 时长互动双塔模型

第四阶段是用户点击、用户时长和用户互动等多方针统一建模，并对用户负反应独自建模，更好地整合精排层对用户爱好的建模才能，精排层会有两个模型，即点击、时长和互动等多方针模型，以及负反应模型。相对双塔模型，多方针模型更需求在结构上可以适配更多方针，尤其需求处理CTR任务和稀少任务的相互影响。经过在练习时依据pct_time和pct_inte节点构建丢失函数，并对pctr节点进行梯度阻断，使得可以对多个方针在曝光空间上统一进行建模。线上运用ptime和pinte作为时长和互动的预估分，交融公式可以做到线上线下共同，有助于在线上拿到离线调研的收益。上线后大盘ctr相对进步+2.3%，人均时长相对进步+0.33%，互动用户渗透率相对+4.5%。负反应模型分在机制层经过平滑降权的方法收效，大盘负反应率相对下降16%。

• 多方针模型

• 负反应平滑降权

• 负反应模型

2.3.1.2 沉溺式视频单列流

与主页双列流产品形态不同的是，沉溺式视频引荐流是单列流场景，用户经过不断下滑观看不同的视频。针对场景特色，最开始的建模思路是从视频完结度进行切入的，模型会预估用户会观看视频时长占视频自身时长的份额pfinish_rate，线上运用时会结合视频自身时长videoTime，并对videoTime双端进行约束缓解视频自身时长带来的bias，终究运用pfinish_rate*truncated(videoTime) 作为排序分。与主页主场景一样，在后面的迭代进程中，也增加了对用户互动行为的建模，在对互动预估分pinte和完结度预估分pfinish_rate进行交融时，不出意外也遇到跷跷板现象，经过不断试验测验，终究选用级联排序的方法获得了收益。

经过几个版别继续迭代优化，场景中心方针进步显着，场景拜访uv人均时长相对进步+46%，曝光互动率相对进步+15%。结合视频场景特殊性，经过对事务方针的剖析，最近咱们在考虑对用户短播行为和长播行为进行建模，更好的捕获用户爱好点，为用户供给更贴心的视频引荐流服务。

• 多方针模型

2.3.2 多方针交融

多方针建模除了模型自身，另一个首要的应战便是线上怎么有用地运用多个方针分？咱们期望经过适宜的排序方针和机制规划，让事务重视的方针都可以有收益，做到多个方针共同进步，针对这个问题在咱们场景上也进行了各种不同的测验。

第一类比较直接的处理计划便是规划公式，对多个方针分运用公式进行交融，然后作为终究排序分。此计划的优点便是简单、明确，可以依据权重知道每个方针分是怎么对终究排序收效的。其间一个常用的技巧便是因为不同方针的预估分散布差异大，预估分绝对值的变动会影响调参成果，所以可以考虑运用单个方针分排序后的序号，将其经过合理的归一化后，再对多个方针进行交融。缺陷便是不同的模型上线都需求手动调参，带来很大的作业量，而且交融公式也没有依据不同用户做到特性化交融，影响全体排序作用。在得物社区场景，咱们先后规划了两版交融公式，第二版加法方法获得了更好的收益，一起参数量也有用下降。

• 人工公式交融

第二类处理计划是期望借助深度模型来端对端的生成终究排序分，防止人工调参，一起在交融时会考虑特性化。详细思路是结构一些用户侧、物品侧重要的根底特征，以及多个模型的预估分，将它们作为一个简单网络的输入，运用离线练习的模型发生终究交融分。一个要害点便是离线模型Label的结构，一般是经过对多个方针加权的方法进行聚合，权重的挑选需求结合事务和线上试验的作用进行调试。缺陷是精排层需求多调用一个模型，需求更多的资源，别的便是有时事务上需求做一些生态上的调整，模型交融没有公式来的方便。

• 独立交融模型

第三类也是现在正在测验的处理计划，即特性化交融多方针模型架构。咱们期望在多方针模型的根底上，经过结构交融模块，将多方针预估和多方针预估分交融放到一个完整的网络结构下。模型练习时丢失函数可以分为两块，主网络丢失和交融网络丢失，主网络丢失是为了优化模型对各个方针分的预估，交融网络丢失是从全体上优化交融排序的成果，可以经过异步练习和梯度阻断的方法防止对网络相互造成搅扰。理论上这种计划结合了前面两种计划的优化，一起防止了其缺陷，期望经过调试后可以在咱们的场景上推全这种计划，进一步整合精排模型的才能。

• 特性化交融多方针模型

2.4 新用户冷启动

新用户冷启一直是业界的难点，首要体现在以下三点。为了处理这些问题，业界也有许多经典的作业，比方依据元学习的新用户MeLU、FORM模型等等，这些计划都是期望为新用户赋予比较靠谱的初始值，经过动态学习率快速调整然后收敛，但在实践运用时往往作用不佳。

新用户行为稀少，对引荐成果更灵敏

练习集新老用户样本散布不均匀，新用户样本占比往往低于1%

新用户人群和老用户人群特色差异大，因为老用户的主导，会导致模型难以捕捉到新用户人群行为形式

咱们在得物社区主页双列流场景上也对新用户冷启动做了测验，进步新用户冷启功率。依据对事务数据的剖析和判断，从可推池、召回到精排、打散整个链路与主场景独立出来进行迭代，针对新用户特殊性，在精排层面从特征到模型结构均进行了独自的规划。

关于新用户冷启任务，个人认为如下技巧都是可以测验的，在不同事务场景或许会有不一样的收益。

新用户样本重采样或许Loss加权，增加新用户样本的话语权

结构可以表征新用户人群的特征，比方新用户标识、用户首次拜访时刻等等

用户人群id代替新用户id，缓解新用户id学习不充分

从模型结构上突出新用户相关的特征，增加新用户特征的话语权

在咱们的场景上，第一版模型是依据新用户有用点击的时长加权CTR模型，模型会更重视用户消费时长高的内容，然后帮助模型学习到新用户的爱好点。为了进一步进步模型对不同新用户爱好捕获才能，咱们经过在模型结构上的规划了多方针poso模型，缓解新用户行为和样本稀少的问题。经过在模型结构层面做到特性化，为相关人群带来更好的体验，全量后新用户ctr相对+2.69%，人均引荐时长相对+3.08%，人均互动数相对+18%，新用户次留相对+1.23%。

• 多方针poso模型

3.展望

本文首要介绍了面临事务中不断出现的应战，咱们从特征、样本、多方针建模和新用户冷启动等方向做的一些详细解法以及获得的一些发展。除了这些现已落地的技能外，咱们还在其他方向了进行了探索，包含盛行度纠偏、用户深度爱好、FeatureStore以及超大规模散布式稀少大模型，期望在后续进一步开释算法盈利，保证和促进事务的增加。

4.引用

[1] Chen Y , Jin J , Zhao H , et al. Asymptotically Unbiased Estimation for Delayed Feedback Modeling via Label Correction[J]. 2022.

[2] Lee H , Im J , Jang S , et al. MeLU: Meta-Learned User Preference Estimator for Cold-Start Recommendation[J]. ACM, 2019.

[3] Sun X, Shi T, Gao X, et al. FORM: Follow the Online Regularized Meta-Leader for Cold-Start Recommendation[C]//Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval. 2021: 1177-1186.

[4] Ma X, Zhao L, Huang G, et al. Entire space multi-task model: An effective approach for estimating post-click conversion rate[C]//The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval. 2018: 1137-1140.

[5] Ma J, Zhao Z, Yi X, et al. Modeling task relationships in multi-task learning with multi-gate mixture-of-experts[C]//Proceedings of the 24th ACM SIGKDD international conference on knowledge discovery & data mining. 2018: 1930-1939.

[7] Guo H, Tang R, Ye Y, et al. DeepFM: a factorization-machine based neural network for CTR prediction[J]. arXiv preprint arXiv:1703.04247, 2017.

[8] Naumov M, Mudigere D, Shi H J M, et al. Deep learning recommendation model for personalization and recommendation systems[J]. arXiv preprint arXiv:1906.00091, 2019.

[9] Zhang W, Qin J, Guo W, et al. Deep learning for click-through rate estimation[J]. arXiv preprint arXiv:2104.10584, 2021.

文/召俊

​

线下活动引荐： 得物技能沙龙「企业协作功率演进之路」（总第19期）
时刻：2023年7月16日 14:00 ～ 2023年7月16日 18:00
地址：（上海杨浦）黄兴路221号互联宝地 C栋5楼(宁国路地铁站1号口出)

活动亮点：在当今竞争日益激烈的商业环境中，企业协作功率成为企业团队成功的要害。越来越多的企业意识到，经过信息化建设和东西化的支撑，可以大幅进步协作功率，并在职业中获得突破。本次沙龙将涵盖多个主题，这些主题将为与会者供给丰厚的思考和经验，助力企业协作功率的进步。

经过得物技能沙龙这个交流平台，您将有机会与其他企业的代表一同学习、借鉴彼此的经验和做法。共同探讨企业内部协作功率的最佳实践，驱动企业长时间生计和开展。加入得物技能沙龙，与职业先驱者们一同敞开协作功率的新篇章！让咱们共同为协作功率的突破而尽力！

点击报名：得物技能沙龙「企业协作功率演进之路」（总第19期）
本文属得物技能原创，来历于：得物技能官网
未经得物技能答应严禁转载，否则依法追究法律责任！

作者：得物技能
链接：/post/724957…