跟着各作业数字化转型需求的不断行进，人工智能、云核算、大数据等新技能的运用已不仅仅是一个趋势。各作业企业和安排纷繁投入大量资源，以满足日益挑剔的市场需求，寻求可持续性和竞争力，这也让运维作业迎来了前所未有的挑战和机遇。

如何将LLM的健壮特性与特定范畴的需求相结合，成为了学术界和工业界接近注重的焦点。近来，云才智智能研讨院与北航协作，一起推出了首个专为运维范畴定制的大言语模型——“Owl”，有用行进了IT相关使命在细分范畴中的高效性、准确性和了解才干，相关微调和benchmark数据的开源更是为智能运维范畴的专属大模型开源打开奠定了坚实基础。

云才智联合北航提出智能运维（AIOps）大言语模型及评测基准

背景介绍

跟着IT业务的快速打开,，海量数据有用剖析和处理在企业实践业务运用中变得变得日益要害。自然言语处理（NLP）技能已在命名实体辨认、机器翻译等使射中显示出特殊的才干，大型言语模型（LLM）在各种 NLP 轻贱使射中更是取得了明显的改善。此刻，依据Owl-Instruct 数据练习而成的大型言语模型——Owl 正好填补了智能运维（AIOps）对专属 LLM 的需求。研讨提出了Mixture-of-Adapter strategy战略，以行进不同子范畴或使命的微调作用。此外，因为缺少智能运维范畴的大言语模型的Benchmark，本次研讨建立了 Owl-Bench 测评基准，一起在Owl-bench和其他运维相关的基准行进行了点评。试验标明，Owl 的功用超过了现有开源模型。

本次研讨的首要贡献：

  • 提出了Mixture-of-Adapter strategy战略，以行进不同子范畴或使命的微调作用。
  • 构建了智能运维范畴的大言语模型的Benchmark：Owl-Bench 测评基准。
  • 试验作用标明，Owl 的功用超过了现有开源模型。

云才智联合北航提出智能运维（AIOps）大言语模型及评测基准

图1: Owl-Instruct数据构建和Owl练习流程

数据搜集

第一步：种子数据搜集

依据云才智智能运维专家丰盛的运维阅历，精心规划模型微调的数据样例和标明阐明，涵盖了信息安全、运用程序、系统架构、软件架构、中间件、网络、操作系统、基础设施和数据库9个运维范畴常见数据。在每个范畴中，Owl-instruct都包含了不同的使命，例如运维常识问答、布置、监控、故障诊断、功用优化、日志剖析、脚本编写、备份和康复等。究竟得到了一个由 2,000 个单轮和 1,000 个多轮对话的种子数据实例组成的语料库。

第二步：数据扩展

关于单轮数据，学习Self-Instruct的办法，究竟产生了 9118 条数据。关于多轮对话数据，选用 Baize中阐明的办法，究竟得到8,740条多轮对话数据。

第三步：数据质量

为了保持严峻的数据质量标准，依据扩展的数据，在运用 GPT-4 对标明数据进行评分的一起，安排云才智智能运维专家进行细致的人工验证。这种两层验证流程可保证生成数据的完整性和可靠性，一起行进数据的全体质量。在运用 GPT-4 进行评分时，针对数据集精心规划了特定的提示（prompt）。这些提示使 GPT-4 可以依据预界说的质量标准对生成的数据进行点评和评分，可以迅速辨认并过滤低质量的数据实例。与此一起，数据还经过了由云才智各智能运维专家组成的审理团的严峻人工验证，审理团队会对每个数据条目进行深入点评，这一人工查看进程需求对内容、连贯性以及与特定范畴常识的一致性进行完全查看。

运维评测数据集Owl-Bench 构建

其时，运维范畴点评大型言语模型功用的基准仍存在严重缺乏。为了补偿这一缺乏，云才智构建了一个双语基准——Owl-Bench。Owl-Bench由两个不同的部分组成：317 个条目组成的问答部分和 1000 个问题组成的多选部分，涵盖了该范畴的很多实在业务场景，保证Owl-Bench可以展现出多样性。测评集的搜集进程包含信息安全、运用、系统架构、软件架构、中间件、网络、操作系统、基础设施和数据库9个不同的子范畴。

云才智联合北航提出智能运维（AIOps）大言语模型及评测基准

图2: 依据词频生成的词云

试验作用

Owl-Bench试验作用

Owl-bench的试验作用包含问答题和选择题的作用，试验作用都证明了Owl相关才干的抢先性。

云才智联合北航提出智能运维（AIOps）大言语模型及评测基准

图3: 问答题pairwise的作用, 以GPT4作为评测

云才智联合北航提出智能运维（AIOps）大言语模型及评测基准

图4: 选择题zero-shot得分雷达图

运维范畴轻贱使命

为了验证Owl在运维范畴的泛化性，在运维相关轻贱使命进行了检验，选取了日志解析、日志异常检测两个典型使命进行了检验。关于这两个典型使命，规划了特定的prompt，相关试验证明了Owl的有用性。

云才智联合北航提出智能运维（AIOps）大言语模型及评测基准

图5: 日志解析基准检验作用

云才智联合北航提出智能运维（AIOps）大言语模型及评测基准

图6: 日志异常检测基准检验作用

结语

智能运维专属大模型“Owl”的问世将会成为智能运维作业打开的一个新转折点。跟着各类新式技能的运用，云才智也将会为智能运维范畴带来更多的打破和立异，进一步为各类企业提供立异的运维解决方案，提高企业的IT运维效能，促进数字化转型的成功实施。与此一起，“Owl”相关微调和benchmark数据的开源，将为智能运维范畴的全生态打开打开贡献更多的研讨和运用潜力。

论文链接：arxiv.org/abs/2309.09… Owl : A Large Language Model for IT Operations（猫头鹰：用于 IT 运维的大型言语模型） 友情链接： mp.weixin.qq.com/s/LVFp8iYFC…