文心千帆：PPT 制造、数字人主播一键开播等数十种运用场景惊艳到我了，下面给出简介和运用指南，快去运用起来吧

文心千帆大模型渠道是面向企业开发者的一站式大模型开发及服务运转渠道。文心千帆不仅供给了包括文心一言底层模型（ERNIE-Bot）和第三方开源大模型，还供给了各种AI开发工具和整套开发环境，方便客户轻松运用和开发大模型运用。文心千帆数据办理、主动化模型SFT以及推理服务云端布置一站式大模型定制服务，助力各职业的生成式AI运用需求落地。

1.运用场景

面向不同的企业需求，文心千帆供给不同的功用服务。例如，智能对话、智能输入法等通用运用场景，可在文心千帆直接体会文心一言企业级推理云服务，并进行事务集成；细分范畴电销场景的产品介绍、推行文章等需求对推理成果进行定制调整，则可在文心千帆运用模型在线微调练习功用，快速生产职业场景定制模型服务，满意用户特定需求。

• 场景一：对话沟通

匹配场景：智能营销、智能客服、情感沟通等需求沟通对话的场景。

在实际生活中，针对用户需求供给快速应对，精准匹配用户需求，完结营销商拓、及时响应、正向心理辅导等内容，进步客户体会。

详细事例：针对用户需求，输出成果。例如，用户需求渠道帮忙推荐一下四大名著，如下图所示：

• 场景二：内容创作

匹配场景：剧本、故事、诗歌等文本创作场景。

依据用户的需求，生成精准匹配的创作文本，为用户供给视频编排的剧本来源；润色成型的故事、诗歌等文本内容，给用户发明进步文本才能的文化环境。

详细事例：用户下发自定义指令，创作成型的文本内容。例如，用户需求渠道按要求写一首藏头诗，如下图所示：

• 场景三：剖析操控

匹配场景：所谓剖析操控是包括代码生成、数据报表、内容剖析等深度学习的文本场景。

依据用户的需求快速生成可执行的代码或许依据用户的需求，渠道结合本身已具有的多种数据，生成匹配度更高的应对内容。

详细事例：用户临时遇到需处理的问题，渠道生成解决方案。例如，开发工程师利用渠道生成详细代码，完结代码的优化，如下图所示：

• 更多场景
  • 政务服务：多轮智能交互，带来有温度的民生服务。
  • 金融服务：才能媲专业人士，辅助科学金融决策。
  • 游览服务：一站式行程规划预订，每次都是定制游。
  • 数字人主播：主动生成带货脚本，数字人主播一键开播。
  • 企业工作 – PPT 制造：告别重复格局调理，分钟级制造专业 PPT
  • 企业工作 – 石墨文档：轻松完结多种类型写作，释放无限发明力。

视频链接（PPT 制造、数字人主播一键开播等数十种运用场景惊艳到我了）：www.zhihu.com/zvideo/1665…

2.文心千帆优势

• 基础强壮、常识丰厚 文心千帆渠道基于百度智能云，选用飞桨深度学习框架作为底层支撑，并内置文心大模型技能。用户经过少量数据调整，可轻松获得高精度和高功用的大模型。

• 流程完善、发布快捷 供给一站式服务，涵盖数据集办理、模型练习、服务发布与监管。经过可视化界面完结模型全生命周期办理，简化从数据到服务的大模型实施进程，易于上手与了解。

• 运转稳定、共建生态 文心千帆具有完整技能栈、长期稳定的模型开发引擎以及杰出功用。渠道低技能门槛，适合各行各业接入，助力完结职业大模型的开发建造。

• 安全可靠、一键启用 文心千帆供给文心一言企业级服务，结合百度智能云安全操控机制及文心底层内容安全功用，对推理内容进行审核与敏感词过滤，确保安全可信。

3.快文心千帆大模型渠道运用指南

• 前提条件：要运用百度文心千帆大模型渠道，首先需求注册成为百度智能云用户。首先让用几分钟来注册百度智能云账号（如您已经是开发者，可直接登录运用）。

• 流程说明：文心千帆大模型渠道覆盖从数据办理、数据标示、模型开发、模型纳管、布置上线的 AI 才能研发与运用全生命周期建造和办理。接入文心大模型算法和敞开第三方业内知名的模型算法，下降全流程 AI 开发门槛。

• 完结步骤：在您完结注册后，能够登录到文心千帆大模型操作台，只需以下 6 个步骤即可快速完结大模型定制及测试作用的全进程。

[数据导入] -> [数据标示] -> [练习装备] -> [模型纳管] -> [发布服务] -> [在线测试]

3.1数据导入

1. 需求您在左边功用栏选择 “数据服务> 数据集办理”，进入数据总览界面，选择创立数据集。

2. 进入 “创立数据集” 界面，填写数据集称号后，标示类型选择文本对话 – 非排序类型，“创立并导入”。

3. 在导入装备中，按实际需求填写导入方法以及对应的格局或途径，上传无标示文件或许链接内容等，承认即可。

3.2 数据标示

当光标移动至答复框，会有 “主动生成” 按钮，答复支持调用渠道的 LLM 模型为问题生成对应答复，可在左上角切换模型。

• 您能够选择主动生成答复或手动生成答复，答复生成后 “保存标示” 即可。
• 标示好的文本数据，将会在 “有标示信息” 页签下展示。

3.3 练习装备

1. 需求您在左边功用栏中选择 “大模型练习> 大模型调优” 中创立调优使命，进入模型预备界面，按实际状况进行模型选择、模型称号、所属职业、运用场景和事务描绘的选择或填写。

2. 点击 “创立并练习”，持续完善调优使命，完善练习装备和参数调整（ERNIE-Bot-turbo 为例）。

3. 选择 [3.1] 中创立的数据集进行导入。

4. 以上步骤都完结后，点击 “确定” 按钮，即可进入自定义模型的练习，当使命概况中的模型运转显现“运转完结”，则表示模型练习成功。

3.4 模型纳管

选择 [3.3] 运转中的 “发布”，填写新模型发布相关内容，将模型纳入模型办理模块。

3.5 发布服务

1. 需求您在左边功用栏中选择 “猜测服务> 在线服务”，选择“发布新服务” 按钮，或许直接在 [3.4] 模型概况中的版别列表页，选择指定模型 “布置”。

2. 按照实际需求，进行服务装备和资源装备。

3. 发布成功后，“猜测服务> 在线服务” 中即可列表展示服务内容。

**发布公有云服务，将练习完结的模型布置在百度云服务器，经过 API 接口调用模型。

3.6 在线测试

在 “猜测服务> 在线测试” 中，选择自练习模型和参数装备，进行在线测试。

如果需进行 “运用创立、调用服务和检查用量”，可移步至操控台。

4. SFT(有监督微调) 概述

4.1SFT简介

监督微调（SFT）是指选用预先练习好的神经网络模型，并针对你自己的专门使命在少量的监督数据上对其进行重新练习的技能。在千帆渠道上已经预置了 ERNIE-Bot 系列大模型和 BLOOM 系列大模型。

• SFT 在大言语模型中的运用有以下重要原因：

  • 使命特定功用进步：预练习言语模型经过大规划的无监督练习学习了言语的统计形式和语义表示。但是，它在特定使命上的功用或许不如在大规划无监督数据上体现出的功用。经过在使命特定的有标签数据上进行微调，模型能够进一步学习使命相关的特征和形式，然后进步功用。

  • 范畴适应性：预练习言语模型或许在不同范畴的数据上体现不一致。经过在特定范畴的有标签数据上进行微调，能够使模型更好地适应该范畴的特别术语、结构和语义，进步在该范畴使命上的作用。

  • 数据稀缺性：某些使命或许受制于数据的稀缺性，很难获得大规划的标签数据。监督微调能够经过运用有限的标签数据来练习模型，然后在数据有限的状况下获得较好的功用。

  • 防止过拟合：在监督微调进程中，经过运用有标签数据进行有监督练习，能够削减模型在特定使命上的过拟合危险。这是由于监督微调进程中的有标签数据能够供给更详细的使命信号，有助于约束模型的学习，防止过多地拟合预练习进程中的无监督信号。

4.2 LLM 大言语模型SFT数据预备

为每个示例预备文本输入和标签，以问答形式出现，如下所示：

• 问题: 维珍澳大利亚何时开端运营？背景: 维珍澳大利亚，是维珍澳大利亚航空有限公司的交易称号，是一家总部设在澳大利亚的航空公司。它是运用维珍品牌的最大机队规划的航空公司。它于 2000 年 8 月 31 日作为维珍蓝航空公司开端运营，在一条航线上有两架飞机。在 2001 年 9 月安捷澳大利亚公司关闭后，它突然发现自己成为澳大利亚国内市场的一家首要航空公司。此后，该航空公司发展到直接服务于澳大利亚的 32 个城市，从布里斯班到墨尔本和悉尼的纽带。

• 回应: 维珍澳大利亚于 2000 年 8 月 31 日以维珍蓝的名义开端供给服务，在一条航线上运用两架飞机。

问答格局能够处理成多种文件格局, 例如 JSONL, Excel File, CSV; 核心是要保持两个独立的字段, 即问题和答案。
能够从公开网络下载指令数据模板, 并测验替换内容: huggingface.co/datasets/BA…

4.3 Prompt 优化

• prompt 优化首要在练习阶段，用于增强指令的多样性，让模型更好的了解指令

  • 猜测阶段的 prompt 优化首要用于无法进行 finetune 的场景，例如 chatgpt/yiyan.baidu.com 等。

  • 对于特定下流使命，猜测阶段建议与练习阶段保持一致或许挨近的 prompt，能够暂时忽略猜测阶段的 prompt 优化。

• 恰当构建 few shot 及 COT(Chain of Thought) 数据参加练习，能够有助于模型的指令了解以及多轮对话才能。

4.4 数据规划、数据多样性

在 SFT 上数据规划的重要性低于数据质量, 通常 1 万条左右的精标数据即可发挥杰出的作用。
在扩展数据规划时需求留意数据多样性，多样性的数据能够进步模型功用。
多样性除了从原始数据中获取，也能够经过 prompt_template 方法构建，对 prompt 指令进行数据增强，比如中文翻译英文的指令能够拓宽为，中译英，翻译中文为英文等相同语义的指令。
在不扩展提示多样性的状况下扩展数据量时，收益会大大削减，而在优化数据质量时，收益会明显添加。

4.5 数据质量

选择质量较高的数据，能够有用进步模型的功用。

数据质量用户需尽量自己把控，防止出现一些错误，或许无意义的内容。尽管渠道也能够供给数据质量挑选的才能，但不可防止出现错筛的状况。
数据质量能够经过 ppl、reward model，文本质量分类模型等方法进行开始评价。经过人工进行后续挑选。

选择 SFT 的超参数[]

• EPOCH 影响比 LR 大，能够依据数据规划恰当调整 EPOCH 大小，例如小数据量能够恰当增大 epoch，让模型充分收敛。

  • 例如：EPOCH：100 条数据时, Epoch 为 15，1000 条数据时, Epoch 为 10，10000 条数据时, Epoch 为 2。
  • 过高的 epoch 或许会带来通用 NLP 才能的忘记，这里需求您依据实际需求核定，若您只需求下流才能进步，则通用 NLP 才能的略微下降影响不大。若您十分在乎通用 NLP 才能，渠道侧也供给过来种子数据来尽或许确保通用 NLP 才能不下降太多。

• 恰当添加 global batch_size ：如添加 accumulate step 32 64，当分布式节点增多时能够进一步添加 batch_size，进步吞吐。

• 学习率 (LR, learning Rate): 对于 ptuing/lora 等 peft 练习方法，同时能够恰当增大 LR。

5.总结

本文首要目的是布道：文心千帆大模型渠道(一站式企业级大模型渠道，供给先进的生成式AI生产及运用全流程开发工具链)，期望国产化大模型越来越好。更多内容请参考官网文心千帆大模型渠道

• 强壮的技能才能：文心千帆大模型渠道选用了最先进的人工智能技能，具有强壮的自然言语处理和机器学习才能，能够为用户供给高质量的文本生成和语义了解服务。

• 丰厚的模型库：文心千帆大模型渠道具有丰厚的模型库，涵盖了多种言语和范畴，能够满意不同用户的需求。

• 杰出的用户体会：文心千帆大模型渠道的用户界面简洁明了，操作简单方便，用户能够快速上手。此外，渠道还供给了丰厚的文档和教程，帮助用户更好地了解和运用渠道。

• 杰出的安全性：文心千帆大模型渠道选用了严厉的安全措施，保证了用户数据的安全性，让用户能够放心运用渠道。

• 参考文献：

文心千帆大模型渠道

更多优质内容请关注公号：汀丶人工智能；会供给一些相关的资源和优质文章，免费获取阅读。