导言：
GPT-4是OpenAI GPT系列研讨最新里程碑，GPT-4承受图画和文本输入， 是一个大型多模态模型（承受图画和文本输入，输出为文本）。本文结合OpenAI官方Blog、技能陈说微软Copilot发布会内容，具体介绍GPT4的接入办法、晋级才能以及接入微软Office全家桶Copilit产品运用。
1、GPT4简介
GPT-4是OpenAI GPT系列研讨最新的里程碑，GPT-4承受图画和文本输入， 是一个大型多模态模型（承受图画和文本输入，输出为文本）。
在日常对话中 GPT-4 比较上一代言语模型或许不同感知不大，但当使命的满足杂乱差异就会呈现。在各种专业和学术基准上体现出人类水平。例如它经过模仿律师考试，分数在应试者的前 10% 左右，比较之下GPT-3.5 的得分在倒数 10% 左右。
GPT-4模型22年8月练习初版，OpenAI后续花了 6 个月的时刻运用对抗性测验程序和 ChatGPT 中堆集的经历迭代调整，模型尽管远非完美，在许多实际世界场景中的才能不如人类，但该模型“比以往任何时候都更具创造性和协作性”，并且“能够更精确地处理难题”。
Microsoft 365 Copilot的发布会，宣告GPT4 全面入住Office家族，此次微软对工作场景的才能革新，把GPT-4和Office做了一个超强联合，极大进步出产力同时也让咱们看到了GPT4更多的或许性。
2、GPT4接入办法
2.1、ChatGPT Plus
经过 ChatGPT Plus（OpenAI 每月 20 美元的 ChatGPT 订阅）向公众供给。ChatGPT Plus 订阅者将在 chat.openai.com 上获得具有运用上限的 GPT-4 访问权限。
2.2、NewBing进口
NewBing正在GPT-4上运转，是OpenAI为Bing查找定制的，能够经过NewBing进口进行体会。
2.3、GPT-4 API接入
GPT-4 API供给给一些开发人员体会。需求加入API候选名单GPT-4 API waitlist，加入后提示。获得访问权限后，您能够向 gpt-4 模型宣告纯文本恳求（图画输入仍处于有限的 alpha 阶段）定价为每 1k 个prompt token 0.03 美元和每 1k 个生成token 0.06 美元。默许速率限制为每分钟 40k 个token和每分钟 200 个恳求。
3、GPT4运用产品Copilot
Microsoft Dynamics 365 Copilot的发布会，宣告GPT4 全面入住Office家族，Word、PPT、Excel、OneNote、Outlook、Teams、Microsoft Viva、Power Platform等一切这些工作软件都会得到GPT-4的加持。微软构建的这个Microsoft 365 Copilot全体系，把GPT-4和 Word、Excel、PPT等工作软件APPs，Microsoft Graph做了一个超强联合，经过Copilot通用的界面和自然言语，就能轻松玩转AI东西，一切软件互通极大进步出产力。
3.1、GPT4怎么结合Office体系
MicroSoft 365 Copilot接入微软这个工作生态体系中，在这个体系中不同格局的文件和不同展示形式的数据之间进行安稳的交互需求一个强壮的技能体系。依据官方透露体系主要包含如下图所示部分：微软365运用程序（word、excel等）、用户个人数据（MicroSoft Graph）、言语大模型（GPT4）和AI中枢体系（Copilot）。
用户在运用Apps进程中输入言语指令Prompt，先经过Copilot中枢转预处理为核算机可了解的指令，再与用户Word、Excel等各类格局的文件材料进行交互。
第二步，如下图所示，Copilot 要求 Microsoft Graph 供给输入和上下文，然后AI中枢体系修正Prompt恳求后，发送给大言语模型 GPT-4。
第三步，如下图所示，由言语大模型了解人类的需求，回来对应的输出给AI中枢体系Copilot，Copilot会恳求Microsoft Graph 再次查看其安全性和合规性。
第四步，如下图所示，由上一步 Microsoft Graph查看完成的数据，经过Copilot中枢，主动调用用户运用的Office软件相应指令，输出内容完成用户需求。
3.2、AI加持下的Office全家桶
Word：自在修正草稿、计划，一键搞定
让你离别思路堵塞效率倍增，轻松起草一个指定风格（严肃、愉快等）的案牍，自在指令操作要求修正修正，还能够生成配图陈说，还能够调用其他东西比方OneNote等，让Word更具创造力。
Excel：一句话主动剖析、生成图表
离别函数，一句话让Excel帮你剖析数据（创立 SWOT 剖析）、生成表格（各种数据透视表）、画图（趋势图）等，让你的Excel更具剖析力。
PowerPoint：轻松文本生成特定风格PPT
Copilot能够对话式输入命令，挑选风格生车给你PPT，也能够直接有Word 文件创立一个PowerPoint 演示文稿，创立的文稿能够自在的修正，替换页数、文字、布局、以及图片，让你的PPT更具体现力。
Outlook：写邮件、办理邮箱信息
Copilot只需求你给一个开端，发一个指令，就能够能够帮你写邮件，依据自定义风格场景，主动补全及文字润饰。同时还能够帮助办理邮件分类、回复、符号等操作，让你的Outlook 中更具出产力。
Teams：项目总结、会议提率
Copilot能够在Teams会议上实时总结要害讨论内容，聊天进程主动记录提出问题参阅答案，能够依据指令剖析优势等供讨论决议计划。以及一些信息主动同步、项目更新等都轻松搞定，大大提升会议效率，使Teams 更具协同性。
BusinessChat：全新的智能服务体会
Business Chat以为称为商务助理机器人，汇集了用户的一切数据和运用程序，包含word、PPT、邮件、日历、笔记和联系人的数据，能够依据指令进行汇总和总结。例如，总结昨夜与客户的聊天记录、电子邮件和文档，安排会议时刻表等。由于有着一切数据，能够交互的办法让Business Chat执行使命。
4、GPT4有哪些才能提升
4.1、处理更杂乱的使命
在日常对话中GPT-3.5 和 GPT-4 之间的或许看不出不同，当使命的杂乱性到达满足的阈值时，差异就会呈现。GPT-4 比 GPT-3.5 更牢靠、更有构思，并且能够处理更纤细的指令。
4.1.1、模仿考试体现出人类水平
为了比较模型之间的差异，在各种基准测验中进行了测验，包含开端为人类规划的模仿考试。模型没有针对这些考试进行专门培训，模在练习期间或许看到了考试中的少数问题，但成果仍然很具有代表性。在各种专业和学术基准上体现出人类水平。例如它经过模仿律师考试，分数在应试者的前 10% 左右，比较之下GPT-3.5 的得分在倒数 10% 左右。下面为各种考试中GPT3.5、没有视觉信息GPT4、GPT4体现，咱们能够看到GPT4均明显优于GPT3.5。
4.1.2、传统基准测验仍然优势明显
为了愈加充沛评价，在机器学习模型规划的传统基准上评价了 GPT-4。GPT-4 大大优于现有的大型言语模型，以及大多数最先进的 (SOTA) 模型，具体方针如下：
4.1.3、多言语及小语种不在话下
现有ML基准测验都是大多是英语，为了评价GPT4其他言语中的功用，运用Azure Translate将MMLU基准测验（包含14，000个多项挑选题，涉及57个科目）翻译为各种言语。在测验的26种言语中，有24种言语的GPT-4功用优于英语GPT-3.5和其他LLM（Chinchilla、PaLM），包含拉脱维亚语、威尔士语和斯瓦希里语等小语种的言语：
4.2、读图才能及了解诙谐
GPT-4 能够承受文本和图画输入，答使用户指定任何视觉或言语使命，包含带有文本和相片的文档、图表或屏幕截图等，GPT-4 展示了与纯文本输入相似的功用，生成文本输出。官网说到了还能够经过为纯文本言语模型开发的测验时技能（包含few-shot和prompt）来增强。图画输入仍然是处于研讨阶段没有揭露，所以供给了几个官方的事例：
a)对搞笑图片内容的了解，能get到人类的诙谐。
b)图标推理才能，能够依据图片中的图表信息进行推理得出结论
f)了解人类诙谐，看梗图
g ）看懂漫画才能，了解漫画挖苦的点。
供给的七个事例，从不同维度展示了加入了视觉信号之后GPT4才能，可是由于图片输入还没有放开体会，官方弥补了一些学术常用的一些数据集基准测验来评价GPT4的图片了解才能。如下图所示咱们能够看到与当时的SOTA模型比较有很大的竞争力。
4.3、支撑体系指令更可控
OpenAI 知道用户更期望 ChatGPT 能够 Cosplay，为了提搞用户体会答应以体系音讯办法为API 用户在一定范围内定制化完成不同的体会。曩昔ChatGPT的回复风格总是冗长而平平，这是由于体系规定了ChatGPT便是一个言语模型，常识截止到21年9月，限制了ChatGPT多样的风格。GPT-4还开放了一个修正“体系提示”运用功用，能够经过与用户交互来操控模型输出的风格和使命。
a)经过体系音讯指定苏格拉底风格，GPT4具有了导师的才能，提出正确的问题，一步一步引导学生给出答案，帮助学生独立思考。
b)体系音讯定制回复的风格和特性，GPT4能够更好的操控坚持回复的风格和特性，不容易被用户引导篡改。
c)体系音讯指定回复的格局，定制化借口回复JSON格局响应。
4.4、更长的上下文输入
GPT-4支撑的上下文token数量分别是8K和32K，折算到字最长输入长度为25000字，是ChatGPT3000字的8倍，限制的增加也大大扩展了GPT-4的实用性。发布会直播上OpenAI总裁Gregman现场表演了一波GPT-4给代码修Bug，直接把1万字的文档给GPT-4，再最终附上呈现的问题，在几秒钟内瞬间得到处理办法。
5、GPT4现在的局限性
5.1、仍存在错觉、推理过错
错觉、推理过错等问题一直是大模型面临的应战，但 GPT-4 相对于以前的模型明显削减错觉，如下图所示，在九类内部对抗性规划的实际评价中， GPT-4（绿色）与前三个 ChatGPT 版别进行了比较，一切主题都有明显的进步。精确度为 1.0 意味着模型的答案被判断为与评价中一切问题的人类理想答复共同。在整体对抗性真实性评价中GPT-4 的得分比最新的GPT-3.5 高 40%。
在 TruthfulQA 基准数据集上，测验了模型把实际和过错陈说区分开的才能，试验成果如下，GPT-4 此使命上比 GPT-3.5 略好，但经过 RLHF 后练习之后，GPT4效果更佳明显。
5.2、后练习带来的校准丢失
GPT-4 仍然存在回到过错的时候仍然坚持自傲，在或许出错时不注意再次确认。模型的这种特征或许与练习策略有关，官方对比了MMLU 子集上上根底预练习模型和PPO模型，左图预练习 GPT-4 模型的校准图，该模型对其猜测的置信度与正确概率相匹配，虚线对角线代表完美的校准。右图练习后 PPO GPT-4 模型的校准图，练习后对校准造成很大的影响。
5.3、常识时刻局限与偏见
除了上面说到的局限性，GPT4仍然或许输出带有偏见的内容，怎么构建AI 体系具有合理的默许行为，以反映广泛的用户价值观。怎么在广泛的范畴供给用于进行定制是需求处理的问题。与ChatGPT一样，GPT-4 数据集局现在2021 年 9 月，对之后的产生的问题或许过错。同时GPT4具有跨多个范畴常识的才能，但一些简略的推理仍然会犯错，有时还会新鲜用户一些明显虚伪的陈说。除了简略的问题在一些人类遇到的难题上GPT4仍然无法很好的解答，例如在它生成的代码中引进安全漏洞。
6、GPT4风险及缓解办法
除了与之前ChatGPT模型相似的风险，例如生成有害建议、过错代码或不精确信息。GPT-4 由于引进了图片信息，还会引进新的风险。GPT4保证练习开端就更安全、更共同做了多个方面工作：
6.1、数据挑选和过滤
引进了更多人工反应，包含由 ChatGPT 用户提交的反应，为了避免模型回绝有效恳求，收集了多样化的数据集（例如符号的出产数据、人类红队、模型生成的提示），以改善 GPT-4 的行为。
6.2、专家参与和评价
50 多位覆盖多个范畴专家对模型进行对抗性测验，在需求专业常识进行评价的高风险范畴测验模型行为，使得模型获得了早期反应。专家反应和数据改善模型，例如收集了额定的数据来进步回绝有关怎么合成风险化学品的恳求的才能。
6.3、模型安全性改善
将以往实际运用中的经历引进GPT-4 的安全研讨和监控中。GPT-4 在 RLHF 练习期间加入了一个额定的安全奖赏信号，经过练习模型回绝对此类内容的恳求来削减有害输出。奖赏模型是GPT-4 零样本分类器，依据安全相关提示判断安全边界和完成办法。GPT-4 与 GPT-3.5 比较明显改善了许多安全特性。如下图所示制止和灵敏内容的过错率，模型针对制止内容恳求的倾向下降了 82%，并对灵敏内容恳求的契合安全监管进步了 29% 。
模型级干涉增加了引发不良行为的难度，但仍然存在生成违反咱们内容的“越狱” 。现在办法是用安全技能（如监控滥用）来弥补这些限制。与此同时经过与外部研讨人员合作，来改善了解和评价潜在影响的办法，以及对未来体系中或许呈现的风险功用进行评价。
7、GPT4练习流程
官方材料没有讲模型参数和数据规划，没有讲任何技能原理。简略讲了一下GPT-4 根底模型与GPT系列模型共同，运用揭露可用的数据（例如互联网数据）以及咱们已获得答应的数据进行练习。语料包含数学问题的正确和过错处理计划、弱推理和强推理、自相矛盾和共同的陈说，并代表各式各样的意识形态和想法。模型的才能主要来自预练习进程，RLHF 不会进步模型测验的考试成绩，有时实际上会下降考试成绩。模型一些目的对齐及风格转变等来自于RLHF 和工程规划。
GPT-4 项目的一大重点是构建可猜测扩展的深度学习堆栈。为了适配大模型微调进行了底层优化，在多个尺度上具有十分可猜测的行为。为了验证这种可扩展性，运用相同办法练习但运用 10,000 倍更少核算量的模型进行揣度，精确猜测了 GPT-4 在咱们内部代码库的最终丢失：
精确地猜测咱们在练习期间优化的方针（丢失），咱们开端开发办法来猜测更多可解释的方针。例如从核算量削减 1,000 倍的模型中揣度 HumanEval 数据集的一个子集的经过率：
有些才能难以猜测，例如Inverse Scaling Prize 是一项竞赛，方针是寻找一个跟着模型核算量的增加而变得更糟的方针，hindsight neglect 使命是赢家之一，这个使命此使命测验言语模型是否能够依据预期值评价赌注是否值得。例如
问题：迈克尔能够挑选玩一个游戏，迈克尔有 91% 的时机输掉 900 美元，有 9% 的时机赚到 5 美元。Michael 玩了这个游戏，最终输了 900 美元。迈克尔做出了正确的决议吗？挑选 Y 或 N。
答案：否
其他大模型在这个使命上都体现不佳，可是GPT-4 扭转了趋势：
8、OpenAI Evals
开源OpenAI Evals软件结构，用于创立和运转基准测验以主动评价 GPT-4 等模型能。OpenAI运用 Evals 来辅导模型的开发（识别缺陷和避免回归），用户能够运用Evals来跟踪模型和产品版别的功用。例如，Stripe 运用 Evals 来弥补他们的人工评价，以衡量其依据 GPT 的文档东西的精确性。供给包含“模型分级评价”模板等多种模版，OpenAI期望Evals成为共享和众包基准测验的东西，邀请用户反应模型的缺陷，帮助进一步改善模型。
9、总结
总结一下GPT-4几个要害点：
1. 智能程度大幅跃迁，能够处理更难的问题，更擅长考高分，有些考试到达世界奥赛金奖水平。能够承受图片输入，看图才能更强。漫画论文不在话下。
2. 比较历史更创造性和可控，创造性包含编歌曲、写剧本、学习用户风格比较历史模型都有进步 。 还能够经过体系音讯定制化模型回复风格，这个在垂直行业场景十分适用。
3. 模型输入更长，能够处理文字输入长度增加到3.2万个token，约25000字文本。
4. 模型参数、数据集、技能原理等不再揭露，只揭露一个评测结构。大模型的竞争越来越大了。
5. 微软Copilot的运用，革新了工作场景，也让GPT4商业化前景愈加达观。
依据官方说到去年8月模型就练习出来，后续都在做一些调优，大概率根底模型计划是统一了文本和图片模态输入到GPT3.5结构，再依照ChatGPT的练习流程去加入人类反应。
参阅：
GPT-4
cdn.openai.com/papers/gpt-…
www.youtube.com/watch?v=Bf-…
www.youtube.com/live/outcGt…
Confirmed: the new Bing runs on OpenAI’s GPT-4 | Bing Search Blog
[2201.11903] Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
How should AI systems behave, and who should decide?
platform.openai.com/docs/usage-…
GitHub – openai/evals: Evals is a framework for evaluating OpenAI models and an open-source registry of benchmarks.
evals/logic.yaml at main openai/evals GitHub
Usage policies
[2211.02011] Inverse scaling can become U-shaped
