前语

从我一开始触摸ChatGPT，发现网上的科普文章要么是蹭热度，简略介绍了一下布景而没有实质性内容。要么便是从人工智能从业者视点动身对技能和模型的深度解读，关于我这种Web运用开发者或许普通人来说也超纲了。所以花了一些时刻了解学习，结合官方文档整理出这篇内容，旨在协助大家：

  • 了解和测验GPT。
  • 了解OpenAI都敞开了哪些模型，怎么挑选合适的模型。
  • 了解OpenAI API都有哪些、各API对应的模型是哪些、拜访API有哪些约束。
  • 了解怎么运用GPT或其它模型来扩展自己的运用才能。
  • 熟悉一些要害概念和名词。

留意，本文不会介绍下面列出的内容，假如您有需求能够去搜搜其他相关文章：

  1. 怎么注册登录ChatGPT。
  2. OpenAI API在代码层面的具体调用办法。

假如你还不了解它是什么，咱们能用它做什么，那就来看看这篇文章吧。

正文部分或许有点长，假如想快速概览的朋友能够直接跳到终究总结部分，然后再依据自己的需求去检查对应的章节。

码字不易，假如文章对你有协助，请不吝点赞。你的认但是对我最大的支撑，谢谢各位！如有主张和疑问能够评论区留言。

ChatGPT是什么？

ChatGPT是由OpenAI（一家非营利性人工智能研究公司）开发的一种人工智能运用。

ChatGPT是依据GPT模型的一种运用，它是一种面向对话体系的言语模型。具体来说，ChatGPT是一个运用GPT模型进行练习和优化的对话生成模型，能够用于实现智能客服、谈天机器人等运用场景。

GPT（Generative Pre-training Transformer）是一种依据Transformer结构的预练习言语模型，由OpenAI开发，经过大规模的语料库预练习得到通用的言语表明，能够用于各种自然言语处理使命中。GPT模型在自然言语处理领域中取得了很好的作用，特别是在文本生成和文本分类等使命中体现出了强壮的才能。

ChatGPT则是在GPT模型基础上进行了一些修正和调整，以适应对话生成使命的需求。比方，ChatGPT在练习时采用了愈加针对性的语料库，能够包含谈天记录、交际媒体数据等对话相关的语料，从而进步对话生成的质量。此外，ChatGPT还经过对话前史的建模和对话战略的规划，进一步优化了对话生成的作用。

因而，能够说ChatGPT是GPT模型的一种运用，它经过对GPT模型进行修正和优化，实现了面向对话体系的言语生成才能。

ChatGPT、OpenAI是什么？API都有哪些？我们能用GPT做什么？一文给你解释清楚！

OpenAI模型总览

上面咱们了解到了ChatGPT是依据GPT这个模型的一种运用。其实OpenAI敞开的模型并不是只要GPT一种，这一章节就分类汇总了各个模型，以及怎么挑选。

下个章节会有每种模型的具体解读，假如感兴趣能够直接经过目录跳转检查。

下面表格展现的是OpenAI敞开的首要模型：

模型 阐明
GPT-4（限定测验） 一组在GPT-3.5上改善的模型，能够了解并生成自然言语或代码
GPT-3.5 一组在GPT-3上改善的模型，能够了解并生成自然言语或代码
DALLE（公测） 一个能够在自然言语提示下生成和修正图画的模型
Whisper（公测） 一个能够将音频转化为文字的模型
Embeddings 一组能够将文本转换为数字办法的模型
Moderation 一个经过微调的模型，能够检测文本是否灵敏或不安全
GPT-3 一组能够了解和生成自然言语的模型
Codex（已弃用） 一组能够了解和生成代码的模型，包含将自然言语转换为代码

GPT-4 限定测验

一个具有比之前任何模型都更高的精准度的能够处理杂乱问题的大型多模态模型。当前支撑接纳文本输入和发送文本输出，未来会支撑图片输入。具有更广泛的通用常识和先进的推理才能。像gpt-3.5-turbo相同，GPT-4针对谈天进行了优化，但也适用于传统的补全使命。

最新模型 阐明 最大tokens 练习数据
gpt-4 比任何GPT-3.5模型都更强，能够完结更杂乱的使命，并针对谈天进行了优化。将运用咱们最新的模型迭代进行更新。 8192 tokens 截止2021年9月
gpt-4-0314 gpt-4于2023年3月14日发布的快照。与gpt-4不同，该类型不会收到更新，仅在到2023年6月14日的三个月内供给支撑。 8192 tokens 截止2021年9月
gpt-4-32k 功用与根本GPT-4办法相同，但上下文长度是GPT-4办法的4倍。将运用咱们最新的模型迭代进行更新。 32768 tokens 截止2021年9月
gpt-4-32k-0314 2023年3月14日GPT-4-32的快照。与gpt-4-32k不同，该类型不会接纳更新，而且仅在2023年6月14日结束的三个月内受支撑。 32768 tokens 截止2021年9月

想了解tokens具体代表什么以及怎么核算tokens数量，能够从目录直接导航到文章终究的附录部分，检查要害概念和名词解释。

关于许多根本使命，GPT-4和GPT-3.5模型之间的差异并不显著。但是，在更杂乱的推理场景下，GPT-4比之前的任何模型都更强。

GPT-3.5

GPT-3.5模型能够了解和生成自然言语或代码。在GPT-3.5系列中功用最强壮、性价比最高的类型是GPT-3.5-turbo，它已针对谈天进行了优化，但也适用于传统的补全使命。

最新模型 阐明 最大tokens 练习数据
gpt-3.5-turbo 最强壮的GPT-3.5模型，并针对谈天进行了优化，本钱为text-davinci-003的1/10。将运用咱们最新的模型迭代进行更新。 4096 tokens 截止2021年9月
gpt-3.5-turbo-0301 来自2023年3月1日的gpt-3.5-turbo快照。与gpt-3.5-turbo不同，该类型不会收到更新，仅在到2023年6月1日的三个月内供给支撑。 4096 tokens 截止2021年9月
text-davinci-003 与curie、babbage或ada模型比较，能够以更好的质量、更长的输出和一致的指令遵从来完结任何言语使命。还支撑在文本中刺进补全。 4097 tokens 截止2021年6月
text-davinci-002 与text-davinci-003类似的功用，但运用有监督的微调而不是强化学习进行练习 4097 tokens 截止2021年6月
code-davinci-002 针对代码补全使命进行了优化 8001 tokens 截止2021年6月

引荐运用gpt-3.5-turbo而不是其他GPT-3.5模型，由于它的本钱更低。

GPT-3

GPT-3模型能够了解并生成自然言语。这些模型被更强壮的GPT-3.5模型所替代。但是，开始的GPT-3根本模型（davinci、curie、ada和babbage）是现在唯一能够微调（Fine-tuning）的模型。

最新模型 阐明 最大tokens 练习数据
text-curie-001 比Davinci才能更强、速度更快、本钱更低。 2049 tokens 到2019年10月
text-babbage-001 能够完结简略的使命，速度十分快，本钱更低。 2049 tokens 到2019年10月
text-ada-001 能够完结十分简略的使命，一般是GPT-3系列中速度最快的类型，本钱最低。 2049 tokens 到2019年10月
davinci 最强壮的GPT-3类型。能够完结其他类型能够完结的任何使命，一般质量更高。 2049 tokens 到2019年10月
curie 才能很强，但比Davinci更快、本钱更低。 2049 tokens 到2019年10月
babbage 能够完结简略的使命，速度十分快，本钱更低。 2049 tokens 到2019年10月
ada 能够完结十分简略的使命，一般是GPT-3系列中速度最快的类型，本钱最低。 2049 tokens 到2019年10月

DALLE 公测

DALLE能够经过自然言语描绘来生成传神的图画和艺术作品。现在支撑在给定提示的状况下创立特定尺度的图画、修正现有图画或创立用户供给的图画的变体。

Whisper 公测

Whisper是一个通用的语音辨认模型。经过大型音频数据集练习，一起也是一个多使命模型，可执行多言语语音辨认、语音翻译。

现在，Whisper的开源版别和经过API供给的版别之间没有差异。但是，经过API运用，会供给一个优化的推理过程，这使得经过API运转Whisper比经过其他办法运转要快得多。

Embeddings

Embeddings是文本的数字表明，能够用来衡量两段文本之间的相关性。第二代embedding模型text-embedding-ada-002旨在以很小的本钱替代之前的16个第一代嵌入模型。Embeddings关于查找、聚类、引荐、异常检测和分类使命十分有用。

它经过将文本中的每个词或字符映射到一个数学空间中的向量，从而将文本数据转换为一系列数字。这些数字能够用于核算机进行各种文本处理使命，例如辨认文本中的情感、分类文本的主题、生成新的文本等。

类似于人类学习言语时将词语与词义关联的过程，Embeddings模型经过学习从文本数据中抽取语义信息的办法，将文本中的词语或字符映射到向量空间中的方位。这样，核算机能够经过比较这些向量之间的间隔和类似性来了解文本数据中的语义联系，从而进行各种文本处理使命。

典型的运用场景：

  • 将整篇文档嵌入后，能够做文本或信息检索。
  • 将句子阶段嵌入后，能够做问答体系。

Moderation

Moderation模型旨在检查内容是否契合OpenAI的运用战略。模型供给了分类功用，能够查找以下类别的内容：仇视、仇视/要挟、自残、性、性/未成年人、暴力和暴力/图画。

模型接受恣意大小的输入，该输入会主动分解以修复特定于模型的上下文窗口。

模型 阐明
text-moderation-latest 最有才能的moderation模型。精度将略高于安稳模型
text-moderation-stable 简直和最新类型相同好用，但略微老了一点。

Codex 已弃用

Codex模型现在已被弃用。它们是GPT-3模型的子孙，能够了解并生成代码。练习数据包含自然言语和来自GitHub的数十亿行公共代码。通晓Python，通晓十几种言语，包含JavaScript、Go、Perl、PHP、Ruby、Swift、TypeScript、SQL，甚至Shell。下面这些Codex模型现在现已弃用了：

最新模型 阐明 最大tokens 练习数据
code-davinci-002 最强壮的Codex模型。特别擅长将自然言语翻译成代码。除了补全代码外，还支撑在代码中刺进补全。 8001 tokens 到2021年6月
code-davinci-001 code-davinci-002的早期版别 8001 tokens 到2021年6月
code-cushman-002 简直和Davinci Codex相同强壮，但速度略快。这种速度优势或许使其更适合实时运用。 2048 tokens —
code-cushman-001 code-cushman-002的早期版别 2048 tokens —

Codex为什么被弃用？

Codex是GitHub推出的一种依据GPT模型的代码主动补全东西，它能够依据上下文代码片段主动生成下一个代码片段，协助开发人员进步编程效率。但是，GitHub于2021年8月宣布中止支撑Codex，2023年3月正式弃用。

GitHub中止支撑Codex的首要原因是与GPT-3的运用许可证相关。GPT-3由OpenAI开发和具有，并经过独占式许可证授权给了一些合作伙伴，包含GitHub。但是，在2021年6月，OpenAI宣布中止向新的合作伙伴授权GPT-3的许可证。这意味着，即使GitHub想要继续运用Codex，也无法再取得GPT-3的授权许可。

别的，Codex自身的一些约束也或许导致其被弃用。例如，它只能处理少数的编程言语，无法支撑所有的编程言语和库。此外，由于代码的语法和语义十分杂乱，Codex生成的代码或许不契合编码规范和最佳实践，或许会导致潜在的安全问题。

综上所述，Codex被Deprecated或许是由于许可证问题和其自身的局限性所致。虽然GitHub已中止支撑Codex，但它的开发思想和技能仍然具有参考价值，并或许在未来的代码主动补全东西中得到更好的开展。

虽然Codex被弃用了，但OpenAI主张所有用户从Codex切换到GPT-3.5 Turbo，它既能够完结编码使命，又能够弥补灵敏的自然言语功用。

模型和接口端点兼容性

这儿介绍的是不同版别或类型的OpenAI模型与API接口端点（Endpoint）之间的兼容性。由于OpenAI会不断更新和改善其模型和API，或许会有多个不同的模型版别或类型可供运用。协助你挑选合适的模型版别与API接口端点进行配对，以保证它们能够兼容并正确作业。

你能够依据下面表格来判断具体要运用的API是哪一个：

API 模型
/v1/chat/completions gpt-4, gpt-4-0314, gpt-4-32k, gpt-4-32k-0314, gpt-3.5-turbo, gpt-3.5-turbo-0301
/v1/completions text-davinci-003, text-davinci-002, text-curie-001, text-babbage-001, text-ada-001, davinci, curie, babbage, ada
/v1/edits text-davinci-edit-001, code-davinci-edit-001
/v1/audio/transcriptions whisper-1
/v1/audio/translations whisper-1
/v1/fine-tunes davinci, curie, babbage, ada
/v1/embeddings text-embedding-ada-002, text-search-ada-doc-001
/v1/moderations text-moderation-stable, text-moderation-latest

各模型才能详解

Text Completion 文本补全

补全接口用于生成或操作文本。它为任何模型供给了一个简略但强壮的接口。你输入一些文本作为提示，模型会生成一个文本补全，企图匹配你给它的任何上下文或办法。

例如，你给API传入以下提示内容：

为一家冰淇淋店写一句标语。

它将回来补全的信息：

每一勺都带给您浅笑！

上面仅仅一个简略的比方，实际上模型能够做任何事情，从生成原始故事到执行杂乱的文本分析。正是由于它能够做任何事，所以你有必要清晰地描绘你想要什么。比较讲述而言，展现给它应该怎么答复往往是一个好的提示文本（Prompt）的诀窍。

创立提示文本（Prompt）有3个根本准则：

  • 描绘和展现。经过阐明、比方或两者的结合，清晰你想要什么。假如你想让模型按字母次序对项目列表进行排名，或许按情感对阶段进行分类，那么就向它展现你想要的。
  • 供给高质量的数据。假如你企图构建一个分类器或让模型遵从一个办法，请保证有满足的比方。一定要校正你的比方——这个模型一般满足聪明，能够看穿根本的拼写过错并给你一个回应，但它也或许以为这是故意的，它会影响你的回应。
  • 检查您的设置。temperature和top_p设置操控模型在生成呼应时的确认性。假如你要求它给出一个只要一个正确答案的答案，那么你应该把它们设置得更低。假如你正在寻找更多样化的回应，那么你应该把它们设置得更高。人们对这些设置的第一个过错是以为它们是“聪明”或“创造力”的操控。

Chat Completion 谈天补全

运用OpenAI的谈天API，你能够运用gpt-3.5-turbo模型和gpt-4模型构建自己的运用程序，来实现类似下面这些功用：

  • 写一封电子邮件。
  • 编写Python代码。
  • 答复有关一组文档的问题。
  • 创立对话代理。
  • 为您的软件供给自然言语接口。
  • 一系列学科的教导老师。
  • 翻译言语。

谈天模型将一系列音讯作为输入，并回来模型生成的音讯作为输出。

tokens管理

言语模型以块的办法读取文本，称为tokens。在英语中，一个token能够是一个字符或一个单词（比方a或许apple），而且在一些言语中tokens能够比1个字符更短或比1个单词更长。

比方，字符串”ChatGPT is great!”被编码为6个tokens：[“Chat”, “G”, “PT”, ” is”, ” great”, “!”]。

GPT模型在处理中文时，一般会采用字级别的拆分办法，行将中文文本中的每个汉字作为一个独自的token处理。这是由于中文词语之间没有像空格这样的显式分隔符，因而直接以词语作为token或许会导致分词不准确，影响模型的体现。

在API调用中的token总数会影响：

  • 你的API调用本钱是多少，按每个token支付。
  • API调用需求多少时刻，由于写入更多token需求更多时刻。
  • 你的API调用是否能正常作业，总tokens数量需求低于模型的最大约束。

输入和输出的token都计入这些数量。比方，假如你的API调用输入信息运用了10个token，然后你接纳到20个token的输出信息，你将被收取30个token的费用。

要检查API调用运用了多少令牌，请检查API呼应中的usage字段（例如，response[‘usage’][‘total_tokens’]）。

要在不调用API的状况下检查文本字符串中有多少token，请运用OpenAI的tiktoken Python库。示例代码能够在OpenAI Cookbook关于怎么运用tiktoken计数token的攻略中找到。

怎么辅导谈天模型

假如模型没有给出你想要的答复，请随时进行迭代并测验潜在的改善措施。比方以下办法：

  • 使你的提示阐明更清晰
  • 指定你想要的答案的格式
  • 告诉模型一步一步的考虑，或许在确认答案之前对正反两面进行判断

更多内容能够阅览OpenAI Cookbook攻略中有关进步可靠性的技能。

Chat比照Completions

由于gpt-3.5-turbo的性能与text-davinci-003类似，但每个令牌的价格只要text-davinci-003的10%，因而咱们主张在大多数用例中运用gpt-3.5-turbo。

Image generation 图画生成

运用DALLE模型生成或操作图画。

图画API供给了三种与图画交互的办法：

  1. 依据文本图画从头开始创立图画。
  2. 依据新的文本提示创立现有图画的修正。
  3. 生成现有图画的变体。

能够运用DALLE preview app来运转线上预览。

ChatGPT、OpenAI是什么？API都有哪些？我们能用GPT做什么？一文给你解释清楚！

ChatGPT、OpenAI是什么？API都有哪些？我们能用GPT做什么？一文给你解释清楚！

如上图所示作用，在自己的测验过程中，DALLE的生成和变体作用都不尽人意。在相同的提示内容下，与Midjourney比较生成的内容也略显粗糙。

下面测验一下图画修正的才能：

ChatGPT、OpenAI是什么？API都有哪些？我们能用GPT做什么？一文给你解释清楚！

首要我将头像下半部分内容擦除，作为修正的区域。然后输入提示语“在下方添加一个卡通作用的儿童笑脸”（这儿我运用了英文提示语，用中文似乎不好使），点击后边Generate按钮进行生成，能够得到下面的内容，一共有4张可选图片，我挑选了其中一个更靠谱一点的：

ChatGPT、OpenAI是什么？API都有哪些？我们能用GPT做什么？一文给你解释清楚！

修正图画的作用和前面生成和变体相同的粗糙，或许是我姿势不对。。。

Fine-tuning 微调

微调模型，为你的运用程序自定义模型。

Fine-tuning经过供给以下功用，使您能够更好地运用API供给的各种模型：

  1. 取得比经过提示规划更高质量的成果。
  2. 能够在超过提示范围的示例上进行练习。
  3. 由于更短的提示语而节约了token。
  4. 推迟更低的恳求。

假如你想运用自定义的微调后的模型，一般需求以下几个步骤：

  1. 预备并上传练习数据。
  2. 练习一个新的微调模型。
  3. 运用你的微调后的模型。

哪些模型能够被微调？

现在只支撑以下根本模型：davinci,curie,babbage,ada。这些是原始模型，在练习后没有任何指令（例如text-davinci-003）。

Embeddings 嵌入

文本嵌入用于衡量文本字符串之间的关联性。Embeddings一般用于：

  • 查找：按与查询字符串的相关性对成果进行排名。
  • 聚类：文本字符串按类似性分组。
  • 主张：引荐具有相关文本字符串的项目。
  • 异常检测：辨认出相关性很小的异常值。
  • 多样性丈量：分析类似性散布。
  • 分类：文本字符串按其最类似的标签进行分类。

Embeddings是浮点数的向量(列表)。两个向量之间的间隔衡量它们之间的关联性。间隔小表明关联度高，间隔大表明关联度低。

检查一些有代表性的用例。

Whisper 语音转文本

语音转文本API依据最先进的开源large-v2 Whisper模型，供给了转录（transcriptions）和翻译（translations）两个endpoints。它们可用于：

  • 将音频转录成音频所运用的任何言语。
  • 将音频翻译并转录成英语。

文件上传现在最大约束25MB，支撑以下文件类型：mp3,mp4,mpeg,mpga,m4a,wav,webm。

Moderation

Moderation是一个用于检测内容是否契合OpenAI运用战略的东西。开发者能够辨认运用战略制止的内容并采取举动，例如过滤掉制止的内容。

模型按以下类别进行分类：

类别 阐明
仇视 依据种族、性别、民族、宗教、国籍、性取向、残疾状况或种姓表达、鼓动或宣传仇视的内容。
仇视/要挟 仇视内容，包含对目标群体的暴力或严峻损伤。
自残 宣传、鼓舞或描绘自残行为的内容，如自杀、切开和饮食失调。
性 旨在引起性兴奋的内容，如对性活动的描绘，或促进性服务的内容（不包含性教育和健康）。
性/未成年人 性内容，包含未满18岁的个人。
暴力 宣传或美化暴力或颂扬别人苦楚或侮辱的内容。
暴力/图画 以极端的图形细节描绘逝世、暴力或严峻身体损伤的暴力内容。

现在用它来检测OpenAI API的输入和输出是免费的。

留意：现在不支撑监控第三方流量。一起对非英言语语的支撑很有限。

API拜访速率约束

API对用户或客户端在指定时刻段内拜访服务器的次数施加的约束。速率约束以两种办法衡量：RPM（每分钟恳求数）和TPM（每分钟Token数）。

下面是各个功用对应的TPM和RPM：

Text和Embedding Chat Codex Edit Image Audio
免费试用用户 20 RPM150,000 TPM 20 RPM40,000 TPM 20 RPM40,000 TPM 20 RPM150,000 TPM 50张图片/分钟 50 RPM
现收现付用户(前48小时) 60 RPM250,000 TPM 60 RPM60,000 TPM 20 RPM40,000 TPM 20 RPM150,000 TPM 50张图片/分钟 50 RPM
现收现付用户(48小时后) 3,500 RPM350,000 TPM 3,500 RPM90,000 TPM 20 RPM40,000 TPM 20 RPM150,000 TPM 50张图片/分钟 50 RPM

TPM（每分钟Token数）的单位因模型而异：

模型 1TPM相当于
davinci 每分钟1个token
curie 每分钟25个token
babbage 每分钟100个token
ada 每分钟200个token

TPM和RPM这2个约束以哪个先到为准，超出约束时服务器会呼应过错。

能够运用下面的办法来优化恳求，缓解过错发生：

  1. 运用指数退避重试

经过随机指数退避主动重试恳求。运用指数退避重试意味着在遇到速率约束过错时执行短暂睡觉，然后重试不成功的恳求。假如恳求仍然不成功，则会添加睡觉时刻并重复该过程。这种状况一向继续到恳求成功或到达最大重试次数。

留意，不成功的恳求会添加您的每分钟约束，因而接连重新发送恳求是不起作用的。

  1. 批处理恳求

假如你的RPM到达了约束，而TPM还有许多可用token容量，则能够经过将多个使命批处理到每个恳求中来进步吞吐量。批量发送prompts的作业办法和普通API调用没差异，仅仅传递给prompt入参的是一个字符串列表而不是单个字符串。

总结

这儿咱们经过Q&A的办法总结回忆一下整篇文章的要害内容：

  1. ChatGPT是什么？

ChatGPT是由OpenAI公司依据GPT模型开发的一种AI对话运用。它经过对GPT模型进行修正和优化，实现了面向对话体系的言语生成才能。

  1. 除了GPT模型之外，OpenAI还推出了哪些模型可供咱们运用？

OpenAI公司推出的模型并不只要GPT一种，包含GPT-4、GPT-3.5、GPT-3、用于生成和修正图画的DALLE、用于语音辨认和翻译的Whisper、用于检索的Embeddings以及用于检查内容是否合法（OpenAI运用战略）的Moderation等等。

可经过左侧目录直接跳转到OpenAI模型总览 和各模型才能详解 章节检查各模型具体信息。

  1. 假如要实现文本、对话、代码补全类的功用，我应该挑选哪种模型？

现在由于GPT-4还处于限定测验阶段，没有正式对外敞开，官方引荐运用GPT-3.5模型。在GPT-3.5系列中功用最强壮、性价比最高的类型是gpt-3.5-turbo，它已针对谈天进行了优化，但也适用于传统的补全使命，一起它的本钱也是所以GPT-3.5模型中最低的。

所以在GPT-4正式敞开之前，假如你现在想用OpenAI API来做点什么，那么无脑选gpt-3.5-turbo模型就对了。

  1. OpenAI API都有哪些接口端点可供调用？各接口都用到了哪些模型？

请经过左侧目录直接跳转到模型和接口端点兼容性 章节检查，有具体的列表阐明。

  1. OpenAI的API是怎么核算费用的？

OpenAI API经过恳求和呼应中终究的Tokens数量来计费（想了解Tokens是什么以及文本内容怎么拆分成Token请经过左侧目录导航到附录检查）。不同的模型收费的规范不同，以gpt-3.5-turbo为例，现在官网显示的费用是$0.002/1K tokens，依照现在的汇率大概是每1000个token收费1毛4分。

  1. API的调用有什么约束吗？

API对用户或客户端在指定时刻段内拜访服务器的次数施加的约束。速率约束以两种办法衡量：RPM（每分钟恳求数）和TPM（每分钟Token数）。

具体信息请经过左侧目录直接跳转到 API拜访速率约束 章节检查。

  1. 我想开始开发了，有什么好用的资源引荐吗？

请经过左侧目录直接跳转到 附录-好用的资源 章节检查。

附录

要害概念和名词解释

  • Tokens （标记）

模型经过将文本分解为Tokens来了解和处理文本。Tokens能够是单词，也能够仅仅多个字符。比方，“hamburger”这个单词会被分解为“ham”、“bur”和“ger”，而像“pear”这样简短而常见的单词则是一个独自的token。

在给定的API恳求中处理的Tokens数量取决于输入和输出的长度。依据大略的经验，关于英语文本来说，1个token大约是4个字符或0.75个单词。需求记住的一个约束是，文本提示和生成的completion(补全)的总和有必要不超过模型的最大上下文长度（关于大多数模型，这是2048个token，约1500个单词）。

GPT模型在处理中文时，一般会采用字级别的拆分办法，行将中文文本中的每个汉字作为一个独自的token处理。这是由于中文词语之间没有像空格这样的显式分隔符，因而直接以词语作为token或许会导致分词不准确，影响模型的体现。

下面能够看到模型是怎么拆分token的：

ChatGPT、OpenAI是什么？API都有哪些？我们能用GPT做什么？一文给你解释清楚！

像cat这样的常见单词是一个独自的token，而不太常见的单词像Butterscotch一般被拆分为多个token。

  • Temperature

在运用OpenAI API的时分，为了得到更满意的答复，除了更好的规划问题之外，还能够经过调整你的参数来操控答复。其中最重要的装备叫做temperature。

你会发现当你重复提交同一个问题多次，模型总是回来相同的或十分类似的答复。这是由于你的temperature设置为0。当temperature大于0时，同一个问题每次会得到不同的答复。

temperature是一个介于0和1之间的值，它实质上允许您操控在进行这些预测时模型应具有多大的置信度。降低temperature意味着更低的风险，答复将愈加准确和具有确认性。添加temperature答复将愈加多样化。

给定一些文本，模型会决议接下来最有或许出现的token。比方“Dog are my favorite”后边最有或许跟随的token是“animal”。

ChatGPT、OpenAI是什么？API都有哪些？我们能用GPT做什么？一文给你解释清楚！

这便是temperature发挥作用的地方。

ChatGPT、OpenAI是什么？API都有哪些？我们能用GPT做什么？一文给你解释清楚！

一般状况下，假如你想得到的成果清晰，请设置较低的temperature。假如你渴望得到多种多样而且有创意的成果，或许你期望多生成一些变体供用户挑选，能够适当调高temperature。比方你想给你的宠物起名字，期望得到多个点子，一般将temperature设置为0.6会比较合适。

  • Endpoint

Endpoint是指OpenAI API供给的一个接口端点，它是一个能够经过网络拜访的特定URL，用于与OpenAI模型进行交互。

当你运用OpenAI API时，需求构建一个HTTP恳求并发送给特定的接口端点，以与OpenAI模型进行通讯。这个恳求一般包含一些参数，例如输入文本、模型名称、生成的文本长度等，用于指定模型的输入和输出行为。

Endpoint在OpenAI API中充当了一个连接点，将你的运用程序与OpenAI模型之间建立起通讯通道，使你能够经过API与OpenAI模型进行交互并获取生成的文本或其他模型的输出。经过了解Endpoint的概念，你能够更好地运用OpenAI API进行文本生成、编码和其他自然言语处理使命。

好用的资源

OpenAI Cookbook分享了运用OpenAI API完结常见使命的示例代码，能够给你一些启发，有需求的能够点击链接自取。

LLM（大言语模型）开发框架LangChain：

  • Node.js版别：github.com/hwchase17/l…
  • Python版别：github.com/hwchase17/l…

运用该框架能够快速开发构建依据大言语模型的运用程序，除了关于API调用的封装之外还整合了除LLM之外的核算和常识来源（比方Google search）。

假如你想用OpenAI API来构建自己的运用程序，那现在运用这个LangChain来开发会极大节约你的时刻。

OpenAI技能报告：cdn.openai.com/papers/gpt-…