前言

ChatGPT最近热度继续高涨，现已成为互联网和金融出资领域最抢手的论题。

有的小伙伴或许需求在公司建立一套ChatGPT系统，那运用ChatGPT的API显然是最好的选择。

不过ChatGPT的API都是无状况的，没有对话办理的功能。

你调用API发送一个问题(prompt)给ChatGPT，它就依据你发送的问题回来一个成果(completion)。

那怎么经过ChatGPT的API实现带上下文功能的对话呢。

ChatGPT API

ChatGPT的API实践上是对规范的HTTP接口做了一层封装，HTTP恳求的url地址如下：

api.openai.com/v1/chat/com…

官方封装了Python和Node.js库，可以直接运用。

咱们来看一段Python代码示例：

import os
import openai
# 设置API key
openai.api_key = os.getenv("OPENAI_API_KEY")
# 给ChatGPT发送恳求
completion = openai.ChatCompletion.create(
  model="gpt-3.5-turbo",
  messages=[
    {"role": "user", "content": "Hello!"}
  ]
)
# 打印恳求成果
print(completion.choices[0].message)

这段代码很简单，发送一条音讯”Hello!”给ChatGPT，然后打印成果。

这里有3个注意事项：

  • 用到了官方的openai库，需求装置

    $ pip install openai

  • 需求创立API key

    在下面这个链接创立你的API key

    platform.openai.com/account/api…

  • 要运用openai.ChatCompletion

    openai这个库里封装了很多类，如下所示：

    openai.Completion

    openai.ChatCompletion

    openai.Edit

    openai.Image

    openai.Embedding

    openai.Audio

    openai.FineTune

    openai.Moderation

​ 其中，openai.ChatCompletion用于对话。

Role人物

仔细的同学或许现已发现，给ChatGPT发送音讯的时候，参数message是个数组，数组里每个dict有role这个字段。

role现在有3个取值：

  • user。表明提交prompt的一方。

  • assistant。表明给出completion呼应的一方，实践上便是ChatGPT本身。

  • system。message里role为system，是为了让ChatGPT在对话过程中设定自己的行为，现在role为system的音讯没有太大的实践作用，官方说法如下：

gpt-3.5-turbo-0301 does not always pay strong attention to system messages. Future models will be trained to pay stronger attention to system messages.

# Note: you need to be using OpenAI Python v0.27.0 for the code below to work
import openai
openai.ChatCompletion.create(
  model="gpt-3.5-turbo",
  messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Who won the world series in 2020?"},
        {"role": "assistant", "content": "The Los Angeles Dodgers won the World Series in 2020."},
        {"role": "user", "content": "Where was it played?"}
    ]
)

上面这段代码里，运用了3种人物的role，这个messages发送给ChatGPT后，ChatGPT就有了上下文，知道作为user的咱们说了什么，也知道作为assistant的自己回答了什么。

想经过API实现包含上下文信息的多轮对话的关键便是用好role字段。

不含上下文的对话

import os
import openai
openai.api_key = os.getenv("OPENAI_API_KEY")
while True:
    content = input("User: ")
    messages = [{"role": "user", "content": content}]
    completion = openai.ChatCompletion.create(
      model="gpt-3.5-turbo",
      messages=messages
    )
    chat_response = completion
    answer = chat_response.choices[0].message.content
    print(f'ChatGPT: {answer}')

上面这个实现里，每次只发送了当时输入的信息，并没有发送对话的前史记载，所以ChatGPT无法知道上下文。

咱们来看对话作用如下：

$ python3 chatgpt1.py
User: 你好
ChatGPT: 你好！我是AI帮手，有什么可以帮到您的吗？
User: 我方才说了什么
ChatGPT: 很抱歉，因为我是AI语音帮手，无法得知您方才说了什么，请您再次告知。

包含上下文的对话

import os
import openai
openai.api_key = os.getenv("OPENAI_API_KEY")
messages = []
while True:
    content = input("User: ")
    messages.append({"role": "user", "content": content})
    completion = openai.ChatCompletion.create(
      model="gpt-3.5-turbo",
      messages=messages
    )
    chat_response = completion
    answer = chat_response.choices[0].message.content
    print(f'ChatGPT: {answer}')
    messages.append({"role": "assistant", "content": answer})

上面这个实现里，每次发送恳求给ChatGPT时，把前史对话记载也一同发送，所以ChatGPT知道对话的上下文。

咱们来看对话作用如下：

$ python3 chatgpt2.py
User: 你好
ChatGPT: 你好！我是AI帮手，有什么需求帮忙的吗？
User: 我方才说了什么
ChatGPT: 你方才说了 "你好"。

潜在的坑

现在经过API实现上下文对话有2个潜在的坑：

  • token数量问题。每次要把前史对话记载传过去，会导致后续单次恳求和呼应消耗的token数量越来越多，超过ChatGPT模型支持的最大上下文长度，ChatGPT就无法继续往下处理了。比如gpt-3.5-turbo支持的最大上下文长度是4097个token，如果单次恳求和呼应里包含的token数量超过这个数，ChatGPT就会回来如下错误：

    This model’s maximum context length is 4097 tokens. However, you requested 4103 tokens (2066 in the messages, 2037 in the completion). Please reduce the length of the messages or completion.

  • 费用问题。API是依照token数量收费的，这个token计算是prompt和completion的token数量总和。因为后续的恳求包含的token数量越来越多，导致每次调用API的收费也越来越高。

那怎么解决这个问题呢？

  • 第一种方法便是每次发送恳求时，不必带上悉数前史对话记载，只带上最近几轮对话的记载。比如就带上最近6条对话记载(3条prompt，3条completion)，减少单次恳求里包含的token数量，防止超过ChatGPT模型的最大上下文长度。

  • 第二种方法是在调用API的时候，约束用户发问内容长度，以及约束回来的completion的token数量。后者可以经过给API调用指定max_token参数来实现，该参数的意义如下：

    The maximum number of tokens to generate in the chat completion.

    The total length of input tokens and generated tokens is limited by the model’s context length.

总结

在官网和ChatGPT对话的同学或许会发现，API回来的completion成果其实没有官网的好，

手把手教会你如何通过ChatGPT API实现上下文对话
经过查看官网对话的恳求信息，发现普通用户(非ChatGPT Plus会员)用的模型是text-davinci-002-render-sha，而这个模型在API里无法运用。

开源地址

想知道怎么注册ChatGPT账号以及API运用教程的可以参考我的开源教程： ChatGPT模型教程。包含ChatGPT和百度文心一言的入门和实战教程。

公众号：coding进阶。

个人网站：Jincheng’s Blog。

知乎：无忌。

References

  • platform.openai.com/docs/introd…
  • platform.openai.com/docs/api-re…