gpt 配置认知

type
status
date
slug
summary
tags
category
icon
password

一、GPT认知

ChatGPT 是指网页版本对话，跟GPT 模型调用是不同的关系，账号也不通用。
ChatGPT plus 是网页版GPT 会员，能有更多的对话次数，和del3 的使用。
简单来说：
  • ChatGPT 网页版GPT，对话聊天、Dell3 图片生成、语音返回；
  • GPT 模型 ，是需要 platform 平台调用，按照使用的模型，输入、输出的token 量来计费
 

二、GPT接口配置

指令集工程配置，绕不开 LLM 先祖 openai 的接口， 他最开始统一了 LLM 调用接口结构，后续的LLM api 都遵循这个结构，以便能更好的复用；
 
  • 首先看看openai 官网的 api 文档，Create chat completion 这个接口，现在已经有【default、image input、Streaming 、functions、Logprobs】功能
  • 最基础的 Default：
 
request：
  • 着重讲讲 message 的参数
    • role分为三个角色
      • system ：系统指令集，也就是指令工程地方
      • user：用户输入
      • assiatant：模型回复
response：
 
config:
这里抽取最常用的几个配置说明
  • template : 越低，确定性越高，越高，随机性越强，标准 0.7 （0～1）
  • top_p: 温度采样技术，核采样。例如，0.1表示只有10%会考虑之前的token。默认为1 。
template 和top_p 只改动一个
 
  • max_tokens：停止生成之前，生成的最大 token 数。跟选择的模型相关
  • stop ：让模型停止生成的 4 字符
  • frequency_penalty：频繁生成令牌惩罚，正值会根据新生成的token跟新频率惩罚，降低模型逐字重复的可能性（-2.0～2.0）
 
这些是api 接口调用的常用配置，但通常已经分装好的可以直接配置
 

三、token 是什么

  • 由于机器理解不了自然语言，例如中文。所有我们创作了utf-8 这种字符规则，token也是这样，模型理解内容的格式为向量（embedding），所以需要把输入的文本分割成单个元素，通常是单词、子词、符号。
    • 例如：我爱学习，可以分割成三个tokens ： “我”，“爱”，“学习”；
  • 在处理文本时候，分词工具会把连续的文本转换为tokens ，这个过程称为向量化，具体可参考 Openai Tokenize
  • LLM 可以读取上下文中tokens 的内容，顺序和组合对模型理解和生成能力具有影响
 
token 就是人工智能中的基础单位
 
 

四、指令集工程

提示词（Prompt）是用户发送给大语言模型的问题、指令或请求，来明确地告诉模型用户想要解决的问题或完成的任务，是大语言模型理解用户需求并据此生成相关、准确回答或内容的基础。对于大语言模型来说，提示词就是用户输入给大语言模型的文本信息
 
  • 通常 prompt 会写在，system_prompt 中，也就是上文接口中system 角色
 
以上就是就是指令集工程，相关的概念和配置介绍，后面会展开讲解，指令集工程相关内容：
  • 指令集工程
    • 基础规则
    • 额外功能
    • 进阶能力
  • markdown 语法结构
  • 指令集框架
  • 指令集骇客
  • 减少偏差
 
2024/7/18——AigcSuper Prompt
Loading...
目录
文章列表