Page 29 - 金融科技视界2023-1期
P. 29
Technical Tracking
技术追踪
GPT-3或GPT-3.5是一个超大的统计语言模型或顺序文本预测 C h atGP T之前有几个 知名的
模型。 兄弟，包括GPT-1、GPT-2和GPT-
2.2 GPT v.s.BERT 3。这几个兄弟一个比一个个头大，
与BERT模型类似，ChatGPT或GPT-3.5都是根据输入语 ChatGPT与GPT-3更为相近。
句，根据语言/语料概率来自动生成回答的每一个字（词语）。从 GPT家族与BERT模型都是知
数学或从机器学习的角度来看，语言模型是对词语序列的概率相 名的NLP模型，都基于Transformer
关性分布的建模，即利用已经说过的语句（语句可以视为数学中 技术。GPT-1只有12个Transformer
的向量）作为输入条件，预测下一个时刻不同语句甚至语言集合 层，而到了GPT-3，则增加到96层。
出现的概率分布。 3.2 人类反馈强化学习
ChatGPT使用来自人类反馈的强化学习进行训练，这种方 I n s t r u c t GP T / GP T 3 . 5
法通过人类干预来增强机器学习以获得更好的效果。在训练过 （ChatGPT的前身）与GPT-3的主
程中，人类训练者扮演着用户和人工智能助手的角色，并通过近 要区别在于，新加入了被称为RLHF
端策略优化算法进行微调。 （Reinforcement Learning from
由于ChatGPT更强的性能和海量参数，它包含了更多的主题的 Human Feedback，人类反馈强化
数据，能够处理更多小众主题。ChatGPT现在可以进一步处理回答 学习）。这一训练范式增强了人类对
问题、撰写文章、文本摘要、语言翻译和生成计算机代码等任务。 模型输出结果的调节，并且对结果进
行了更具理解性的排序。
在 I n s t r uc t G P T 中，以下是
3
“goodness of sentences”的评价
ChatGPT的技术架构 标准。
1.真实性：是虚假信息还是误导
3.1 GPT家族的演进 性信息？
说到ChatGPT，就不得不提到GPT家族。 2.无害性：它是否对人或环境造
BERT与GPT的技术架构（图中En为输入的每个字，Tn为输出回答的每个字）
2023.1 金融科技视界 27
