Page 33 - 金融科技视界2023-1期

Technical Tracking
技术追踪

学应用题，尽管它可以写出一长串计算过程，但最后答案却是错 当然，瑕不掩 瑜，有工程 师贴
误的。 出了要求ChatGPT写verilog代码
2）ChatGPT无法处理复杂冗长或者特别专业的语言结 （芯片设计代码）的对话。可以看出
构。对于来自金融、自然科学或医学等非常专业领域的问题，如 ChatGPT水平已经超出一些verilog

果没有进行足够的语料“喂食”，ChatGPT可能无法生成适当的 初学者了。
回答。
3）ChatGPT需要非常大量的算力（芯片）来支持其训练和
5
部署。抛开需要大量语料数据训练模型不说，在目前，ChatGPT
在应用时仍然需要大算力的服务器支持，而这些服务器的成本是 ChatGPT的未来改进方向
普通用户无法承受的，即便数十亿个参数的模型也需要惊人数量
的计算资源才能运行和训练。，如果面向真实搜索引擎的数以亿 5.1 减少人类反馈的RLAIF
记的用户请求，如采取目前通行的免费策略，任何企业都难以承 2020年底，OpenAI前研究副

受这一成本。因此对于普通大众来说，还需等待更轻量型的模型 总裁Dario Amodei带着10名员工创
或更高性价比的算力平台。 办了一个人工智能公司Anthropic。
4）ChatGPT还没法在线的把新知识纳入其中，而出现一 Anthropic的创始团队成员，大多为

些新知识就去重新预训练GPT模型也是不现实的，无论是训练 OpenAI的早期及核心员工，参与过
时间或训练成本，都是普通训练者难以接受的。如果对于新知 OpenAI的GPT-3、多模态神经元、
识采取在线训练的模式，看上去可行且语料成本相对较低，但 人类偏好的强化学习等。
是很容易由于新数据的引入而导致对原有知识的灾难性遗忘的 2 0 2 2 年1 2 月，A n t h r o p i c
问题。 再次 发表论文《Con stitution a l

5）ChatGPT仍然是黑盒模型。目前还未能对ChatGPT的内 A I ：H a r m l es s n es s f r o m
在算法逻辑进行分解，因此并不能保证ChatGPT不会产生攻击甚 A I F e e dba c k 》介 绍 人 工 智
至伤害用户的表述。 能模型 C l a u d e 。（a r x i v. o r g /

CAI模型训练过程

2023.1 金融科技视界 31