1.常见误解
- 给出的回答不是已经准备好的（罐头回应×）
- 不是网络上搜索得出的答案（甚至有很多幻想出来的答案）
2.Pre-train
- chatGPT：chat Generative Pre-trained TRansformer
- 关键技术：Pre-train（预训练）=Self supervised Leaarning（自督导式学习）【Foundation Model基石模型】
- GPT-3的训练数据大小：570GB
3.ChatGPT带来的研究问题
如何精准提出需求？
- 目前使用的方法：Prompting
- 创新点：有没有比人工尝试更加系统性的方法？
如何更正错误？
- 目前没有较好的解决方法
- 创新点：新研究题目Neural Editing
侦测AI生成的物件:
- 泄露秘密、隐私信息
- 创新点：新的研究题目：Machine Unlearning
4.chatGPT（可能）是怎么练成的
chatGPT的“兄弟”：InstructGPT
chatGPT学习四阶段：
- 1.学习文字接龙：不需要人工标注，在网络上收集语句，对输入句子（字）后面可以接的字进行概率统计，每次输出高概率的字（每一次输出都不同）
- 2.人类老师引导文字接龙方向：人来思考问题，并人工提供答案（不需要很多，目的只是为了让GPT知道人们希望得到的答案）
- 3.模仿人类老师的喜好：训练Teacher Model让希望输出的答案的“分数”大于其他输出
- 4.用增强式学习向模拟老师学习
