谷歌技术：通过搜索引擎，极大增强ChatGPT等模型的准确率

lyly23

由于Transformer的出现，使得ChatGPT等大语言模型在处理自然语言任务上的能力得到了大幅度提升。但生成的内容却包含大量错误或过时的信息，同时缺乏事实性评估体系，来验证内容的真伪。

为了全面评估大语言模型对世界变化的适应能力和内容的真实性，谷歌AI研究团队发布了一篇名为《通过搜索引擎知识增强大语言模型的准确性》的论文。提出了一种FRESHPROMPT的方法，可通过从搜索引擎获取实时信息，来提升ChatGPT、Bard等大型语言模型的准确性。

研究人员构建了一个新的问答基准测试集FRESHQA，其中包含600个各类真实问题，答案变化频率分为“永不改变”“变化缓慢”“变化频繁”和“错误前提”四大类别。

同时，还设计了严格模式和宽松模式两种评估方法，前者要求回答中的所有信息必须准确最新，后者仅评估主要回答的正确性。

实验结果显示，FRESHPROMPT明显提升了大语言模型在FRESHQA上的准确率。例如，GPT-4在FRESHPROMPT的严格模式帮助下，比原始GPT-4提升了47%准确率。推荐

此外，相比于直接扩大模型的参数，这种融合搜索引擎的方法更加灵活，可以为已有模型提供动态的外部知识源。实验结果也证明FRESHPROMPT可以明显提升大语言模型在需要实时知识的问题上的准确率https://mp.weixin.qq.com/s/wLRqrg-aGBlWbq-6obuwrQ