第一生活网

OpenAI着手调查:GPT-4o及4o-mini模型性能下滑问题

路才斌
导读 OpenAI发布事故报告,指出GPT-4o和4o-mini模型遭遇性能下降问题,正在调查中。科研人员推出LONGPROC基准测试工具,专门评估模型处理长上下...

OpenAI发布事故报告,指出GPT-4o和4o-mini模型遭遇性能下降问题,正在调查中。科研人员推出LONGPROC基准测试工具,专门评估模型处理长上下文复杂信息的能力。实验结果显示,包括GPT-4o在内的顶尖模型在处理复杂长文本生成任务时仍有显著改进需求。

具体测试中,即便是宣称上下文窗口大小超过32K tokens的模型,在处理2K至8K tokens任务时也表现不佳。GPT-4o在生成详细旅行规划任务中出现了不存在的航班信息,表明即便是最先进模型在生成连贯冗长内容方面仍有提升空间,这或将成为未来大型语言模型研究的重要方向。