大佬喊话，AI寒冬已来？
OpenAI的原联合创始人Ilya Sutskever指出，使用大量未标记数据来理解语言模式和结构的训练阶段已经接近尾声。他提到，扩展训练的结果已经趋于平稳，意味着通过增加数据和算力来提升AI模型性能的方法已经遇到瓶颈。
对于像ChatGPT这样的大型语言模型，简单地通过增加更多数据和计算资源来扩大规模已不足以实现有意义的进步。虽然增加计算能力仍然是提升AI性能的一个方式，但已经无法像以前那样通过不断堆砌算力和数据量来实现模型的大幅提升。大模型企业需要采用更智能的训练技术，更加重视模型训练的方式和内容，而不仅仅是关注规模大小。这种方法的转变代表了人工智能发展的关键转折点，超越了“越大越好”的理念。
预训练阶段，大模型被输入大量未分类数据以识别模式和结构的过程，一直是开发强大LLMs的基石。这个阶段，模型通过消化各种文本——从书籍、文章到网站和社交媒体帖子——来学习语言表示，使其能够识别语法、语义和含义。然而，Ilya Sutskever认为这种方法现在已经趋于平稳。增加更多数据所带来的性能提升正在减少，更重要的是，人们越来越意识到模型的有效性不仅取决于它处理的数据量，还取决于它接触到的数据的质量和结构。这意味着大模型企业必须重新思考他们的策略，以在LLMs的发展上取得进一步的进展。
研究人员现在需要考虑更先进的方法来完善学习过程，而不仅仅是增加数据集的大小。这包括改进训练期间使用的算法，优化数据管理，并引入更先进的技术，如强化学习或多模态训练，其中模型不仅接触到文本，还接触到图像、视频或其他形式的数据。Ilya Sutskever关于未来的LLMs将需要“稍微思考更长时间”的评论强调了进步的另一个关键方面。大模型需要在更长时间内进行更复杂推理的能力，这对于需要深度理解、多步骤推理或长期记忆的任务越来越必要。