【深度学习新浪潮】RoPE对大模型的外推性有什么影响？

1. 什么是大模型的外推性？

大模型的外推性（Extrapolation）是指模型对训练数据分布之外的输入或场景进行有效推理和生成的能力。简单来说，就是模型处理“未见过的新情况”的能力，这些新情况可能在语义、结构、长度、复杂度等方面超出了训练数据的范围。

核心概念解析

1. 与内插性（Interpolation）的区别

   • 内插性：模型对训练数据中已有模式的合理延伸（例如，训练数据包含“猫”和“狗”，模型能理解“宠物”的概念）。
   • 外推性：模型对训练数据中未直接涵盖的模式或边界外的情况进行推断（例如，训练数据中没有“太空猫”的概念，但模型能结合“太空”和“猫”生成合理描述）。

2. 外推的常见场景