现如今大模型现已具有各式各样的特殊才能，不仅能吟诗作对，也可生成高效的计算机代码，这些体现让人产生了大模型好像在“模糊了解”某些实践国际基本规律的幻觉。但是，一项最新研讨
指出
，现实或许并非如此。研讨人员发现，一种盛行的生成式 AI 模型可以在纽约市供给挨近完美的逐渐导航指引，但却并未构成真实的准确地图。据《麻省理工科技谈论》报导，麻省理工学院信息与决议计划体系实验室（LIDS）的首要研讨者阿什·兰巴昌（Ashesh Rambachan）表明，“咱们期望，大模型在言语范畴的超卓体现或许可以让它们在科学的其他范畴大展拳脚。但是，假如想用这些技能去探究新发现，判别它们是否构成了衔接的国际观至关重要。”
研讨人员发现，一种盛行的生成式 AI 模型可以在纽约市供给挨近完美的逐渐导航指引，但却并未真实构成该城市的准确地图。
虽然模型体现出杰出的导航才能，但当研讨人员封闭了某些大街并设置绕行道路时，模型的体现却大幅下滑。
进一步剖析显现，模型隐式生成的纽约地图包括很多不存在的大街，这些大街在网格间歪曲衔接，跨过相隔甚远的穿插口。
这对实践使用中的生成式 AI 模型来说或许有着重要影响——一个在特定情境中体现优异的模型，或许会在环境或使命稍有变化时无法应对。
研讨人员专心于一种被称为“transformer”的生成式 AI 模型类型，这种模型构成了 LLMs（如 GPT-4）的中心。transformer 是经过很多根据言语的数据进行练习，以猜测序列中的下一个 token ，例如语句中的下一个词。
研讨人员经过在纽约市地图中参加绕行途径展现了这一成果的影响，这导致一切的导航模型均无法正常运转。“让我惊奇的是，一旦咱们参加绕行，模型的体现敏捷恶化。假如仅封闭 1% 的大街，准确率就会从挨近 100% 马上下降到只要 67%。”
而当研讨人员复原出模型生成的城市地图时，会发现这些地图看起来像一个“虚拟的纽约”：数百条大街交织堆叠在网格之上。地图中经常出现一些随机的跨街桥，或许以难以想象的视点穿插的大街。