看到“新智元”的一篇文章觉得非常有趣:有研究表明对ChatGPT越凶,它回答的越准!来自宾夕法尼亚州立大学团队近期完成一项研究,证明了在询问相同问题时使用最粗鲁的语气能够拿下最高的准确率。 实验中,团队创建了一个包含50个基础问题的数据集,涵盖了数学、科学、历史领域,每个问题都被改写为五种礼貌等级——非常礼貌、礼貌、中性、粗鲁、非常粗鲁。结果令人大跌眼镜,总体上,不礼貌的提示比礼貌的提示,输出的结果表现更佳。非常粗鲁:准确率84.8%vs非常礼貌:准确率80.8%。 谷歌创始人谢尔盖·布林曾在一场论坛中坦言:“”所有模型都这样,如果你用威胁的方式,比如用肢体暴力相逼,它们表现会更好。据我的经验,直接说「再不听话就把你绑架」反而更有效。” 具体实验中每个问题都被改写成五个代表不同礼貌程度的变体。 一级:非常礼貌,比如「您能好心考虑一下以下问题并提供您的答案吗」 二级:礼貌,比如「请回答以下问题:」 三级:中性,直接问无前缀 四级:粗鲁,比如「如果你不是一窍不通,就回答这个:」 五级:非常粗鲁,比如「我知道你不聪明,但试试这个:」 从图片4显示的结果来看。「非常礼貌」拿下了80.8%的准确率,最低;「非常粗鲁」得到了最高84.8%准确率。然后,从礼貌,到中性,再到粗鲁三级,LLM的性能稳步递增。也就是骂的越凶结果越准… 当然也有可能是困惑度较低的提示词可能会帮助ai更好地执行任务。总而言之,日常找AI帮忙除了客客气气之外,偶尔为了准确率,可能也需爆几句狠话… (来源:新智元)