为什么 AI 越聊越慢?我终于找到原因了

作者:为什么 AI 越聊越慢?我终于找到原因了

最近我发现一个很烦的问题:同一个 AI 会话,用着用着就越来越慢,每次都显示「正在思考」,等半天才开始回复。 一开始我以为是网络卡、电脑卡,或者模型抽风了。后来一看后台数据才发现,真正的原因是:这个会话背的历史太长了。 我这个会话每次请求都有十几万 input tokens。简单理解就是:你每问一句,它都要先把前面一大堆聊天记录、文件、任务背景重新读一遍。即使很多内容是缓存读取,费用没那么高,但模型还是要处理,所以首字等待时间会变得很长。 尤其是用比较强的模型时,比如偏深度思考的模型,它会更认真地分析上下文,结果就是:更稳,但也更慢。 我的解决办法是这几个: 不要在一个会话里无限续命 任务做完一个阶段,就新开会话。 让旧会话生成交接摘要 可以直接让 AI 总结:目标、已完成、关键数据、文件路径、下一步。控制在 800 字以内。 把摘要带到新会话 新会话只保留关键背景,不带几十轮历史,速度会明显变快。 任务描述尽量具体 不要说「继续处理所有问题」,改成「只看今天数据,判断是否需要加预算,直接给结论」。 自动化任务也要保持 prompt 短 如果每天定时跑的任务绑定了很长的旧会话,它每天都会慢。最好重建一个干净版本,只保留规则和文件路径。 一句话总结: AI 变慢,不一定是它卡了,而是这个会话太重了。 新会话 + 短摘要 + 明确任务,真的会快很多。 #AI工具 #ChatGPT使用技巧 #效率工具 #自动化工作流 #AI办公技巧

📰 返回新闻列表