为什么聊久了它会变笨

两个词:Token(词元)和上下文窗口。搞懂这两个,你就知道该怎么跟它说话、什么时候该重开一个窗口。

先看一个数字

AI 不是按「字」读你的话,是按「词块」。而它一次只能记住有限的几块。

同一句话,两种算法tokens
  • 01你看到的是:十几个字
  • 02它看到的是:大约二十个词块
  • 03一个汉字,通常算一到两个词块
  • 04这些词块决定了它读多快、记多少、以及你付多少钱

所以你写的每句话都在消耗一个固定的额度。这个额度叫上下文窗口。

上下文窗口:一张桌子

摆满了,就得把最早放上去的东西先收走。

你以为的

它记得我们聊过的每一句

所以你会聊到第十轮,还指望它记得第一轮定的规矩。

实际发生的

桌子只有那么大

最早的那几轮被挤出去了。它不是敷衍你,是它真的看不见了。

所以聊久了会变笨

不是它性能下降,是前面的话被挤掉了。

表现一:车轱辘话

同一个意思反复说。因为前面说过什么它已经看不到了。

表现二:串台

把你前面说过的张三,安到李四头上。

表现三:忘了你的规矩

你说「不是说了要简洁吗」,它不记得说过。

三个应对,都很便宜

不用学参数,改习惯就行。

十轮就换窗口01
感觉它开始变味,新开一个对话,把最关键的背景重新贴一遍。宁可多花两分钟,别跟一个走神的 AI 死磕。
把关键信息放在两头02
很长的一段材料,你要它重点看的地方放在最后或者最前面,别塞在正中间。
让它先写个摘要03
聊到一半,让它「把到目前为止定下来的事写成三条」。这三条你留着,换窗口时直接贴过去。

现在做这个实验

两分钟,你会亲眼看到。

复制去做
第一轮:我们定个规矩,之后所有回答都不超过二十个字。记住了吗?

然后随便问它五个问题。

第五个问题之后,再问一次:我们最开始定的规矩是什么?

看它还记不记得。