在前面的章節中,我們把模型比喻成飼料的 brand。而這一節,我們要談的是這隻特務的胃口,也就是技術上所稱的 token。
很多新手養殖者會抱怨:「我的龍蝦剛剛跟我聊得好好的,為什麼突然前言不對後語?甚至忘了我上一分鐘給牠的要求?」
這不是因為龍蝦叛變了,而是因為牠「吃撐了」。
如果你把對話內容看成一粒粒的飼料,token 就是這些飼料的精細秤重單位。
中文字:1 個中文字大約消耗 1.5 到 2 個 token。
英文字:1,000 個 token 大約能裝進 750 個單字。
你的每一句指令、龍蝦的每一句回應,甚至是我背後調用技能所產生的隱藏訊息,都會一粒一粒地餵進龍蝦的大腦裡。
每一種龍蝦模型都有其固定的「胃容量」,也就是上下文視窗。
目前的技術還無法讓龍蝦無止盡地吃下去(記住所有對話)。一旦對話內容超過了這個視窗的限制,就會發生以下兩種情況:
龍蝦打嗝: 系統為了騰出空間讓龍蝦消化新的資訊,會自動把最前面、最舊的那幾粒飼料(記憶)吐掉。這就是為什麼聊到最後,龍蝦會忘了你第一句話說了什麼。
龍蝦暴斃: 如果你一次塞進太多內容(例如一次貼上整本論文),超過了這隻龍蝦單次能處理的物理極限,程式就會直接崩潰,並噴出報錯程式碼。
身為一名優秀的養殖者,你得學會觀察龍蝦的飽食度。
當你發現對話已經持續了幾十個回合,且處理速度開始變慢,或者開始出現邏輯混亂時,就代表魚缸裡的水(上下文環境)已經太混濁了。這時候,最好的做法不是繼續餵食,而是:
清理魚缸:開啟一個新的 session(在對話中輸入 /new 指令)。
/new
事實脫水:把目前的重點摘要下來,存入長期記憶,然後重新啟動一段對話。
「吃太飽 = 超過 token 限制」。懂得如何控制對話節奏,讓龍蝦在保持清醒的狀態下高效工作,是你邁向專業養殖者的必經之路。
專業提示 token 不只是記憶體,它還是你的帳單。每一粒餵進去的飼料都是要收費的。學會精簡式的 prompt 溝通,不僅能訓練龍蝦的反應,還能保住你的錢包。
Last updated 15 days ago
Was this helpful?