学生版 社会人版
JA EN

#context

1 記事

01 ·推論・高速化·★ 会員·14分で読めます プロンプトキャッシュとコンテキスト設計 — 前方一致という一本の制約が、請求額を桁で変える 同じシステムプロンプトを毎回読み直させて、毎回その分を払っていませんか。プロンプトキャッシュは前方一致でしか効かない——この一点だけで、コンテキストに何をどの順で置くべきかが決まります。先頭に現在時刻を1つ入れただけで全滅する理由と、TTLを読み違えて逆に25%高くなる事故まで。