GPT APIユーザーの間でよくあるコスト削減策は、古くて安いモデルにダウングレードすることです。しかし、ある開発者による実際の請求分析から、より効果的な方法が明らかになりました：プロンプトキャッシングです。このケーススタディでは、総トークン使用量212,930のうち、標準入力が189,287トークン、キャッシュ入力がわずか4,328トークンでした。ほとんどのトークンがキャッシュを利用しておらず、コスト増加の原因となっています。静的システムメッセージや共通コンテキストを再利用するなど、プロンプトを再構築してキャッシュヒットを最大化することで、モデル性能を損なうことなく大幅なコスト削減が可能です。このアプローチは、繰り返しや予測可能なプロンプトパターンを持つアプリケーションに特に有効です。
開発者が実際の請求データを共有し、GPT APIのコストはモデル選択よりもキャッシュミスに大きく影響されることを示しています。プロンプト構造を最適化してキャッシュヒットを増やすことで、モデルの品質を犠牲にせずにコストを大幅に削減できます。