大規模言語モデル（LLM）プロバイダーはトークン使用量に基づいて課金しますが、その構造は複雑です。このシグナルでは、入力トークン（プロンプト）、出力トークン（生成テキスト）、キャッシュヒット（再利用されたコンテキスト）の3つの主要コンポーネントを解説します。これらの違いを理解することは、AIアプリケーションを構築する開発者にとって重要であり、キャッシュヒットはコストを最大90%削減できます。この知識により、開発者はより効率的なシステムを設計し、ユースケースに最適な料金プランを選択できます。
大規模言語モデルのトークン課金を理解するための実践ガイド。入力、出力、キャッシュヒットの価格設定をカバーし、コスト最適化に役立ちます。