ある開発者が3ヶ月かけて240の技術記事を搭載したカスタムRAG知識ベースを構築したところ、「Redis Clusterのスケーリング方法」というクエリに対して「Redisが速い理由」や「Goの並行モデル」などの無関係な結果が返ってきた。問題は埋め込みモデルやベクトルデータベースではなく、チャンク戦略にあった。チャンクサイズ、オーバーラップ、分割ロジックを調整することで、ヒット率が20%向上した。この実例は、RAGシステムにおいてチャンク戦略がモデル選択よりも重要なハイパーパラメータであることを示している。
開発者が240記事のRAG知識ベースで、クエリが無関係な結果を返す問題に直面。原因はチャンク戦略にあり、調整後にヒット率が20%向上した事例を紹介。