Les moteurs d'exécution de bases de données ont subi une transformation fondamentale au cours de la dernière décennie. Le modèle Volcano traditionnel, introduit dans les années 1990, traite les lignes une par une via un pipeline d'itérateurs basé sur le pull. Bien qu'élégant dans sa conception, cette approche souffre d'une mauvaise utilisation du cache CPU et d'une surcharge d'interprétation élevée. Les moteurs d'exécution vectorisés modernes répondent à ces limitations en traitant des lots de données orientées colonnes dans des boucles serrées, réalisant des améliorations de performance d'un ordre de grandeur. Ce changement est au cœur de l'essor des bases de données analytiques hautes performances telles que ClickHouse, DuckDB et les systèmes basés sur Apache Arrow. Les techniques clés incluent des dispositions de données adaptées au SIMD, la fusion d'opérateurs au niveau du lot et l'élimination des appels de fonction par tuple. Pour les ingénieurs construisant ou optimisant l'infrastructure de données, comprendre cette évolution est essentiel pour concevoir des systèmes capables de gérer efficacement des analyses à l'échelle du pétaoctet. L'article fournit une comparaison architecturale claire et des informations pratiques sur la mise en œuvre de l'exécution vectorisée sans recourir à du code propriétaire.
Cet article explore l'évolution des moteurs d'exécution de bases de données, du modèle classique Volcano à itérateur au traitement vectorisé en colonnes, expliquant comment le traitement par lots de données en colonnes améliore considérablement l'efficacité du cache et réduit les surcharges. Il plonge en profondeur dans les principes de conception des bases de données analytiques modernes comme ClickHouse et DuckDB, ce qui le rend précieux pour les ingénieurs optimisant les performances des requêtes.