L'alignement phonémique reste l'un des problèmes les plus difficiles dans les modèles de diffusion de synthèse vocale (TTS). Le défi central est de mapper des séquences de texte de longueur variable à des séquences audio de longueur variable, une tâche qui devient particulièrement difficile lorsque les mécanismes d'attention croisée échouent aux premiers pas de temps de diffusion. Cet article fournit une comparaison technique détaillée de la façon dont trois systèmes TTS modernes—F5-TTS, SupertonicTTS et VoxFlash-TTS—abordent ce problème. Chaque système utilise des stratégies différentes : F5-TTS utilise un module d'alignement novateur, SupertonicTTS exploite des a priori d'alignement monotones, et VoxFlash-TTS introduit un mécanisme d'attention hybride. L'analyse couvre les fondements mathématiques, y compris le rôle des encodages de position rotatifs (RoPE) dans l'atténuation des échecs d'alignement. Pour les chercheurs et ingénieurs travaillant sur la synthèse vocale, cette comparaison offre des perspectives pratiques pour concevoir des mécanismes d'alignement plus robustes.
Cet article dissèque un goulot d'étranglement critique dans les modèles de diffusion TTS : l'alignement phonémique et l'échec de l'attention croisée aux premiers pas de temps. Il compare les solutions de F5-TTS, SupertonicTTS et VoxFlash-TTS, offrant des perspectives pour les chercheurs et ingénieurs construisant des systèmes de synthèse vocale.