L'analyse-synthèse par le modèle sinusoïdal additif plus résiduel est utilisé avec succès en recherche et en production musicale. Cependant certaines limitations en restreignent encore l'application. Premier cas, la présence extrêmement fréquente de plusieurs fréquences fondamentales rend nécessaire leur estimation, d'autant que cette estimation est utile dans de nombreux autres contextes. De même une bonne séparation des composantes sinusoïdales et non-sinusoïdales (résiduel) est tout aussi nécessaire. Pour les modèles de la parole, une implémentation de la méthode shape invariant a été étudiée en 2002 et plusieurs pistes doivent être poursuivies pour optimiser la qualité de l’algorithme.

• Estimation de plusieurs fréquences fondamentales simultanées, suite du travail d'estimation fait en 2002 dans l'équipe.
• Séparation des composantes sinusoïdales et non-sinusoïdales : comparaison et coopération de plusieurs techniques d'estimation.
• Shape invariant : amélioration de la représentation des transitoires et des régions temps/fréquence non sinusoïdales.

Le modèle vocodeur de phase utilisé dans l’outil Super VP de l’équipe reflète l’état de l’art avec une seule exception qui est le traitement des transitoires. Ce sujet avait été proposé déjà pour 2002 mais n’a pas été commencé faute de temps. Par ailleurs un problème fondamental reste le traitement de la parole car le modèle shape invariant est difficile à implémenter en vocodeur de phase.

• Etude de différentes possibilités pour conserver les transitoires lors de transformations de signaux avec le vocodeur de phase.
• Etude des schémas d’implémentation du modèle shape invariant dans le vocodeur de phase.

En 2002, un modèle d'orgue a été développé en modèle sinusoïdal additif plus résiduel dans un contrat avec le Palais des Beaux Arts de Bruxelles. Si un financement est trouvé, ce projet très intéressant sera poursuivi en 2003 dans deux directions principales :

• Amélioration des composantes aléatoires et transitoires.
• Synthèse plus efficace par l'algorithme dit "FFT-1" (collaboration avec l’équipe Applications Temps-Réel).

La synthèse par sélection d'unités consiste à choisir dans une large base de données les unités sonores les plus appropriées pour construire, par concaténation et modification, la phrase musicale à produire. La thèse de D. Schwarz doit se terminer sur ce sujet en 2003. Une application en voix parlée est aussi envisagée dans le cadre d'un projet de reconstitution de la voix d'un locuteur disparu.

• Constitution d'une large base de données par alignement de partitions (Cf. le projet Alignement de partition ci-dessous).
• Amélioration du système de gestion et de sélection.
• Applications musicales.
• Application à la voix parlée.

Le projet PHASE (Plate-Forme Haptique d'Aide à la Synthèse et à l'Eveil musical) a été labellisé par le réseau RIAM. Cette plate-forme interactive de synthèse musicale comprend un contrôle haptique, un aide graphique et un système de synthèse musicale de haute qualité dans un environnement tel que jMax (collaboration avec les équipes Applications Temps-Réel et Logiciels Libres). Il est destiné à l'éveil musical de l'utilisateur par la focalisation sur l'écoute, le jeu d'un instrument élaboré et la navigation dans des scénarios musicaux interactifs.

• Développement d'un système de synthèse.
• Ecriture de scénarios par des compositeurs.
• Etude du contrôle haptique.
• Etude des moyens graphiques d'aide à la navigation.

Dans le projet CUIDADO, l'équipe A-S est chargée plus particulièrement de la mise au point de descripteurs du signal audio et d'applications mettant en œuvre ces descripteurs pour la classification de sons et de musique, la recherche d'extraits sonores et la constitution de résumés sonores et iconiques. Les principaux objectifs pour 2003 sont :

• Classification des sons de type hiérarchique et de type arbre de décision.
• Classification de phrases musicales : descriptions dynamiques de segments sonores reposant sur les représentations du signal audio comme une succession d'états (HMM).
• Représentation structurée d’œuvres musicales (approche simultanée sous formes d'état et de répétition de séquences).
• Interaction avec le groupe ISO MPEG pour la validation et la normalisation dans MPEG-7 des descripteurs structurels.
• Adaptation de la technique WMMS pour les bandes audio réduites (micro/HP).

L'objectif de cette thèse est de détecter des structures musicales dans un enregistrement audio par l'analyse de l'évolution temporelle des propriétés du signal. Parmi les applications, on peut citer un accès facilité au contenu d'une œuvre musicale, la construction de résumés sonores ou l'aide à l'analyse musicologique. L'une des voies de recherche consiste à prolonger des résultats de la théorie structurelle de l'information (structural information theory) dans le domaine de la recherche audio. L'évolution des propriétés peut-être représentée sous formes de succession d'états et sous forme de répétition de séquences.

• Calcul de descripteurs audio adaptés au type de structure recherchée.
• Segmentation de l'audio.
• Classification des segments.
• Analyse structurelle des objets.
• Construction d'un signal "résumé" à la fois signifiant et de bonne qualité.

L'alignement d’une partition et de l'audio consiste à déterminer les temps exacts de début et de fin des notes d'une partition dans l'enregistrement audio de cette partition. Cela ouvre la voie à de nombreuses applications telles que la détermination automatique de l'interprétation (musicologie), la constitution de bases de données pour la reconnaissance ou la séparation de sources (Cf. ces projets). Deux techniques sont en développement, le Dynamic Time Warping (DTW) et les Modèles de Markov Cachés (Hidden Markov Models ou HMM).

• Consolidation de la méthode par DTW.
• Ajout des percussions dans le modèle acoustique.
• Utilisation de la DTW pour initialiser les HMM.
• Comparaison avec la méthode HMM.

• Emploi des modèles acoustiques paramétriques précédemment étudiés.
• Recherche de représentants paramétriques bien adaptés aux trajectoires gestuelles.
• Modélisation des incertitudes de mesure et de modèle.
• Etude pour de nouveaux traitements des singularités locales (par exemple, lors de la fermeture d'une anche).
• Problèmes de synchronisation de l'inverseur et robustesse.

A partir d'un enregistrement d'un instrument, il s'agit d'estimer les paramètres de jeu d'un modèle, afin que la production du modèle soit la plus proche possible de l’enregistrement. Pour cela, une large base de données des différentes productions du modèle est constituée, pour servir à la technique dite d'apprentissage par table. La méthode a été appliquée à un modèle de trompette sur lequel des contraintes physiques ont été imposées pour résoudre le problème des solutions mutliples. Ce travail de thèse sera poursuivi pendant l'année 2003 dans différentes directions :

• Etude de critères de similarité entre sons, tenant compte de leur type (transitoire, stable, ...).
• Amélioration des descripteurs acoustiques.
• Développement d’une méthode d’apprentissage par tables adaptée aux transitions.
• Test d’autres algoritmes d'apprentissage, notamment l'optimisation itérative par descente de gradient qui permet de tenir compte des valeurs exactes des paramètres.
• Travail sur la robustesse de l’estimation.

Participants : T. Hélie (Post-Doc), W. D'Haes (thèse)

Les modèles classiques d'instrument à anche ne donnent pas de bons résultats quand appliqués aux anches doubles. Nous cherchons à expliquer la spécificité des anches doubles en introduisant de nouvelles hypothèses sur l'écoulement, en particulier des pertes de charge engendrées par la géométrie de l'anche double. Un premier modèle mathématique a été mis en œuvre, permettant de réaliser des simulations numériques. Ce travail, en collaboration avec l’équipe Acoustique des Instruments, sera poursuivi sur les points suivants :

• Réalisation de mesures extensives du déplacement de l'anche, de vitesse de l'écoulement et de pression, pour valider le modèle mathématique et extraire des paramètres physiques.
• Comparaison avec d'autres instruments à anche.
• Poursuite des contacts avec des laboratoires extérieurs à l'IRCAM (tels que le LIMSI-CNRS) pour réaliser des mesures de champ de vitesse dans une anche transparente fabriquée à l'IRCAM par Alain Terrier.
• Développement du modèle de résonateur à profil arbitraire et prise en compte des mesures.
• Implémentation en temps-réel.

Participants : A. Almeida (thèse)

Le sujet de cette recherche est le développement d'un modèle de production de la parole pouvant être utilisé dans l'analyse et la synthèse articulatoire. L'accent sera mis sur les basses fréquences de l'onde de pression et la dynamique du flot d'air. La recherche sera concentrée sur le chuchotement, et donc seulement les sources acoustiques fricatives et plosives seront explorées.

• Etude des données articulatoires enregistrées à l'université d'Edinburgh en 2002.
• Optimisation sur un l'ensemble de données enregistrées.
• Mise en œuvre d'un modèle et d'un logiciel.

Le logiciel Super VP est un vocodeur de phase très utilisé par les chercheurs et les musiciens. Dans le cadre du projet Mobistation une bibliothèque dynamique de Super VP a été créée, qui, pour le moment, ne supporte pas les sons stéréos. Cette bibliothèque peut être utilisée pour créer des plugins temps-réel de vocodeur de phase. Par ailleurs, un problème pour l’utilisation de plusieurs filtres simultanés dans AudioSculpt est qu’il existe différentes façons de superposer des filtres traitant les mêmes régions temps/fréquence.

• Extension de la bibliothèque pour le cas stéréo et développement des plugins jMax/Max/MacIntosh (collaboration avec l’équipe Applications Temps-Réel).
• Support pour le format SDIF pour les entrés et sorties des FFT afin d'assurer une meilleure standardisation et une meilleure communication avec d'autres logiciels.
• Réorganisation des modules de filtrage pour que différents modes de superposition des filtres puissent être choisis.
• Réorganisation du mode phase synchrone qui est implémenté de manière simple mais inefficace,

Le développement de la nouvelle version (AudioSculpt 2) sera poursuivi en 2002 pour y implanter toutes les fonctionnalités qui étaient ébauchées dans la version 1 et profiter des nouvelles possibilités, en particulier en termes de séquencement, de la version 2 :

• Développement de la synthèse croisée dynamique et de son interface.
• Drivers Stéréo.
• Pointeur et crayon harmoniques.
• Marqueurs éditables.
• Autres analyses : segmentation, formants, F0 et enveloppes spectrales.
• Preview temps-réel.

Le travail sur l'estimation de fréquence fondamentale mené par A. Roebel et B. Prudham en 2002 a permis d'obtenir un programme d'estimation en MATLAB très performant et bien formalisé. Durant l'année prochaine, ce programme sera optimisé et porté en temps-réel dans jMax en collaboration avec l’équipe Applications Temps-Réel. Enfin une version adaptée au cas polyphonique sera mise en chantier avec un stagiaire.