Plusieurs ameliorations au niveau de l'interface sont possibles. En premier nous mentionnons la selection , la suppression, et la transposition des partiels. Pour le moment on travaille seulement sur des points individuels.
Une deuxieme chose qui devrait etre introduite est la possibilite de "Drag and Drop" (glisser/deposer) sur les partiels: on les selectionne dans AudioSculpt, on les deplace et les "fait tomber" dans un editeur de PatchWork (ou tout autre editeur correctement interface). Les resultats sont alors convertis et directement affiches.
Troisiemement, nous voudrions reflechir sur la possibilite de specifier le seuil dans la detection des debuts de maniere interactive. Nous pensons a donner a l'utilisateur un "slider" avec lequel il peut bouger le seuil. Selon le seuil indique par lui nous ajoutons ou enlevons des marqueurs dynamiquement. Quand il estime que le bon nombre de marqueurs est place il appuie sur un bouton et les marqueurs sont fixes.
Quatriemement, nous voudrions utiliser la possibilite de designer des regions qui existe dans AudioSculpt. L'utilisateur peut alors entourer une region sur le sonagramme et ensuite lancer le suivi de partiels. Seuls les partiels qui tombent dans cette region seront exploites, tous ce qui tombe en dehors de cette region sera neglige.
En particulier, un partiel ou un ensemble de partiels peut etre entoure par une region. Seuls ces partiels seront detectes. On peut imaginer de travailler ainsi region par region, en construisant progressivement le pattern de partiels desire. Bien entendu, un tel resultat ne pourrait pas etre obtenu avec une analyse purement automatique.
Les ameliorations indiquees ici se situent au niveau de la programmation et demandent principalement du temps pour etre implementees.
Au niveau des algorithmes plusieurs ameliorations sont possible. Bien sur la detection des debuts des unites sonores peut etre affinee en cherchant des mesures plus fines et en combinant plusieurs techniques de detection.
Egalement, l'algorithme de suivi de partiels peut subir quelques modifications. Des algorithmes plus intelligents existent, notamment des suivis de partiels fonde sur des modeles probabilistes (chaines de Markov).
En plus un suivi de partiel detaille peut generer les donnees necessaire pour une synthese additive. L'interet d'un algorithme plus raffine semble alors evident.
Dans la version actuelle on pourrait quand meme prevoir la resynthese d'un ensemble de partiels selectionnes.
Des ameliorations dans les algorithmes actuels sont possible. Le probleme majeur dans le suivi de partiels est l'affichage si le nombre de points est eleve. Des strategies de reduction doivent etre adoptees.
Une autre amelioration consiste a lier des partiels qui ont ete scindes par l'analyse et dont il est facile de decider qu'ils doivent etre connectes. Ceci simplifie deja considerablement le "post-traitement" des partiels.
Une possibilite attirante est de pouvoir bouger les partiels separement dans le temps et la frequence et de resynthetiser de le son avec les partiels deplaces.
Dernierement, nous n'avons pas encore parle de la transmission des donnees de PatchWork vers AudioSculpt. Un accord, une suite d'accords, ou plus generalement une structure polyphonique dans PatchWork peut etre interprete dans AudioSculpt comme une surface dans l'espace tridimensionnel temps-frequence-amplitude qui peut etre superposee au sonagramme. Les surfaces definissent des regions qui sont filtrees ou amplifiees.
Les legeres modifications que subissent les temps d'attaques et les durees des notes lors de leur quantification dans le module KANT de PatchWork peuvent etre renvoyees vers AudioSculpt. Charge a lui de comprimer ou dilater le signal selon ces modifications, de telle sorte que le son soit en accord parfait avec la partition.
Nous avons presente un environnement d'analyse pour l'extraction de parametres musicaux a partir d'un son en vue de leur utilisation dans un environnement de CAO. Nous avons propose deux manieres de decrire le son: la description en suite d'accords et la description en partiels.
Dans la description suite d'accords le son est modelise comme une suite d'unites sonores distinctes. Les debuts des unites sonores sont detectes puis un accord qui symbolise cette unite est extrait.
Dans la description en partiels une analyse suivi de partiels trace les partiels les plus saillants.
Les resultats sont ensuite introduits dans PatchWork ou ils sont traduits et affiches en notation traditionnelle.
Dans les essais que nous avons faits le suivi de partiels nous semble etre la technique la plus interessante, et celle qui offre le plus de possibilites dans l'avenir.
Nous ne proposons pas une analyse completement automatique, par contre une grande importance a ete accordee aux les aspects interactifs et graphiques de cet environnement. L'interactivite de ce travail consiste en la possibilite de changer et de supprimer des resultats intermediaire. L'interface graphique facilite la visualisation et la manipulation de ces resultats intermediaires. Nous esperons avoir montre l'interet de cette maniere de travailler.
Nous avons installe un environnement qui est deja utilisable. Avec les ameliorations et extensions proposees (chapitre 6) cet environnement peut devenir un outil interessant et concretement utilisable dans les situations de CAO.
Agon, A., (1994), "KANT: Une critique de la quantification pure", Memoire de DEA Informatique, Universite de Paris XI.
Agon C., Assayag A., Fineberg J., Rueda C. (1994) "Kant: a Critique of Pure Quantification." Proceedings of the ICMC 94, Aarhus, 1994.
Assayag G. and Rueda C., (1993), "The music representation project at Ircam", Proceedings of the Int. Computer Music Conference, 1993, Tokyo, Japan.
Assmann and Summerfield, (1990), "Modeling the perception of concurrent vowels: vowels with different fundamental frequencies", J. Acoust. Soc. Am., 88(2), p680-697, August 1990, Acoust. Soc. of America
Brown, G.J., (1992), "Computational auditory scene analysis: a representational approach", TR CS-92-22, University of Sheffield: Department of Computing Science
Brown G.J and Cooke M., "Perceptual grouping of musical sounds: a computational model", Journal of New Music Research
Brown, J.C., (1992), "Musical fundamental frequency tracking using a pattern recognition method", J. Acoust. Soc. Am., 92(3), p1394-1402, September 1992, Acoust. Soc. of America
Camurri, Frixione and Innocenti, (1994), "A cognitive model and a knowledge system for music and multimedia", Journal of New Music Research, 23(4), December 1994, p317-347
Cerveau, L., (1994), "Segmentation de phrases musicales a partir de la frequence fondamentale", Memoire de DEA ATIAM, Paris VI
Chafe, Mont-reynaud and Rush, (1982), "Towards an intelligent editor of digital audio: recognition of musical constructs", Computer Music Journal, 6(1), p42-51, Spring 1982, Mass. Inst. of Techn.
Daniel, J., (1995), Memoire de DEA ATIAM, Paris VI, Pas publie
Depalle, Ph., (1995), "Traitement de Signal" et "Synthese du son", Cours du DEA ATIAM
Deutsch, Noll and Eckel, (1992), "The perception of audio signals reduced by overmasking to the most prominent spectral amplitudes (peaks)", Proceedings of the 92th Convention, March 24-27, 1992, Vienna, Audio Engineering Society
Donnadieu, McAdams and Winsberg, (1994), "Caracterisation du timbre des sons complexes. I. Analyse multidimensionnelle", Journal de Physique, 4(C5), Les Editions de Physique, Les Ulis, 1994.
Doval., B., (1994), "Estimation de la frequence fondamentale des ignaux sonores", These de doctorat, Universite de Paris VI
Eckel, G, (1992), "Manipulation of sound signals based on graphical representation: A musical point of view", Proceedings of the 1992 Int. Workshop on Models and Representations of Musical Signals, Capri, 5-7 October, 1992
Eckel, G. and R. Gonzalez-Arroyo, (1994), "Musically salient control abstractions for sound synthesis.", Proceedings of the Int. Computer Music Conference, 1994, Aarhus, Danmark.
Foster, Schloss and Rockmore, (1982), "Toward an intelligent editor of digital audio: signal processing methods", Computer Music Journal, 6(1), p42-51, Spring 1982, Mass. Inst. of Techn.
Krimphoff, McAdams and Winsberg, (1994), "Caracterisation du timbre des sons complexes. II. Analyses acoustiques et quantification psychophysique", Journal de Physique, 4(C5), Les Editions de Physique, Les Ulis, 1994.
nd synthesis.", DAI Research Paper No. 640, Dept. of AI, University of Edinburgh, UK.
Leman M., (1994), "Schema-based tone center recognition of musical signals", Journal of New Music Research, 32(2), May 1994
Lepain Ph. and Andre-Obrecht R., (1995), "Micro-segmentation d'enregistrements musicaux", Deuxiemes Journees d'Informatique Musicale JIM, LAFORIA, Inst. Blaise Pascal, Avril 7-8, 1995, Paris
McAdams, St., "Audition: physiologie, perception et cognition", dans "Traite de psychologie experimentale 1", ed. Richelle, Requin and Robert, Presses Universitaire de France.
Meddis and Hewitt, (1991), "Virtual pitch and phase sensitivity of a computer model of the auditory periphery. I: Pitch identification", J. Acoust. Soc. Am., 89(6), p2866-2882, June 1991, Acoust. Soc. of America
Miranda, E.R., (1993), "From symbols to sound: Artificial intelligence investigation of sound synthesis.", DAI Research Paper No. 640, Dept. of AI, University of Edinburgh, UK.
Moore and Glasberg, pas encore publie
Moorer, J., (1977), "On the transciption of musical sound by computer", Computer Music Journal, November 1977, p32-38, Mass. Inst. of Techn.
Moorer, J., (1978), "The use of the phase vocoder in computer music applications", Journal of The Audio Engineering Society, 26(1/2): 42-45.
McAuley R.J. and Quatieri T.F., (1986), "Speech analysis/synthesis based on a sinusoidal representation", IEEE transactions on acoustics, speech and signal processing, Vol. ASSP-34 ndeg.4: 744-754, The Inst. of Electrical and Electronics Engineers, NY.
Miranda, E.R., (1993), "From symbols to sound: Artificial intelligence investigation of sound synthesis.", DAI Research Paper No. 640, Dept. of AI, University of Edinburgh, UK.
Piszczalski and Galler, (1977), "Automatic music transcription", Computer Music Journal, November 1977, p24-31, Mass. Inst. of Techn.
Presnitzer, D, These de doctorat, pas publiee.
Rodet X. and Cointe P., (1984), "FORMES: Composition and scheduling of processes", dans "The Music Machine", Ed. C. Roads, Cambridge Massachusetts: MIT Press
Terhardt, Stoll and Seewann, (1982), "Algorithm for extraction of pitch and pitch salience from complex signals", J. Acoust. Soc. Am., 71(3), p679-688, March 1982, Acoust. Soc. of America
Van Immerseel L. and Martens J.P., (1992), "Pitch and voiced/unvoiced determination with an auditory model", J. Acoust. Soc. Am., 91(6), p3511-3526, June 1992, Acoust. Soc. of America
PatchWork est un environnement graphique interactif de composition assistee par ordinateur (CAO), ayant comme objectif d'aider le compositeur a creer, representer, manipuler le materiau musical. Son caractere general et extensible en fait un logiciel aisement adaptable pour repondre a des besoins esthetiques radicalement differents. [Assayag and Rueda 1993]
Developpe en Common Lisp sur le Macintosh, il est a l'origine principalement destine a un usage de generation, de manipulation, et d'edition de structures musicales pour la production de materiau precompositionnel en musique instrumentale. L'interface avec les programmes de synthese Csound et Chant, lui confere un role supplementaire d'outil de controle de la synthese.
Le fonctionnement de base de PatchWork met a la disposition du musicien une vaste gamme de fonctions musicales, et lui permet de travailler ses structures et ses materiaux compositionnels, ainsi que de les tester avec des synthetiseurs. Mais un des interets de PatchWork pour le compositeur, est la possibilite de rajouter des fonctions personnalisees realisees en fonction de l'evolution de ses besoins compositionnels.
Un "patch" est un graphe acyclique dont les noeuds sont des modules fonctionnels represente a l'ecran sous la forme de boites rectangulaires munies de n entrees et d'une sortie, et de connexion etablies entre la sortie d'une boite et l'entree d'une autre. Un patch est equivalent a un appel fonctionnel emboite (e.g.. f(g(c, h(x, y)), i(), k(z)) ) arbitrairement complexe. Un module (une boite) peut retenir un etat interne correspondant a la valeur d'evaluation courante au noeud du graphe lui correspondant. Cet etat interne (qui peut par exemple representer une structure musicale) peut etre visualise et edite graphiquement grace a un editeur specialise dont une instance est attachee a la boite.
PatchWork tient une partie de sa puissance dans la mise en oeuvre du principe d'abstraction : un "patch" complexe peut se transformer en un module unique appele abstraction. En organisant ces abstractions dans des bibliotheques specialisees, le musicien peut se constituer un environnement personnalise en perpetuelle evolution.
Un nouveau module peut donc etre realise soit en ecrivant une fonction Lisp, soit en "abstrayant" un patch deja existant.
Les modules ont divers types :
* Lisp (fonctions du langage Lisp) ;
* Calculs (operations arithmetiques, logiques, ensemblistes) ;
* Conversions (entre valeurs numeriques et symboliques) ;
* Generation de structures musicales (interpolation d'accords ou de structures musicales, construction de series et de spectres, etc.) ;
* Manipulation de structures musicales (filtrages fonctionnels ou par contraintes) ;
* Edition graphique de courbes et de partitions en notation musicale traditionnelle ;
* Midi (reception et envoi de donnees vers des synthetiseurs externes avec possibilites d'echelles en micro-intervalles) ;
* Controle de la synthese (pilotage des programmes de synthese Csound et Chant).
Niveaux d'utilisations de PatchWork: Suivant les connaissances, l'experience et les besoins du compositeur, PatchWork peut etre mis en oeuvre :
* en fonctionnement de base, en utilisant les objets/ modules et les "patches" pre definis, soit dans le fonctionnement de base du programme, soit dans les bibliotheques construites par d'autres utilisateurs ;
* de facon avancee, en utilisant les objets de base pour construire des abstractions plus complexes ;
* de facon etendue, en programmant en Lisp, pour modifier des fonctionnalites existantes ou en creer de nouvelles.
Fig. A1: exemple d'un patch dans PatchWork
Conception et programmation de PatchWork :
Mikael Laurson, Camilo Rueda, Jacques Duthen, Gerard Assayag, Carlos Agon.
AudioSculpt pour Macintosh et Power Macintosh est un logiciel d'analyse, de traitement et d'edition spectrale du son. L'interface graphique utilisee permet facilement de "sculpter" le son en specifiant directement sur le spectrogramme des regions de filtrage dynamique. AudioSculpt est fonde sur la technologie du Super Vocodeur de Phase) mise au point par Philippe Depalle, et comprend toutes les fonctionnalites deja connues du Super Vocodeur de Phase (transposition, dilatation, synthese croisee, modules d'analyse, etc.).
Une interface intuitive pour la manipulation du son: Ce logiciel Macintosh permet de visualiser un signal sonore selon differentes representations simultanees. On peut afficher le son sous forme d'oscillogramme, tracer son enveloppe d'amplitude, regarder son spectre a court-terme a un moment donne, ou en representer le sonagramme. Une interface ergonomique facilite la navigation dans ces differentes representations, ceci permettant une exploration efficace des diverses caracteristiques du materiau sonore. La possibilite de changer le contraste dans le sonagramme en temps reel permet une premiere evaluation rapide du signal represente. Dans le chapitre 6 quelques sonagrammes sont montrees. Grace a un outil de mesure, l'utilisateur peut aussi extraire des valeurs precises en frequence, amplitude et temps pour un point precis dans la representation spectrale. Un autre outil complementaire permet la synthese en temps reel (sur le Power Macintosh) d'une sinusoide avec une frequence et une amplitude correspondant a la position du curseur dans le spectrogramme. Ce mode d'exploration auditif facilite beaucoup la lecture du spectrogramme en permettant de relier intuitivement ce que l'on voit sur l'ecran avec ce que l'on entend par haut-parleur. Un curseur special sous la forme d'une grille harmonique variable permet de detecter l' harmonicite des partiels et de distinguer differentes sources sonore dans un signal complexe.
L'analyse spectrale en temps reel est egalement possible et permet de visualiser le son lorsqu'il est produit et non plus seulement apres qu'il ait enregistre. (fig A2 et A3).
Fig. A2: la palette des outils
Un outil flexible d'analyse: les resultats d'analyses cibles comme l'extraction de la frequence fondamentale, l'estimation des sommets dans le spectre, ou le calcul de la hauteur virtuelle peuvent etre affiches en superposition avec le spectrogramme. Ceci permet un reglage fin des parametres d'analyse en comparant les resultats de l'analyse avec la representation spectrale du signal. La possibilite d'editer des resultats de l'analyse pour les utiliser dans d'autres logiciels de synthese ou de composition assistee par ordinateur (CAO) est prevue pour une version ulterieure du programme.
Un editeur spectral puissant: toujours en superposition avec le spectrogramme, l'utilisateur peut specifier avec la souris des regions de filtrage variable au cours du temps en frequence et en amplitude. Ceci permet de "sculpter" le son en amplifiant ou attenuant des regions spectro-temporelles arbitraires. Il y a deux manieres de specifier les regions a filtrer. La premiere consiste a dessiner une forme arbitraire avec un outil de type "crayon" ou en specifiant des points formant un polygone. Les points des polygones peuvent etre edites ulterieurement pour ajuster la forme d'une region. A chaque region est assignee un gain en decibel relatif au niveau original du son. En superposant des regions avec des gains differents on peut facilement realiser des deformations spectrales continues evoquant la representation d'une montagne sur une carte geographique. Les regions peuvent etre deplacees separement ou ensemble et leur gain peut etre regle individuellement ou globalement. Le deuxieme mode de filtrage sert a supprimer ou isoler completement certaines regions spectro-temporelles. Toujours au moyen du "crayon" l'utilisateur peint des regions arbitraires, ces regions sont ensuite supprimees en mettant leur amplitude a zero, ou bien isolees en reglant l'amplitude des parties non selectionnees a zero.
Fig. A3: la palette de contraste.
Une multiplicite d'applications: Les fonctionnalites d'analyse, de traitement et d'edition spectrale d'AudioSculpt vont bien au dela des outils actuellement disponibles en studio. Il permet des traitements tres fins grace au principe du vocodeur de phase tournant a vitesse rapide sur les machines Macintosh d'aujourd'hui. Le filtrage specifie directement sur l'ecran permet par exemple d'isoler une voix de l'orchestre ou de corriger des artefacts d'enregistrement. Dans les contextes de creations musicales ou pour les besoins du cinema et du multimedia, AudioSculpt permet un acces convivial a une grande quantite d'effets speciaux sans utilisation de cartes de calcul additionnelles. En tant qu'outil pedagogique AudioSculpt permet de clarifier les principes de la production et de la perception des sons.
Conception:
Chris Rogers, Gerhard Eckel: Interface graphique
Philippe Depalle, Gilles Poirot: Noyau du Super Vocodeur de Phase
Realisation:
Chris Rogers, Jean Carrive, Philippe Depalle, Gilles Poirot
Validation:
Marie-Helene Serra, Thierry Coduys, Eric Daubresse, Alain Lithaud
Documentation:
Marie-Helene Serra, Marc Battier, Brice Pauset.