diff --git a/content.tex b/content.tex index 12656ea..78732ba 100644 --- a/content.tex +++ b/content.tex @@ -10,28 +10,34 @@ Ce mémoire est issu de la rencontre entre l'\ircam\ (Institut de Recherche et Coordination Acoustique/Musique) et le \lps\ (Laboratoire de Physique des Solides) autour d'un sujet de recherche sur sonification/musification de -mousses liquides. Ce dernier, rédigé en conclusion d'un stage de recherche de -Master 2 au \mpri, présente le cadre interdisciplinaire et les pistes de -réflexion empruntées lors de ce travail très exploratoire. +mousses liquides. Rédigé en conclusion d'un stage de recherche de Master 2 au +\mpri, il présente le cadre interdisciplinaire et les pistes de réflexion +empruntées lors de ce travail exploratoire. -Les mousses sont un sujet d'étude du \lps\ et l'usage du son pour détecter des -propriétés des mousses liquides est une approche novatrice dans ce domaine. -L'équipe RepMus (\ircam) possède les outils informatiques et -\emph{mathémusicaux} pour élaborer un environnement de sonification apte à -démontrer son intéret. La découverte du/des paramètre(s) décrivant au mieux le -comportement du système est une question non triviale, ce/ces dernier(s) étant -noyé(s) dans de multiples mesures portant sur de nombreux autres paramètres. +Les mousses sont un sujet d'étude du \lps. Les physiciens ont le choix entre +les mesures de plusieurs instruments et c'est pourquoi la découverte du/des +paramètre(s) décrivant au mieux le comportement de ce système est une question +non triviale ; ce/ces paramètre(s) est/sont noyé(s) dans de multiples mesures +portant sur de nombreux autres paramètres. L'usage du son et notamment de la +musique pour détecter des propriétés des mousses liquides est une approche +novatrice dans ce domaine. L'équipe Représentations Musicales (\ircam) possède +les outils informatiques et \emph{mathémusicaux} pour élaborer un environnement +de sonification apte à démontrer son intérêt. + +Plus précisément, ce stage prends pour hypothèse que la musique peu aider le +processus de sonification et a pour objectif d'apporter des réponses à deux +questions qui sont la qualification de l'ordre spatial et temporel dans une +mousse liquide en deux dimension et de valider cette approche. % De quoi on va parler \medskip Nous commencerons par présenter succintement le domaine de la sonification -scientifique, son lien avec la musification, avec le système étudié et -quelques notions nécessaires se rapportant à la musique contemporaine. Nous -aborderons ensuite les liens entre tonnetz et graphe de Cayley et nous -exposerons quelques mappings mis en œuvre pendant ces quelques mois. Nous -continuerons avec des détails sur l'implementation de ces mappings, puis -nous parlerons de la validation des données obtenues pour clore sur les -perspectives de ce stage et leurs implications. +scientifique, l'idée de la musification, le système étudié et quelques notions +musicales nécessaires. Nous aborderons ensuite les liens entre tonnetz et +graphe de Cayley et nous exposerons quelques mappings mis en œuvre pendant ces +cinq mois. Nous continuerons avec des détails sur l'implémentation de ces +mappings, puis nous parlerons de la validation des données obtenues pour clore +sur les perspectives de ce stage et leurs implications. \subsection[De la sonification scientifique]{De la sonification scientifique\ldots} @@ -43,14 +49,14 @@ de mettre en évidence une loi quadratique. Sur cette rampe on laisse librement rouler une bille qui, pendant sa descente, fait sonner les clochettes (Fig. \ref{fig:rampe-detail}) : la phrase rythmique entendue dépend de la position de chaque portail sur la rampe. En déplaçant les portails de telle manière à ce -que la phrase rythmique soit la plus régulière possible, on peut déterminer -l'accélération de la bille en mesurant leurs positions sur la rampe. +que cette phrase soit périodique, on peut déterminer l'accélération de la bille +en mesurant leurs positions sur la rampe. Cette expérience pratique utilisant le son comme descripteur d'un phénomène -fait partie de la sonification scientifique. On peut citer d'autres outils -scientifiques actuels reposant sur le même principe : le compteur Geiger, le -radar de recul (avec des « bip » de plus en plus rapprochés quand la distance à -l'obstacle diminue). +fait partie de la sonification scientifique. On peut citer des outils +scientifiques actuels reposant sur le même principe que la rampe de Galilée : +le compteur Geiger, le radar de recul (avec des « bip » de plus en plus +rapprochés quand la distance à l'obstacle diminue). \begin{figure}[ht] \centering @@ -64,13 +70,22 @@ l'obstacle diminue). \caption{Rampe de Galileo Galilei (au Museo Galileo de Florence)} \label{fig:rampe} \end{figure} + +\medskip +Le domaine de la \emph{visualisation} de données +\cite{friendly_milestones_2002} a une histoire riche et a pris beaucoup +d'importance avec l'arrivée des premiers ordinateurs. Il a pour but de mettre +en images un ensemble de données, par exemple des clusters dans un nuage de +points, pour mettre en avant les relations existantes dans l'ensemble de +données considéré. -La sonification scientifique est un domaine en plein développement depuis les -vingt dernières années, notamment grâce à la création de la conférence -\textsc{Icad} (pour \emph{International Community for Auditory Display}) en -1992 présidée par Gregory Kramer. Ce champ de recherche intrinsèquement -pluridisciplinaire est à mettre en parallèle de la visualisation scientifique -et est définie dans \cite{kramer_sonification_1999} en ces termes : +La sonification scientifique est un domaine plus jeune et en plein +développement depuis les vingt dernières années, notamment grâce à la création +de la conférence \textsc{Icad} (pour \emph{International Community for Auditory +Display}) en 1992. Ce champ de recherche intrinsèquement pluridisciplinaire est +à mettre en parallèle de la visualisation de données. \\ +La sonification est définie dans \cite{kramer_sonification_1999} en ces termes +: \begin{quote} Sonification is the transformation of data relations into perceived relations @@ -78,19 +93,23 @@ in an acoustic signal for the purposes of facilitating communication or interpretation. \end{quote} -Pour faire le lien entre données et son, quelques techniques ont été +Pour faire le lien entre données à analyser et son, quelques techniques ont été référencées dans~\cite{hermann_sonification_2011} : \begin{itemize} \item{l'\textbf{Audification}} consiste à écouter le signal brut ou déformé par -traitement analogique (filtrage passif, accélération, ralentissement, \ldots) ; +traitement analogique (filtrage passif, accélération, ralentissement, \ldots), +l'exemple emblématique étant \cite{speeth_seismometer_1961}, dans lequel Speeth +montre que l'on peut distinguer, en écoutant les données séismométriques, la +détonation d'un explosif d'un tremblement de terre ; \item{les \textbf{Auditory Icons} et \textbf{Earcons}} sont des sons discrets utilisés pour les évènements discrets (comme les alarmes), le premier consiste -à jouer des sons préenregistrés et second peut être l'agencement de séquences -synthétisées connues pour former des « mots » ; +à jouer des sons préenregistrés et le second peut être l'agencement de +séquences synthétisées connues pour former des « mots » ; \item{la \textbf{Model Based Sonification}} consiste à créer un \emph{modèle} -issu des données du système et d'ensuite interagir avec ledit modèle et écouter -en temps réel afin de tirer des informations du système et -\item{la \textbf{Parameter Mapping Sonification}}. +issu des données du système, interagir avec ce modèle et écouter en temps réel +le son généré afin de tirer des informations du système +\cite{hermann_listen_1999} et \item{la \textbf{Parameter Mapping Sonification} +(\textsc{Pms})}. \end{itemize} Notre travail s'inscrit dans la dernière catégorie. Traditionnellement, un paramètre contrôlant la production d'un son est \emph{lié} à un des paramètre @@ -98,44 +117,84 @@ du système étudié. Par exemple, nous pourrions relier un paramètre sonore co la fréquence d'un son à un paramètre de notre système comme le nombre de bulles évoluant dans le temps. La variation des fréquences perçues nous renseignent ainsi sur l'évolution du nombre de bulles au cours du temps. Cette méthode -plutôt intuitive souffre d'un défaut : il existe beaucoup de mappings possibles -($a.n^n$, où $n$ est le nombre de paramètres du système et $a$ le nombre de -paramètres contrôlant la production sonore). En restreignant la production -sonore au paramètres musicaux, nous pourrions aussi réduire l'espace des -valeurs de $a$, mais ce n'est pas le seul avantage que nous gagnerions à -\emph{musifier}. +plutôt intuitive souffre d'un défaut : il existe beaucoup de mappings +possibles. -%\begin{quote} -%Therein lies both power and problem. Specifically, the enormous range of -%interpretive mapping decisions provides equally enormous opportunities to -%create an appropriate auditory display for a particular desired purpose. -%However, the wide variety of mapping possibilities poses a challenge in terms -%of consistency and comprehensibility, a challenge that has, for visual data -%mapping, been attenuated by evolution and the a-temporal nature of the display. -%\hfill{\ref{soha-pmson}} -%\end{quote} +\begin{figure}[ht] +\centering +\begin{tikzpicture}[auto,bend right,scale=\textwidth/5cm] +%every node/.style={transform shape}] +\node (phyrel) {Lois du système}; +\node (phyobs) [below=of phyrel] {Observables}; +\draw[thick,->, dotted] (phyobs) -- (phyrel); +\node (musobs) [right=of phyobs] +{Objets sonores}; +\draw[black!50,thick,font=\scriptsize,->] (phyobs) to node +{mappings} (musobs); +\draw[black!50,thick,font=\scriptsize] (phyobs) to node [swap] +{sonification} (musobs); + +\node (musrel) [above=of musobs] +{Relations sonores}; +\draw[black!50,thick,font=\scriptsize,->] (musobs) +to node [swap,text width=21mm] {perception (IHM)} (musrel); +\draw[black!50,thick,->] (musrel) to node [swap] {?} (phyrel); +\end{tikzpicture} + +\caption{Cycle des transformations pour la recherche de relations +dans un système complexe par sonification} +\label{fig:dico} +\end{figure} + +En général on ne peut pas passer facilement des observables d'un système aux +lois les régissant. Il est alors intéressant de passer par une sonification du +système (Fig.~\ref{fig:dico}). En utilisant la \textsc{Pms}, on donne une +représentation sonore aux observables de notre système qui est perçue par le +système auditif comme un objet sonore dont on peut extraire des +caractéristiques ou des relations. Ces relations sonores sont un lien direct +avec les lois du système. + +%Outils +Il existe plusieurs outils et environnements pour la recherche de relations par +\textsc{Pms} \cite{candey_xsonify_2006} \cite{pauletto_toolkit_2004} +\cite{walker_sonification_2003}, mais aucun ne tire réellement parti du côté +fortement structurel de la musique. Pourtant la musique a de réels atouts au +sein de la sonification, on parlera alors de \emph{musification}. \subsection[À la musification]{\ldots\ à la musification} Une approche de notre problème par les techniques de sonification classiques nous semble limité car elle passe outre la forte composante \emph{strucurelle} de la musique. Nous explorons la voie de la \emph{musification}, une extension -naturelle de la sonification par Parameter Mapping. C'est une approche -géométrico-algébrique qui cherche à combler le manque de géométrie dans les -techniques de sonification usuelles, donnée pourtant intéressante lors de -l'étude de systèmes physiques complexes ayant une organisation spatiale. +naturelle de la \textsc{Pms}. +% C'est une approche géométrico-algébrique qui +% cherche à combler le manque de géométrie dans les techniques de sonification +% usuelles, donnée pourtant intéressante lors de l'étude de systèmes physiques +% complexes ayant une organisation spatiale. +Elle apporte à la sonification : +\begin{itemize} +\item une structure hiérarchique claire (note, mesure, phrase, \ldots) et +notamment multi-échelle, +\item une meilleure analyse des régularités, des symétries et +\item une « facilité » de traitement auditif par la réutilisation d'un +background musical connu. +\end{itemize} +La musification est adaptée à l'analyse des systèmes complexes, où l'on veut +traiter au moins deux échelles simultanément : l'échelle locale (bulle) et +l'échelle globale (mousse). Par ailleurs, la musification peut s'appuyer sur +des approches et outils géométriques qui sont aussi utilisés dans l'analyse des +systèmes complexes physiques : symétries, organisation spatiale, \ldots La formalisation musicale s'est accentuée à la fin du XX\ieme\ siècle avec -l'utilisation de la théorie des ensembles pour décrire les classes -d'intervalles (voir §~\ref{subsec:music}) : la \emph{set-theory} -\cite{forte_structure_1973} \cite{rahn_basic_1987} -\cite{colloque_autour_de_la_set_theory_actes_2008}. En rajoutant des opérations -algébriques à l'espace des hauteurs on obtient un couple (ensemble, structure) -nous ouvrant l'accès à la théorie des groupes. Les opérations ensemblistes et -algébriques sont disponibles : union et intersection, utilisation de la loi -interne, etc. +l'utilisation d'outils algébriques pour décrire les classes d'intervalles (voir +§~\ref{subsec:music}) : la \emph{set-theory} \cite{forte_structure_1973} +\cite{rahn_basic_1987} \cite{colloque_autour_de_la_set_theory_actes_2008}. En +rajoutant des opérations algébriques à l'espace des hauteurs on obtient un +couple (ensemble, structure) nous ouvrant l'accès à la théorie des groupes. Les +opérations ensemblistes et algébriques sont disponibles : union et +intersection, utilisation de la loi interne, etc. -C'est tout un univers formel qui vient se greffer au Parameter Mapping et nous -permet de \emph{raisonner} de manière systématique sur la sonification. +C'est tout un univers formel qui vient se greffer à la \textsc{Pms} et nous +permet de \emph{dépasser} la sonification pour aller vers la sonification. \subsection{Système étudié : les mousses liquides} \label{subsec:mousses} @@ -159,12 +218,14 @@ permet de \emph{raisonner} de manière systématique sur la sonification. \end{figure} Notre objet d'étude est un système complexe relativement bien connu des -physiciens du \lps\ d'Orsay : il s'agit des mousses liquides en deux dimensions -(Fig.~\ref{fig:mousses-space} et Fig.~\ref{fig:mousses-time}). Il n'en a pas -toujours été ainsi et il a fallut plusieurs années de recherche pour isoler le -«~bon~» paramètre parmis tous, c'est à dire celui le plus à même de décrire le -comportement du système. Nous émettons l'hyptohèse que cette recherche peut -être menée plus efficacement grâce à la musification du système. +physiciens\footnote{Ref needed} du \lps\ d'Orsay : il s'agit des mousses +liquides en deux dimensions (Fig.~\ref{fig:mousses-space} et +Fig.~\ref{fig:mousses-time}). Si le comportement de ces mousses liquides est +aujourd'hui bien connu, il n'en a pas toujours été ainsi. Il a fallut plusieurs +années de recherche pour isoler le «~bon~» paramètre parmis tous, c'est à dire +celui le plus à même de décrire le comportement du système. L'hyptohèse qui +motive ce stage est que cette recherche peut être menée plus efficacement grâce +à la musification du système. \begin{figure}[ht] \includegraphics[width=\textwidth]{img/foam-coarsening} @@ -172,16 +233,19 @@ comportement du système. Nous émettons l'hyptohèse que cette recherche peut \draw[|-to] (0,0) -- node[midway,fill=white] {temps} (2cm,0); \end{tikzpicture} \caption{Différents états de l'évolution temporelle d'une mousse en deux -dimensions à partir d'un état de type désordonnée (Fig.~\ref{fig:desordonnee})} +dimensions à partir d'un état de type désordonné (Fig.~\ref{fig:desordonnee})} \label{fig:mousses-time} \end{figure} Deux questions se posent alors : \begin{enumerate} -\item Comment écouter le degré d'ordre de l'organisation spatiale du -système ? -\item Comment écouter les épisodes catastrophiques lors de l'évolution -emporelle du système ? +\item Peut-on écouter le degré d'ordre de l'organisation spatiale du système +?\\ + + +\item Peut-on écouter les épisodes catastrophiques lors de l'évolution +emporelle du système ?\\ + \end{enumerate} Ces deux questions ont orienté notre exploration lors de la