Lernen auf mehreren Levels

Kürzlich wurde unser erstes Paper (vgl. [1]) vom Journal of Computational Physics zur Veröffentlichung akzeptiert. Das ist vermutlich ein guter Zeitpunkt einmal über den Inhalt dieses Papers zu schreiben. Aber, keine Angst, werter Leser, dieser Text ist allgemein verständlich.

In unserer Veröffentlichung geht es um das Lernen. Nicht um das Lernen von Menschen oder Tieren, sondern um das Lernen von Computern und Maschinen. Spezieller: Die Maschine soll ein kompliziertes physikalisches Modell lernen. Dies soll geschehen anhand von Simulationen des Modells und anhand von verrauschten Observationen - Daten, Beobachtungen o.ä. Ich werde später darauf zurückkommen, wie das genauer funktioniert. Jetzt erst mal zum Lernen auf mehreren Levels oder Multilevellernen.

Screenshot des ArXiv preprints. Quelle: [1].

Man stelle sich vor die vierjährige Jana besucht die musikalische Früherziehung und wird dort als musikalisch talentiert erkannt. Außerdem verliebt sich das junge Mädchen in den großen Konzertflügel und träumt davon einmal professionelle Pianistin zu werden. Die Eltern sind nicht sehr musikaffin und haben weder Piano noch Flügel in der Wohnung stehen, außerdem sind sie eher skeptisch: Man unterstützt die Tochter ja schon sehr gerne, aber einfach mal so einige Tausend Euro für ein Klavier hinzublättern wirkt dann schon etwas absurd. Dazu käme noch der teure Einzelunterricht. Vielleicht bleibt sie ja gar nicht bei diesem Wunsch oder sie ist gar nicht so musikalisch.

Sie beschließen, ihre Tochter zum Blockflötenunterricht anzumelden. Eine hölzerne Blockflöte kostet etwa 30 Euro, der Unterricht ist in einer größeren Gruppe und sehr günstig. Hier lernt sie Blockflöte, aber insbesondere auch: Rhythmusgefühl, Notenlesen, vom Blatt abspielen, in der Gruppe musizieren, ein Musikinstrument beherrschen. Jana macht das Flötespielen Spaß, aber sie hat noch immer das Klavier als Ziel vor Augen. Ihre Eltern sind sich noch immer nicht so sicher. In Fachkreisen zähle das ja gar nicht als Instrument. Außerdem spiele man nur einstimmig. Für etwa 70 Euro kaufen sie nun eine Melodica und bezahlen Kleingruppenunterricht. Jana ist begeistert von der Melodica. Es fühlt sich schon an, wie Klavier spielen. Sie muss nun auch mehrstimmig spielen und mehrstimmig Noten lesen. Aber es ist noch nicht das Klavier. Ein Jahr später kaufen die Eltern ein Keyboard (200 Euro) und bezahlen einen Klavierlehrer. Sie fährt zum Unterricht in die Musikschule und spielt dort auf einem echten Klavier. Zuhause übt sie auf dem Keyboard. Sehr viel später kaufen die Eltern ein echtes Klavier - der Umstieg vom Keyboard fällt nicht allzu Jana nicht allzu schwer. Nach dem Abitur wird sie von der Musikhochschule aufgenommen. Nach ihrem Examen tritt sie Solo und mit der Philharmonie auf.

Was ist passiert? Jana hat das Klavierspielen gelernt. Im Prozess des Lernens hat sie dies aber nicht nur durch Klavierlernen geschafft, sondern auch durch das Lernen anderer Musikinstrumente. Es ist nicht wirklich klar, ob sie es besser gelernt hätte, ohne den "Umweg" über Blockflöte, Melodica und Keyboard. Es war aber sicherlich deutlich günstiger. Grundlagen des Musizierens vom Klavierlehrer im Einzelunterricht zu erlernen, wäre teuer geworden und erheblich ineffizienter. So hat sie es einfach nebenbei gelernt - im günstigen Gruppenunterricht. 

Ohne es zu wissen, hat Jana das Klavierspielen auf mehreren Levels gelernt. Levels sind hierbei die verschiedenen Musikinstrumente.

Wir lernen natürlich nicht das Spielen von Musikinstrumenten. Wir lernen, wie gesagt, Teile komplexer physikalischer Prozesse. Man stelle sich die folgende Situation vor: Wir möchten die Durchlässigkeit (die Permeabilität) eines Grundwasserreservoirs lernen. Dazu pumpen wir von verschiedenen Orten aus Wasser in das Reservoir und messen den Wasserdruck an verschiedenen Stellen. Wir können diesen Vorgang mit einem Computer simulieren. Um die Permeabilität zu lernen, müssen wir den Vorgang sehr oft simulieren - jeweils für verschiedene Permeabilitäten - und ihn mit den in der Realitäten gemessenen Werten vergleichen. "Sehr oft" steht für mehrere Tausend Mal.

Eine einzelne Simulation kann einige Sekunden, aber auch einige Stunden oder Tage dauern. Spätestens ab "einige Minuten" ist es kaum möglich, den Lernvorgang durchzuführen. Es könnte Monate oder Jahre dauern, bis der Lernalgorithmus terminiert ist. Das möchten wir ändern, mit Lernen auf mehreren Levels. 

Verschiedene Levels entstehen hier durch die Verwendung verschiedener Genauigkeiten bei der Simulation des Grundwasserflusses. Grundsätzlich dauern genauere Simulationen länger, gröbere Simulationen gehen schneller. "Zeit" lässt sich hier mit den Kosten des Musikinstrumentes und -unterrichts für die kleine Jana vergleichen. "Multilevellernen" heißt also hier, dass wir Grundsätzliches mit groben Simulationen lernen möchten. Einzelheiten mit genauen Simulationen.

Eine Schwierigkeit möchte ich noch erwähnen, die Janas Eltern intuitiv richtig gelöst haben. Die Frage ist: Wo hört das "Grundsätzliche" auf und wo fangen die "Einzelheiten" an? Offenbar lohnt es sich nicht zum Blockflötevirtuosen zu werden, wenn man auf lange Sicht eigentlich Klavier spielen lernen möchte. Das sind auch unsere Beobachtungen bei Grundwasserreservoiren: Es lohnt sich nicht die Einzelheiten mit einer groben Simulation zu lernen, dann wieder zu vergessen, um dann die Einzelheiten mit einer genauen Simulation erneut zu lernen. Wir schlagen eine Heuristik vor, anhand der sich "Einzelheiten" von "Grundsätzlichem" unterscheiden lassen. In unseren Experimenten erhalten wir mit dieser Heuristik einen vierfachen Kostenvorteil bei gleicher Genauigkeit. 

Abschließend und zusammenfassend ein

Axiom. Wer zum Klaviervirtuosen werden möchte, profitiert davon, erst einmal Blockflöte zu lernen. Mit dem Blockflötespielen sollte er es aber nicht übertreiben.

Referenz.

[1] Jonas Latz, Iason Papaioannou, Elisabeth Ullmann (2018): Multilevel Sequential² Monte Carlo for Bayesian inverse problems, Journal of Computational Physics 368, p. 154-178, DOI, ArXiv-Preprint.