Sie sind hier: Startseite Forschung Gefilmt und gemalt

Gefilmt und gemalt


Zum ersten Mal gleiten Videoclips, die von Computern im Stil von Henri Matisse oder Pablo Picasso umgestaltet werden, ohne Zucken voran

Vincent van Gogh macht neuerdings Videokunst. Eine reale Filmszene zeigt ein Paar auf dem Freiburger Münstermarkt. Die beiden lassen ihren Blick schweifen, auf einer Seite ragt das rotbraune Münster in den tiefblauen Himmel, hinten steht die Alte Wache, vor der sich Marktstände aufreihen. Plötzlich ändern sich die Farben und Konturen. Das Münster leuchtet gelb, blau, orange. Den Himmel zieren bunte Tupfer. Hat van Gogh einen Trickfilm gedreht? Zumindest sieht die Sequenz so aus. „Sie läuft ohne Ruckeln und Flackern, sehr beeindruckend“, betont Informatiker Thomas Brox, Professor für Mustererkennung und Bildverarbeitung an der Universität Freiburg. Bisher flackerten Filme nach einem so genannten Style Transfer immer. Bei diesem Verfahren übertragen Computer Kunststile, wie etwa die von van Gogh, Henri Matisse oder Pablo Picasso, auf Filmsequenzen. Das Problem, das woanders Zittern hervorrief, hat der 23-jährige Informatikstudent Manuel Ruder nun beseitigt: Mit seinem Verfahren gleiten bearbeitete Filme wackelfrei voran.

Medienrummel und Bestnoten
Lob kommt vom Magazin „Wired“, der US-amerikanischen „Technology Review“, der britischen „Daily Mail“ und anderen. Im Internet haben sich fast 80.000 Menschen den Videoclip der Arbeitsgruppe Brox angesehen. Das freut den Experten für Bildanalyse: „So viel Medienecho zu einer studentischen Arbeit ist außergewöhnlich, aber sie ist auch von hoher wissenschaftlicher Qualität.“ Deshalb erhielt Ruder kürzlich eine Einladung zur Deutschen Tagung für Mustererkennung. „Die Gutachter haben sein Projekt mit Bestnoten bewertet“, sagt Brox. Selbst aus der Filmbranche kamen Anfragen zu Ruders Verfahren.

„Style Transfer gab es schon“, erzählt der Student. Tübinger Informatiker haben im Jahr 2015 Kunststile auf Einzelbilder übertragen. Es wäre doch schön, wenn sich das Prinzip auch auf Videos anwenden ließe, dachten sich Brox und Ruder – sie waren nicht die Ersten. Andere Arbeitsgruppen hatten es bereits versucht. In ihren Videos flackern die Farbflächen, die Optik fließt nicht, sondern humpelt. Der Computer hatte jedes Bild einzeln verkünstelt. Darum konnte er nicht erkennen, dass die Bilder Teile einer Folge waren. Der Style Transfer fiel jedes Mal minimal anders aus und die Videos zuckten. Nach Ruders Verfahren flutscht der animierte Zeichentrickfilm „Ice Age“ im Höhlenmalereistil nahtlos, weich und farbgetreu dahin. Darth Vader aus „Star Wars“ erscheint wie eine Schöpfung des deutschen Expressionisten Heinrich Schlief und bewegt sich dennoch rund.

„Wir lassen den Computer immer ein Bild in die Vergangenheit schauen“, erklärt Ruder. Die Maschine erstellt jeweils eine globale Bildstatistik, entdeckt Zusammenhänge und kapiert: Das hier ist ein Film! Auch hat Ruder eine Kontrolle eingeführt, die Abweichungen zwischen zwei Bildern „bestraft“. Ausgeklammert werden die Randzonen bewegter Objekte und verdeckte Flächen. „An diesen Problemstellen lassen wir dem Transfer-Algorithmus mehr Freiheit.“ Ein Zufallselement erlaubt hier, etwas großzügiger zu improvisieren. Maximale Freiheit herrscht bei Kameraschwenks, wenn am Bildrand neue Flächen auftauchen. Der Rechner darf sie erfinden, sie müssen lediglich zum Rest des
Bildes passen. Damit trotzdem nichts flattert, hat Ruder einen Multipass-Algorithmus entwickelt.

Daher ist alles wunderbar im Fluss bei „Miss Marple“ im Stil von van Goghs „Sternennacht“ oder beim „Dschungelbuch“ à la Uffe Boesen. Doch die Technik hat Grenzen, sagt Brox. Angela Merkels Neujahrsrede als Kandinsky-Imitat wäre machbar, Angela Duck à la Disney leider nicht. „Je expressionistischer, künstlerischer der Stil, desto einfacher funktioniert Style Transfer“, so der 39-jährige Professor. Schwierig wird’s bei grafischen Vorbildern wie etwa von Keith Haring oder aus Comics. Zudem gehen inhaltliche Details verloren, bedauert Brox: „Gesichter sehen nach dem Style Transfer selten besser aus.“

Eine Stunde Rechenzeit je Filmminute
In mehrfacher Hinsicht wären Pornos nach einem Transfer wohl weniger scharf. Das ahnte ein entsprechender Webseitenbetreiber nicht, als er anfragte. Weit mehr ehrt Brox und Ruder, dass ein Studio aus Los Angeles/USA ihren Style Code bei einem Musikvideo für das Cannes-Lion-Festival einsetzte. Ein Dokumentarfilmer wollte das Interview mit einer Künstlerin in ihren Stil transferieren. „Leider bekam ihr Gesicht zu wenig davon ab und der Hintergrund zu viel“, sagt Ruder. Der Student will das Verfahren in seiner Masterarbeit, die nächstes Semester ansteht, optimieren. Ein Ziel ist, es zu beschleunigen. Jedes Bild rechnet der Computer 200- bis500-mal durch, was je Filmminute eine Stunde Zeit kostet. Das ist für komplette Spielfilme und Apps noch zu langsam.

„Der Algorithmus soll auch große Bewegungen besser erkennen und speziell auf Gesichter eingehen“, sagt Brox. Er und Ruder wären nicht traurig, wenn der Photoshop-Entwickler Adobe oder die Computeranimationscracks von Pixar
irgendwann anriefen. Die Informatiker suchen nach Ideen, mit denen sich Hollywood locken lässt. Werde dort getrickst, dann noch mit einer Menge Handarbeit und einem finanziellen Aufwand in Millionenhöhe.Vielleicht klappt es rasch: Nur zwei Monate brauchte Ruder von der Idee bis zur Umsetzung seines Verfahrens. „Da konnte ich aber auf einige vorhandene Pakete zurückgreifen.“ Doch um sie zu verbinden und anzupassen, musste er Quellcodes schreiben und Neuland betreten. Das werden Thomas Brox und Manuel Ruder auch zukünftig tun. Sie wollen Einzelaufnahmen zu filmischem Leben erwecken und damit quasi per Computertechnik einen historischen Schritt wiederholen: die Bilder das Laufen lehren

Jürgen Schickinger / Beitrag uni'leben 03'2016

Kunstvolle Algorithmen
Ein YouTube-Videoclip zeigt den wilden Ritt durch die Kunst-und Filmgeschichte