Autonomes Fahren: Kleiner Fleck, großes Chaos

Davor warnen jetzt Forscher des Tübinger Max-Planck-Instituts für Intelligente Systeme. Die Autohersteller wurden vorsorglich informiert.

In ihrer Forschungsarbeit prüften Anurag Ranjan und seine Kollegen Joel Janai, Andreas Geiger und Michael J. Black von der Abteilung für Perzeptive Systeme die Robustheit einer Reihe verschiedener Algorithmen zur Bestimmung des sogenannten optischen Flusses. Dieser beschreibt die Bewegung in einer Szene, die von den Bordkameras erfasst wird. Jüngste Fortschritte im Bereich des maschinellen Lernens haben zu schnelleren und besseren Verfahren beim Berechnen von Bewegung geführt. Die Forscher zeigten jedoch, dass derartige Verfahren anfällig sind, wenn Störsignale im Spiel sind: zum Beispiel ein einfaches, buntes Muster, das in die Szene platziert wird.

Selbst wenn sich das Muster nicht bewegt, kann es dazu führen, dass tiefe neuronale Netze, wie sie heute in großem Maße zur Flussberechnung eingesetzt werden, falsch rechnen: das Netzwerk kalkuliert plötzlich, dass sich große Teile der Szene in die falsche Richtung bewegen.

Wissenschaftler hatten in der Vergangenheit bereits mehrfach gezeigt, dass selbst winzige Muster neuronale Netze verwirren können. Zum Beispiel wurden dadurch Objekte wie Stoppschilder falsch klassifiziert. Die Tübinger Forscher zeigten erstmals, dass auch Algorithmen zur Bestimmung der Bewegung von Objekten anfällig für derartige Angriffe sind.

Kleiner Fleck, großes Chaos
Ranjan und seine Kollegen waren überrascht, dass selbst ein kleiner Fleck großes Chaos auslösen kann. Es reicht eine Größe von weniger als einem Prozent des Gesamtbilds aus, um das System anzugreifen. Die kleinste Störung verursachte, dass das System schwere Fehler bei seinen Berechnungen machte, die die Hälfte des Bildbereichs betrafen. Je größer der Fleck, desto verheerender die Auswirkungen.

„Dies ist bedenklich, da das Flow-System in vielen Fällen die Bewegung der Objekten in der gesamten Szene gelöscht hat," erklärt Ranjan und weist auf ein Video (siehe oben) hin, in dem das angegriffene System zu sehen ist. Man könne sich leicht vorstellen, welchen Schaden ein lahmgelegter Autopilot eines selbstfahrenden Autos bei hoher Geschwindigkeit verursachen könne, so die Wissenschaftler.

Weckruf an Automobilindustrie
Mit ihrer Arbeit wollen sie „die Hersteller von selbstfahrender Technologie wachrütteln, sie vor der potenziellen Bedrohung warnen. Wenn sie davon wissen, können sie ihre Systeme so trainieren, dass sie gegenüber derartigen Angriffen robust sind," sagt Michael J. Black, Direktor der Abteilung für Perzeptive Systeme.

Nur eines von vielen Problemen
Eric Sax vom Karlsruher Institut für Technologie wertet die mögliche Sicherheitslücke als nur eines von noch vielen Problemen. „Beim Thema automatisiertes Fahren sind wir noch unglaublich weit von der generellen Straßentauglichkeit und einer Serieneinführung in einem anspruchsvollen Umfeld entfernt", sagte der selbst nicht an der Studie beteiligte Experte.