Zwei Wissenschaftler der Universität Essex haben jetzt eine Untersuchung vorgelegt, die die von der Londoner Polizei eingesetzte automatische Gesichtserkennung bewertet. Entsprechende Tests, auf die sich diese Untersuchung stützt, wurden durchgeführt im Zeitraum zwischen Juni 2018 und Februar 2019.
Das Urteil der Forscher: mit einer miserablen Trefferquote von gerade einmal 20% ist das System der Life Facial Recognition – LFR – nicht zu gebrauchen.
Im Gegensatz zur “normalen” Videoüberwachung, bei der eine Tat, ihr Ablauf, Ort, Zeitpunkt,Täter und Opfer im Bild festgehalten werden (sollen), gehört der polizeiliche Sinn der Life Facial Recognition in den Bereich der Fahndung: ein Täter oder eine Täterin soll mit Hilfe einer Videokamera (und angeschlossener künstlicher Intelligenz) identifiziert und gefasst werden. Dabei wird in der Praxis nicht nach einer einzigen Person gesucht, sondern, ausgehend von einer Liste Verdächtiger, nach mehreren Personen gleichzeitig.
Bereits vor 10 Jahren wurden am Hauptbahnhof Mainz ähnliche Testreihen durchgeführt.
Die Erkennungsrate lag dort, aufgrund einer etwas anderen Versuchsanordnungen, mit 60% deutlich höher als bei der Londoner Polizei. Trotzdem, so der damalige BKA-Präsident Jörg Ziercke, sei eine solche Erkennungsrate für den praktischen Einsatz immer noch viel zu niedrig.
Jüngere Tests am Berliner Bahnhof Südkreuz kamen 2017 auf eine Erkennungsrate von 70%. Florian Gallwitz, Professor für Mustererkennung an der Technischen Hochschule Nürnberg, meint dazu, dass das ein für ihn überraschend schlechtes Ergebnis sei, das die Tests am Mainzer Bahnhof vor gut zehn Jahren nur unwesentlich übertreffe. “Die dramatischen Fortschritte der Gesichtserkennung im Forschungsbereich in den vergangenen vier Jahren scheinen sich hier [am Südkreuz] nicht abzubilden.”
Während die erwähnten Tests in London in der “wirklichen Wirklichkeit” stattfanden und reale Verbrecherlisten verwendeten, setzte man in Mainz und Berlin Testpersonen ein, die mit Ortungssystemen ausgestattet waren: man wollte auf diese Weise genau wissen, ob sich eine Testperson in der Nähe einer Kamera befand und entsprechend richtig oder falsch identifiziert wurde.
Was aber bedeutet eine Erkennungsrate von 70% tatsächlich?
Bei der Auswertung entsprechender Tests werden mindestens 4 Fälle von einander unterschieden:
◦ korrekt positiv,
◦ korrekt negativ,
◦ falsch negativ und
◦ falsch positiv
Die 70% beziehen beziehen sich vor allem auf den Fall “korrekt positiv”: das aus Kamera, Bilddatenbank und “künstlicher Intelligenz” bestehende System verrichtet seine Arbeit “vorschriftsmäßig” und macht keinen Fehler. Der Innenminister ist zufrieden und kann der Öffentlichkeit stolz hohe Prozentzahlen und sein zufriedenes Gesicht präsentieren. “Korrekt positiv” bedeutet, dass eine Person in 70% der Fälle korrekt verarbeitet und richtig erkannt wurde.
“Korrekt negativ” ist eine Zahl, die weniger öffentlichkeitswirksam, aber trotzdem wichtig ist, denn sie bedeutet, dass das Gesicht einer Person korrekt verarbeitet wurde, aber mit keinem gesuchten Individuum übereinstimmt. Mit anderen Worten: das System kann nichts finden, was dem oder der unbescholtenen Bürgerin vorzuwerfen wäre.
Das dritte Kriterium “falsch negativ” würde, bezüglich Öffentlichkeitswirksamkeit, vielleicht als Randnotiz in einer normalen Tageszeitung erscheinen. “Falsch negativ” steht nämlich (nur) für das Scheitern des Systems, für dessen Unzulänglichkeit und fehlende Ausgereiftheit. “Falsch negativ” beschreibt den Umstand, dass im Zusammenspiel von Kameraobjektiv und “künstlicher Intelligenz” nichts funktioniert; ein Gesicht wird falsch verarbeitet und nichts wird erkannt. Was, wenn schon kein Skandal, zumindest ärgerlich ist, “randnotizen-ärgerlich”, denn noch ein System, das nicht funktioniert, ist so interessant tatsächlich nicht.
Problematisch und richtig blöd wird das Thema der Life Facial Recognition, also der automatischen Gesichtserkennung, wenn man auf den vierten Fall zu sprechen kommt, auf “falsch positiv”.
Hierbei wird eine Person, obwohl ihr Gesicht vom System falsch verarbeitet wurde, als gesucht gemeldet. “Klein Erna” wird als gefährliche Bankräuberin identifiziert. Ach Du Scheiße, denkt “klein Erna” da, was ist denn jetzt los?
Ein typischer Fall von “falsch positiv”, so konnte man jedenfalls vor Kurzem in der FAZ lesen, ereignete sich Mitte Mai in der U-Bahn von Buenos Aires.
Polizeibeamte legten einer Frau Handschellen an, weil in Zusammenhang mit einem Betrugsfall nach ihr gesucht worden war. Ausweise und Unschuldsbeteuerungen halfen ihr nicht. Die Frau wurde abgeführt und verbrachte eine Nacht im Gefängnis. Erst am nächsten Tag hatte man den Fehler eingesehen und ließ sie wieder frei. Statt in einen Betrugsfall verwickelt zu sein, bestand das tatsächliche Vergehen der Frau wohl eher darin, dem aus Kamera, Bilddatenbank und “künstlicher Intelligenz” bestehenden System in der U-Bahn zu nahe gekommen und falsch identifiziert worden zu sein.
Der prozentuale Anteil des “falsch positiv” lag bei den Tests am Berliner Südkreuz bei etwa einem Prozent. Das hört sich nach sehr wenig an, bedeutet aber auf einem Bahnhof mit einem Tagesaufkommen von 100.000 Personen ganze 1.000 Fehlalarme pro Tag.
Auch wenn wir mal zugunsten des entsprechenden Systemanbieters und des stolzen Innenministers annehmen, dass mit “Tag” ein Zeitabschnitt von 24 Stunden gemeint ist, dann gäbe es fast jede Minute einen Fehlalarm, genau nämlich 41,6 Fehlalarme pro Stunde. Wer soll denn da noch in Ruhe arbeiten können?
Als Verbrecher – egal ob Mann oder Frau – erhöbe ich mein Glas, zwinkerte dem Innenminister zu und würde laut rufen. “Es lebe die automatische Gesichtserkennung!”
Prost!
Quellen:
https://www.essex.ac.uk/news/2019/07/03/met-police-live-facial-recognition-trial-concerns
https://www.heise.de/newsticker/meldung/Gesichtserkennung-in-London-Schlechte-Trefferrate-und-wohl-ohne-Rechtsgrundlage-4464611.html
https://www.faz.net/aktuell/wissen/computer-mathematik/falsch-positive-resultate-bei-der-gesichtserkennung-16238529.html
Burkhard Heinz
mediatpress®