Menü

IAV

02.06.2023

In Zukunft beobachten Autos ihre Insassen 

IAV hat eine KI entwickelt, die mithilfe einer Kamera die Vitalzeichen der Fahrzeuginsassen schätzt und damit die Fahrtüchtigkeit aller Personen im Fahrzeuginneren überprüfen kann. Die Technologie wird die Sicherheit im Straßenverkehr erhöhen und Unfälle zukünftig vermeiden.

Sobald Kamera und KI kritische Herz- und Atmungsraten feststellen, könnte das Auto kontrolliert zum Halten gebracht werden.

Moderne Fahrzeuge sind heute standardmäßig mit Innenraumkameras ausgestattet, die sowohl visuelle als auch (nahinfrarot) NIR-Modalitäten erfassen können. Derzeit sind sie installiert, um den Fahrer zu beobachten und dadurch Unfälle zu vermeiden. Darüber hinaus besteht auch die Möglichkeit, sie zur Schätzung der Vitalfunktionen der Insassen zu nutzen.

Vitalparameterschätzung vermeidet Unfälle

Die Vitalzeichenschätzung könnte in Zukunft kritische Ereignisse wie plötzliche Herzinfarkte, Schlaganfälle oder Müdigkeit frühzeitig erkennen. Sie kann dann ebenfalls erkennen, ob Fahrer oder Insassen beeinträchtigt sind, also z. B. unter Drogen- oder Alkoholeinfluss stehen.

Das ist besonders nützlich, wenn das intelligente Fahrzeug verhindert, dass ein beeinträchtigter Fahrer das Fahrzeug fahren kann. Dadurch wird das Risiko eines tödlichen Unfalls erheblich reduziert.

Schätzung der Vitalparameter erkennt rechtzeitig Sekundenschlaf

Ein modernes Auto analysiert die Vitalparameter und kann beurteilen, ob der Fahrer sich in einer Phase der Müdigkeit befindet, in der Sekundenschlaf sehr wahrscheinlich ist. Die Kamera kann über den Algorithmus Veränderungen bei der Herzfrequenz und der Atmung erkennen, die typischerweise in dieser Phase auftreten. Das System schließt daraus, wie wahrscheinlich es ist, dass in nächster Zeit das Phänomen Sekundenschlaf auftreten kann.

Genau in dieser Phase können intelligente Assistenzsysteme wie Spurhalteassistenten sinnvoll sein, um das Risiko von Unfällen durch Sekundenschlaf zu verringern.

Gesundheitsvorsorge mit Daten aus dem Fahrzeug

Viele Menschen halten sich oft und lange in ihrem Auto auf, ohne sich viel zu bewegen. Dadurch können intelligente Fahrzeuge ihre Vitalparameter, beziehungsweise die Veränderungen der Herzfrequenz und der Atmung, langfristig und mit höherer Genauigkeit als im bewegten Zustand, aufzeichnen und überwachen. Im Gegensatz zu einer Smartwatch, die man im Alltag oft bewegt, ist die Vorhersage im Ruhezustand wesentlich genauer.

Das kann man sich in der präventiven Medizin zunutze machen. Veränderungen der Atmung als auch der Herzfrequenz lassen Rückschlüsse auf den aktuellen Fitnesszustand zu und können das Risiko, Herz-Kreislauf-Erkrankungen wie Herzrhythmusstörungen, Herzinfarkte und Asthma zu entwickeln, vorhersagen.

Fahrzeuginnenraum als Untersuchungszimmer

Das Fahrzeug hat das Potenzial, als Ersatz für das traditionelle Wartezimmer eines Arztes zu fungieren, wenn der Patient z. B. in seinem Auto wartet, während seine aktuellen und langfristigen Vitaldaten per Kamera an die Praxis übertragen werden. Der Arzt kann dann entscheiden, ob ein persönlicher Termin notwendig ist, Medikamente verschreiben oder die Medikation anpassen.

Es ist zwar unwahrscheinlich, dass intelligente Fahrzeuge in Zukunft den Arztbesuch komplett ersetzen, aber durchaus möglich, dass sich durch die Langzeitbeobachtung der Vitalparameter viele persönliche Besuche minimieren lassen.

Sicherheit ist ein Muss, Wohlbefinden ein Bedürfnis

Die Vitalparameterschätzung kann auch dazu beitragen, das Wohlbefinden der Insassen zu steigern, indem sie Emotionen daraus ableitet und situationsabhängig Komfortfunktionen im Fahrzeug aktiviert.

Das hat viele Vorteile gegenüber den bisher verwendeten Algorithmen, die sich ausschließlich auf Gesichtsausdrücke konzentrieren. Denn sie können nicht zuverlässig Emotionen schätzen, wenn Personen einen Bart tragen oder geübt darin sind, ihre Emotionen zu verbergen.

Bei Vitalparametern ist das anders. Sie erkennen an dem Verhalten der Herzfrequenz und Atmung sehr zuverlässig den Gemütszustand und schätzen ziemlich genau ab, ob Personen sich freuen, konzentriert wirken oder sauer sind.

Der Algorithmus schätzt die Vitalzeichen: Aus dem Brustbereich leitet IAV die Atmung ab, aus dem Gesicht das PPG Signal. Daraus lassen sich Herzrate und Atmungsrate bestimmen. Hinweis: Das Video zeigt einen Prototyp und dient zu Visualisierungszwecken. Die Signale im Video können von denen der Insassen abweichen.

Schätzung der Herzfrequenz mit RGB-NIR-Kamera und Deep Learning

Für die Schätzung der Herzfrequenz nutzt IAV bestimmte Gesichtsregionen, die in der Regel unbedeckt und mit zahlreichen Arterien und Venen durchzogen sind. Dadurch kann mittels Deep Learning eine auf das Gesicht gerichtete Kamera subtile Farb- und Helligkeitsschwankungen erfassen, die entstehen, wenn die Arterien pulsieren und sich dadurch das Blutvolumen ändert.

Genauer gesagt, funktioniert es über das photoplethysmographische Signal (PPG). Arterielles Blut absorbiert Licht effizienter als umliegendes Gewebe, und wenn sich die Arterien durch den Puls ausdehnen, ändert sich die Absorptionsrate des Lichts. Diese Änderung erfasst die Kamera und ordnet sie einem PPG-Signal zu.

Messung der Atemfrequenz mit Optical Flow Methode

Um die Atemfrequenz schätzen zu können, hat IAV die Optical Flow Methode angewandt. Dabei erkennt ein optischer Flussalgorithmus Brustkorbbewegungen in den Videobildern und ordnet sie einer bestimmten Atemfrequenz zu. Die Atmungsrate entsteht aus der Bewegung des Brustkorbs und des oberen Bauchraums während der Einatmungs- und Ausatmungsphase. Auf diese Weise lässt sich diese Bewegung einem Atmungssignal zuordnen, das als die Atmungsrate einer Person erkannt wird.

IAV stellt Thema auf der InCabin in Brüssel vor

Am 21.06.2023 nimmt Patrick Laufer wieder als Speaker auf der InCabin Messe teil. In seinem Vortrag erörtert er, ob eine einzelne RGB-NIR-Kamera ausreicht, um die Herz- und Atemfrequenzen aller Insassen in einem Fahrzeug zu bestimmen. Außerdem wird er mögliche Problemfälle aufzeigen.

Interessiert Sie das Thema? Dann lesen Sie auch den Beitrag über die kamerabasierte Schätzung von Körpergröße, Gewicht und Geschlecht der Fahrzeuginsassen.

Für weitere Informationen steht Ihnen Patrick Laufer auf LinkedIn oder unter patrick.laufer@iav.de zur Verfügung.

Patrick Laufer ist Entwicklungsingenieur und Doktorand in der Abteilung Vehicle Safety Engineering bei IAV.