Moderne Fahrzeuge sind heute standardmäßig mit Innenraumkameras ausgestattet, die sowohl visuelle als auch (nahinfrarot) NIR-Modalitäten erfassen können. Derzeit sind sie installiert, um den Fahrer zu beobachten und dadurch Unfälle zu vermeiden. Darüber hinaus besteht auch die Möglichkeit, sie zur Schätzung der Vitalfunktionen der Insassen zu nutzen.

Die Vitalzeichenschätzung könnte in Zukunft kritische Ereignisse wie plötzliche Herzinfarkte, Schlaganfälle oder Müdigkeit frühzeitig erkennen. Sie kann dann ebenfalls erkennen, ob Fahrer oder Insassen beeinträchtigt sind, also z. B. unter Drogen- oder Alkoholeinfluss stehen.

Das ist besonders nützlich, wenn das intelligente Fahrzeug verhindert, dass ein beeinträchtigter Fahrer das Fahrzeug fahren kann. Dadurch wird das Risiko eines tödlichen Unfalls erheblich reduziert.

Ein modernes Auto analysiert die Vitalparameter und kann beurteilen, ob der Fahrer sich in einer Phase der Müdigkeit befindet, in der Sekundenschlaf sehr wahrscheinlich ist. Die Kamera kann über den Algorithmus Veränderungen bei der Herzfrequenz und der Atmung erkennen, die typischerweise in dieser Phase auftreten. Das System schließt daraus, wie wahrscheinlich es ist, dass in nächster Zeit das Phänomen Sekundenschlaf auftreten kann.

Genau in dieser Phase können intelligente Assistenzsysteme wie Spurhalteassistenten sinnvoll sein, um das Risiko von Unfällen durch Sekundenschlaf zu verringern.

Viele Menschen halten sich oft und lange in ihrem Auto auf, ohne sich viel zu bewegen. Dadurch können intelligente Fahrzeuge ihre Vitalparameter, beziehungsweise die Veränderungen der Herzfrequenz und der Atmung, langfristig und mit höherer Genauigkeit als im bewegten Zustand, aufzeichnen und überwachen. Im Gegensatz zu einer Smartwatch, die man im Alltag oft bewegt, ist die Vorhersage im Ruhezustand wesentlich genauer.

Das kann man sich in der präventiven Medizin zunutze machen. Veränderungen der Atmung als auch der Herzfrequenz lassen Rückschlüsse auf den aktuellen Fitnesszustand zu und können das Risiko, Herz-Kreislauf-Erkrankungen wie Herzrhythmusstörungen, Herzinfarkte und Asthma zu entwickeln, vorhersagen.

Das Fahrzeug hat das Potenzial, als Ersatz für das traditionelle Wartezimmer eines Arztes zu fungieren, wenn der Patient z. B. in seinem Auto wartet, während seine aktuellen und langfristigen Vitaldaten per Kamera an die Praxis übertragen werden. Der Arzt kann dann entscheiden, ob ein persönlicher Termin notwendig ist, Medikamente verschreiben oder die Medikation anpassen.

Es ist zwar unwahrscheinlich, dass intelligente Fahrzeuge in Zukunft den Arztbesuch komplett ersetzen, aber durchaus möglich, dass sich durch die Langzeitbeobachtung der Vitalparameter viele persönliche Besuche minimieren lassen.

Die Vitalparameterschätzung kann auch dazu beitragen, das Wohlbefinden der Insassen zu steigern, indem sie Emotionen daraus ableitet und situationsabhängig Komfortfunktionen im Fahrzeug aktiviert.

Das hat viele Vorteile gegenüber den bisher verwendeten Algorithmen, die sich ausschließlich auf Gesichtsausdrücke konzentrieren. Denn sie können nicht zuverlässig Emotionen schätzen, wenn Personen einen Bart tragen oder geübt darin sind, ihre Emotionen zu verbergen.

Bei Vitalparametern ist das anders. Sie erkennen an dem Verhalten der Herzfrequenz und Atmung sehr zuverlässig den Gemütszustand und schätzen ziemlich genau ab, ob Personen sich freuen, konzentriert wirken oder sauer sind.

Für die Schätzung der Herzfrequenz nutzt IAV bestimmte Gesichtsregionen, die in der Regel unbedeckt und mit zahlreichen Arterien und Venen durchzogen sind. Dadurch kann mittels Deep Learning eine auf das Gesicht gerichtete Kamera subtile Farb- und Helligkeitsschwankungen erfassen, die entstehen, wenn die Arterien pulsieren und sich dadurch das Blutvolumen ändert.

Genauer gesagt, funktioniert es über das photoplethysmographische Signal (PPG). Arterielles Blut absorbiert Licht effizienter als umliegendes Gewebe, und wenn sich die Arterien durch den Puls ausdehnen, ändert sich die Absorptionsrate des Lichts. Diese Änderung erfasst die Kamera und ordnet sie einem PPG-Signal zu.

Um die Atemfrequenz schätzen zu können, hat IAV die Optical Flow Methode angewandt. Dabei erkennt ein optischer Flussalgorithmus Brustkorbbewegungen in den Videobildern und ordnet sie einer bestimmten Atemfrequenz zu. Die Atmungsrate entsteht aus der Bewegung des Brustkorbs und des oberen Bauchraums während der Einatmungs- und Ausatmungsphase. Auf diese Weise lässt sich diese Bewegung einem Atmungssignal zuordnen, das als die Atmungsrate einer Person erkannt wird.

Am 21.06.2023 nimmt Patrick Laufer wieder als Speaker auf der InCabin Messe teil. In seinem Vortrag erörtert er, ob eine einzelne RGB-NIR-Kamera ausreicht, um die Herz- und Atemfrequenzen aller Insassen in einem Fahrzeug zu bestimmen. Außerdem wird er mögliche Problemfälle aufzeigen.

Interessiert Sie das Thema? Dann lesen Sie auch den Beitrag über die kamerabasierte Schätzung von Körpergröße, Gewicht und Geschlecht der Fahrzeuginsassen.

Für weitere Informationen steht Ihnen Patrick Laufer auf LinkedIn oder unter patrick.laufer@iav.de zur Verfügung.