Eingabe löschen

Zum Inhalt

Hauptnavigation

School of Engineering

Servicenavigation

Eventbasierte Kamera

Das ISC besitzt seit Juni 2024 ein Evaluationskit einer eventbasierten Kamera von Prophesee mit dem IMX636 Sensor von Sony. Damit werden Erfahrungen mit eventbasierten Kameras gesammelt und neue Anwendungsgebiete erkundet. 

Was ist eine eventbasierte Kamera?

Eventbasierte Kameras sind von der Biologie inspirierte Vision Sensoren, welche ähnlich funktionieren wie unsere Augen. Sie lesen nicht zu vorbestimmten Zeitpunkten den gesamten Sensor aus, sondern es werden Intensitätsunterschiede in jedem Pixel detektiert. Wird dabei die Schwelle über- oder unterschritten, wird ein Event generiert. Dieser besteht aus der Pixelposition, der Polarität (heller/dunkler) und dem Zeitpunkt der Änderung. Da die Schwelle jedes Pixels unabhängig von anderen Pixeln und logarithmisch ist, kann ein Dynamikbereich von 120dB erreicht werden. Ausserdem werden nur Daten ausgegeben, wenn sich die Intensität ändert. Dadurch kann die Kamera Zeitauflösungen von bis zu 1µs erreichen und es wird weniger Rechenleistung für die Verarbeitung benötigt, da weniger Daten auszuwerten sind. 

 

Anwendungen

Neben Anwendungen im autonomen Fahren kann eine eventbasierte Kamera für eine Vielzahl von Anwendungen eingesetzt werden, in der eine klassische Kamera zu langsam oder durch ihren Dynamikbereich eingeschränkt ist. Eine potenzielle Anwendung ist dabei das Beobachten von Insekten und Vögeln. In einem ersten Versuch wurde die Kamera auf den Himmel ausgerichtet. Das Video unten ist aus diesem Versuch entstanden. 

Die Bilder und das Video wurden mit einer hohen Akkumulationszeit von 20s erzeugt. Das heisst, dass die Events der letzten 20s angezeigt werden. Die Trajektorien der Vögel sind als Striche erkennbar. Da auch die Bewegung der Wolken Helligkeitsunterschiede hervorruft, ist diese ebenfalls sichtbar. Blau entspricht dabei einem negativen Event (Verdunkelung), weiss einem positiven (Erhellung).

 

Video: Himmel über der ISC Terrasse (fastforward)

YouTube-Datenschutzhinweis

Dieses Video kommt von YouTube. Mit dem Abspielen kann YouTube Ihr Surf-Verhalten mitverfolgen.

[1] https://www.prophesee.ai/event-based-evk-3/ 

Privatsphäre-Einstellungen

Wir zeigen Ihnen hier, welche Dienste auf unserer Website laufen können. Sie entscheiden selbst, welche Dienste wir nutzen dürfen. Mehr Informationen finden Sie in unseren Datenschutzhinweisen.

Unsere Website braucht diese Cookies, damit alles richtig funktioniert. Diese Cookies werden automatisch erstellt, wenn Sie auf der Seite aktiv sind – zum Beispiel, wenn Sie Datenschutz-Einstellungen ändern oder Formulare ausfüllen. In Ihrem Browser können Sie die Cookies zwar sperren oder sich warnen lassen. Dann werden aber einige Teile der Website nicht mehr richtig angezeigt. Diese Cookies speichern keine persönlichen Daten von Ihnen.

Mit diesen Diensten können wir sehen, wie unsere Website genutzt wird. Wir wissen aber nicht, wer Sie sind. Wenn Sie diese Dienste aktivieren, helfen Sie uns, die Website für alle besser zu machen.