Der Hivora Sense ist ein Locktopf mit Kamera. Er fotografiert von oben, was hineinfliegt. Damit sehe ich, ob eine Asiatische Hornisse (Vespa velutina) da war. Ich sehe aber nicht, wie sie kommt.
Fliegt sie den Hivora Sense direkt an oder kreist sie erst eine Weile? Landet sie am Rand und läuft hinein? Kommt sie allein, oder kommen mehrere kurz nacheinander? Und wie lange bleibt sie?
Um das herauszufinden, habe ich eine zweite Kamera gebaut. Sie steht neben dem Hivora Sense und schaut von der Seite darauf. Sie filmt nicht ununterbrochen, sondern startet erst dann eine Aufnahme, wenn sie selbst eine Hornisse erkennt.
Die Grundlage: eine Wildkamera mit Raspberry Pi
Das Rad musste ich nicht neu erfinden. Als Basis diente die Mini AI Camera von Luke Ditria, die Hackaday vorgestellt hat. Luke nutzt einen Raspberry Pi Zero 2W mit der Raspberry Pi AI Camera, auf deren Sensor das KI-Modell direkt läuft, und steckt alles in ein Gehäuse aus dem 3D-Drucker.
Für meinen Zweck habe ich die Hardware umgestellt: Statt der AI Camera verwende ich die Raspberry Pi High Quality Camera mit Wechselobjektiv. Gerechnet wird auf einem Google Coral. Dafür habe ich das Gehäuse angepasst.
Die Idee
- Eine Kamera beobachtet den Hivora Sense ständig von außen.
- Ein KI-Modell prüft das Bild etwa einmal pro Sekunde auf Hornissen.
- Erkennt es eine Asiatische Hornisse, startet ein Video: 5 Minuten lang in Full HD. Dazu kommen 5 Sekunden Vorlauf, damit auch der Anflug drauf ist.
- Zu jedem Video werden das auslösende Bild und eine Liste aller Erkennungen gespeichert.
So entstehen nur Videos, in denen auch etwas passiert. Ich muss keine stundenlangen Aufnahmen von einem leeren Hivora Sense durchsehen.
Die Hardware
| Teil | Wofür |
|---|---|
| Raspberry Pi 4 oder 5 | der kleine Rechner, der alles steuert |
| Raspberry Pi HQ Camera mit Wechselobjektiv (oder Camera Module 3) | das Bild, mit passender Brennweite für den Abstand zum Hivora Sense |
| Google Coral USB Accelerator | ein Zusatzchip, der das KI-Modell schnell rechnet |
| wetterfestes Gehäuse aus dem 3D-Drucker | Schutz vor Regen und Sonne |
| Stromversorgung (Netzteil oder Solar + Akku) | für den Dauerbetrieb draußen |
Der Coral hat übrigens eine kleine Vorgeschichte. Ich habe ihn mir schon vor einigen Jahren gekauft. Seitdem lag er in der Schublade, weil mir das passende Projekt fehlte. Jetzt kann ich ihn endlich sinnvoll einsetzen.
Das Gehäuse
Ausgangspunkt war das Gehäuse „Mini AI Camera Solar“ von Printables. Ich habe es für meine Teile angepasst:
- 10 mm breiter, damit der Pi, der Coral und das gewinkelte USB-Kabel nebeneinander passen.
- Eine neue Montageplatte. Auf ihr sitzt der Pi, darüber liegt auf einer kleinen Brücke der Coral.
- Ein eigener Deckel für die HQ Camera. Das Objektiv wird von außen eingeschraubt und lässt sich wechseln, ohne das Gehäuse zu öffnen. Ein Dach darüber hält Regen ab.
- Dichtungen aus TPU: eine Tülle für das USB-Stromkabel, ein Stopfen für das ungenutzte Kabelloch und eine Dichtscheibe am Objektiv.
- Eine Halterung für einen dünnen Mast (Ø 15,6 mm), damit die Kamera neben dem Hivora Sense auf passender Höhe steht.
Alle Teile werden aus einem Skript erzeugt. Abstände und Maße lassen sich also leicht ändern. Vor dem Druck prüft das Skript, ob irgendwo etwas aneinanderstößt.
Die Erkennung
Das KI-Modell stammt aus dem Hivora-Projekt und wurde mit Bildern vom Hivora Sense trainiert. Es arbeitet mit Bildern in 960 Pixel Auflösung. Das ist groß genug, um eine Hornisse auch aus ein paar Metern Abstand noch zu erkennen. Es kennt unter anderem die Asiatische Hornisse und die heimische Europäische Hornisse (Vespa crabro).
Das Modell für den Coral vorzubereiten, war der schwierigste Teil. Der offizielle Compiler brach am kompletten Modell ab. Die Lösung war, das Modell in mehrere Stücke zu teilen. Jedes Stück läuft für sich auf dem Coral, und am Ende rechnet der Pi nur noch einen kleinen Rest. So landen fast 100 % der Rechenarbeit auf dem Coral.
Lohnt sich der Coral? Ich habe es auf einem Raspberry Pi 4 gemessen:
| Zeit pro Bild | |
|---|---|
| nur der Pi (4 Kerne) | ca. 2,5 s, der Pi läuft dabei voll und wird warm |
| mit Coral | ca. 0,9 s, der Pi bleibt fast frei |
Mit dem Coral sieht das System also etwa jede Sekunde nach. Ohne ihn wäre es nur alle 2,5 Sekunden. Eine Hornisse, die schnell vorbeifliegt, würde ohne Coral leichter übersehen.
Damit eine einzelne Fehlerkennung nicht gleich ein Video auslöst, muss die Hornisse in 2 von 3 aufeinanderfolgenden Prüfungen erkannt werden.
Die Aufnahme
Die Kamera nimmt durchgehend auf, schreibt aber nur in einen Puffer im Speicher, der ein paar Sekunden fasst. Bei einer Erkennung wird der Puffer zum Anfang des Videos. Deshalb ist auch der Moment vor der Erkennung zu sehen. Video und Erkennung laufen unabhängig voneinander. Das Video läuft mit flüssigen 25 Bildern pro Sekunde, auch wenn das Modell nur einmal pro Sekunde prüft.
Pro Ereignis entstehen drei Dateien:
hornisse-<zeit>.mp4: das Videohornisse-<zeit>.jpg: das Bild, das die Aufnahme ausgelöst hathornisse-<zeit>.json: alle Erkennungen während der Aufnahme mit Zeit, Art und Sicherheit
Live-Ansicht im Browser
Der Pi zeigt eine kleine Webseite an: das Livebild, den aktuellen Zustand und eine Liste der Aufnahmen zum direkten Ansehen und Herunterladen. So lässt sich die Kamera vor Ort mit dem Handy ausrichten und scharf stellen.
Erste Ergebnisse
Schon am ersten Tag gab es eine Aufnahme: Eine Asiatische Hornisse wurde mit 52–67 % Sicherheit erkannt. Während der fünf Minuten kamen 27 Erkennungen zusammen.
Was ich unterwegs gelernt habe
- Farben: Zuerst waren im Livebild und in der Erkennung Rot und Blau vertauscht. Der Fehler lag in der Software, nicht an Licht oder Kamera. Das hat auch die Erkennung betroffen, denn das Modell bekam ebenfalls die falschen Farben.
- Zu schnelle Videos: Die ersten Videos liefen 20 % zu schnell, weil beim Umwandeln in MP4 die falsche Bildrate gesetzt war. Das ist behoben, und die alten Videos sind repariert.
- Strom: Ein älterer Pi 4 startet mit manchen USB-C-Kabeln nicht. Ein einfaches Kabel ohne Chip hilft.
- Kamera nur ausgeschaltet umstecken, sonst hängt das Kameramodul bis zum Neustart.
- Ohne Coral weiterlaufen: Fällt der Coral aus, zeigt die Kamera weiter das Livebild und versucht es alle 30 Sekunden neu, statt abzustürzen.
Wie geht es weiter?
- Mehr Aufnahmen sammeln und das Verhalten auswerten: Wie lange bleibt die Hornisse, wie fliegt sie an, wie oft kommt sie wieder?
- Die Videos mit den Bildern des Hivora Sense von oben zusammenführen
- Den Betrieb mit Solar und Akku testen
- Die Videos als zusätzliche Trainingsdaten für das Modell nutzen