Physical AI with Raspberry Pi: Von Sensoren zu Computer Vision

Was passiert, wenn ein Raspberry Pi mehr als nur Daten verarbeiten kann? Mit dem Physical AI with Raspberry Pi Bundle lassen sich Kameras, Sensoren, Motoren, ein Mikrofon und ein Lautsprecher anschließen – und in Projekten einsetzen, die von der Hardwaresteuerung über Objektverfolgung bis hin zur Sprachinteraktion reichen.

Ein Raspberry Pi, eine Kamera und ein paar Sensoren ergeben bereits eine leistungsfähige Projektplattform. Kommen Motoren, Audio, Computer Vision und Objekterkennung hinzu, wird es erheblich interessanter.

Einstieg mit Elektronik

Das Buch beginnt mit vertrauter Elektronik, bevor es zu fortgeschritteneren Raspberry-Pi-KI-Projekten übergeht. Leserinnen und Leser arbeiten mit LEDs, Tasten, Relais, Summern, Sensoren, Displays und Motoren und lernen dabei GPIO-Steuerung, PWM, Analog-Digital-Wandlung und Sensoranbindung kennen.

Zu den Projekten gehören Abstands- und Temperaturmessungen, Motorsteuerung, Alarmanlagen und Umgebungserfassung. Diese schaffen die hardwareseitige Grundlage für die anschließenden Sprach- und Videoprojekte.

Kamera, Sprache und Bewegung

Das Fusion HAT+ Board ergänzt den Raspberry Pi um Motorsteuerung, ADC- und PWM-Kanäle sowie ein eingebautes Mikrofon und einen Lautsprecher. Das Kit enthält außerdem eine Kamera und einen zweiachsigen Schwenk-Neige-Mechanismus, mit dem sich Software und physische Bewegung kombinieren lassen.
 

Das Buch behandelt das Aufnehmen von Fotos und Videos, Kameravorschauen und Fernsteuerung der Kamera, bevor es zur Computer Vision übergeht. Auf der Audioseite umfassen die Projekte Text-to-Speech, Spracherkennung, eine sprechende Uhr und sprachgesteuerte Hardware.

Es gibt außerdem Projekte, die Online-Dienste sowie lokal auf geeigneter Raspberry-Pi-Hardware laufende Ollama-Modelle nutzen.

Von Computer Vision zur Objekterkennung

Die späteren Kapitel führen in OpenCV und MediaPipe ein. Leserinnen und Leser experimentieren mit Kanten-, Gesichts- und Objekterkennung sowie Hand-Tracking.

Ein besonders anschauliches Projekt verwandelt die Fingerspitze des Benutzers in einen virtuellen Zeichenstift. MediaPipe verfolgt die Spitze des Zeigefingers, und OpenCV wandelt ihre Bewegung in auf dem Bildschirm gezeichnete Linien um.
 

Das abschließende Kapitel stellt die YOLO-Objekterkennung vor. Die Raspberry-Pi-Kamera kann Objekte in Echtzeit identifizieren, Begrenzungsrahmen und Konfidenzwerte anzeigen und mithilfe des Schwenk-Neige-Mechanismus einem ausgewählten Ziel folgen.

Leserinnen und Leser können noch einen Schritt weitergehen und ein benutzerdefiniertes YOLO-Modell für Objekte aus dem eigenen Anwendungsbereich trainieren. Das Beispiel im Buch trainiert ein Modell zur Erkennung einer Tasse – am Ende identifiziert der Raspberry Pi diese mit einem Konfidenzwert von 0,9.
 

Von der blinkenden LED zur Objektverfolgung

Genau dieser Verlauf macht Physical AI with Raspberry Pi interessant. Man beginnt mit grundlegender Elektronik und arbeitet sich schrittweise durch Sensoren, Motoren, Sprache und Kameras vor, bis man zur Objekterkennung und -verfolgung in Echtzeit gelangt.

Die Projekte sind außerdem als Ausgangspunkte gedacht, nicht als fest vorgegebene Übungen. Leserinnen und Leser werden dazu ermutigt, Parameter anzupassen, Ideen zu kombinieren und aus den im Buch vermittelten Techniken eigene Anwendungen zu entwickeln.

Wer es vorzieht, durch Verdrahten, Ausführen von Code und Beobachten des Ergebnisses auf der Werkbank zu lernen, findet im Physical AI with Raspberry Pi Bundle reichlich Stoff zum Experimentieren.