// Studienarbeiten Elektrotechnik 2018

Wie erkennt ein Rechner Gesten?

Der Elektrotechnik-Student Ulrich Engel untersuchte in seiner Studienarbeit, wie ein Rechner Gesten erkennt und verarbeitet. Wie das funktioniert und warum er das für nützlich hält, erklärt er hier.

Von Redaktion DHBW Mosbach

Die Kommunikation zwischen Menschen und Computern kann über verschiedene Eingabegeräte wie z. B. Maus und Tastatur erfolgen. Der Einsatz dieser Eingabegeräte ist jedoch wenig intuitiv. In der zwischenmenschlichen Kommunikation werden neben der Sprache auch Gesten und Körperbewegungen bewusst wie auch unbewusst eingesetzt. Eine natürlichere Art der Kommunikation zwischen Menschen und Maschinen kann also durch den Einsatz von Handgesten erreicht werden.

Im Rahmen meiner Studienarbeit habe ich eine Gestenerkennung für den Einplatinencomputer Raspberry Pi 3 Model B implementiert. Hierbei wurde die Open Source Bibliothek OpenCV 3.3 verwendet. OpenCV ist eine leistungsfähige Bibliothek für Bildverarbeitung und maschinelles Sehen. Die Implementierung der Gestenerkennung erfolgte in der Programmiersprache C++. Ziel der Studienarbeit war es, einige einfache Gesten zu erkennen. Durch eine Gestensteuerung sollte es möglich sein, je nach erkannter Geste verschiedene Audiodateien wiederzugeben. Dabei ist die Verwendung eines Bildschirms ist für den Einsatz der Gestensteuerung nicht notwendig.

Damit Gesten in den Bildern, die eine Logitech-Webcam liefert, erkannt werden können, mussten die Bilder zunächst bearbeitet werden, um sie anschließend zu analysieren. Im hierzu vorgesehenen Modul zur Bilderverarbeitung werden die Bilder von einer Webcam Bild für Bild angefordert und anschließend mit verschiedenen Techniken verarbeitet. Ziel der Bildverarbeitung ist es, ein geglättetes Binärbild – ein Bild in Schwarz und Weiß – mit sauberen Konturen zu erzeugen, welches nur die Hand mit der jeweiligen Geste enthält. Störquellen, wie z. B. Objekte im Hintergrund, gilt es in diesem Schritt zu entfernen. Durch das Herausfiltern von uninteressanten Objekten wird die Gestenerkennung erleichtert.

Der nächste Schritt ist nun die Erkennung der Gesten aus den vorverarbeiteten Bildern. Hierbei werden im Modul zur Gestenerkennung Hand und Finger erkannt, um zu detektieren, welche Geste aktuell vorliegt. Wenn die aktuell gezeigte Geste erkannt wurde, wird diese Information gespeichert.

Im letzten Schritt können durch das Schnittstellenmodul je nach Geste verschiedene Aktionen folgen. Dies alles dient als Grundlage, um in einer nächsten Projektarbeit einen Lego Mindstorms Roboter mithilfe der Gestenerkennung zu steuern.

Wikipedia