In unseren Projekt MightyU wollen wir Kindern mit ICP motivieren, notwendiges Training zuhause spielerisch zu erleben. Gleichzeitig soll das Spielen mit anderen Kindern oder den Eltern möglich sein. Um das Ganze am Ende gut umsetzten zu können, mussten wir uns Gedanken über die Spieleplattform machen, auf der das Ganze am Ende laufen soll und auch darüber, wie das Training eigentlich in das Spiel mit eingebunden wird.
Als Spieleplattform haben wir die Nintendo Switch gewählt. Zum einem bietet Nintendo bereits eine Vielzahl von familienfreundlichen Spielen und zum anderen bietet die Konsole einige andere Features, die für unser Spiel nützlich sein können. Um ein Beispiel zu nennen: Wir möchten Bewegung als essenziellen Part in unser Spiel mit aufnehmen und durch die abnehmbaren Kontroller der Switch, auch Joy-Con genannt, kann diese getrackt werden.
Die Übungen an sich werden durch EMG-Sensoren überwacht, diese Messen die Muskelspannung an dem zu trainierenden Körperteil. Im speziellen wird der Noraxon Ultium verwendet, der die erfassten Daten via Bluetooth übermitteln kann. Die Muskelspannung soll dann in das Spiel übertragen werden und z.B. eine Spielfigur steuern. Die Herausforderung liegt nun darin die Sensoren mit der Konsole zu verbinden.
Die Nintendo Switch nutzt zur Kommunikation mit den beiden Joy-Cons zwar grundlegend Bluetooth. Leider wird die Schnittstelle aber sehr restriktiv behandelt und bietet keine Konnektivität zu Produkten von Drittherstellern. Bei Recherchen zu diesem Thema sind wir aber auf Lösungen gestoßen die über den USB-Anschluss Verbindung zum Gerät aufnehmen.
Inspiriert von herkömmlichen Gamepads wurde ein Hardwaresetup entwickelt. Es nimmt das Bluetooth Signal des Sensors entgegen und wandelt es in Gamepad-Output um. Dieser Transfer wird von zwei Microcontroller vorgenommen. Ein handelsüblichen Gamepad-Adapter übernimmt dann die Umwandlung dieser Signale zur Switch. Auf diesen Weg können die Sensordaten an die Konsole übermittelt werden. Die Daten werden dann auf der Switch zur Steuerung der Spielfigur analysiert und interpretiert.
Dieses Setup ist für einfache „Plug and Play“- Nutzung konzipiert und baut die Verbindung bei eingeschaltetem Sensor und Konsole automatisch auf. Um zu testen wie gut das Ganze funktioniert haben wir dann letztendlich noch ein Minigame entwickelt. In dem Spiel sammelt man mit einem kleinen Drachen Münzen. Um den Drachen einen Schub nach oben zu geben muss der Spieler den abgetasteten Muskel anspannen.
5 Responses