Natural User Interface
Natural User Interfaces (NUI) oder „Reality Based User Interfaces“ ermöglichen dem Nutzer eine direkte Interaktion mit der Bedienoberfläche durch Wischen, Tippen, Berühren, Gesten oder Sprache. Natürliche Benutzungsoberflächen wie Touchscreens sind berührempfindlich und reagieren auf Finger- und Handbewegungen. Man spricht in diesem Zusammenhang auch von gestenbasierter Bedienung.
Durch die Entwicklung von Touchscreens haben sich die bisherigen Bedienmuster von grafischen Oberflächen (GUI) stark verändert. Während bisher künstliche Eingabegeräte, wie eine Tastatur oder eine Maus zur Interaktion nötig waren, genügt nun eine Fingerberührung. Viele Smartphones, Tablets, aber auch Fahrkartenschalter oder Bankautomaten und andere Geräte nutzen diese direkte Form der Bedienung.
Da das Berühren und Beeinflussen der virtuellen Objekte nahezu in gleicher Weise wie das realer Objekte funktioniert, fällt es Nutzern leicht, Handlungen aus dem Alltag in das digitale System zu übertragen. Durch Handlungen in der realen alltäglichen Umwelt können Parallelen zu den virtuellen Objekten gezogen und Handlungsweisen übertragen werden. Es werden also bereits bestehende Wissensstrukturen aktiviert und Vorwissen angewandt. Die Entwicklung weg von Eingabegeräten wie einer Maus und hin zu Multi-Touch bringt die reale und die virtuelle Welt näher zusammen. Objekte werden nicht mehr durch Befehle an den Computer beeinflusst, sondern selbst in die Hand genommen. Dieser Ansatz wird ‘Reality-Based Interaction’ (RBI) genannt und dient als Grundlage für die Gestaltung von Multi-Touch-Applikationen.[1]
Verschiedene vorbestimmte Interaktionsmöglichkeiten, sogenannte ‘patterns’, wie zum Beispiel das Skalieren, Verschieben und Drehen von Bildern oder das Scrollen von Informationen, erlauben es dem Nutzer mit dem Gerät und der Software direkt über das Interface zu agieren.
NUI ermöglicht dem Menschen einen sehr viel natürlicheren Umgang mit Interaktionen und bedeutet eine Erweiterung des bisher beschränkten künstlichen Umgangs mit technischen Interfaces.
Entwicklung
Die ersten Versuche zur Entwicklung berührempfindlicher Eingabegeräte begannen bereits in den 1950er Jahren. Der kanadische Wissenschaftler Hugh Le Caine entwickelt zwischen 1945 und 1948 den ersten spannungsgesteuerten Synthesizer, der über berührempfindliche Tasten verfügt, mit denen zum Beispiel Klangfarbe und Frequenz des Synthesizers eingestellt werden können.[2]
Von Mitte der 1960er Jahre bis zum Jahre 1971 werden verschiedene Touchscreen-Techniken unter anderem von IBM und der University of Illinois entwickelt. So beispielsweise ‘PLATO IV’, ein Touchscreen-Terminal aus dem Jahre 1972. Es arbeitet mit einem Vorläufer der heute gängigen optischen Infrarot-Technologie.[3]
1982 entwickelt Nimish Mehta an der University of Toronto das erste Multi-Touch-System. Das sogenannte ‘Flexible Machine Interface’ ermöglicht es dem Nutzer durch Druck auf den Bildschirm mit dem Finger einfache Grafiken zu zeichnen.[4]
1990 wird der ‘Sensor Cube’ als Nachfolger des ‘Sensor Frame’ der Carnegie Mellon University aus dem Jahre 1985 in Zusammenarbeit mit der NASA entwickelt. Sein optisches System ist in der Lage, den Winkel des Fingers zum Touchscreen zu erkennen.[3]
Das im Jahr 1991 von Pierre Wellner bei Rank Xerox EuroPARC entwickelte ‘Digital Desk’ setzt zum ersten Mal eine Interaktion, wie das Skalieren von Objekten ein, welche mit zwei Fingern durchgeführt werden kann.[3]
Im Jahr 1994 erscheint das erste Mobiltelefon mit Touchscreen auf dem Markt. ‘Simon’ wird von IBM und Bell South entwickelt und kann als früher Vorläufer des iPhone und anderer Smartphones der heutigen Zeit betrachtet werden.[5]
Die Input Research Group der University of Toronto stellt 1995 ein ‘Tangible Interface’ vor, welches verschiedene Objekte unterscheiden sowie deren Ort und deren Drehung auf einem Display erkennen kann. So können mit realen physikalischen Objekten, grafische Objekte des Displays bewegt und beeinflusst werden.[3]
Der von Mitsubishi Research Labs 2001 entwickelte Touchscreen ‘Diamond Touch’ erkennt zeitgleiche Bildschirmberührungen mehrerer Personen und kann deren Ort und Druck auseinanderhalten.[6]
Jeff Han stellt auf der TED-Konferenz 2006 in Monterey, Kalifornien, einen Multi-Touch-Screen mit verschiedenen Funktionen wie Bewegen und Drehen von Objekten, Farbänderungen je nach Fingerdruck, Zoomen und Sortieren von Bildern und vielen weiteren Applikationen vor.[7]
2007 präsentiert Apple das bisher bekannteste Beispiel eines Multi-Touch-Gerätes, das iPhone. Über ein Multi-Touch-Display kann der Nutzer E-Mails und SMS schreiben und durch Inhalte des Terminkalenders, Musik und Bilder navigieren.
Im selben Jahr stellt Microsoft den interaktiven Multi-Touch-Tisch MS Surface vor. Der Nutzer kann auf der Tischoberfläche mit digitalen Inhalten und Objekten durch Handbewegungen und Berührungen auf interagieren.
Windows 7: Microsoft bringt 2009 mit Windows 7 und der integrierten Funktion „Windows Touch“ ein Betriebssystem auf den Markt, das die Nutzung der Mehrfingereingabe ermöglicht.[8]
Technologie
Unabhängig von der Technologie zur Registrierung eines Berührpunktes („touch event“) verwenden alle Systeme als Grundlage ihrer Hardware drei verschiedene Bestandteile: Sensoren, Komparatoren und Aktoren. Sensoren registrieren Veränderungen des Systems und bestimmen durch ihre Empfindlichkeit und Reichweite die verwendbaren Interaktionen eines Multi-Touch-Screen. Aufgabe der Komparatoren ist es, einen Zustandsvergleich durchzuführen. Der Zustand des Systems nach der Interaktion wird mit dem Zustand des Systems vor der Interaktion verglichen, und der Komparator entscheidet, welche Auswirkungen die durchgeführten Interaktionen haben. Dies wird an die Aktoren weitergegeben und als tatsächliche Handlung ausgeführt.[9] Komparatoren und Aktoren treten in Form von Software auf. Sensortechniken kann man in die folgenden Technologien unterscheiden:
Resistive Technologie: Ein resistiver Touchscreen arbeitet mit zwei Folien, die jeweils mit einer leitfähigen Beschichtung versehen sind. Durch Druck berühren sich die beiden Folien, und ein elektrischer Kontakt entsteht. Durch den Spannungsabfall innerhalb der Widerstandsmatrix können die Koordinaten des Berührpunktes ermittelt werden.
Kapazitive Technologie: Bei kapazitiven Touchscreens wird eine Glasscheibe mit einer leitfähigen metallischen Beschichtung verwendet. Über dieser ist ein leitfähiger Polyester-Film angebracht. Durch die Berührung der Oberfläche wird das elektrische Feld geändert. Der dabei abgeleitete Strom ist proportional zum Abstand der angelegten Spannungen und des Berührpunktes, wodurch seine Koordinaten berechnet werden können.
Oberflächenwellentechnologie: Erkennung der touch events erfolgt über Ultraschall und akustische Pulserkennung.
Optische Systeme: Erkennung der touch events erfolgt durch den Einsatz von Infrarotlicht und -kameras.
Textilintegration: Berührungen und Bewegungen werden über in Textilien integrierte Sensoren erfasst und als Gesten interpretiert. Dies ermöglicht Natural User Interfaces außerhalb planer Oberflächen, etwa in Kleidung oder Möbelstücken[10].
Aktuelle Beispiele für Natural User Interfaces
Apple iOS
iOS ist ein Betriebssystem, das auf den Apple-Produkten iPhone, iPad und iPod touch verwendet wird. Dies sind alles Multi-Touch-Geräte. Als erstes erschien das iPhone. Über ein kapazitives System werden Berührungen des Bildschirms erfasst und so das Scrollen durch Bilder- und Musikdatenbanken mit CoverFlow, das eigene Adressbuch oder das Hineinzoomen in Landkarten und Webseiten ermöglicht. Neben einer Tastatur, die sich an die jeweilig verwendete Applikation anpasst, und damit Platz auf dem Multi-Touch-Screen einspart, verfügt das iPhone über einen Bewegungssensor, der die Lage des Telefons erkennt und den Bildschirminhalt danach ausrichtet. Weitere Sensoren registrieren die Lichtverhältnisse der Umgebung und passen die Display-Helligkeit dementsprechend an.[11]
Microsoft PixelSense
Der Multi-Touch-Tisch Microsoft PixelSense (ehemals Surface) erkennt neben Gesten auch Objekte, die seine Oberfläche berühren und kann mit ihnen interagieren. PixelSense ermöglicht durch das gleichzeitige Erkennen von über 52 Berührpunkten und sein 360-Grad-User-Interface auch die Nutzung in größeren Gruppen. PixelSense setzt sich aus einem PC, einem optischen System, einem Projektor sowie einer stabilen Tischplatte zusammen. Ein Projektor, der von unten direkt auf die Plexiglas-Oberfläche gerichtet ist, wirft das Bild. Infrarot-LEDs leuchten die Oberfläche gleichmäßig aus. Fünf Infrarotkameras nehmen Berührungen des Bildschirms wahr, indem sie das auf der Oberfläche reflektierte Licht erfassen.
Microsoft Kinect
Ursprünglich wurde die Kinect als Controller für die Xbox 360 entwickelt. Die Kinect verfügt über einen PrimeSense-Tiefensensor, 3D-Mikrofon und eine Farbkamera. Somit ermöglicht es die Kinect eine Bedienung via Sprach- und Gestensteuerung. Es existiert ein SDK sowie ein Treiber sowohl für Windows als auch für Linux und Mac.[12][13][14]
Forschung
In den letzten Jahren erschienen vermehrt wissenschaftliche Studien zu Interaktionen auf Multi-Touch-Screens und zur Verbesserung der bestehenden Technik. Forscher wie Hrvoje Benko von der Columbia University und Microsoft Research oder Tomer Moscovich von der Brown University beschäftigen sich mit Themen wie der präzisen Auswahl und Erkennung von Objekten und Berührpunkten auf Touchscreens.[3]
Eine aktuelle Studie der Hochschule der Medien Stuttgart und der User Interface Design GmbH bestätigt die Intuitivität der gestenbasierten Bedienung. Die Ergebnisse der Studie zeigen, dass die Interaktion mit Multi-Touch-Geräten wie PixelSense für junge und ältere Nutzer gleichermaßen leicht zu verstehen ist und den Nutzern kaum Probleme bereitet.
Siehe auch
Literatur
- Rainer Dorau: Emotionales Interaktionsdesign: Gesten und Mimik interaktiver Systeme. Springer 2011, ISBN 978-3-642-03100-7
Weblinks
Einzelnachweise
- A. Girouard, L. Hirshfield, M. Horn, R. Jacob, O. Shaer, E. Solovey, J. Zigelbaum: Reality-Based Interaction: A Framework for Post-WIMP Interfaces. In: Proceeding of the twentysixth annual SIGCHI conference on Human factors in computing systems. ACM, New York 2008, S. 201–210.
- G. Young: Hugh LeCaine. hughlecaine.com, 1999; abgerufen am 21. Dezember 2009
- W. Buxton: Multi-Touch Systems that I have known and loved. billbuxton.com, 2009; abgerufen am 21. Dezember 2009
- D. Saffer: Designing Gestural Interfaces. O’Reilly, Köln 2009, S. 8.
- D. Saffer: Designing Gestural Interfaces. O’Reilly, Köln 2009, S. 10.
- DiamondTouch SDK: Support for Multi-User, Multi-Touch Applications. Mitsubishi, 2002; abgerufen am 21. Dezember 2009.
- TED. ted.com, 2006; abgerufen am 12. Februar 2010
- Windows 7. microsoft.com, 2009; abgerufen am 21. Dezember 2009
- D. Saffer: Designing Gestural Interfaces. O’Reilly, Köln 2009.
- Philipp Brauner, Julia van Heek, Martina Ziefle, Nur Al-huda Hamdan, Jan Borchers: Interactive FUrniTURE: Evaluation of Smart Interactive Textile Interfaces for Home Environments. In: Proceedings of the 2017 ACM International Conference on Interactive Surfaces and Spaces. ACM, Brighton United Kingdom 2017, ISBN 978-1-4503-4691-7, S. 151–160, doi:10.1145/3132272.3134128 (acm.org [abgerufen am 26. Juli 2021]).
- apple.com (Memento des Originals vom 14. April 2010 im Internet Archive) Info: Der Archivlink wurde automatisch eingesetzt und noch nicht geprüft. Bitte prüfe Original- und Archivlink gemäß Anleitung und entferne dann diesen Hinweis. 2009; abgerufen am 21. Dezember 2009
- Kinect unterLinux. onli-blogging
- kinectforwindows. SDK. Microsoft, 2011
- Vom GUI zum NUI. heise.de, Technology Review, 2011
