advertisement

Capita Selecta Multimedia Presentatie 2

40 %
60 %
advertisement
Information about Capita Selecta Multimedia Presentatie 2

Published on November 28, 2007

Author: XdaX

Source: slideshare.net

Description

Over gesture herkenning bij (multi) touch schermen.
advertisement

Multi-touch GESTURE RECOGNITION & API DESIGN Davy Debacker, Ruben Lagatie, Sven Michiels

Inhoud Introductie 1. Geschiedenis 1. Motivatie 2. Gestures 2. Multi-touch UI gestures 1. Template gestures 2. Gesture recognition 3. Bepalen positie vingertoppen 1. Herkenningstechnieken 2. 4. Gesture API

Papers Visual Tracking of Bare Fingers for Interactive Surfaces  Letessier, Bédard (2004)  Gestures without Libraries, Toolkits or Training:  A $1 Recognizer for User Interface Prototypes Wobbrock, Wilson, Li (2007)  Gesture Analyzing for Multi-Touch Screen Interfaces  Thörnlund (2007)  A Survey of Gesture Recognition Techniques  Watson (1993)  Constructing Finite State Machines for Fast Gesture Recognition  Hong, Turk, Huang (2000)  Implementation of Multi-touch Tabletop Display for HCI  Kim, Kim, Lee (2007)  Programming for Multiple Touches and Multiple Users:  A Toolkit for the DiamondTouch Hardware Diaz-Marino, Tse, Greenberg (2003)  Mouse Gesture Recognition by using Hidden Markov Model  Jang, Ko, Khamidov (2004)  Multi-finger and whole hand gestural interaction techniques for multi-user tabletop displays  Mike Wu, Ravin Balakrishnan(2003) 

Introductie GESCHIEDENIS 1. 2. MOTIVATIE

Geschiedenis  Mouse gestures  1983 Apple: “drag”  >1997 Games  2001 Opera  2004 KDE 3.2  Hand gestures in CS  lezen van gebarentaal  robotica  multi-touch

Motivatie  Intuïtiever  Sneller  26% sneller dan selecteren van knoppen1 1 Dulberg, M.S., Amant, R.S., and Zettlemoyer, L. An Imprecise Mouse Gesture for the Fast Activation of Controls. In Proceedings of INTERACT’99. 1999. 375–382

Gestures MULTI - TOUCH UI GES TURES 1. • 1 FINGER • 2 FINGERS • HANDS 2. TEMPLATE GESTURES

Multi-touch UI gestures: 1 finger  Move verplaatsen van object  Select selecteren door omcirkelen  Double tap context menu rond vinger (pie chart)  Flicking and catching een object gooien/opvangen(snelheid threshold)

Multi-touch UI gestures: 2 fingers  Rotate roteren a.d.v. 2 punten  Scale vergroten/verkleinen a.d.v. 2 punten  Multiselect selecteren door omcirkelen

Multi-touch UI gestures: hands  Flat hand openen menu  Vertical hand scheiding maken door verticale lijn  2 Vertical hands groeperen door samenduwen  2 Corner shaped hands selecteren door afbakenen rechthoekig gebied

Template gestures

Gesture recognition BEPALEN POSITIE VINGERTOPPEN 1. 2. HERKENNINGSTECHNIEKEN

Bepalen positie vingertoppen voorgrond extractie door IDS 1.  grayscale difference map automatische thresholding 2.  binary map shape filtering 3.  fingertip positions

1. Voorgrond extractie door IDS Computer Vision techniek: Image Differencing Segmentation (IDS) grayscale difference map

2. Automatische thresholding Verwijderen van ruis en omvormen naar binaire map binaire map

3. shape filtering Fast Rejection Filters Patroon vingertop 1. Pixel per pixel vergelijking met patroon (vinger, blok, pen, GSM…) 2. Fast Rejection Filters (FRF) 3. Mediaan van clusters = posities vingers

Gesture recognition BEPALEN POSITIE VINGERTOPPEN 1. 2. HERKENNINGSTECHNIEKEN

Herkenningstechnieken  Hardcoded  Template Matching  Neural Networks  Statistical classification  Discontinuity Matching

Hardcoded  Rotate: if((dx(pi) * dx(pj) < 0) && (dy (pi) * dy(pj) < 0))  Scale: if((dx(pi) * dx (pj) < 0) || (dy(pi) * dy(pj) < 0))  Move: if((dx(pi) * dx (pj) > 0) || (dy(pi) * dy(pj) > 0))

Template Matching $1 algoritme rotatieonafhankelijk template matching algoritme Concept registreren van punten op interval 1. 2. minimaliseren gemiddelde afstand tussen punten:

Template Matching $1 algoritme rotatieonafhankelijk template matching algoritme Problemen 1. afstand en locatie punten afhankelijk van snelheid 2. rotatieonafhankelijkheid

1. Afstand en locatie punten afhankelijk van snelheid Resample

2. rotatieonafhankelijkheid roteren volgens indicatieve hoek 1. 2. scalering en translatie 3. zoeken optimale rotatie

1. roteren volgens indicatieve hoek indicatieve hoek startpunt Probleem: deze rotatie is meestal niet optimaal

2. scalering en translatie Scaleren naar referentie vierkant, zodat:  punten niet beïnvloed worden door ratio  eenvoudig kan roteren rond middelpunt Nadeel: sommige patronen niet meer te onderscheiden (bv. ovaal - cirkel) 

3. zoek optimale hoek gelijke patronen verschillende patronen Golden Section Search Hill Climbing • trager voor gelijkaardige patronen • sneller voor verschillende patronen

Gesture API BIBLIOTHEEK MET GESTURES 1. 2. LISTENER METHODES

1. Bibliotheek met gestures SDK zoals DiamondTouch: DTFlash • Standaard gestures in een bibliotheek bewaren (bv scale, move, rotate…) • Toevoegen van gestures kan eenvoudig door overerving

2. Listener methodes  Programma kan zichzelf registreren als listener Listener aangeroepen wanneer gesture wordt herkend   Listener aangeroepen wanneer scherm wordt aangeraakt  Mogelijk om huidige positie vingers op te vragen …

Einde Vragen?

Add a comment

Related pages

Gratis Slimstuderen-verslag voor Capita-klanten ...

Klanten van Capita Selecta ontvangen in collegejaar 2014-2015 bij het volgen van een tentamentraining van Capita Selecta ... volgt in trimester 2, ...
Read more

Marketing Manager | Capita Selecta | Executive Finders

The Marketing Manager’s key role is to design national marketing strategy, ...
Read more

Capita selecta, mens machine communicatie en multimedia ...

Capita selecta, mens machine communicatie en multimedia (B-KUL-H05N2A) 4 studiepunten Nederlands 26 uren Beide semesters Uitgesloten voor examencontract.
Read more

Capita | Define Capita at Dictionary.com

Capita definition, plural of caput. See more. Dictionary.com; Word of the Day; Translate; Games; Blog; ... 2. Law. noting or pertaining ...
Read more

Capita Selecta Period 2: Hungry for foodwaste?

Capita Selecta Period 2: Hungry for foodwaste? Posted on October 3, ... CAPITA SELECTA (RSO-67303) Activities of this course are open to everyone.
Read more

Capita Selecta - portfolio studie alex

2. Pedagogisch competent. 3. ... 8 Video assessment en presentatie. ... Capita Selecta. Selection File type icon File name
Read more

De vlaamse ruimtelijke ordening 2012: capita selecta ...

Capita Selecta Multimedia Presentatie 1 ... Capita Selecta Multimedia Presentatie 2 Over gesture herkenning bij (multi) touch schermen.
Read more

Capita Selecta Status Update (Tower) - Documents

Capita Selecta Multimedia Presentatie 2 Over gesture herkenning bij (multi) touch schermen. Capita selecta florine deimann 2 Capita selecta ...
Read more