User:Mathiact
From Robin
(→Articles) |
(→Visualization of sensory data and algorithms through augmented reality) |
||
Line 48: | Line 48: | ||
* The difficulty of understanding the robot's orientation in it's environment (easy to hard) | * The difficulty of understanding the robot's orientation in it's environment (easy to hard) | ||
- | === | + | = Let's go = |
+ | |||
+ | |||
+ | |||
+ | == Articles == | ||
http://gbib.siggraph.org/ - Library from SIGGRAPH - Computer graphics conference | http://gbib.siggraph.org/ - Library from SIGGRAPH - Computer graphics conference | ||
[http://journal.frontiersin.org/journal/robotics-and-ai/section/virtual-environments Virtual environments, 17 articles - frontiers] | [http://journal.frontiersin.org/journal/robotics-and-ai/section/virtual-environments Virtual environments, 17 articles - frontiers] | ||
Challenges in virtual environments (2014) [http://journal.frontiersin.org/article/10.3389/frobt.2014.00003/full] | Challenges in virtual environments (2014) [http://journal.frontiersin.org/article/10.3389/frobt.2014.00003/full] | ||
- | + | === Virtual reality === | |
Multi-sensory feedback techniques, user studies [http://journal.frontiersin.org/article/10.3389/frobt.2014.00014/full] | Multi-sensory feedback techniques, user studies [http://journal.frontiersin.org/article/10.3389/frobt.2014.00014/full] | ||
- | + | === Augmented reality === | |
User testing on AR system [http://dl.acm.org/citation.cfm?doid=2856400.2856416 Instruction for Object Assembly based on Markerless Tracking] | User testing on AR system [http://dl.acm.org/citation.cfm?doid=2856400.2856416 Instruction for Object Assembly based on Markerless Tracking] | ||
Line 65: | Line 69: | ||
- | + | === Technical === | |
Integration between Unity and ROS [http://vgrserver.cs.yorku.ca/~jenkin/papers/2014/ros2unity.pdf] | Integration between Unity and ROS [http://vgrserver.cs.yorku.ca/~jenkin/papers/2014/ros2unity.pdf] | ||
- | + | == Books == | |
Comuter vision [http://szeliski.org/Book/drafts/SzeliskiBook_20100903_draft.pdf] | Comuter vision [http://szeliski.org/Book/drafts/SzeliskiBook_20100903_draft.pdf] |
Revision as of 15:17, 20 October 2016
Contents |
Master thesis
Mulige oppgaver
Visualisering
Mål:
- Forstå algoritemene til roboten bedre ved å visualisere dem under kjøring.
- Lettere se effektene av parametertuning
Ting:
- Sammenligne forskjellige modeller
- Bruke faktisk kamerastrøm og overlaye genererte 3D-modeller
Visualisering ved hjelp av VR ser jeg på som litt unødvendig, ettersom VR mest antakelig ikke vil forbedre forståelsen veldig. Her kan 2D anvendes helt fint. For å finne ut om man har klart målet må man brukerteste systemet og se om brukerne syns det er lettere å forstå algoritmene. Dette kan være en utfordring ettersom man både trenger nok brukere (20?) og en godt designet undersøkelse.
Fjernstyring
Mål: Løse en oppgave med roboten enklere med hjelp av VR. Vise at det er lettere å se på obstacles eller å styre en robotarm med VR.
Utfordringen her er å bygge en robotarm. Å teste hvor effektivt systemet er er enklere enn visualisering ettersom man kan ta tiden det tar å løse oppgaven, eller nøyaktigheten den ble utført med. Her kan det være en ide å bruke Viven's håndkontroller for å styre robotarmen.
Visualisering gjennom AR
Bruke AR - optimalt gjennom briller - til å se robotens algorimter visualisert. Dette krever både gode AR-briller (Micorsoft hololens eller HTC Vive-kamera) og mye datakraft. Brukerens nøyaktige pose (posisjon og orientering i forhold til roboten må kunne holdes oppdatert). Jeg ser for meg at dette prosjektet kan løses i 2D på skjerm først, så VR, og så portes til AR.
Denne ideen gjør meg veldig hyped og er dette jeg vil gå for.
Mål:
- Bygge et system som gjør det enklere å forstå algoritemene til roboten ved å visualisere dem under kjøring
- Lettere se effektene av parametertuning
Utfordringer:
- Vet ikke hvor bra AR fungerer med Viven. Det er ikke et stereokamera, noe som er litt kjipt. På en annen side vil en ipad - som også er et alternaltiv - også være mono.
- Finne metrics på hvor bra resultatet ble.
Visualization of sensory data and algorithms through augmented reality
Metrics
- How much better does the user understand how the robot works
Things
- Low latency on head mounted displays is very important for user experience.
Questionare
Rate traditional visualization (gazebo) 1-5 vs. AR system
- The difficulty of understanding the robot's position in it's environment (easy to hard)
- The difficulty of understanding the robot's orientation in it's environment (easy to hard)
Let's go
Articles
http://gbib.siggraph.org/ - Library from SIGGRAPH - Computer graphics conference Virtual environments, 17 articles - frontiers Challenges in virtual environments (2014) [1]
Virtual reality
Multi-sensory feedback techniques, user studies [2]
Augmented reality
User testing on AR system Instruction for Object Assembly based on Markerless Tracking
Evaluating human-computer interface in general Evaluation of human-computer interface for optical see-through augmented reality system
Sensor Data Visualization in Outdoor Augmented Reality
- Discusses the challenges with displays in lit environments[3]
Technical
Integration between Unity and ROS [4]
Books
Comuter vision [5]