Bruker:Mathiact

Fra Robin

(Forskjeller mellom versjoner)
Gå til: navigasjon, søk
(Augmented reality)
(Articles)
Linje 63: Linje 63:
'''Sensor Data Visualization in Outdoor Augmented Reality'''
'''Sensor Data Visualization in Outdoor Augmented Reality'''
* Discusses the challenges with displays in lit environments[https://www.researchgate.net/publication/228987535_Interaction_with_the_Environment_Sensor_Data_Visualization_in_Outdoor_Augmented_Reality]
* Discusses the challenges with displays in lit environments[https://www.researchgate.net/publication/228987535_Interaction_with_the_Environment_Sensor_Data_Visualization_in_Outdoor_Augmented_Reality]
 +
 +
 +
==== Technical ====
 +
Integration between Unity and ROS [http://vgrserver.cs.yorku.ca/~jenkin/papers/2014/ros2unity.pdf]
=== Books ===
=== Books ===
Comuter vision [http://szeliski.org/Book/drafts/SzeliskiBook_20100903_draft.pdf]
Comuter vision [http://szeliski.org/Book/drafts/SzeliskiBook_20100903_draft.pdf]

Versjonen fra 20. okt 2016 kl. 15:11

Innhold

Master thesis

Mulige oppgaver

Visualisering

Mål:

  • Forstå algoritemene til roboten bedre ved å visualisere dem under kjøring.
  • Lettere se effektene av parametertuning

Ting:

  • Sammenligne forskjellige modeller
  • Bruke faktisk kamerastrøm og overlaye genererte 3D-modeller

Visualisering ved hjelp av VR ser jeg på som litt unødvendig, ettersom VR mest antakelig ikke vil forbedre forståelsen veldig. Her kan 2D anvendes helt fint. For å finne ut om man har klart målet må man brukerteste systemet og se om brukerne syns det er lettere å forstå algoritmene. Dette kan være en utfordring ettersom man både trenger nok brukere (20?) og en godt designet undersøkelse.

Fjernstyring

Mål: Løse en oppgave med roboten enklere med hjelp av VR. Vise at det er lettere å se på obstacles eller å styre en robotarm med VR.

Utfordringen her er å bygge en robotarm. Å teste hvor effektivt systemet er er enklere enn visualisering ettersom man kan ta tiden det tar å løse oppgaven, eller nøyaktigheten den ble utført med. Her kan det være en ide å bruke Viven's håndkontroller for å styre robotarmen.

Visualisering gjennom AR

Bruke AR - optimalt gjennom briller - til å se robotens algorimter visualisert. Dette krever både gode AR-briller (Micorsoft hololens eller HTC Vive-kamera) og mye datakraft. Brukerens nøyaktige pose (posisjon og orientering i forhold til roboten må kunne holdes oppdatert). Jeg ser for meg at dette prosjektet kan løses i 2D på skjerm først, så VR, og så portes til AR.

Denne ideen gjør meg veldig hyped og er dette jeg vil gå for.

Mål:

  • Bygge et system som gjør det enklere å forstå algoritemene til roboten ved å visualisere dem under kjøring
  • Lettere se effektene av parametertuning

Utfordringer:

  • Vet ikke hvor bra AR fungerer med Viven. Det er ikke et stereokamera, noe som er litt kjipt. På en annen side vil en ipad - som også er et alternaltiv - også være mono.
  • Finne metrics på hvor bra resultatet ble.

Visualization of sensory data and algorithms through augmented reality

Metrics

  • How much better does the user understand how the robot works

Things

  • Low latency on head mounted displays is very important for user experience.

Questionare

Rate traditional visualization (gazebo) 1-5 vs. AR system
  • The difficulty of understanding the robot's position in it's environment (easy to hard)
  • The difficulty of understanding the robot's orientation in it's environment (easy to hard)

Articles

http://gbib.siggraph.org/ - Library from SIGGRAPH - Computer graphics conference Virtual environments, 17 articles - frontiers Challenges in virtual environments (2014) [1]

Virtual reality

Multi-sensory feedback techniques, user studies [2]

Augmented reality

User testing on AR system Instruction for Object Assembly based on Markerless Tracking

Evaluating human-computer interface in general Evaluation of human-computer interface for optical see-through augmented reality system

Sensor Data Visualization in Outdoor Augmented Reality

  • Discusses the challenges with displays in lit environments[3]


Technical

Integration between Unity and ROS [4]

Books

Comuter vision [5]

Personlige verktøy