User:Mathiact
From Robin
Contents |
Master thesis
Mulige oppgaver
Visualisering
Mål:
- Forstå algoritemene til roboten bedre ved å visualisere dem under kjøring.
- Lettere se effektene av parametertuning
Ting:
- Sammenligne forskjellige modeller
- Bruke faktisk kamerastrøm og overlaye genererte 3D-modeller
Visualisering ved hjelp av VR ser jeg på som litt unødvendig, ettersom VR mest antakelig ikke vil forbedre forståelsen veldig. Her kan 2D anvendes helt fint. For å finne ut om man har klart målet må man brukerteste systemet og se om brukerne syns det er lettere å forstå algoritmene. Dette kan være en utfordring ettersom man både trenger nok brukere (20?) og en godt designet undersøkelse.
Fjernstyring
Mål: Løse en oppgave med roboten enklere med hjelp av VR. Vise at det er lettere å se på obstacles eller å styre en robotarm med VR.
Utfordringen her er å bygge en robotarm. Å teste hvor effektivt systemet er er enklere enn visualisering ettersom man kan ta tiden det tar å løse oppgaven, eller nøyaktigheten den ble utført med. Her kan det være en ide å bruke Viven's håndkontroller for å styre robotarmen.
Visualisering gjennom AR
Bruke AR - optimalt gjennom briller - til å se robotens algorimter visualisert. Dette krever både gode AR-briller (Micorsoft hololens eller HTC Vive-kamera) og mye datakraft. Brukerens nøyaktige pose (posisjon og orientering i forhold til roboten må kunne holdes oppdatert). Jeg ser for meg at dette prosjektet kan løses i 2D på skjerm først, så VR, og så portes til AR.
Denne ideen gjør meg veldig hyped og er dette jeg vil gå for.
Mål:
- Bygge et system som gjør det enklere å forstå algoritemene til roboten ved å visualisere dem under kjøring
- Lettere se effektene av parametertuning
Utfordringer:
- Vet ikke hvor bra AR fungerer med Viven. Det er ikke et stereokamera, noe som er litt kjipt. På en annen side vil en ipad - som også er et alternaltiv - også være mono.
- Finne metrics på hvor bra resultatet ble.
Visualization of sensory data and algorithms through augmented reality
Metrics
- How much better does the user understand how the robot works?
Things
- Low latency on head mounted displays is very important for user experience.
Questionare
Rate traditional visualization (gazebo) 1-5 vs. AR system
- The difficulty of understanding the robot's position in it's environment (easy to hard)
- The difficulty of understanding the robot's orientation in it's environment (easy to hard)
Let's go
Plan
Visualizing sensor data in Unity
Point cloud is extracted from ROS trough rosbridge. Data type is JSON and infrastructure is web sockets. Unity will need to have an asynchronous thread to handle the data to avoid frame drops due to latency. The point clouds are data intensive.
Articles
http://gbib.siggraph.org/ - Library from SIGGRAPH - Computer graphics conference Virtual environments, 17 articles - frontiers Challenges in virtual environments (2014) [1]
Virtual reality
Multi-sensory feedback techniques, user studies [2]
Augmented reality
User testing on AR system Instruction for Object Assembly based on Markerless Tracking
Evaluating human-computer interface in general Evaluation of human-computer interface for optical see-through augmented reality system
Sensor Data Visualization in Outdoor Augmented Reality
- Discusses the challenges with displays in lit environments[3]
Technical
Integration between Unity and ROS [4]
Thesises
Teleoperation+visualization with oculus [5]
Books
Comuter vision [6]