Анатомія Адукацыя Інструменты
Даследчая група працуе над распрацоўкай лічбавых інструментаў рэалізаванай рэальнасці для навучання анатоміі: ARnatomy і FlexAR . Студэнты вывучаюць астэалогію і цягліцавую сістэму тазавага канечнасця сабак і грудных канечнасцяў чалавека, якія рухаюцца фізічныя косткі перад камерай, прымацаванай да разумных прылад, якія прадастаўляюць розную анатомическую інфармацыю.
Арнатомія
Інтэграцыя традыцыйных матэрыялаў (костак) і дапоўненай рэальнасці з выкарыстаннем мабільных прылад захоўвае асноўнае якасць увасобленага вопыту выкарыстання костак, а таксама стварае мультымедыйную інфармацыю вакол костак у вылічальнай асяроддзі. Мы стварылі сістэму, якая можа распазнаваць розныя 3D-друкаваныя косткі, калі карыстальнік трымае і перамяшчае костку перад камерай мабільнага прылады або за камерай. Пасля прызнання косткі запаўняюцца віртуальнымі тэкставымі этыкеткамі, якія рухаюцца па экране, каб адпавядаць відэакамеры падачы костак. Этыкеткі выразныя і эфектыўныя пры вызначэнні цікавых рэгіёнаў. Акрамя таго, мы стварылі дадатковы рэжым, які дазваляе карыстачу бачыць распазнаную костку ў кантэксце ўсяго шкілета.
Сістэма падзелена на 3 асноўныя кампаненты. Гэтыя элементы атрымліваюць дадзеныя з камеры мабільнага прылады. Гэтыя дадзеныя прадастаўляюцца модулю распазнання і адсочвання аб'ектаў. Прасторавыя дадзеныя аппроксимируются і падаюцца ў рухавік гульні Unity3D на этапе "Графічны карыстацкі інтэрфейс". Унутры прыкладання Unity3D будзе зборнік кампанентаў, якія вызначаюць змест чаканых і прызнаных аб'ектаў. Усе косткі і змест навучання захоўваюцца і адсочваюцца на гэтым узроўні. Гэтая калекцыя дадзеных апісвае і дзейнічае на 3D-сцэне, якая прадстаўлена карыстацкаму кампазіту з відэа-каналам з камеры.
Seo, JH , Storey, J., Chavez, J., Reyna, D., Suh, J., & Pine, M. (2014). ARnatomy: матэрыяльнае прыкладанне AR для вывучэння валавой анатоміі. Плакаты ACM SIGGRAPH 2014 (SIGGRAPH '14). Нью-Ёрк, Нью-Ёрк, ЗША.
Seo, J. H. (2015). Адна ARnatomy . Дапоўненая сусветная выстава 2015. Санта-Клара, Каліфорнія ЗША.
FlexAR
Мы арыентуемся на дэманстрацыю згінання і пашырэння розных груп цягліц у выніку руху фізічнай мадэлі шкілету. Акрамя таго, мы хацелі вывучыць розныя стылі інтэрфейсу AR, каб убачыць, як яны падтрымліваюць розныя стылі навучання. Стылі, якія мы даследавалі, былі носім, планшэта і кампутара. Карыстальнікі нашага прататыпа маніпулююць фізічнай мадэллю шкілета, прымацаванай да мэтаў дапоўненай рэальнасці (AR).
Прылада з падтрымкай AR запісвае гэта ўзаемадзеянне і праецыруе лічбавую 3D-мадэль, якая складаецца з костак і асноўных мышц рукі над фізічнай мадэллю. Затым карыстальнікі змогуць вывучыць як анатомію валюты, так і сціск і пашырэнне цягліц. Карыстальнік можа таксама ўзаемадзейнічаць з графічным інтэрфейсам карыстальніка, каб вылучыць і адлюстроўваць дадатковую інфармацыю пра асобныя мышцы. Flex-AR быў пабудаваны з дапамогай гульнявога рухавіка Unity з убудовай Qualcomm Vuforia, мабільнай бібліятэкай AR, з мэтай захопу і адсочвання нашых дапаўненняў. Для FlexAR мы выкарыстоўваем 4 мэты: 1 для вызначэння асноўнага становішча рычага і астатніх для кантролю кручэння пляча, локці і запясці суставаў 3D-мадэлі. Актывы для 3D-накладання былі распрацаваны ў Maya, выкарыстоўваючы нашу фізічную мадэль.
Saenz, М., Strunk, J., Maset, K., Malone, E., & Seo, JH (2015). Глядзіце Flex: Даследаванне розных параметраў дысплея для розных умоў навучання. SIGGRAPH 2015 Плакаты (SIGGRAPH '15). ACM, Нью-Ёрк, Нью-Ёрк, ЗША.