Інструменти освіти анатомії
Дослідницька група працювала над розробкою інструментів цифрової, доповненої реальності для вивчення анатомії: ARnatomy і FlexAR . Студенти вивчають остеологію і м'язову систему собачих кінцівок собачих і людських грудних кінцівок, що рухаються фізичними кістками перед камерою, прикріпленою до смарт-пристроїв, які надають різні анатомічні відомості.
ARnatomy
Інтеграція традиційних матеріалів (кісток) і доповненої реальності за допомогою мобільних пристроїв зберігає основну якість втіленого досвіду використання кісток і будує мультимедійну інформацію навколо кісток в обчислювальному середовищі. Ми створили систему, яка може розпізнавати різні 3D друковані кістки, поки користувач утримує і переміщує кістку перед камерою мобільного пристрою або за камерою. Після розпізнавання кістки заповнюються віртуальними текстовими мітками, які переміщуються по екрану відповідно до подачі відеокамер кісток. Етикетки чіткі та ефективні при виявленні інтересів регіонів. Крім того, ми створили додатковий режим, який дозволяє користувачеві бачити розпізнану кістку в контексті всього скелета.
Система розділена на 3 основні компоненти. Ці елементи отримують дані з камери мобільного пристрою. Ці дані надаються модулю розпізнавання та відстеження об'єктів. Просторові дані апроксимуються і подаються в движок гри Unity3D на етапі графічного інтерфейсу користувача. Всередині програми Unity3D буде набір компонентів, які визначають вміст очікуваних і розпізнаваних об'єктів. Всі кістки і вміст навчання зберігаються і зберігаються на цьому рівні. Ця колекція даних описує і діє на 3D-сцені, яка представлена користувачеві композиту з відео-каналом з камери.
Seo, JH , Storey, J., Chavez, J., Reyna, D., Suh, J., & Pine, M. (2014). ARnatomy: матеріальне додаток AR для вивчення валової анатомії. Плакати ACM SIGGRAPH 2014 (SIGGRAPH '14). Нью-Йорк, Нью-Йорк, США.
Seo, J. H. (2015). Одна арнатомія . Розширена World Expo 2015. Санта-Клара, Каліфорнія. США.
FlexAR
Ми зосереджуємося на демонстрації згинання і розширення різних груп м'язів в результаті переміщення фізичної скелетної моделі. Крім того, ми хотіли вивчити різні стилі інтерфейсу AR, щоб побачити, як вони підтримують різні стилі навчання. Стилі, які ми досліджували, були носими, планшет і комп'ютер. Користувачі нашого прототипу маніпулюють фізичною скелетною моделлю, прикріпленою до мішеней доповненої реальності (AR).
Пристрій з підтримкою AR записує цю взаємодію і проектує цифрову 3D-модель, що складається з кісток і основних м'язів руки над фізичною моделлю. Потім користувачі можуть вивчати як грубу анатомію, так і згинання м'язів і розширення. Користувач може також взаємодіяти за допомогою графічного інтерфейсу користувача, щоб виділити і відобразити додаткову інформацію про окремі м'язи. Flex-AR був побудований з використанням ігрового механізму Unity з плагіном Qualcomm Vuforia, мобільною бібліотекою AR, для обробки захоплення та відстеження наших розширених цілей реальності. Для FlexAR ми використовуємо 4 мішені: 1 для визначення основного положення руки, а інші - для обертання плечових, ліктьових і зап'ястних суглобів 3D-моделі. Активи для 3D-накладання були розроблені в Maya з використанням нашої фізичної моделі руки.
Saenz, M., Strunk, J., Maset, K., Malone, E., & Seo, JH (2015). Див. Flex: Дослідження різних параметрів відображення для різних умов дослідження. Плакати SIGGRAPH 2015 (SIGGRAPH '15). ACM, Нью-Йорк, Нью-Йорк, США.