Narzędzia edukacyjne do anatomii
Zespół badawczy pracuje nad opracowaniem cyfrowych narzędzi do rozszerzonej rzeczywistości do nauki anatomii: ARnatomy i FlexAR . Uczniowie uczą się osteologii i układu mięśniowego kończyn miednicy i ludzkiej kończyny piersiowej, przemieszczając kości fizyczne przed kamerą przymocowaną do inteligentnych urządzeń, które dostarczają różnych informacji anatomicznych.
ARnatomia
Integracja tradycyjnych materiałów (kości) i rzeczywistości rozszerzonej za pomocą urządzeń mobilnych utrzymuje podstawową jakość ucieleśnionego doświadczenia używania kości i buduje informacje multimedialne wokół kości w środowisku obliczeniowym. Stworzyliśmy system, który rozpoznaje różne kości 3D, podczas gdy użytkownik trzyma i przesuwa kość przed kamerą urządzenia mobilnego lub za kamerą. Po rozpoznaniu kości są wypełniane wirtualnymi etykietami tekstowymi, które poruszają się po ekranie, aby dopasować je do kamery wideo. Etykiety są jasne i skuteczne w wskazywaniu obszarów zainteresowania. Dodatkowo stworzyliśmy dodatkowy tryb, który pozwala użytkownikowi zobaczyć rozpoznaną kość w kontekście całego szkieletu.
System jest podzielony na 3 główne komponenty. Elementy te odbierają dane z kamery urządzenia mobilnego. Te dane są dostarczane do modułu rozpoznawania i śledzenia obiektów. Dane przestrzenne są przybliżane i podawane do silnika gry Unity3D na etapie graficznego interfejsu użytkownika. Wewnątrz aplikacji Unity3D znajdzie się zbiór komponentów definiujących zawartość oczekiwanych i rozpoznawanych obiektów. Wszystkie kości i treści edukacyjne są przechowywane i śledzone na tym poziomie. Ten zbiór danych opisuje i działa na scenie 3D, która jest prezentowana użytkownikowi za pomocą kanału wideo z kamery.
Seo, JH , Storey, J., Chavez, J., Reyna, D., Suh, J. i Pine, M. (2014). ARnatomy: namacalna aplikacja AR do nauki anatomii brutto. ACM SIGGRAPH 2014 Posters (SIGGRAPH '14). Nowy Jork, NY, USA.
Seo, J. H. (2015). Jedna ARnatomia . Rozszerzone Światowe Expo 2015. Santa Clara, CA. USA.
FlexAR
Skupiamy się na wykazaniu zgięcia i wydłużenia różnych grup mięśniowych w wyniku przeniesienia fizycznego modelu szkieletowego. Ponadto chcieliśmy zbadać różne style interfejsu AR, aby zobaczyć, jak wspierają różne style uczenia się. Badane przez nas style były poręczne, tablet i komputer. Użytkownicy naszego prototypu manipulują fizycznym modelem szkieletowym z celami rozszerzonej rzeczywistości (AR).
Urządzenie z obsługą AR rejestruje tę interakcję i wyświetla cyfrowy model 3D składający się z kości i głównych mięśni ramienia nad modelem fizycznym. Użytkownicy mogą następnie badać zarówno anatomię brutto, jak i zginanie i rozciąganie mięśni. Użytkownik może również wchodzić w interakcje za pomocą graficznego interfejsu użytkownika, aby wyróżnić i wyświetlić dodatkowe informacje na temat poszczególnych mięśni. Flex-AR został zbudowany przy użyciu silnika gry Unity z wtyczką Vuforia firmy Qualcomm, mobilnej biblioteki AR, do obsługi przechwytywania i śledzenia naszych celów rozszerzonej rzeczywistości. W przypadku FlexAR używamy 4 celów: 1, aby określić podstawowe położenie ramienia, a inne, aby kontrolować obrót ramion, łokci i stawów nadgarstkowych modelu 3D. Zasoby nakładki 3D zostały opracowane w programie Maya przy użyciu naszego modelu ramienia fizycznego.
Saenz, M., Strunk, J., Maset, K., Malone, E., i Seo, JH (2015). Zobacz Flex: Badanie różnych ustawień wyświetlania dla różnych warunków badania. Plakaty SIGGRAPH 2015 (SIGGRAPH '15). ACM, Nowy Jork, NY, USA.