Wirtualne serce, którego można dotknąć. Rozwiązania haptyczne i AR wspierają medycynę

ouch My Heart przenosi nas w przyszłość medycyny i edukacji, oferując możliwość interakcji z modelem wirtualnego serca. Dzięki temu modelowi 3D, serce można nie tylko zobaczyć, ale i dotknąć, poczuć jego rytm, a nawet zajrzeć do jego wnętrza. Wystarczą do tego komputer, płytka haptyczna, okulary AR i stabilne połączenie internetowe. Projekt ten, już teraz wykorzystywany w edukacji, ma potencjał, aby w przyszłości zrewolucjonizować komunikację lekarzy z pacjentami, czyniąc ją bardziej intuicyjną i zrozumiałą. Touch My Heart stworzył polsko-ukraiński zespół naukowy firmy SoftServe.

Co odróżnia Touch My Heart od tradycyjnych modeli anatomicznych? Możliwość obserwacji serca w działaniu – użytkownicy mogą nie tylko je zobaczyć, ale również poczuć jego bicie i usłyszeć dźwięki pracy. Narzędzie to umożliwia eksplorację zarówno zdrowego serca, jak i tego dotkniętego różnymi dolegliwościami, takimi jak arytmia czy choroby zastawek. Dzięki zaawansowanej technologii, można zagłębić się w strukturę serca, przyglądając się komorom, zastawkom, naczyniom krwionośnym oraz tętnicom, co pozwala na szczegółową analizę każdej, nawet najmniejszej anomalii. Touch My Heart oferuje również unikalną funkcję wirtualnego „przecięcia” serca, co daje użytkownikom nieporównywalną możliwość zrozumienia jego budowy i działania, a także identyfikacji potencjalnych nieprawidłowości. Model został opracowany pod nadzorem ekspertów medycznych, we współpracy ze Śląskim Uniwersytetem Medycznym. Wszystkie zawarte w nim dane, takie jak zapisy dźwiękowe bicia serca i EKG, pochodzą od prawdziwych pacjentów i pacjentek.

– Touch My Heart przenosi edukację anatomii ludzkiej na zupełnie nowy poziom, wykorzystując najnowsze technologie, w tym rzeczywistość rozszerzoną, cyfrowe bliźniaki oraz rozwiązania haptyczne. Naszym zamierzeniem jest zastosowanie tych nowoczesnych narzędzi w taki sposób, aby przyniosły one jak największe korzyści w praktyce – mówi Olha Terendii, Product Manager, R&D Products w SoftServe.

Jak to działa?

Doświadczenie ludzkiego serca w dłoniach staje się możliwe po założeniu okularów AR. Nad płytką haptyczną materializuje się hologram serca, który umożliwia nie tylko wizualną obserwację, ale również odczuwanie jego rytmicznego bicia. Ta interaktywna metoda pozwala na dokładne zbadanie serca z każdej strony – możemy je obracać, przyglądać się z bliska, by dostrzec najdrobniejsze detale anatomiczne, lub oddalić się, by zrozumieć funkcjonowanie całego organu. Dodatkowo model daje możliwość „przecięcia” serca, co pozwala na szczegółową eksplorację wewnętrznej budowy poprzez analizę poszczególnych przekrojów.

Touch My Heart wykorzystuje Magic Leap – google rzeczywistości rozszerzonej (AR), które przenoszą cyfrowe obiekty do świata rzeczywistego. Technologia cyfrowego bliźniaka zapewnia wirtualne środowisko. System śledzenia dłoni identyfikuje kluczowe punkty na rękach użytkownika, umożliwiając mu interakcję w rzeczywistości mieszanej bez konieczności korzystania z kontrolera. Dzięki temu mamy wrażenie, że trzymamy w dłoniach prawdziwe, bijące serce i możemy dowolnie zmieniać jego pozycję.

Touch My Heart to również wciągające doświadczenie dźwiękowe. Użytkownik lub użytkowniczka może rozpoznać kierunki statycznych i ruchomych obiektów dźwiękowych (lokalizacja przestrzenna) i poczuć ich połączenie z obiektami wizualnymi. Osoba korzystająca z Touch My Heart słyszy bicie trzymanego w dłoniach serca.

– Obecna wersja Touch My Heart wprowadza szereg udoskonaleń: od wizualizacji przekrojów, poprzez dźwięk przestrzenny 3D, po zaawansowane informacje zwrotne dotykowe, reprezentacje różnych chorób, aż do modułu grywalizacji. Wszystkie te funkcjonalności zostały zaprojektowane z myślą o tym, by korzystanie z naszego modelu w kontekście edukacyjnym było nie tylko efektywne, ale przede wszystkim fascynujące i angażujące dla użytkowników – mówi Mateusz Janusz, Senior QA Engineer z SoftServe.

Do czego może się przydać Touch My Heart?

Realistyczny model serca 3D otwiera nowe możliwości w kardiologii, oferując kompleksową i szczegółową wizualizację struktur serca, co czyni go bezcennym narzędziem w nowoczesnej opiece nad pacjentami. Dzięki niemu lekarze mogą przyjąć bardziej precyzyjne i spersonalizowane podejście do leczenia, jednocześnie angażując i edukując pacjentów. Prezentacja modelu serca, wyjaśnianie jego funkcji, ilustrowanie przykładów prawidłowego i nieprawidłowego rytmu serca, a także szczegółowe opisy planowanych zabiegów i operacji, mogą znacząco poprawić zrozumienie i zaangażowanie pacjentów w proces leczenia.

Touch My Heart stanowi również cenne narzędzie wspierające pracę naukowców i naukowczyń. Umożliwia ono łatwiejsze tłumaczenie i prezentowanie badań oraz odkryć różnym grupom odbiorców. Dzięki takim modelom możliwa staje się efektywniejsza praca na odległość. Wyobraźmy sobie sytuację, w której dwóch naukowców z różnych części świata współtworzy projekt. Korzystając z Touch My Heart, mogą oni w czasie rzeczywistym obserwować te same nieprawidłowości serca i dzielić się swoimi spostrzeżeniami na temat potencjalnych metod leczenia, co znacznie ułatwia współpracę i wymianę wiedzy.

– Nowoczesne modele anatomiczne, takie jak ten, który stworzyliśmy, są nie tylko zaawansowanymi narzędziami edukacyjnymi, ale również otwierają nowe perspektywy w nauce o ludzkim ciele. Nasz model prezentuje serce, ale technologia, którą wykorzystujemy, nie ogranicza się tylko do jednego organu. Możemy rozwijać ten projekt, prezentując inne narządy, zarówno w stanie zdrowia, jak i ukazując różne choroby oraz nieprawidłowości. Dzięki połączeniu technologii haptycznych, cyfrowych bliźniaków i rzeczywistości rozszerzonej (AR), jesteśmy w stanie ukazywać struktury ciała ludzkiego w sposób dotąd nieosiągalny, przenosząc doświadczenie nauki z poziomu teoretycznych stron podręczników czy filmów edukacyjnych bezpośrednio do interaktywnej, trójwymiarowej przestrzeni – dodaje Olha Terendii.


O SoftServe

SoftServe to międzynarodowa firma technologiczna działająca głównie w obszarze Big Data, DevOps, Cloud, IoT, Machine Learning, AR, VR, MR, e-commerce czy UX. SoftServe to jedna z największych firm programistycznych w Europie Środkowo-Wschodniej. Około 12 000 pracowników pracuje w 50 biurach zlokalizowanych od San Francisco po Singapur. Główne biura firmy znajdują się we Lwowie (Ukraina) i Austin (Teksas, USA). Firma pracuje nad ponad 900 aktywnymi projektami dla klientów w Ameryce Północnej, UE i Azji. Klientami SoftServe są takie firmy jak IBM, Cisco, Panasonic, Cloudera, Henry Schein czy Spillman Technologies. SoftServe jest partnerem Google Cloud Platform, Amazon Web Services, Microsoft Azure i innych dużych firm technologicznych.

 W Polsce poszerzają swój zespół, przede wszystkim o specjalistów z zakresu analizy i migracji danych, rozszerzonej rzeczywistości czy inżynierów R&D. Na polskim rynku działają od 2014 roku, obecnie zdalnie i w 7 biurach w: Warszawie, Gliwicach, Gdańsku, Krakowie, Białymstoku, Łodzi i we Wrocławiu. Firma otrzymała w 2021 i 2023 certyfikat Great Place to Work, jak również znalazła się na liście najlepszych miejsc pracy w całej Europie. https://career.softserveinc.com/pl/about