Wyobraź sobie, że możesz poczuć uścisk dłoni albo przytulenie bliskiej osoby znajdującej się na drugim końcu świata albo doświadczyć tekstury materiału podczas zakupów online. To, co jeszcze niedawno wydawało się science fiction, staje się rzeczywistością dzięki przełomowej technologii i rozwiązaniom opracowanym w ramach projektu Touchless AI. Udział w nim brali też Polacy!
Opracowanie nowej generacji bezdotykowych technologii haptycznych, które wzbogacą nasze interakcje w świecie wirtualnym, na przykład dając możliwość przekazywania wrażeń dotykowych bez fizycznego kontaktu – właśnie to było celem projektu Touchless AI, realizowanego w ramach unijnego programu finansowania Horyzont 2020. Przez ostatnie cztery lata pracował nad nim międzynarodowy zespół ekspertów reprezentujących jedne z najlepszych uniwersytetów na świecie – University College London, University of Copenhagen, Public University of Navarre oraz wiodące firmy technologiczne – SoftServe i Ultraleap, a także Crowdhelix, która zajmowała się promocją i kolaboracją z innymi, “siostrzanymi” projektami.
Dotyk na odległość – jak to możliwe?
Projekt otwiera nowe możliwości w komunikacji cyfrowej. Powstał on w odpowiedzi na rosnące zapotrzebowanie na bardziej immersyjne doświadczenia w świecie online – podczas gdy tradycyjne rozmowy wideo pozwalają na kontakt wzrokowy i słuchowy, brakuje w nich jeszcze jednego kluczowego elementu ludzkiej interakcji – dotyku. Idea tego przedsięwzięcia narodziła się na początku pandemii koronawirusa, gdy spora część komunikacji (i nie tylko) zaczęła toczyć się zdalnie, a wiele osób straciło możliwość przytulenia się do bliskich.
– W świecie cyfrowym ten element był dotychczas niedostępny. Teraz dzięki zaawansowanym algorytmom, sztucznej inteligencji oraz modelom neurokognitywnym urządzenia haptyczne są w stanie symulować różnorodne bodźce dotykowe, takie jak tekstura, temperatura czy siła nacisku. Technologie haptyczne nowej generacji, nad którymi pracowaliśmy w ramach projektu Touchless AI, nie wymagają w dodatku, by użytkownik miał na sobie specjalne rękawice, kombinezon czy kontrolery. Wystarczy trzymać rękę w powietrzu nad specjalnym urządzeniem, a połączone fale ultradźwiękowe wywołają wrażenie dotyku na skórze dłoni – mówi Maciej Stroiński, R&D Engineer w firmie SoftServe Poland, która uczestniczyła w projekcie Touchless AI.
W kierunku przyszłości
Specjaliści pracowali nie tylko nad „przesyłaniem dotyku”, ale też nad analizą emocji, poziomu skupienia czy energii ruchów użytkowników. Celem było stworzenie systemu, który odtwarza bodźce dotykowe, ale także dostosowuje je do kontekstu emocjonalnego, by interakcje w świecie wirtualnym były bardziej naturalne i intuicyjne. – Naszym celem było stworzenie w pełni immersyjnych doświadczeń, które przełamią bariery dzielące świat fizyczny od cyfrowego, wzbogacą możliwości, ale nie zastąpią bezpośredniego kontaktu i jednocześnie zachowają to, co najważniejsze w ludzkich interakcjach – emocjonalną więź – dodaje Maciej Stroiński z SoftServe Poland.
W ramach projektu powstało m.in. narzędzie EmoSense, które wykorzystując sztuczną inteligencję analizuje twarz, ruch gałek ocznych, ciała i mowę, by odczytywać, co człowiek czuje w danej chwili. W momencie premiery był to najdokładniejszy system rozpoznawania emocji opisany w literaturze naukowej. Drugim istotnym osiągnięciem projektu był Text-to-Haptics – pierwszy na świecie system umożliwiający użytkownikom doświadczanie emocjonalnie spójnych wrażeń haptycznych w powietrzu, towarzyszących audiowizualnym opowieściom. Został on zbudowany przy użyciu modelu hybrydowej sztucznej inteligencji, łączącego najnowocześniejsze transformery z systemami opartymi na wiedzy.
Co przyniesie przyszłość?
Rozwiązania opracowane w ramach projektu Touchless AI otwierają nowe możliwości w wielu dziedzinach życia. Przede wszystkim mogą wzbogacić komunikację pomiędzy osobami, które są daleko od siebie, ale wachlarz potencjalnych zastosowań jest dużo szerszy – od medycyny, przez edukację, po rozrywkę i zakupy online – wszędzie tam, gdzie dotyk odgrywa istotną rolę, ta nowa technologia może zrewolucjonizować sposób, w jaki się komunikujemy i doświadczamy świata. Wyobraźmy sobie przykładowo, że podczas zakupów w sklepie internetowym będziemy mieć do dyspozycji wirtualne przymierzalnie, gdzie będzie też można poczuć teksturę materiałów.
– Projekt Touchless AI był nie tylko sukcesem pod względem technologicznym, ale również niesamowitą okazją dla nas do nauki i poznawania nowych technologii. Mieliśmy możliwość współpracy z ekspertami z dziedziny neuronauki, interakcji człowiek-komputer czy fizyki, wykorzystywaliśmy najnowszy sprzęt i oprogramowanie, a także pogłębialiśmy wiedzę w zakresie na przykład przetwarzania języka naturalnego (NLP), generatywnej sztucznej inteligencji i widzenia komputerowego – mówi Maciej Stroiński z SoftServe Poland.
Projekt Touchless AI dobiegł już końca, ale jednocześnie stworzył bazę wiedzy, na której można budować kolejne etapy związane z technologiami dotykowymi. – Technologia haptyczna to dopiero początek rewolucji w komunikacji cyfrowej, która dzieje się tu i teraz – podsumowuje Maciej Stroiński z SoftServe Poland.