A különböző kéziszámítógépeken futtatható szoftver működése roppant egyszerű. A felhasználóknak nincs más dolguk, mint a kéziszámítógépükbe integrált vagy külsőleg rácsatlakoztatott digitális fényképezőgép segítségével fotót készíteni az értelmezni kívánt írásjelekről. Ezt követően a számítógép a speciális szoftver segítségével teljesen automatikusan képes a lefényképezett írásjelek felismerésére, majd pedig angol nyelvre történő lefordítására. A fejlesztők elmondása szerint az egész fotózási, szövegfelismerési és fordítási folyamat néhány másodpercet vesz csak igénybe.

A Sign Translator jelenlegi verziója egyelőre csak a kínai nyelvvel képes megbirkózni, azonban a fejlesztők elmondása szerint a közeljövőben más nyelvekre is felkészítik majd a szoftvert, mely jelen pillanatban egyébként mintegy 3700 kínai írásjelet ismer. "Elsősorban azért választottuk első nyelvnek a kínait, mert talán ez a világ legbonyolultabb nyelve. Úgy gondolom, hogy mivel a kínai nyelvvel nem adódott semmilyen komolyabb problémánk, a közeljövőben sem lesznek majd gondjaink akkor, amikor a Sign Translatort más nyelvekre is felkészítjük" - nyilatkozta az üggyel kapcsolatban Jie Yang, a Carnegie Mellon Egyetem robotikai fejlesztésekkel foglalkozó részlegének számítógépes kutatója, aki az alkalmazás fejlesztését vezeti.

Yang elmondta, hogy a Sign Translator működése három, szorosan egymásra épülő technológiára épül: az automatikus érzékelésre, az optikai karakterfelismerésre és a fordításra. Az első réteg felméri az adott szövegkörnyezetet, a második különböző szín- és formaadatok alapján felismeri az adott jeleket, a harmadik pedig értelemszerűen lefordítja a jeleket angol nyelvre.