Компанијата Google разви модел за превод на знаковен јазик, кој може сложените движења на телото да ги претвори во текст, користејќи повеќе од 100.000 часа податоци од повеќе од 50 знаковни јазици.
Технологијата, наречена sign-language-to-text (SL2T), сега преминува од истражувачка фаза кон уреди наменети за корисниците, почнувајќи со американскиот знаковен јазик (ASL) на моделот Pixel 11.
Моделот овозможува нови функции за превод од знаковен јазик во текст во апликациите Gboard и Live Transcribe. Наместо пишување, корисниците можат со гестикулации да пребаруваат на интернет, да пишуваат пораки и документи или да комуницираат со Google Gemini. Во апликацијата Live Transcribe, корисниците исто така можат да одговараат со гестикулации за време на разговор.
За разлика од транскрипцијата на говор, преводот на знаковен јазик не може едноставно да поврзе низа звуци со зборови. Знаковните јазици се посебни јазици со сопствена граматика и речник. Значењето истовремено може да се пренесува преку движењата на рацете, изразите на лицето, положбата на главата, рацете и торзото.
Поради тоа, преводот на знаковен јазик истовремено претставува проблем од областа на компјутерскиот вид и проблем на јазичен превод. Google SL2T е дизајниран да се справи со двата аспекта така што движењата на лицето кое користи знаковен јазик прво ги претвора во структуриран приказ, а потоа ги преведува во текст.
Наместо да испраќа необработена снимка од камерата за превод, системот го користи моделот Google MediaPipe Holistic за да ги идентификува точките на положбата на телото на лицето кое користи знаковен јазик. Тие вклучуваат геометриски координати што ги претставуваат движењата на рацете, лицето и телото.
Само овие координати се испраќаат до системот за превод, додека оригиналното видео може веднаш да биде избришано. Овој пристап е дизајниран да ја намали количината на чувствителни визуелни информации што го напуштаат уредот, а притоа моделот и понатаму да ги добива информациите за начинот на кој лицето го користи знаковниот јазик.
SL2T потоа директно ја преведува низата точки што ја претставуваат положбата на телото во текст. Не се потпира на меѓучекор наречен „глосирање“, односно поедноставени ознаки кои често се користат во истражувањата на знаковниот јазик за претставување на поединечни знаци. Google наведува дека тоа му овозможува на моделот подобро да ги разбере елементите како што се просторните односи и невербалните сигнали.
Системот е обучуван со повеќе од 100.000 часа податоци за знаковни јазици, кои опфаќаат повеќе од 50 јазици, при што приближно една четвртина од податоците доаѓале од ASL. Google наведува дека тренирањето со различни јазици, дијалекти и различни нивоа на познавање на јазикот му помогнало на моделот да научи структури што се заеднички за знаковните јазици.
На тестот FLEURS-ASL, Google наведува резултат од 70 BLEURT поени во режимот „zero-shot“, за кој тврди дека е значително подобар од претходно објавените резултати. Компанијата исто така го тестирала моделот во однос на практични предизвици што би можеле да влијаат врз неговата секојдневна употреба.
Системот е дизајниран за превод во реално време, односно за време на континуиран пренос, наместо за обработка на веќе завршена видеоснимка. Google наведува дека развојот вклучувал работа на намалување на доцнењето, спречување генерирање измислена содржина кога лицето не користи знаковен јазик, како и подобрување на работата со лица кои користат лева рака или само една рака.
Користењето само на една рака е особено важно кај паметните телефони, бидејќи лицето можеби ќе треба со едната рака да го држи телефонот, додека со другата користи знаковен јазик.
Google во текот на развојот исто така вклучил глуви корисници и организации, меѓу другото, во тестирањето, собирањето податоци и евалуацијата. Компанијата наведува дека технологијата е развиена со придонес на глуви експерти и советодавен одбор што ги претставува организациите на глуви лица.
Почетната верзија поддржува превод од ASL на англиски јазик во апликациите Gboard и Live Transcribe на Pixel 11, а Google наведува дека ќе следува поддршка за дополнителни уреди и знаковни јазици.
Оваа технологија со текот на времето би можела да се прошири и надвор од самиот превод. Како идни насоки за развој, Google ги наведува и генерирањето знаковен јазик, како и други примени на технологијата.
