Невидливите Unicode карактери овозможуваат напади на AI модели, криејќи ги доверливите информации во URL-адресите, додека AI четботот ги препознава тие знаци, а луѓето едноставно не можат да ги видат.
Проблемот на тајниот текст, невидлив за луѓето, всушност се фокусира на можноста за користење невидливи Уникод карактери како таен канал за комуникација во големи јазични модели (LLM), како што се GPT-4 и Claude Opus, кои можат да ги разберат овие скриени знаци, додека луѓето не можат. Овие знаци, резултат на необичноста во Уникод стандардот, им овозможуваат на напаѓачите да сокријат злонамерна содржина или да извлечат доверливи информации од четбот со вештачка интелигенција, што ја прави безбедноста на вештачката интелигенција помалку безбедна.
Употребата на невидливи Уникод знаци е позната под терминот „ASCII smudging“, измислен од истражувачот Јохан Ребергер. Тој демонстрираше како овие знаци може да се искористат во нападите против Microsoft 365 Copilot, каде што овие невидливи знаци криеја доверливи информации, како што се податоци за продажба или еднократни лозинки, во URL-адреси кои изгледаа сосема безопасно. Овие информации потоа се проследуваат до серверите за напад кога корисниците ќе кликнат на тие врски.
Опишаниот проблем се однесува на тип на напад познат како „промптно вбризгување“, каде што злонамерната содржина може да се инјектира во моделите со вештачка интелигенција преку несакани податоци. Иако некои модели на вештачка интелигенција, како OpenAI ChatGPT, имаат имплементирано ублажување против овие напади, други модели, како што се Claude API и Microsoft 365 Copilot, сè уште можат да бидат прилично ранливи на такви техники.
Истражувачите како Рајли Гудсајд истакнуваат дека безбедносниот проблем со LLM произлегува од фактот дека тие се способни да обработуваат информации кои се невидливи за луѓето, што отвора простор за разни видови напади, пишува Ars Technica.