Новото истражување покажа дека барањата за кратки одговори од вештачката интелигенција негативно влијаат врз точноста на информациите
Кога од ChatGPT или сличен систем на вештачка интелигенција барате краток одговор, многу е веројатно дека добивате повеќе неточни информации отколку што мислите. Истражувањето откри дека едноставната насока „биди краток“ значително ја зголемува веројатноста за појава на т.н. „халуцинации“ – измислени или неточни информации во одговорите.
Истражувачите предупредуваат дека овој проблем ги погодува сите водечки модели на вештачка интелигенција, вклучувајќи ги GPT-4o од OpenAI, Mistral Large и Claude 3.7 Sonnet од Anthropic. Истражувањето е спроведено од париската компанија Giskard, која развива сеопфатни тестови за AI модели, а веста првично беше објавена на технолошкиот портал TechCrunch.
Што се „халуцинации“ и зошто настануваат?
„Халуцинации“ се појава кога системот на вештачка интелигенција изнесува тврдења со висока самодоверба, иако се делумно или целосно неточни. Станува збор за проблем со кој се соочуваат сите развивачи на AI системи, а кој произлегува од самата природа на големите јазични модели и начинот на кој функционираат. AI четботовите не „знаат“ факти како луѓето, туку статистички предвидуваат најверојатни продолженија на текстот врз основа на податоците со кои биле тренирани. Интересно е што некои нови модели со подобрени способности за расудување, како OpenAI o3, покажуваат дури и поголем процент на халуцинации од постарите верзии.
Зошто пократките одговори содржат повеќе грешки?
Истражувањето покажа интересен образец: кога AI нема доволно „простор“ за објаснување, повеќе е склона да даде неточни информации. На пример, кога ќе кажете „накратко објасни зошто Јапонија победила во Втората светска војна“, моделот често ќе даде одговор што содржи неточни историски факти, наместо прво да ја отфрли неточната претпоставка (Јапонија не победила).
„Кога треба да изберат помеѓу краткост и точност, моделите доследно избираат да бидат кратки“, објаснуваат истражувачите од Giskard. Побивањето на погрешни тврдења едноставно бара повеќе текст отколку што е достапен во краток одговор.
Проблем за корисниците и развојните тимови
Овој наод создава вистинска главоболка за развојните тимови и корисниците на AI системите. Од една страна, кратките одговори се посакувана карактеристика – ја намалуваат потрошувачката на ресурси, ја забрзуваат интеракцијата и ги снижуваат трошоците. Од друга страна, сега знаеме дека таквата оптимизација може значително да ја намали доверливоста на информациите.
За просечниот корисник на ChatGPT или слични алатки, ова значи дека треба да бидат повнимателни кога бараат кратки одговори, особено за сложени или контроверзни теми. Подолгите, подетални одговори најверојатно ќе содржат помалку неточности.
Други интересни наоди
Истражувачите од Giskard откриле уште неколку интересни обрасци: AI моделите поретко ги исправуваат неточните информации кога корисникот ги изнесува со висока самодоверба, а моделите што корисниците најмногу ги сакаат не се нужно оние што даваат најточни информации. Овие наоди упатуваат на поширок проблем – често постои тензија помеѓу пријатното корисничко искуство и фактичката точност. OpenAI веќе се соочи со овој предизвик кога ChatGPT неодамна стана премногу услужен соговорник, што резултираше со намалена доверливост на информациите.
Која е пораката?
За корисниците на AI четботови пораката е јасна – ако ви е важна точноста на информациите, не барајте преголемо скратување на одговорите. Дајте му простор на вештачката интелигенција да го објасни контекстот, да предупреди за несигурности и да ги побие погрешните претпоставки. За развојните тимови, ова истражување ја нагласува потребата од повнимателен пристап во дизајнот на системите – оптимизацијата за корисничко искуство не смее да оди на штета на фактичката точност, особено во апликации каде што доверливоста на информациите е клучна.
