AI-skrivna noveller fick högre betyg än mänskliga texter

Illustration av två texter på en balansvåg, där en AI-genererad text får högre betyg än en mänskligt skriven text.AI-bild

I en ny studie bedömdes korta berättelser skapade med ChatGPT som både bättre och mer engagerande än motsvarande texter skrivna av människor.

En ny studie visar att korta, AI-genererade berättelser kan uppfattas som bättre än texter skrivna av människor. I det första experimentet fick 1 682 personer läsa antingen en mänskligt skriven berättelse eller en berättelse skapad med ChatGPT.

Deltagarna gav de AI-genererade berättelserna högre betyg för både kvalitet och förmåga att fånga läsaren. Samtidigt påverkades omdömet tydligt av vem deltagarna trodde hade skrivit texten. Berättelser som presenterades som mänskligt skrivna fick högre betyg, oavsett om uppgiften stämde eller inte.

I två uppföljande experiment med totalt 905 deltagare fick personerna försöka avgöra vilka berättelser som skrivits av en människa och vilka som skapats av ChatGPT. Resultatet låg på eller under slumpnivå. Deltagare som själva uppgav större kunskap om AI lyckades något bättre, medan erfarenhet av skönlitteratur inte gav någon tydlig fördel.

Resultaten gäller dock mycket korta realistiska berättelser som bara tog några minuter att läsa. Forskarna betonar att längre texter, andra genrer och exempelvis hela romaner kan ge ett annat resultat. Studien visar därför inte att AI generellt skriver bättre än människor, men att läsare kan ha svårt att se skillnaden och i vissa fall föredrar AI-texten när avsändaren är okänd.