Hallucination (artificiell intelligens)

Vicuna LLM hallucinerar under en översättning av 1 Mosebok 1:6 (RSV) från engelska till lojban.

En hallucination är inom generativ artificiell intelligens ett genererat svar som innehåller falsk eller vilseledande information som presenteras som fakta.[1][2][3] Forskare som Oren Etzioni menar att programvara som ChatGPT kan ge svar som låter korrekta men är helt fel.[4] AI-hallucinationer skiljer sig från mänskliga hallucinationer i det att de förknippas med omotiverade svar eller övertygelser snarare än upplevelser.[3]

2023 uppskattades att modeller som GPT-3.5 hallucinerade i mellan 3 % och 27 % av responserna beroende på modell.[5] Att upptäcka och åtgärda dessa hallucinationer innebär betydande utmaningar för användning av språkinlärningsmodeller.[6][7]

Begreppet "hallucination" kan även tillämpas utanför språkbehandling, där ett inkorrekt men säkert svar från vilken AI-modell som helst (som inte verkar komma från modellens träningsdata) kan betecknas som en hallucination.[3] Vissa forskare menar dock att ordet "hallucination" är överdrivet antropomorfiserande kring datorer.[8]

Exempel

I maj 2023 upptäcktes det att Stephen Schwartz citerade sex prejudikat som hallucinerats av ChatGPT i målet Mata v. Avianca som behandlades i Southern District of New York. Schwartz sa att han aldrig tidigare hade använt ChatGPT, att han inte var medveten om att ChatGPT kunde ge osanna svar, och att ChatGPT fortsatte att hävda att prejudikaten var äkta efter att han ifrågasatte deras existens.[9] Den 23 juni utfärdade domaren i fallet böter på 5 000 USD till Schwartz och en medadvokat. Domaren beskrev även utdrag av de hallucinerade prejudikaten som "på gränsen till nonsens".[10] Efter detta förbjöd även USA:s distriktsdomstol för Northern District of Texas bruk av AI-genererat material som inte granskats av en människa.[11]

AI-modeller kan även orsaka problem inom vetenskaplig forskning på grund av hallucinationer. Modeller som ChatGPT kan generera källor för information som antingen inte är korrekt eller inte existerar. En studie utförd i Cureus Journal of Medical Science visade att 69 av totalt 178 referenser som citerades av GPT-3 hade en inkorrekt DOI. Ytterligare 28 saknade DOI och kunde inte hittas i en Google-sökning.[12]

Referenser

  1. ^ Edwards, Benj (6 april 2023). ”Why ChatGPT and Bing Chat are so good at making things up” (på amerikansk engelska). Ars Technica. https://arstechnica.com/information-technology/2023/04/why-ai-chatbots-are-the-ultimate-bs-machines-and-how-people-hope-to-fix-them/. Läst 11 juni 2023. 
  2. ^ Maynez, Joshua; Narayan, Shashi; Bohnet, Bernd; McDonald, Ryan (2020) (på engelska). On Faithfulness and Factuality in Abstractive Summarization. Association for Computational Linguistics. sid. 1906–1919. doi:10.18653/v1/2020.acl-main.173. https://www.aclweb.org/anthology/2020.acl-main.173. Läst 13 maj 2024. 
  3. ^ [a b c] Ji, Ziwei; Lee, Nayeon; Frieske, Rita; Yu, Tiezheng; Su, Dan; Xu, Yan; Ishii, Etsuko; Bang, Yejin; et al. (november 2022). ”Survey of Hallucination in Natural Language Generation” (pdf). ACM Computing Surveys (Association for Computing Machinery) 55 (12): sid. 1–38. doi:10.1145/3571730. https://arxiv.org/abs/2202.03629. Läst 15 januari 2023. 
  4. ^ Emma Bowman (19 december 2022). ”A new AI chatbot might do your homework for you. But it's still not an A+ student”. NPR. https://www.npr.org/2022/12/19/1143912956/chatgpt-ai-chatbot-homework-academia. Läst 14 maj 2024. 
  5. ^ Metz, Cade (6 november 2023). ”Chatbots May ‘Hallucinate’ More Often Than Many Realize” (på amerikansk engelska). The New York Times. ISSN 0362-4331. https://www.nytimes.com/2023/11/06/technology/chatbots-hallucination-rates.html. Läst 13 maj 2024. 
  6. ^ Kif Leswing (14 februari 2023). ”Microsoft's Bing A.I. made several factual errors in last week's launch demo” (på engelska). CNBC. https://www.cnbc.com/2023/02/14/microsoft-bing-ai-made-several-errors-in-launch-demo-last-week-.html. Läst 13 maj 2024. 
  7. ^ de Wynter, Adrian; Wang, Xun; Sokolov, Alex; Gu, Qilong; Chen, Si-Qing (13 juli 2023). ”An evaluation on large language model outputs: Discourse and memorization”. Natural Language Processing Journal 4. doi:10.1016/j.nlp.2023.100024. ISSN 2949-7191. https://arxiv.org/abs/2304.8637. 
  8. ^ Benj Edwards (6 april 2023). ”Why ChatGPT and Bing Chat are so good at making things up” (på amerikansk engelska). Ars Technica. https://arstechnica.com/information-technology/2023/04/why-ai-chatbots-are-the-ultimate-bs-machines-and-how-people-hope-to-fix-them/. Läst 13 maj 2024. 
  9. ^ Ramishah Maruf (27 maj 2023). ”Lawyer apologizes for fake court citations from ChatGPT | CNN Business” (på engelska). CNN. https://www.cnn.com/2023/05/27/business/chat-gpt-avianca-mata-lawyers/index.html. Läst 13 maj 2024. 
  10. ^ Jon Brodkin (23 juni 2023). ”Lawyers have real bad day in court after citing fake cases made up by ChatGPT” (på amerikansk engelska). Ars Technica. https://arstechnica.com/tech-policy/2023/06/lawyers-have-real-bad-day-in-court-after-citing-fake-cases-made-up-by-chatgpt/. Läst 13 maj 2024. 
  11. ^ Jon Brodkin (31 maj 2023). ”Federal judge: No AI in my courtroom unless a human verifies its accuracy” (på amerikansk engelska). Ars Technica. https://arstechnica.com/tech-policy/2023/05/federal-judge-no-ai-in-my-courtroom-unless-a-human-verifies-its-accuracy/. Läst 13 maj 2024. 
  12. ^ Athaluri, Sai Anirudh; Manthena, Sandeep Varma; Kesapragada, V S R Krishna Manoj; Yarlagadda, Vineel; Dave, Tirth; Duddumpudi, Rama Tulasi Siri (11 april 2023). ”Exploring the Boundaries of Reality: Investigating the Phenomenon of Artificial Intelligence Hallucination in Scientific Writing Through ChatGPT References”. Cureus 15 (4): sid. e37432. doi:10.7759/cureus.37432.