Premio Loebner

Il Premio Loebner è una competizione annuale d'intelligenza artificiale svolta nell'Università di Reading. Viene premiato il chat bot in grado di ottenere il punteggio migliore in uno scenario da test di Turing. La giuria distingue le risposte del programma dall’essere umano.

La prima edizione fu organizzata nel 1991 da Hugh Loebner, in collaborazione con il Cambridge Center for Behavioral Studies. Negli anni successivi la competizione si svolse con il supporto della Flinders University, del Dartmouth College, dello Science Museum e dell'Università di Reading. Le regole della gara cambiarono nel 2019: i giudici vennero sostituiti dal pubblico e fu deciso che non si tenessero più sfide tra esseri umani e bot.

Il premio è stato oggetto di critiche, una su tutte quella dell'informatico Marvin Minsky, che definisce la competizione "una bravata pubblicitaria".

Premi

Nel 1991, i vincitori ottenerono un premio di 2.000 $. Successivamente, la cifra aumentò a 3000$ nel 2005, calò a 2.250$ nel 2006 e risalì a 3.000$ nel 2008. Ci sono inoltre due premi a una tantum: il primo, di 25.000$, è designato per il primo programma che non permetta al pubblico di distinguere un bot da un essere umano, durante una conversazione a sola base testuale; il secondo, del valore di 100.000$, è assegnato al computer che raggiunga i requisiti del premio precedente e che riesca ad elaborare audio e video. Qualora i premi venissero vinti, la gara si conclude.

Regole di competizione e restrizioni

Nelle prime competizioni i metri di valutazione della conversazione erano pochi. Dal 2007 viene stabilito uno schema di base per la composizione del discorso, al fine di valutare al meglio il livello del bot. I giudici osservano la durata e l'argomento della discussione. Lo schema si suddivide in: Conoscenza generale ("Cosa è un martello?"), paragoni ("Cosa è più veloce, un treno o un aereo?") e domande che utilizzano la memoria per analizzare parti precedenti della stessa conversazione. Il lessico e i verbi devono essere presi da un dizionario per ragazzi con un'età uguale o minore ai 12 anni.

Nel 2008 lo sponsor decise di aggiungere una fase preliminare all'apertura della competizione, dando la possibilità d'iscriversi attraverso il web. Coloro che giudicano i programmi hanno 5 minuti per raccogliere le domande e altri 5 minuti per condurre conversazioni simultanee.

Edizioni

2006

Nel 2006, la gara viene organizzata da Tim Child (CEO di Televirtual) e dalla ricercatrice Huma Shah. Il 30 agosto dello stesso anno vengono annunciati i 4 finalisti:

  • Rollo Carpenter;
  • Richard Churchill e Marie-Claire Jenkins;
  • Noah Duncan;
  • Robert Medeksza.

La finale si svolge il 17 settembre nel teatro di VR, Torrington Place dell'Università di Londra. Tra i giudici, sono presenti: il professore di Cibernetica dell'Università di Reading, Kevin Warwick; un professore d'intelligenza artificiale, John Barnden; una specialista in ricerca della metafora all'Università di Birmingham, l’avvocato Victoria Butler-Cole e il giornalista Graham Duncan-Rowe. La seconda parte dell'evento viene descritta in un articolo del Technology Review. Il vincitore è 'Joan', programmato su Jabberwacky, un sistema creato da Rollo Carpenter.

2007

La finale del 2007 si svolge il 21 ottobre a New York. I giudici sono: il professore d'informatica Russ Abbott, il professore di filosofia Hartry Field, il professore di Psicologia Clayton Curtis e l'organizzatore di conferenze Scott Hutchins.

Nessun bot supera il test di Turing, ma i giudici classificano ugualmente i 3 finalisti:

  • 1º posto: Robert Medeksza da Zabaware, creatore di Ultra Hal Assistant;
  • 2º posto: Noah Duncan, privato, creatore di Cletus;
  • 3º posto: Rollo Carpenter da Icogno, creatore di Jabberwacky.

Il vincitore riceve 2.250$ e la medaglia annuale. Gli altri classificati vincono 250$ ciascuno.

2008

La competizione del 2008 viene organizzata dal Professore Kevin Warwick e da Huma Shah, il 12 ottobre presso l'Università di Reading. Tra giugno e luglio 2008, 6 concorrenti vengono selezionati da tredici giudici durante la fase preliminare. Infine, i 5 bot finalisti sono:

  • Peter Cole e Benji Adams, con Brother Jerome;
  • Fred Roberts da Artificial Solutions, con Elbot;
  • Vladimir Veselov, Eugene Demchenko e Sergey Ulasen, con Eugene Goostman;
  • Rollo Carpenter, con Jabberwacky;
  • Robert Medeksza, con Ultra Hal.

Durante la finale, ogni giurato ha cinque minuti per condurre simultaneamente conversazioni su uno stesso schermo con due entità ignote. Elbot vince la medaglia di bronzo, per l'avvicinamento alla psicologia umana come entità conversazionale ed artificiale. Infatti, riesce a farsi scambiare da tre dei dodici giudici (nella conversazione simultanea umano-macchina) per un essere umano. Eugene Goostman e Ultra Hal ingannano tutti i giurati.

2009

L'assegnazione del Premio Loebner 2009 si svolge il 6 settembre 2009 al Centre di Brighton, in congiunzione con la conferenza INTERSPEECH 2009.

I finalisti sono David Levy, Rollo Carpenter, e Mohan Embar.

2010

La gara del 2010 avviene il 23 ottobre presso la California State University.

Vincitori

Anno Vincitore Nome del programma
1991 Joseph Weintraub[1] PC Therapist
1992 Joseph Weintraub PC Therapist
1993 Joseph Weintraub PC Therapist
1994 Thomas Whalen TIPS
1995 Joseph Weintraub PC Therapist
1996 Jason Hutchens HeX
1997 David Levy Converse
1998 Robby Garner Albert One
1999 Robby Garner Albert One
2000 Richard Wallace Artificial Linguistic Internet Computer Entity (A.L.I.C.E.)
2001 Richard Wallace Artificial Linguistic Internet Computer Entity (A.L.I.C.E.)
2002 Kevin Copple Ella
2003 Juergen Pirner Jabberwock
2004 Richard Wallace Artificial Linguistic Internet Computer Entity (A.L.I.C.E.)
2005 Rollo Carpenter George
2006 Rollo Carpenter Joan
2007 Robert Medeksza Ultra Hal
2008 Fred Roberts Elbot
2009 David Levy Do-Much-More
2010 Bruce Wilcox Suzette

Riferimenti

1.Loebner Prize 2008

2.Artificial stupidity, Salon.com, 16 febbraio 2003

3.2007 rules, 2008 rules and 2009 rules

4.17th Annual Loebner Prize for Artificial Intelligence 21 October 2007 New York City

5.Loebner Prize 2006 Information

6.Lobner 2006

7.How To Be Human, Technology Review, 20 settembre 2006

8.Loebner prize 2006, loebner.net

9.18th Annual Loebner Prize for Artificial Intelligence 12 October 2008 University of Reading, Reading, UK

10.Elbot

11.Artificial Solutions

12.Eugene Goostman

13.Ultra Hal

14.Machine takes on man at mass Turing Test

15.2008 Loebner Prize: myths and misconceptions

16.Winners of Previous Contests (section), Lobner Prize's official page.

Note

  1. ^ (EN) Premio Loebner, nella stagione 4 , episodio 3, su chedd-angier.com, PBS, 1993-1994 (archiviato dall'url originale il 10 aprile 2006).

Voci correlate

Collegamenti esterni

  Portale Neuroscienze: accedi alle voci di Wikipedia che trattano di neuroscienze