Premiul Loebner

De la Wikipedia, enciclopedia liberă.
Salt la navigare Salt la căutare

Premiul Loebner este o competiție anuală de inteligență artificială care recompensează botul al cărui comportament este cel mai similar cu gândirea umană. Competiția se bazează pe executarea testului Turing . Un judecător pune întrebări despre un program și despre o ființă umană. Din răspunsurile date, judecătorul trebuie să recunoască care este în program. În 2008, mulți judecători, inclusiv experți și non-experți, adulți și copii, vorbitori de limbă engleză și străină au participat la evenimentul găzduit de Universitatea Reading din Berkshire.

Disputa a început în 1990 de Hugh Loebner împreună cu Centrul de Studii Comportamentale din Cambridge , Massachusetts, Statele Unite.

În anii următori, competiția a avut loc cu colaborarea Universității Flinders , Dartmouth College , Science Museum din Londra și mai recent la Universitatea din Reading . În 2004 și 2005, s-a întâmplat în apartamentul lui Loebner din New York . În domeniul inteligenței artificiale, Premiul Loebner este destul de controversat; cel mai proeminent critic, Marvin Minsky, de fapt, l-a numit „o cascadorie publicitară” care nu ajută domeniul științific. Cu toate acestea, limita de timp de 5 minute și utilizarea interogatoriilor deja nu

Premii

Premiul acordat programului care a putut conversa într-un mod mai asemănător cu cel al unui om a fost inițial de 2.000 de dolari. Ulterior, suma premiului s-a schimbat la 3.000 USD în 2005 și 2.250 USD în 2006. În 2008, aceasta a ajuns din nou la 3.000 USD. Primele două premii nu au fost acordate niciodată: premiul al doilea, de 25.000 de dolari, este desemnat pentru primul program care nu permite judecătorilor să distingă o mașină de o ființă umană, în urma unei conversații numai text; primul premiu, evaluat la 100.000 de dolari, în plus față de cerințele pentru premiul al doilea, necesită ca aparatul să poată înțelege și video și audio. Dacă premiile sunt câștigate, concursul anual se va încheia.

Reguli și restricții de concurență

Regulile s-au schimbat de-a lungul anilor și în primele competiții conversația prin testul Turing a fost foarte limitată, dar din 1995 toate limitele au fost eliminate. Odată cu participarea în 2007 a lui Robert Medeksza, Noah Duncan și Rollo Carpenter, a fost stabilită o schemă de bază pentru compunerea întrebărilor, pentru a evalua mai bine nivelul tehnologiei. Aceste întrebări simple s-au concentrat pe durată și pe tema discuției. Cunoștințe generale („Ce este un ciocan?”); comparații („Ce este mai rapid, un tren sau un avion?”); și întrebări care folosesc memoria pentru analiza părților anterioare ale aceleiași conversații. Toate substantivele, adjectivele și verbele vor fi preluate dintr-un dicționar adecvat copiilor sau adolescenților sub 12 ani. Prin urmare, oaspeții nu au avut nevoie de pregătire pentru a răspunde la întrebări.

Pentru prima dată în 2008, finanțatorul a decis să adauge o fază preliminară la deschiderea litigiului prin crearea unei liste de întrebări judecate de mulți interogați invitați. Regulile disponibile nu menționează modul în care sunt instruite sau selectate interogatoriile. De fapt, cei care judecă programele au timp limitat: 5 minute pentru a colecta întrebările; și 5 minute pentru a purta conversații simultane.

Dispute

2006

În 2006, disputa a fost organizată de Tim Child (CEO al Televirtual) și Huma Shah. Pe 30 august, cei 4 finaliști au fost anunțați:

  • Rollo Carpenter
  • Richard Churchill și Marie-Claire Jenkins
  • Noah Duncan
  • Robert Medeksza

Disputa a avut loc pe 17 septembrie în teatrul VR, Torrington Place de la Universitatea din Londra.

Judecătorii erau niște profesori de cibernetică de la Universitatea din Reading : Kevin Warwick , profesor de inteligență artificială, John Barnden (specialist în cercetarea metaforelor la Universitatea din Birmingham), avocat, Victoria Butler-Cole și jurnalist, Graham Duncan-Rowe . A doua parte a evenimentului este descrisă într-un articol din Technology Review . Câștigătorul a fost „Joan”, programat pe Jabberwacky , un sistem creat de Rollo Carpenter.

2007

Competiția din 2007 a avut loc pe 21 octombrie în New York. Judecătorii au fost: profesor de informatică Russ Abbott , profesor de filosofie Hartry Field , profesor de psihologie Clayton Curtis și lector de engleză Scott Hutchins.

Niciunul nu a trecut testul Turing, dar judecătorii au clasat în mod egal cei trei concurenți astfel:

  • 1: Robert Medeksza de la Zabaware, creatorul Ultra Hal Assistant
  • 2: Noah Duncan, un particular, creatorul lui Cletus
  • 3: Rollo Carpenter de la Icogno, creatorul lui Jabberwacky.

Câștigătorul a primit 2.250 USD și medalia anuală. Ceilalți clasați au câștigat 250 $ fiecare.

2008

Competiția din 2008 a fost organizată de profesorul Kevin Warwick și a fost coordonată de Huma Shah și a avut loc pe 12 octombrie la Universitatea din Reading, Marea Britanie. În iunie și iulie 2008, șase finaliști au fost selectați de treisprezece judecători după examinarea a peste o sută de interogatorii în timpul fazei preliminare. Cinci dintre finaliști au fost invitați la concursul final.

  • Fratele Jerome, Peter Cole și Benji Adams
  • Elbot , Fred Roberts / Soluții artificiale
  • Eugene Goostman , Vladimir Veselov, Eugene Demchenko și Sergey Ulasen
  • Jabberwacky, Rollo Carpenter
  • Ultra Hal, Robert Medeksza

În finală, fiecăruia dintre judecători i s-au acordat cinci minute pentru a purta simultan conversații pe același ecran cu două entități necunoscute.

Elbot din „Solutions Artificials” a câștigat premiul de bronz în 2008, pentru abordarea psihologiei umane ca entitate conversațională și artificială, reușind să facă pe trei dintre cei doisprezece judecători care l-au chestionat (în conversația simultană om-mașină) să creadă că a fost un om.

Acest lucru sa apropiat de 30%, încât a trecut testul Turing. Eugenio Goostman și Ultra Hal au convins fiecare judecător că este o creatură umană.

Will Pavia, reporter pentru The Times, a scris despre experiența sa; judecătorul final, a fost înșelat de Elbot și Eugenio. Kevin Warwick și Huma Shah au raportat discuția simultană. Diferitele neînțelegeri ale Premiului Loebner din 2008 s-au încheiat acolo.

2009

Concursul Loebner Prize 2009 a avut loc la 6 septembrie 2009 la Centrul din Brighton, Marea Britanie, împreună cu conferința Interspeech din 2009. Suma premiului a fost de 3.000 $.

Concurenții au fost David Levy, Rollo Carpenter și Mohan Embar care au terminat în această ordine. Rezultatele complete ale concursului și linkurile către transcrieri sunt disponibile în Loebner Prize 2009 .

2010

Competiția din 2010 a avut loc pe 23 octombrie la California State University, Los Angeles.

Câștigători

An Câştigător Numele programului
1991 Joseph Weintraub [1] Terapeut PC
1992 Joseph Weintraub Terapeut PC
1993 Joseph Weintraub Terapeut PC
1994 Thomas Whalen SFATURI
1995 Joseph Weintraub Terapeut PC
1996 Jason Hutchens HeX
1997 David Levy Conversa
1998 Robby Garner Albert One
1999 Robby Garner Albert One
2000 Richard Wallace Entitate de calculatoare lingvistică artificială pe internet (ALICE)
2001 Richard Wallace Entitate informatică de internet lingvistic artificial (ALICE)
2002 Kevin Copple Ea
2003 Juergen Pirner Jabberwock
2004 Richard Wallace Entitate informatică de internet lingvistic artificial (ALICE)
2005 Rollo Carpenter George
2006 Rollo Carpenter Joan
2007 Robert Medeksza Ultra Hal
2008 Fred Roberts Elbot
2009 David Levy Fă-Mult-Mai mult
2010 Bruce Wilcox Suzette

Referințe

1. Premiul Loebner 2008

2. Prostia artificială , Salon.com, 16 februarie 2003

3. Regulile din 2007 , regulile din 2008 și regulile din 2009

4. Al 17-lea premiu anual Loebner pentru inteligență artificială 21 octombrie 2007 New York City

5. Informații despre Premiul Loebner 2006

6. Lobner 2006

7. Cum să fii om , Tehnologie Review, 20 septembrie 2006

8. Premiul Loebner 2006 , loebner.net

9. Al 18-lea premiu anual Loebner pentru inteligență artificială 12 octombrie 2008 University of Reading, Reading, Marea Britanie

10. Elbot

11. Soluții artificiale

12. Eugene Goostman

13. Ultra Hal

14. Mașina îl ia pe om la masa testului Turing

15. Premiul Loebner 2008: mituri și concepții greșite

16. Câștigătorii concursurilor anterioare (secțiunea) , pagina oficială a Premiului Lobner.

Notă

  1. ^ (EN) Premiul Loebner, în sezonul 4, episodul 3 , de pe chedd-angier.com, PBS , 1993-1994 (depus de „Url-ul original 10 aprilie 2006).

Elemente conexe

linkuri externe