Premiul Loebner
Premiul Loebner este o competiție anuală de inteligență artificială care recompensează botul al cărui comportament este cel mai similar cu gândirea umană. Competiția se bazează pe executarea testului Turing . Un judecător pune întrebări despre un program și despre o ființă umană. Din răspunsurile date, judecătorul trebuie să recunoască care este în program. În 2008, mulți judecători, inclusiv experți și non-experți, adulți și copii, vorbitori de limbă engleză și străină au participat la evenimentul găzduit de Universitatea Reading din Berkshire.
Disputa a început în 1990 de Hugh Loebner împreună cu Centrul de Studii Comportamentale din Cambridge , Massachusetts, Statele Unite.
În anii următori, competiția a avut loc cu colaborarea Universității Flinders , Dartmouth College , Science Museum din Londra și mai recent la Universitatea din Reading . În 2004 și 2005, s-a întâmplat în apartamentul lui Loebner din New York . În domeniul inteligenței artificiale, Premiul Loebner este destul de controversat; cel mai proeminent critic, Marvin Minsky, de fapt, l-a numit „o cascadorie publicitară” care nu ajută domeniul științific. Cu toate acestea, limita de timp de 5 minute și utilizarea interogatoriilor deja nu
Premii
Premiul acordat programului care a putut conversa într-un mod mai asemănător cu cel al unui om a fost inițial de 2.000 de dolari. Ulterior, suma premiului s-a schimbat la 3.000 USD în 2005 și 2.250 USD în 2006. În 2008, aceasta a ajuns din nou la 3.000 USD. Primele două premii nu au fost acordate niciodată: premiul al doilea, de 25.000 de dolari, este desemnat pentru primul program care nu permite judecătorilor să distingă o mașină de o ființă umană, în urma unei conversații numai text; primul premiu, evaluat la 100.000 de dolari, în plus față de cerințele pentru premiul al doilea, necesită ca aparatul să poată înțelege și video și audio. Dacă premiile sunt câștigate, concursul anual se va încheia.
Reguli și restricții de concurență
Regulile s-au schimbat de-a lungul anilor și în primele competiții conversația prin testul Turing a fost foarte limitată, dar din 1995 toate limitele au fost eliminate. Odată cu participarea în 2007 a lui Robert Medeksza, Noah Duncan și Rollo Carpenter, a fost stabilită o schemă de bază pentru compunerea întrebărilor, pentru a evalua mai bine nivelul tehnologiei. Aceste întrebări simple s-au concentrat pe durată și pe tema discuției. Cunoștințe generale („Ce este un ciocan?”); comparații („Ce este mai rapid, un tren sau un avion?”); și întrebări care folosesc memoria pentru analiza părților anterioare ale aceleiași conversații. Toate substantivele, adjectivele și verbele vor fi preluate dintr-un dicționar adecvat copiilor sau adolescenților sub 12 ani. Prin urmare, oaspeții nu au avut nevoie de pregătire pentru a răspunde la întrebări.
Pentru prima dată în 2008, finanțatorul a decis să adauge o fază preliminară la deschiderea litigiului prin crearea unei liste de întrebări judecate de mulți interogați invitați. Regulile disponibile nu menționează modul în care sunt instruite sau selectate interogatoriile. De fapt, cei care judecă programele au timp limitat: 5 minute pentru a colecta întrebările; și 5 minute pentru a purta conversații simultane.
Dispute
2006
În 2006, disputa a fost organizată de Tim Child (CEO al Televirtual) și Huma Shah. Pe 30 august, cei 4 finaliști au fost anunțați:
- Rollo Carpenter
- Richard Churchill și Marie-Claire Jenkins
- Noah Duncan
- Robert Medeksza
Disputa a avut loc pe 17 septembrie în teatrul VR, Torrington Place de la Universitatea din Londra.
Judecătorii erau niște profesori de cibernetică de la Universitatea din Reading : Kevin Warwick , profesor de inteligență artificială, John Barnden (specialist în cercetarea metaforelor la Universitatea din Birmingham), avocat, Victoria Butler-Cole și jurnalist, Graham Duncan-Rowe . A doua parte a evenimentului este descrisă într-un articol din Technology Review . Câștigătorul a fost „Joan”, programat pe Jabberwacky , un sistem creat de Rollo Carpenter.
2007
Competiția din 2007 a avut loc pe 21 octombrie în New York. Judecătorii au fost: profesor de informatică Russ Abbott , profesor de filosofie Hartry Field , profesor de psihologie Clayton Curtis și lector de engleză Scott Hutchins.
Niciunul nu a trecut testul Turing, dar judecătorii au clasat în mod egal cei trei concurenți astfel:
- 1: Robert Medeksza de la Zabaware, creatorul Ultra Hal Assistant
- 2: Noah Duncan, un particular, creatorul lui Cletus
- 3: Rollo Carpenter de la Icogno, creatorul lui Jabberwacky.
Câștigătorul a primit 2.250 USD și medalia anuală. Ceilalți clasați au câștigat 250 $ fiecare.
2008
Competiția din 2008 a fost organizată de profesorul Kevin Warwick și a fost coordonată de Huma Shah și a avut loc pe 12 octombrie la Universitatea din Reading, Marea Britanie. În iunie și iulie 2008, șase finaliști au fost selectați de treisprezece judecători după examinarea a peste o sută de interogatorii în timpul fazei preliminare. Cinci dintre finaliști au fost invitați la concursul final.
- Fratele Jerome, Peter Cole și Benji Adams
- Elbot , Fred Roberts / Soluții artificiale
- Eugene Goostman , Vladimir Veselov, Eugene Demchenko și Sergey Ulasen
- Jabberwacky, Rollo Carpenter
- Ultra Hal, Robert Medeksza
În finală, fiecăruia dintre judecători i s-au acordat cinci minute pentru a purta simultan conversații pe același ecran cu două entități necunoscute.
Elbot din „Solutions Artificials” a câștigat premiul de bronz în 2008, pentru abordarea psihologiei umane ca entitate conversațională și artificială, reușind să facă pe trei dintre cei doisprezece judecători care l-au chestionat (în conversația simultană om-mașină) să creadă că a fost un om.
Acest lucru sa apropiat de 30%, încât a trecut testul Turing. Eugenio Goostman și Ultra Hal au convins fiecare judecător că este o creatură umană.
Will Pavia, reporter pentru The Times, a scris despre experiența sa; judecătorul final, a fost înșelat de Elbot și Eugenio. Kevin Warwick și Huma Shah au raportat discuția simultană. Diferitele neînțelegeri ale Premiului Loebner din 2008 s-au încheiat acolo.
2009
Concursul Loebner Prize 2009 a avut loc la 6 septembrie 2009 la Centrul din Brighton, Marea Britanie, împreună cu conferința Interspeech din 2009. Suma premiului a fost de 3.000 $.
Concurenții au fost David Levy, Rollo Carpenter și Mohan Embar care au terminat în această ordine. Rezultatele complete ale concursului și linkurile către transcrieri sunt disponibile în Loebner Prize 2009 .
2010
Competiția din 2010 a avut loc pe 23 octombrie la California State University, Los Angeles.
Câștigători
An | Câştigător | Numele programului |
---|---|---|
1991 | Joseph Weintraub [1] | Terapeut PC |
1992 | Joseph Weintraub | Terapeut PC |
1993 | Joseph Weintraub | Terapeut PC |
1994 | Thomas Whalen | SFATURI |
1995 | Joseph Weintraub | Terapeut PC |
1996 | Jason Hutchens | HeX |
1997 | David Levy | Conversa |
1998 | Robby Garner | Albert One |
1999 | Robby Garner | Albert One |
2000 | Richard Wallace | Entitate de calculatoare lingvistică artificială pe internet (ALICE) |
2001 | Richard Wallace | Entitate informatică de internet lingvistic artificial (ALICE) |
2002 | Kevin Copple | Ea |
2003 | Juergen Pirner | Jabberwock |
2004 | Richard Wallace | Entitate informatică de internet lingvistic artificial (ALICE) |
2005 | Rollo Carpenter | George |
2006 | Rollo Carpenter | Joan |
2007 | Robert Medeksza | Ultra Hal |
2008 | Fred Roberts | Elbot |
2009 | David Levy | Fă-Mult-Mai mult |
2010 | Bruce Wilcox | Suzette |
Referințe
2. Prostia artificială , Salon.com, 16 februarie 2003
3. Regulile din 2007 , regulile din 2008 și regulile din 2009
4. Al 17-lea premiu anual Loebner pentru inteligență artificială 21 octombrie 2007 New York City
5. Informații despre Premiul Loebner 2006
6. Lobner 2006
7. Cum să fii om , Tehnologie Review, 20 septembrie 2006
8. Premiul Loebner 2006 , loebner.net
10. Elbot
12. Eugene Goostman
13. Ultra Hal
14. Mașina îl ia pe om la masa testului Turing
15. Premiul Loebner 2008: mituri și concepții greșite
16. Câștigătorii concursurilor anterioare (secțiunea) , pagina oficială a Premiului Lobner.
Notă
- ^ (EN) Premiul Loebner, în sezonul 4, episodul 3 , de pe chedd-angier.com, PBS , 1993-1994 (depus de „Url-ul original 10 aprilie 2006).
Elemente conexe
linkuri externe
- Site-ul web al Premiului Loebner . Oferă transcrieri ale unor concursuri.