AlphaGo
AlphaGo este un software pentru jocuri dezvoltat de Google DeepMind . A fost primul software capabil să învingă un maestru uman în joc fără handicap și pe un goban de dimensiuni standard (19 × 19).
Sub denumirea „AlphaGo” ne referim la diferite versiuni ale software-ului, în special:
- versiunea care l-a învins pe campionul european Fan Hui cu 5-0 ;
- versiunea care l-a învins pe Lee Sedol cu 4-1 ;
- « Master », versiunea care a câștigat 60 de meciuri online împotriva profesioniștilor și l-a învins pe Ke Jie cu 3-0 ;
- « AlphaGo Zero », versiunea software bazată în întregime pe auto-învățare;
- « AlphaZero », o versiune care poate juca go, șah și shogi.
Istorie
Potrivit lui David Silver, cercetător la DeepMind, proiectul AlphaGo a fost început în 2014 pentru a studia modul în care rețelele neuronale profunde ar putea fi aplicabile jocului go. [1]
AlphaGo a reprezentat un avans major față de programele de jocuri go preexistente. Din 500 de jocuri jucate împotriva altor programe, inclusiv Crazy Stone și Zen, [2] AlphaGo (care rulează pe un singur computer) a câștigat toate jocurile, cu excepția unui singur joc, [3] și care rulează o serie similară de meciuri, dar rulează pe un cluster AlphaGo a câștigat toate cele 500 de jocuri și a câștigat 77% din jocurile împotriva sa rulează pe o singură mașină. Versiunea distribuită folosea 1202 CPU și 176 GPU-uri , de aproximativ 25 de ori mai mult decât hardware-ul unui singur computer. [4]
O versiune preliminară a AlphaGo a fost testată pe diferite configurații hardware, în mod asincron sau distribuit, cu un timp de două secunde pe mișcare, generând următoarele valori Elo . [4]
| Configurare | Fir de Cercetare | n. CPU | n. GPU | Elo |
|---|---|---|---|---|
| Singur [4] p.10-11 | 40 | 48 | 1 | 2.151 |
| Singur | 40 | 48 | 2 | 2738 |
| Singur | 40 | 48 | 4 | 2850 |
| Singur | 40 | 48 | 8 | 2890 |
| Distribuit | 12 | 428 | 64 | 2937 |
| Distribuit | 24 | 764 | 112 | 3079 |
| Distribuit | 40 | 1.202 | 176 | 3140 |
| Distribuit | 64 | 1.920 | 280 | 3168 |
Întâlnire cu Fan Hui
În octombrie 2015, AlphaGo l-a învins pe campionul european Fan Hui (2 dan) cu 5-0 , [5] devenind primul software capabil să învingă un maestru uman în joc fără handicap și pe o tablă de dimensiuni standard. [6] Anunțul public a fost făcut abia pe 27 ianuarie 2016, coincizând cu publicarea unui articol în Nature [7] care descrie algoritmul utilizat de software. [5]
Întâlnire cu Lee Sedol
Între 9 și 15 martie 2016 AlphaGo a jucat un meci cu jucătorul sud-coreean Lee Sedol (9-dan), unul dintre cei mai puternici jucători de go din lume. [8] Meciul de cinci jocuri, disputat respectiv pe 9, 10, 12, 13 și 15 martie, a avut loc la hotelul Four Seasons din Seul [9] [10] și a fost transmis în direct în streaming . [11] AlphaGo a rulat pe platforma cloud Google, ale cărei servere sunt situate în Statele Unite , iar mișcările procesate de software au fost raportate la bord de către Aja Huang, membru al echipei DeepMind și un amator (6-dan) jucător. [12] Reuniunea a adoptat reguli chineze, cu un komi de 7,5 puncte și un timp de reflecție de două ore și un byoyomi de 60 de secunde. [13] Puterea de calcul utilizată a fost similară cu cea utilizată în întâlnirea cu Fan Hui. [14]
La momentul meciului, Lee Sedol deținea al doilea cel mai mare număr de victorii în campionatele internaționale Go din lume. [15] Deși nu există un clasament internațional oficial, unele surse au considerat că Lee Sedol este al patrulea cel mai bun jucător din lume. în acea perioadă. [16] [17] AlphaGo nu a fost special configurat pentru a face față stilului de joc al lui Lee. [18]
AlphaGo a câștigat primele trei jocuri abandonându-l pe Lee Sedol. [19] [20] A câștigat al patrulea joc, în care AlphaGo a renunțat la cea de-a 180-a mișcare. Software-ul a câștigat în cele din urmă ultimul joc renunțând. [21]
Premiul pentru câștigătorul meciului a fost de un milion de dolari . Fiind acordată de AlphaGo, suma a fost donată pentru organizații de jocuri și organizații caritabile, inclusiv UNICEF . [22] Lee Sedol a primit 150.000 de dolari pentru jucarea tuturor celor cinci jocuri și încă 20.000 de dolari pentru câștigarea celui de-al patrulea joc. [13]
Algoritm
Algoritmul folosit de AlphaGo folosește o combinație de învățare automată și tehnici de căutare a copacilor , împreună cu o fază extinsă de învățare, atât din jocul uman, cât și din jocul artificial. Folosește căutarea în arbore Monte Carlo (MCTS) pentru selectarea mișcărilor, condusă de două rețele neuronale profunde ( rețea de valori și rețea de politici ). [23] [4] Înainte de a fi trimis la rețelele neuronale, intrarea este analizată într-o fază de pre-procesare pentru a extrage unele caracteristici (de exemplu, aderarea mișcărilor la o serie de tipare comune). [4]
În prima fază a antrenamentului, rețelele neuronale efectuează învățarea supravegheată bazată pe jocul uman, încercând să o imite folosind o bază de date de aproximativ 30 de milioane de mutări din jocurile istorice. [24] Odată atinsă o anumită forță de joc, învățarea continuă prin întărire, jucând împotriva altor instanțe de sine. [23]
Software-ul este programat să abandoneze jocul dacă probabilitatea de a câștiga scade sub un anumit prag, care, de exemplu, în întâlnirea din martie 2016 cu Lee Sedol a fost stabilită la 20%. [25]
Compararea versiunilor AlphaGo
| Versiuni | Scorul Elo | Chibrituri | Hardware pentru jocuri [27] |
|---|---|---|---|
| AlphaGo „Fan” | 3144 [28] | 5: 0 împotriva Fan Hui | 176 GPU-uri ,[29] distribuite |
| AlphaGo „Lee” | 3739 | 4: 1 împotriva lui Lee Sedol | 48 TPU-uri , distribuite |
| AlphaGo „Maestru” | 4858 | 60: 0 împotriva jucătorilor profesioniști; | 4 TPU, o singură mașină |
| AlphaGo Zero (40 de zile) | 5185 | 100: 0 împotriva AlphaGo „Lee” 89:11 împotriva „Maestrului” AlphaGo | 4 TPU, o singură mașină |
| AlphaZero (34 ore) | 4430 (estimat) | 60:40 împotriva unui AlphaGo Zero (3 zile) | 4 TPU, o singură mașină |
Pentru referință, scorurile Elo ale unor jucători umani cu care se confruntă AlphaGo sunt:
- Fan Hui (octombrie 2015): 2760 [30]
- Lee Sedol (5 martie 2016): 3571 [31]
- Ke Jie (18 mai 2017): 3676 [32]
Jucătorul uman cu cel mai mare scor Elo dintre cele înregistrate este Shin Jin-seo , care a obținut 3827 de puncte în 2020. [33]
Ospitalitate
AlphaGo este considerat o etapă importantă în cercetarea inteligenței artificiale , întrucât go a fost considerat anterior un joc care nu era la îndemâna tehnicilor de învățare automată dezvoltate la acea vreme. [34] [35] Toby Manning (arbitru al meciului cu Fan Hui) și Haijin Lee (secretar general al Federației Internaționale Go ) speculează că în viitor jucătorii go vor putea conta pe ajutorul computerului pentru analiza jocului . [36]
Myungwan Kim (9 dan) a descris stilul de joc al AlphaGo „ca cel al unui om” în întâlnirea cu Fan Hui. [37] Toby Manning, arbitrul meciului, a descris stilul de joc al software-ului ca fiind „conservator”. [38]
Exemplu de joc
AlphaGo (negru) v. Fan Hui , runda a patra (8 octombrie 2015), AlphaGo câștigă prin abandon. [4]
|
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Se deplasează de la 1 la 99 | Se deplasează de la 100 la 165 |
Notă
- ^ (EN) John Ribeiro, neobișnuitul lui AlphaGo, își mută dovezile de pricepere AI, spun experții , în PC World , 14 martie 2016. Accesat la 18 martie 2016.
- ^ (RO) Descoperire de inteligență artificială în timp ce software-ul Google îl învinge pe maestrul Go, „cel mai complex joc conceput vreodată” , în Daily Mail , 27 ianuarie 2016. Adus pe 29 ianuarie 2016 .
- ^ (EN) Google AlphaGo AI clean mătură Campionul European Go pe zdnet.com, ZDNet , 28 ianuarie 2016. Adus pe 28 ianuarie 2016.
- ^ a b c d e f ( EN ) David Silver, Aja Huang, Chris J. Maddison, Arthur Guez, Laurent Sifre, George van den Driessche, Julian Schrittwieser, Ioannis Antonoglou și Veda Panneershelvam,Stăpânirea jocului Go cu rețele neuronale profunde și căutarea copacilor , în Nature , vol. 529, nr. 7587, pp. 484–489, DOI : 10.1038 / nature16961 .
- ^ A b (EN) Google realizează „descoperirea” AI învingând campionul Go , la BBC News, 27 ianuarie 2016.
- ^ ( FR ) Premiere défaite d'un professionnel du go contre une intelligence artificielle , în Le Monde , 27 ianuarie 2016.
- ^ (RO) David Silver și Demis Hassabis, Stăpânind jocul Go cu rețele neuronale profunde și căutarea copacilor , în Natură , vol. 529, nr. 7587, 28 ianuarie 2016, pp. 484–489, DOI : 10.1038 / nature16961 . Adus pe 28 ianuarie 2016 .
- ^ (EN) Computerele obțin victorii mari împotriva oamenilor în jocul antic Go on money.cnn.com, CNN , 28 ianuarie 2016. Adus pe 28 ianuarie 2016.
- ^ (EN) AI AlphaGo de la Google va prelua numărul 1 mondial Lee Sedol difuzat în direct pe theguardian.com, The Guardian , 5 februarie 2016. Accesat la 15 februarie 2016.
- ^ (EN) Google DeepMind va prelua cel mai bun jucător Go din lume într-un hotel de lux de 5 stele din Coreea de Sud , pe businessinsider.com, Business Insider , 22 februarie 2016. Accesat pe 23 februarie 2016.
- ^ Jordan Novet, YouTube va transmite în direct transmiterea AI a lui Google, jucând superstarul Go, Sedol, în martie , pe VentureBeat , 4 februarie 2016. Adus pe 7 februarie 2016 .
- ^ ( ZH ) 李世 乭 ： 即使 Alpha Go 得到 升级 也 一样 能赢, pe chinese.joins.com , JoongAng Ilbo , 23 februarie 2016. Accesat 24 februarie 2016 .
- ^ A b (KO) 이세돌 vs 알파 고, '구글 딥 마인드 챌린지 매치' 기자 회견 열려 pe baduk.or.kr, Korea Baduk Association , 22 februarie 2016. Accesat la 5 aprilie 2016 (depus de „ url-ul original March 3, 2016) .
- ^ (EN) Demis Hassabis [demishassabis], folosim aproximativ aceeași cantitate de putere de calcul ca în meciul Fan Hui: distribuirea peste căutare Alte mașini au randamente diminuate (Tweet), pe Twitter , 11 martie 2016.
- ^ (EN) Steven Borowiec, mașina de inteligență artificială Google v campion mondial la „Du-te”: tot ce trebuie să știi , în The Guardian , 9 martie 2016. Accesat la 15 martie 2016.
- ^ (EN) Rémi Coulom , Lista de evaluare din 01.01.2016 , pe goratings.org. Adus la 18 martie 2016 (Arhivat din original la 18 martie 2016) .
- ^ (EN) Korean Go master demonstrează că intuiția umană este încă puternică în Go in The Korea Herald / ANN , 14 martie 2016. Adus la 5 aprilie 2016 (depus de „Adresa URL originală 12 aprilie 2016).
- ^ (EN) Yoon Sung-won, Lee Se-dol arată AlphaGo beatable , în The Korea Times , 14 martie 2016. Accesat la 15 martie 2016.
- ^ (EN) Go AI de la Google îl învinge pe campion mondial în primul din cele cinci meciuri - BBC News în BBC Online . Adus pe 9 martie 2016 .
- ^ (EN) Google Go AI câștigă al doilea joc împotriva campionului mondial - BBC News în BBC Online . Adus pe 10 martie 2016 .
- ^ (EN) Google DeepMind AI Go câștigă meciul final pentru victoria seriei 4-1 , pe Engadget. Adus la 15 martie 2016 .
- ^ (EN) Campion uman sigur că va învinge AI la jocul antic chinezesc , pe host.ap.org, AP News , 22 februarie 2016. Accesat pe 29 aprilie 2019 (depus de „Adresa URL originală 22 decembrie 2018).
- ^ A b (EN) Blog de cercetare: AlphaGo: Stăpânirea jocului antic Go with Machine Learning , Google Research Blog, 27 ianuarie 2016.
- ^ (EN) Cade Metz, În AI Breakthrough Major, Google Secret System Beats Top Player at the Ancient Game of Go , WIRED, 27 ianuarie 2016. Adus la 1 februarie 2016.
- ^ (RO) Cade Metz, Grandmaster Go Lee Sedol, câștigă consolarea împotriva AI din Google în Wired News , 13 martie 2016. Accesat la 29 martie 2016.
- ^ ( ZH ) sohu.com , http://www.sohu.com/a/143092581_473283 .
- ^ Hardware-ul folosit în timpul antrenamentului ar putea fi mult mai puternic
- ^ (RO) David Silver, Julian Schrittwieser și Karen Simonyan, Stăpânirea jocului Go fără cunoștințe umane (PDF), în Nature , vol. 550, nr. 7676, 19 octombrie 2017, pp. 354–359, Bibcode : 2017 Natur.550..354S , DOI : 10.1038 / nature24270 , ISSN 0028-0836 , PMID 29052630 .
- ^ (RO) David Silver, Demis Hassabis , AlphaGo Zero: Începând de la zero pe deepmind.com, 18 octombrie 2017.
- ^ (EN) Hui Fan , pe baza de date European Go. Adus la 4 decembrie 2020 .
- ^ (RO) Lee Sedol , pe Go Ratings. Adus la 4 decembrie 2020 .
- ^ (EN) Ke Jie , pe Go Ratings. Adus la 4 decembrie 2020 .
- ^ (EN) Shin Jinseo , pe Go Ratings. Adus la 4 decembrie 2020 .
- ^ (EN) Steve Connor, Un computer a învins un profesionist la cel mai complex joc de societate din lume , în The Independent , 27 ianuarie 2016. Adus pe 28 ianuarie 2016.
- ^ (EN) AI de la Google îl învinge pe campion uman la Go , în CBC News , 27 ianuarie 2016. Adus pe 28 ianuarie 2016.
- ^ (EN) Elizabeth Gibney, jucătorii Go reacționează pentru a învinge computerul , în Nature, 2016, DOI : 10.1038 / nature.2016.19255 .
- ^ (RO) Eric David, AlphaGo de la Google „joacă la fel ca un om”, spune Go, jucătorul clasat pe SiliconANGLE, 1 februarie 2016. Accesat pe 3 februarie 2016.
- ^ (EN) Elizabeth Gibney, algoritmul Google AI stăpânește jocul antic Go , în Nature News & Comment, 27 ianuarie 2016. Accesat pe 3 februarie 2016.
Elemente conexe
- AlphaGo versus Fan Hui
- AlphaGo vs. Lee Sedol
- Versiune master care a câștigat 60 de meciuri online împotriva profesioniștilor
- AlphaGo versus Ke Jie
- Versiunea software AlphaGo Zero bazată complet pe auto-învățare
- AlphaZero
Alte proiecte
-
Wikimedia Commons conține imagini sau alte fișiere pe AlphaGo
linkuri externe
- ( EN ) Demis Hassabis, AlphaGo: folosirea învățării automate pentru a stăpâni vechiul joc Go , pe blogul oficial Google , 27 ianuarie 2016.
