„DeepMind“ „AlphaStar AI“ dabar yra visavertis „StarCraft 2“ didmeistris

Mašinų augimas šiandien priartėjo prie realybės, nes tyrėjai paskelbė, kad „Google DeepMind“ varomas „AlphaStar AI“ dabar pasiekė „Grandmaster“ reitingą su visomis trimis „StarCraft 2“ lenktynėmis. Sausio mėn. „AlphaStar“ dominavo profesionaliems „StarCraft 2“ žaidėjams, „Protoss“ žaidėjas ir palankesnėmis sąlygomis. Dabar mokslininkai teigia, kad AI gali žaisti didmeistrio lygiu „profesionaliai patvirtintomis sąlygomis“ ir su tokiais pačiais apribojimais kaip ir žaidėjai, įskaitant žaidimo peržiūrą per kamerą ir dar griežtesnius jo veiksmų dažnumo apribojimus.



„Daugeliui realaus pasaulio programų reikia dirbtinių agentų, kurie konkuruotų ir derintųsi su kitais agentais sudėtingoje aplinkoje. Kaip žingsnis į šį tikslą, „StarCraft“ sritis tapo svarbiu iššūkiu dirbtinio intelekto tyrimams dėl savo ikoniško ir ilgalaikio statuso tarp sunkiausių profesionalių sporto šakų ir dėl jo svarbos realiam pasauliui dėl jo sudėtingumo ir sudėtingumo. daugelio agentų iššūkiai “,-aiškina„ Nature “tyrimų santrauka.



„Per dešimtmetį ir daugybę varžybų stipriausi agentai supaprastino svarbius žaidimo aspektus, panaudojo antžmogiškus sugebėjimus arba panaudojo rankų darbo posistemius. Nepaisant šių pranašumų, nė vienas ankstesnis agentas nepriartėjo prie geriausių „StarCraft“ žaidėjų įgūdžių. Mes nusprendėme spręsti „StarCraft“ iššūkį naudodamiesi bendrosios paskirties mokymosi metodais, kurie iš esmės taikomi kitoms sudėtingoms sritims: kelių agentų stiprinimo mokymosi algoritmas, kuris naudoja tiek žmonių, tiek agentų žaidimų duomenis įvairioje nuolat prisitaikančių strategijų ir kovos priemonių lygoje. -strategijos, kurių kiekviena vaizduojama giliais neuroniniais tinklais. Mes įvertinome savo agentą „AlphaStar“ visame „StarCraft 2“ žaidime per internetinių žaidimų seriją prieš žmones. „AlphaStar“ buvo įvertintas „Grandmaster“ lygiu visose trijose „StarCraft“ lenktynėse ir daugiau nei 99,8 proc. Oficialiai reitinguojamų žmonių žaidėjų “.



Tyrėjai paaiškino a „DeepMind“ tinklaraščio įrašas kad jie naudojo „bendrosios paskirties mašininio mokymosi metodų“ derinį mokydami „AlphaStar“, įskaitant neuroninius tinklus, savarankišką žaidimą per mokymąsi, mokymąsi iš kelių agentų ir mokymąsi imituojant, kiekvienas iš jų turi savo stipriąsias ir silpnąsias puses. Vienas ypač įdomus žingsnis šiame procese buvo savarankiškai žaidžiančių „agentų“ grupės, vadinamos lyga, kūrimas. Savarankiškai žaidžiantys agentai paprastai daro viską, kad visada laimėtų, tačiau tai nebūtinai yra geriausias būdas mokyti ar mokytis.

„Realiame pasaulyje žaidėjas, bandantis tobulėti„ StarCraft “, gali tai padaryti bendradarbiaudamas su draugais, kad galėtų išmokyti konkrečias strategijas. Todėl jų treniruočių partneriai žaidžia ne tam, kad laimėtų prieš visus įmanomus priešininkus, o verčiau atskleidžia savo draugo trūkumus, kad padėtų jiems tapti geresniais ir tvirtesniais žaidėjais “, - aiškino tyrimo komanda.



„Pagrindinė lygos įžvalga yra ta, kad žaisti laimėti nepakanka: vietoj to mums reikia tiek pagrindinių agentų, kurių tikslas yra laimėti prieš visus, tiek išnaudotojų agentų, kurie„ pasiima vieną komandai “, sutelkdami dėmesį į tai, kad padėtų pagrindiniam agentui augti stipresnis atskleisdamas savo trūkumus, o ne maksimaliai padidindamas savo laimėjimo koeficientą. Taikydama šį mokymo metodą, dabartinė lyga išmoksta visą savo sudėtingą „StarCraft II“ strategiją nuo galo iki galo-priešingai nei ankstesnis mūsų darbo įsikūnijimas, kuris sujungė agentus, pagamintus įvairiais metodais ir algoritmais “.



Stiprinimo mokymasis taip pat vaidino svarbų vaidmenį kuriant AI. Dėl „milžiniškos veiksmų erdvės“ „StarCraft 2“ daugelis esamų sustiprinimo mokymosi metodų tapo neveiksmingi, tačiau „„ AlphaStar “naudoja naują algoritmą, skirtą mokytis ne pagal politiką, o tai leidžia efektyviai atnaujinti savo politiką iš žaidimų, kuriuos žaidžia senesnė politika“.

Žiūrėti daugiau

Prisipažinsiu, kad dauguma techninių žodžių eina per galvą - pirmiausia pagalvoju, kai matau žodį „agentas“ - vaikinas, kalbantis į savo batus, tačiau grynasis visos šios išnaudotos protinės jėgos rezultatas yra „kick -star Starcraft“. 2 žaidėjas. „StarCraft 2“ profesionalas Dario „TLO“ Wünschas, dirbantis prie projekto, sakė, kad „AlphaStar“ žaidimas yra „neįtikėtinai įspūdingas“, bet ne „antžmogiškas“ - tikrai ne tokiu lygiu, kokio žmogus teoriškai negalėtų pasiekti. Apskritai tai jaučiasi labai sąžiningai - tarsi žaidžia „tikrą“ „StarCraft“ žaidimą “.

Bet, žinoma, tai ne tik apie „StarCraft 2“: „AlphaStar“ žengimas į priekį yra reikšmingas žingsnis į priekį dirbtinio intelekto tyrimuose, kurie gali turėti daug daugiau nei vaizdo žaidimai.



„Galų gale, šie rezultatai yra tvirtas įrodymas, kad bendrosios paskirties mokymosi metodai gali padidinti AI sistemų veikimą sudėtingoje, dinamiškoje aplinkoje, kurioje dalyvauja keli veikėjai“,-rašė tyrėjai. „Metodai, kuriuos mes panaudojome kurdami„ AlphaStar “, padės toliau užtikrinti AI sistemų saugumą ir patikimumą apskritai ir, tikimės, gali paspartinti mūsų tyrimus realiose srityse“.