Hao AI pētniecības organizācija Kalifornijas Universitātē Sandjego, testē mākslīgo intelektu (MI) ar reāllaika Super Mario Bros. spēlēs palīdzību. Vislabāk veicās Anthropic modelim Claude 3.7, kam sekoja Claude 3.5. Tikmēr Google modelis Gemini 1.5 Pro un OpenAI modelis GPT-4o saskārās ar problēmām.
Jāatzīmē, ka šī nebija gluži tā pati Super Mario Bros. versija, kas tika izdota 1985. gadā. Spēle darbojās emulatorā un bija integrēta ar GamingAgent, kas ļāva MI modeļiem kontrolēt Mario.
GamingAgent Hao laboratorija izstrādāja iekšēji savām vajadzībām, tas nodrošina MI pamata instrukcijas, piemēram: “Ja tuvumā ir šķērslis vai ienaidnieks, pārvietojies/leci pa kreisi, lai izvairītos,” kā arī spēles šis rīks veido spēles ekrānuzņēmumus. MI pēc tam ģenerēja ievades Python koda formā, lai kontrolētu Mario.
Pētnieki uzsver, ka spēle piespieda katru modeli mācīties plānot sarežģītas kustības un izstrādāt spēles stratēģijas. Interesanti, ka modeļi ar spēcīgām loģiskās domāšanas prasmēm, piemēram, OpenAI modelis o1, kas risina problēmas soli pa solim, uzrādīja sliktākus rezultātus nekā modeļi bez šādām spējām.
Viens no galvenajiem iemesliem, kāpēc loģiski domājošie modeļiem slikti iet ar reāllaika spēlēm, ir tas, ka tiem nepieciešams laiks (parasti vairākas sekundes), lai pieņemtu lēmumu par darbību. Sekundes aizkave var nozīmēt atšķirību starp veiksmīgu lēcienu un kritienu nāvē.
