RAVE & Heavy Playouts Agents

[p10tr13]

Opis

Ten PR rozbudowuje agenta MCTS dla gry Breakthrough o dwa warianty algorytmu: RAVE oraz Heavy Playouts. Przy okazji zwykły agent MCTS został uporządkowany strukturalnie, żeby łatwiej było rozwijać kolejne warianty i testować poszczególne fazy algorytmu.

Zmiany w zwykłym MCTS

Regularny MCTS został podzielony na wyraźniejsze fazy:

• selekcja,
• ekspansja,
• symulacja/playout,
• backpropagation.

Poprawiłem też sposób kredytowania nowo utworzonego węzła po ekspansji. Wcześniej wynik symulacji mógł być przypisywany do węzła-rodzica zamiast do faktycznie rozwiniętego dziecka. Teraz expand_node zwraca indeks liścia, od którego zaczyna się backpropagation.

Dodałem również pomocniczą funkcję określającą, czy dany gracz wygrał przy danym statusie gry. Dzięki temu logika naliczania zwycięstw jest wspólna dla klasycznego MCTS i statystyk AMAF używanych przez RAVE.

RAVE

Dodałem strategię selekcji RAVE, która wykorzystuje statystyki AMAF. Oprócz standardowych statystyk wizyt i zwycięstw węzły przechowują teraz osobne statystyki AMAF w wydzielonej strukturze.

Logika śledzenia ruchów została przeniesiona do osobnego modułu rave, żeby backpropagation nie był bezpośrednio zależny od szczegółów strategii selekcji.

Heavy Playouts

Dodałem wariant playoutów oparty o twoją heurystykę. Zamiast wybierać ruchy wyłącznie losowo, agent może wykonywać playouty epsilon-greedy:

• z prawdopodobieństwem epsilon wybiera ruch losowy,
• w pozostałych przypadkach wybiera ruch oceniony najlepiej przez heurystykę.

Heavy Playouts korzystają z istniejącego HeuristicEvaluator, więc można sterować wagami materiału, zaawansowania pionów, obrony i kary za krawędzie.

Różnice względem main

Względem main PR dodaje:

• wariant RAVE dla selekcji MCTS,
• wariant Heavy Playouts dla symulacji,
• konfigurację nowych parametrów MCTS,
• metryki dla RAVE i Heavy Playouts,
• kontrolki GUI pozwalające włączać/wyłączać RAVE i Heavy Playouts w trakcie gry,
• testy jednostkowe dla faz MCTS, RAVE, strategii selekcji i strategii playoutów,
• refaktoryzację struktury kodu MCTS pod dalsze eksperymenty.

Testy

Dodałem jeszcze testy sprawdzające, czy MCTS oraz RAVE dobrze naliczają wizyty i wygrane, oraz czy poszczególne fazy MCTS zwracają to co oczekujemy. Co prawda jest to na bardzo małych planszach, ale lepsze to niż nic i łatwo samemu zweryfikować jaki powinien być wynik. Oczywiście wszystkie przechodzą.

[adamgracikowski]

Tam kilka komentarzy dałem o rozdzieleniu configa na dwa a w zasadzie 3 - MCTS, Rave i HeavyPlayout, ale teraz po odpaleniu zobaczyłem, że to można zmiksować w jakiegoś jednego giga chada agenta, tak?