HAL9000

HAL9000
"It just isn't conceivable that you can design a program strong enough to beat players like me."

March 7, 2015

RAPIDROID RELOADED: March-2015

Here i sail away with the wind blowing! A big second round has almost doubled the number of samples and has pushed the number of rated engines to a huge 104.

I agree 104 engines is nothing compared to CCRL and many others but one can't simply ignore countless tourney management features still missing on Android. I wish i could auto-adjudicate, use random ctg books etc. When i compare the current size to 56 engines of the previous experiment playing at 15 sec/move, the reloaded version of Rapidroid is already much bigger and has potential to challenge its brothers maintained on PC.

Following the first release posted in February, i've been suffering a lot trying to introduce many new engines compiled by Jim Ablett using the modern Fischer time controls per game, specifically 10'+2" to balance speed vs game quality.

It quickly got complex because of 3 typical engine profiles:
* Engines compatible with both fixed sec/move and Fischer clock = The good allies!
* Engines compatible with fixed time per move only = Pairing headache, often longer games
* Engines compatible with Fischer clock only = Pairing headache when above ones are present.

The worst is that different time control capabilities lead to impossible pairings. That means round robin divisions can't issue equal number of games, neither per division, nor per engine and playing a division of let's say 10 engines in a single automated run is not possible anymore either. Gauntlets are necessary to complete all possible pairings.

Anyway, i've concluded it's worth the pain because covering the maximum area remains attractive. Finally, let me stop the non-sense self-torture tears and find below the final standing i've obtained so far.

Don't pity me too much because i'll run 3 devices in parallel as from next round, targeting 6 games/hours average.

BAYESELO BASED ON 1556 GAMES PLAYED BY 104 PROGRAMS
Rnk Name                     O/S T  Elo   +   - ga sco oppo dra
  1 Stockfish 6              A32 4 3153 104  94 36 79% 2952 36%
  2 Komodo 8                 A32 4 3132 104  95 36 75% 2954 33%
  3 Sting SF 4.7             A32 4 3020 101  95 36 68% 2883 31%
  4 Firenzina 2.4.1 xTreme   A32 4 3017  90  88 36 58% 2967 50%
  5 BeeKay                   A32 4 2988  87  87 36 53% 2970 61%
  6 BlackMamba 2.0           A32 4 2981  87  87 36 51% 2971 58%
  7 Texel 1.05               A32 4 2970  91  92 36 50% 2972 39%
  8 Critter 1.6a             A32 4 2949  88  89 36 46% 2974 53%
  9 Cheng4 0.38              A32 4 2923 105  98 34 71% 2783 29%
 10 DeepSaros ver.2.3f       A32 4 2898 101  95 34 66% 2786 32%
 11 Komodo 3 AB              A32 1 2893  91  91 36 50% 2897 44%
 12 RobboLito 0.085e4l       A32 1 2883  97  96 34 50% 2877 35%
 13 Arasan 17.5              A32 4 2796  98  98 34 50% 2798 24%
 14 Senpai 1.0.JA            A32 4 2786  95 100 34 35% 2888 41%
 15 Doch 1.3.4 JA            A32 1 2741  97 101 34 40% 2805 26%
 16 Cyclone 3.4              A32 1 2740  97 104 34 28% 2893 38%
 17 Gaviota v1.0-d           A32 4 2733  97  96 34 50% 2728 35%
 18 Deep Saros 0.9           A32 1 2731 112 109 32 59% 2652 19%
 19 Fruit Reloaded 2.1       A32 1 2730 104 116 36 25% 2915 17%
 20 Grapefruit 1.0           A32 4 2698 100 101 34 46% 2732 21%
 21 Hakkapeliitta dev 120115 A32 1 2662 105 101 32 63% 2578 25%
 22 Toga II 3.0              A32 1 2661  98 102 34 40% 2736 26%
 23 DiscoCheck 5.2.1         A32 1 2655 110 105 32 59% 2579 13%
 24 Scorpio_2.7.7.JA_xb      A32 1 2651 139 116 28 86% 2389 21%
 25 RedQueen 1.1.97          A32 4 2641 106 101 32 64% 2540 28%
 26 Rodent 1.6 (build 6)     A32 1 2592 104 102 32 56% 2546 25%
 27 Deuterium v14.3.34.130   A32 1 2575 100 100 32 48% 2589 28%
 28 IvanHoe 9.46b            A32 4 2569 106 112 32 36% 2672 22%
 29 Crafty_24.1.JA_xb        A32 1 2545 107 102 32 63% 2454 19%
 30 Gull 1.2.JA              A32 1 2530  99 101 32 44% 2554 31%
 31 Rhetoric 1.4.1           A32 1 2527 107 103 32 59% 2456 19%
 32 GNU Chess 5.50           A32 1 2481 101 102 32 47% 2502 25%
 33 TheMadPrune 1.7.04       A32 4 2470 111 113 28 46% 2496 14%
 34 Tucano_5.00.JA_xb        A32 1 2458 106 104 28 55% 2416 39%
 35 Alfil 12.10              A32 1 2394 106 106 32 48% 2397 16%
 36 Daydreamer 1.75 JA       A32 1 2381 100 101 32 48% 2399 28%
 37 Danasah_5.07.JA_xb       A32 1 2372 105 103 28 54% 2361 36%
 38 Bison 15.1               A32 1 2371 103 112 32 30% 2516 22%
 39 Rotor 0.8                A32 1 2352 106 114 32 33% 2478 16%
 40 Sloppy_0.23.JA_xb        A32 1 2351 106 107 28 48% 2364 25%
 41 Dirty_030411.JA_xb       A32 1 2341 103 104 28 46% 2365 36%
 42 Phalanx_XXIV.JA_xb       A32 1 2334 113 109 28 59% 2272 18%
 43 Jazz Orchestra 8.40      A32 4 2330 123 106 36 86% 2027 22%
 44 BBChess 1.3b JA          A32 4 2314 110 126 32 23% 2523  9%
 45 DanasahZ_0.4.JA_xb       A32 1 2298 109 110 26 46% 2322 31%
 46 Pepito v1.59             A32 1 2292 107 112 30 40% 2362 13%
 47 GreKo_12.5.JA_xb         A32 1 2285 108 108 28 50% 2279 21%
 48 GarboChess 3             A32 1 2281 105 105 30 50% 2280 27%
 49 Typhoon_1.0.r358.JA_xb   A32 1 2273 112 109 26 56% 2224 27%
 50 Natwarlal_0.14.JA_xb     A32 1 2257 113 109 28 59% 2190 18%
 51 BetsabeII_1.47.JA_xb     A32 1 2250 110 109 26 54% 2228 31%
 52 Glaurung Mainz           A32 1 2217 136 166 22 20% 2457  5%
 53 Sungorus 1.4 JA          A32 1 2205 103 100 32 59% 2143 25%
 54 Amy_0.8.JA_xb            A32 1 2205 108 108 30 50% 2202 13%
 55 Simplex 0.9.8            A32 1 2194 110 107 34 59% 2104  6%
 56 Rattate_Nosferatu.JA_xb  A32 1 2189 110 109 30 52% 2173 10%
 57 TJchess 1.1U             A32 1 2178  97  97 34 53% 2133 35%
 58 Scidlet_2.61b2.JA_xb     A32 1 2168 116 110 28 61% 2084 14%
 59 Olithink_5.3.2.JA_xb     A32 1 2153 103 103 32 52% 2149 16%
 60 Diablo 0.5.1b JA         A32 1 2146 104 106 30 45% 2179 23%
 61 Myrddin_0.86.JA_xb       A32 1 2144 114 110 28 57% 2087 14%
 62 Resp_0.19.JA_xb          A32 1 2122 103 101 36 57% 2050 19%
 63 CPW-Engine 1.1.11        A32 1 2122 111 104 36 69% 1949 17%
 64 Robocide 281214.JA       A32 1 2059 118 104 36 79% 1828 14%
 65 DanChess_1.04.JA_xb      A32 1 2041 110 122 30 30% 2193  7%
 66 KmtChess_1.21.JA_xb      A32 1 2038 118 118 26 48% 2049 19%
 67 Gk_0.90.JA_xb            A32 1 2033 163 171 16 56% 1918 13%
 68 Romichess_P3K.JA_xb      A32 1 2015 102 111 32 28% 2166 25%
 69 Surprise_4.3.b13.JA_xb   A32 1 2012 176 154 16 69% 1863  0%
 70 Knightcap_3.7F.JA_xb     A32 1 2003 113 116 26 44% 2054 27%
 71 Ges_1.34.JA_xb           A32 1 1999 130 126 22 55% 1973 18%
 72 Samchess_JA_xb           A32 1 1982 106 115 30 30% 2128 20%
 73 Faile_1.44.JA_xb         A32 1 1958 120 115 26 60% 1888 12%
 74 Woodpecker_2.11.JA_xb    A32 1 1956 113 114 26 48% 1973 27%
 75 Fairymax_4.8l.AB_xb      A32 1 1949 133 137 18 42% 2024 28%
 76 ZCT-0.3.2500             A32 1 1939 103 103 36 49% 1960  8%
 77 BikJump v1.8             A32 1 1918  99 101 36 44% 1962 17%
 78 Witz_Alpha21.JA_xb       A32 1 1914 115 110 28 63% 1823 25%
 79 Leonidas_r83.JA_xb       A32 1 1882 114 116 26 46% 1900 15%
 80 Cilian_4.14.JA_xb        A32 1 1867  92  94 36 44% 1906 28%
 81 Colchess_8.0.JA_xb       A32 1 1844 111 111 28 54% 1832 29%
 82 Claudia v. 0.5           A32 1 1830 147 158 16 38% 1909 13%
 83 AdroitChess0.4 JA        A32 1 1824 104 113 36 36% 1920 11%
 84 Umax_48w_xb              A32 1 1801 125 145 22 23% 2009 18%
 85 Sjeng_1.12.JA_xb         A32 1 1796 126 124 24 52% 1783  4%
 86 SjaakII_beta5.JA_xb      A32 1 1796 120 119 24 52% 1783 21%
 87 Bismark_1.1              A32 1 1780 101  96 36 63% 1689 31%
 88 Zzzzzz_3.5.1.JA_xb       A32 1 1663 111 116 26 38% 1734 31%
 89 Sayuri 2015.01.17        A32 4 1654 101 104 36 43% 1703 19%
 90 Tscp_1.8.1.AB_xb         A32 1 1607 118 118 26 50% 1607 31%
 91 Jester_0.84.JA_xb        A32 1 1603 134 124 24 71% 1412 17%
 92 Rocinante 2.0 JA         A32 1 1580 105 104 36 60% 1486 14%
 93 Kitteneitor_060513.JA_xb A32 1 1561 114 117 24 46% 1566 42%
 94 Zurichess                A32 1 1545 151 136 22 75% 1334 14%
 95 Chenard_2014.07.11.JA_xb A32 1 1518 122 129 26 37% 1621 19%
 96 Pulse 1.5-cpp            A32 1 1496 102 100 36 64% 1369 33%
 97 K2 v.071                 A32 1 1463 172 187 18 19% 1847 17%
 98 VIRUTOR CHESS 1.1.1      A32 1 1432 102 102 36 54% 1376 25%
 99 Chess for Android        A32 1 1426 106 106 36 54% 1377 14%
100 Toledo_Nano_2010.JA_xb   A32 1 1397 151 174 18 19% 1692 17%
101 Octochess                A32 4 1385 163 192 18 19% 1694  6%
102 Byak 8.10.14.JA          A32 1 1101 145 181 22 14% 1415  9%
103 Xadreco_5.7.JA_xb        A32 1 1095 146 181 22 11% 1416 14%
104 OliveChess 0.2.7         A32 1  988 194 152 24  0% 1515  0%

Rapidroid test platform:
* GT-N7100 1.7 Ghz quad, 256MB hash: All Android progs,
* Polypad 1010IPS tablet 1.61 Ghz dual, 128MB hash: SP Android progs,
* HTC Diam 528Mhz, 16MB hash: Windows Mobile progs,
* i7 M620 2.67 Ghz dual + Arena 3.5 + 2GB hash: Win64
* iPod Touch 64G @ 600 Mhz to run IOS programs
* DosBox 1.74 to run DOS programs,
* WinVICE 2.24 to run Commodore-64 programs,
* Messtiny UCI adapters or CB-Emu2014 used to emulate Mephisto programs,
* Own books disabled and replaced by 20 ply openings taken from Adam Hair's book,
* Openings selected for max variety, no Q exchange, +0.15 to +0.40 on start,
* Openings played twice with both colors, whenever possible,
* Repeating openings and twin games not allowed between two programs
* Tablebases and pondering off
* Time control: 1/10 or 600+2 or 900+0 or closest valid for both programs.


2 comments:

Anonymous said...

Could you kindly post the games?

Gurcan Uckardes said...

Done. See http://chesstroid.blogspot.com/2015/03/rapidroid-games-played-so-far-with-full.html