HAL9000

HAL9000
"It just isn't conceivable that you can design a program strong enough to beat players like me."

September 11, 2016

RAPIDROID RELOADED: September-2016 with Komodo on top

Rapidroid has delayed more than expected at the end of August. Ooops it's already the middle of September. However, getting back the second Galaxy N7100 to work for Rapidroid has helped me speed up the tourneys and more than 5750 games have been played. Now we have only 5 more rounds to replay in order to refresh the whole experiment with accurate time control implementation.

After achieveing this goal, i won't go beyond 20 rounds and stay at max 400 games per engine. So all that remains to do will be nothing but integrating updated engines and finally allocate more time to manual games. Seriously, i can't wait to see how will perform standalone programs like Chess Genius, Mobialia, Senior Chess, Chess Free AI etc. vs UCI/XB engines.

Komodo 10 stayed at the top of this release, ahead of Stockfish. After analyzing the games they played, i've concluded that Komodo manages to avoid draws better than Stockfish against some specific weaker engines, especially Critter. Although Stockfish is slightly stronger than Komodo 10 when they play each other, performance vs other engines seem to be the deciding factor up to now.

The highlights of this release:
* UPDATED Zurichess Geneva to Graubuenden
* SKIPPED Arasan 19.0.1 update due to bad perfo vs 18.3

Targets for next release:
* Finish rounds 15 to 17 out of 19. 

BAYES RATINGS AFTER 20249 GAMES PLAYED BY 143 PROGRAMS
Rnk Name                        O/S T TC  Elo   +   - Gam Sco Oppo Dra
001 Komodo 10                   A32 4 bf 3350  46  43 254 84% 3072 24%
002 Stockfish 2016-07-16        A32 4 bf 3328  44  41 254 83% 3075 30%
003 Critter 1.6a                A32 4 bf 3109  31  31 324 56% 3082 47%
004 Firenzina 2.4.1 xTreme      A32 4 bf 3062  31  31 320 47% 3089 45%
005 Rybka 2.3.2a mp             W64 4 bf 3061 118 115  22 57% 3018 41%
006 Chiron 3                    A32 4 bf 3059  36  36 256 51% 3058 38%
007 Sting SF 4.8.4 JA           A32 4 bf 3053  32  32 328 54% 3035 39%
008 BlackMamba 2.0              A32 4 bf 3052  30  31 320 46% 3090 52%
009 Gull 3 x64 (syzygy)         A32 4 bf 3045  32  32 322 52% 3030 43%
010 Fritz 14                    A32 4 bf 3040  31  31 328 53% 3023 48%
011 Texel 1.06                  A32 4 bf 3016  35  35 260 43% 3064 41%
012 DeepSaros ver.2.3f          A32 4 bf 2992  30  30 352 53% 2979 41%
013 Hiarcs 13.71                IOS 2 bf 2991 129 118  24 71% 2843 25%
014 Senpai 1.0                  A32 4 bf 2984  31  31 342 54% 2961 39%
015 RobboLito 0.085e4l          A32 1 bf 2970  30  30 358 52% 2962 44%
016 IvanHoe 9.47c beta          A32 1 bf 2948  31  31 346 53% 2922 40%
017 Cheng 4.39                  A32 4 bf 2941  30  30 354 53% 2916 38%
018 ExChess_7.88b.JA_xb.arm7    A32 4  b 2904  30  30 354 51% 2900 38%
019 Shredder 1.7.0              IOS 2  b 2902 117 116  22 55% 2879 45%
020 Gaviota v1.0-d              A32 4 bf 2893  30  30 366 48% 2907 33%
021 Arasan 18.3                 A32 4 bf 2887  29  29 362 51% 2883 41%
022 Hakkapeliitta 3.0           A32 1 bf 2884  30  30 362 52% 2872 34%
023 Scorpio_2.7.7.JA_xb.arm7    A32 4 Bf 2871  31  31 354 49% 2876 30%
024 Grapefruit 1.0              A32 4 bf 2849  29  29 382 49% 2856 38%
025 Toga II 3.0                 A32 1 bf 2811  30  30 366 48% 2825 38%
026 DiscoCheck 5.2.1            A32 1 bf 2807  30  30 378 47% 2827 34%
027 Deep Saros 0.9              A32 4 bf 2795  29  29 378 47% 2814 39%
028 Bobcat 6.4b                 A32 1 bf 2773  30  30 376 53% 2751 34%
029 Doch32 1.3.4 JA             A32 1  b 2770  30  30 378 50% 2773 34%
030 Fruit Reloaded 2.1          A32 1  b 2752  29  29 380 49% 2758 38%
031 Murka 3                     A32 1 bf 2752  29  29 392 47% 2770 38%
032 Crafty_25.0.JA_xb.arm7      A32 1 bf 2747  29  29 368 49% 2753 38%
033 Chess Pro 2016.02           IOS 2 bf 2742 112 114  22 45% 2771 55%
034 Deuterium v14.3.34.130      A32 1 bf 2732  29  29 388 53% 2712 35%
035 The King 3.50 x64           W64 1  b 2716  53  53 114 42% 2770 34%
036 GNU Chess 5.60              A32 1 bf 2704  31  31 370 47% 2718 27%
037 Strelka 5                   A32 1 bf 2701  30  30 368 52% 2684 34%
038 Rodent II 0.8.7             A32 1  b 2684  32  31 344 55% 2649 31%
039 Tucano_6.00.JA_xb.arm5      A32 1 Bf 2668  31  31 350 51% 2659 34%
040 RedQueen 1.1.98             A32 4 bf 2639  31  31 360 49% 2642 29%
041 Rhetoric 1.4.1              A32 1 bf 2632  34  34 312 50% 2634 25%
042 CNVCS 1.2.0                 IOS 2  f 2625 111 114  24 44% 2660 46%
043 Pawny 1.2                   A32 1 Bf 2616  35  35 280 52% 2602 31%
044 Bison 15.1                  A32 1 bf 2607  31  31 360 53% 2581 29%
045 Alfil 12.10                 A32 1 bf 2595  32  32 358 46% 2623 25%
046 Rodin v8.00                 A32 1 bf 2583  35  35 280 46% 2613 25%
047 Daydreamer 1.75 JA          A32 1 bf 2571  30  30 356 49% 2576 35%
048 Zurichess Graubuenden       A32 1  b 2562  36  36 278 56% 2513 27%
049 Chess Genius 4.0.00         IOS 2 bf 2558 197 255   8 13% 2815 25%
050 Cheese 1.8                  A32 1 bf 2555  31  31 358 46% 2587 25%
051 Glaurung Mainz              A32 1  b 2546  33  33 328 50% 2544 28%
052 Chess Genius 2.6.4          A32 1 bf 2535 224 239   4 38% 2583 75%
053 Sloppy_0.23.JA_xb           A32 1 Bf 2522  32  32 346 50% 2526 27%
054 Rotor 0.8                   A32 1 bf 2521  31  31 358 43% 2572 29%
055 Fridolin 2.00               A32 4 bf 2512  31  31 354 53% 2491 31%
056 Dirty_030411.JA_xb          A32 1 bf 2501  31  31 344 54% 2466 30%
057 Maverick 1.5 arm            A32 1 bf 2499  32  32 354 57% 2448 25%
058 Phalanx_XXIV.JA_xb.arm7     A32 1 Bf 2497  31  31 344 50% 2496 30%
059 GarboChess 3                A32 1 bf 2495  31  31 356 47% 2515 29%
060 DanaSah 6.1                 A32 1 bf 2478  34  34 280 46% 2504 31%
061 GreKo_2015.JA_xb            A32 1 bf 2473  35  35 280 47% 2494 26%
062 BBChess 1.3b JA             A32 4 bf 2470  31  31 356 52% 2451 31%
063 Pepito v1.59                A32 1 bf 2441  31  31 352 53% 2421 31%
064 K2 v.083                    A32 1  b 2438  35  35 278 46% 2469 31%
065 Bruja_1.9.1.JA_xb           A32 1  b 2398  37  37 280 46% 2431 18%
066 BetsabeII_1.47.JA_xb        A32 1 Bf 2393  32  32 354 51% 2381 24%
067 Ifrit_m1.8.JA_uci2xb        A32 1 Bf 2388  32  32 348 52% 2374 25%
068 Laser_0.2beta.JA_uci2xb     A32 1  b 2377  35  35 280 50% 2379 30%
069 Diablo 0.5.1b JA            A32 1 bf 2345  31  32 358 50% 2346 25%
070 Ethereal 7.70               A32 1  b 2339  37  37 280 55% 2293 19%
071 Typhoon_1.0.r358.JA_xb      A32 1  f 2338  70  70  74 53% 2313 20%
072 Olithink_5.3.2.JA_xb        A32 1 Bf 2334  32  32 348 52% 2315 23%
073 MangoPaola_1.1.JA_xb        A32 1 Bf 2321  72  71  74 57% 2257 23%
074 Amy_0.8.JA_xb               A32 1 bf 2310  33  33 362 53% 2284 20%
075 Myrddin_0.86.JA_xb          A32 1 Bf 2268  32  32 362 53% 2239 20%
076 TJchess 1.1U                A32 1 bf 2261  33  33 352 45% 2298 20%
077 Sungorus 1.4 JA             A32 1 Bf 2233  65  64  86 56% 2192 21%
078 Natwarlal_0.14.JA_xb        A32 1 Bf 2230  33  33 360 49% 2238 19%
079 Bitfoot 150922.JA           A32 1 bf 2213  33  33 364 47% 2237 15%
080 Beowulf_2.4a.JA_xb          A32 1  b 2204  36  36 280 50% 2209 25%
081 Rattate_Nosferatu.JA_xb     A32 1 Bf 2201  32  32 366 48% 2215 19%
082 KmtChess_1.21.JA_xb         A32 1 Bf 2186  31  31 364 51% 2179 24%
083 Floyd 0.7 JA                A32 1 bf 2176  32  32 370 53% 2149 16%
084 Scidlet_2.61b2.JA_xb        A32 1 Bf 2172  31  31 370 50% 2172 21%
085 Resp_0.19.JA_xb             A32 1 bf 2167  31  31 366 44% 2212 22%
086 Gk_0.90.JA_xb               A32 1  b 2155  37  37 278 59% 2087 18%
087 Kurt 0.9.2.2 JA             A32 1 bf 2131  32  32 372 50% 2133 19%
088 Robocide 28.12.14.JA        A32 1 bf 2106  31  31 398 56% 2064 19%
089 Cinnamon 2.0                A32 4 bf 2106  34  34 318 49% 2110 23%
090 Woodpecker_2.11.JA_xb       A32 1  f 2106  66  65  86 53% 2083 17%
091 AnkanChess 0.0              A32 1  b 2097  36  36 278 54% 2068 20%
092 DanChess_1.04.JA_xb         A32 1  f 2090  70  70  80 51% 2084 14%
093 Witz_Alpha21.JA_xb          A32 1  f 2085  64  64  90 49% 2096 16%
094 Sunsetter_C10.JA_xb         A32 1  b 2082  36  36 280 53% 2054 23%
095 NGplay_9.86.JA_xb           A32 1 Bf 2074  32  32 364 46% 2103 22%
096 Romichess_p3k.JA_xb         A32 1  b 2051  39  39 278 43% 2105 17%
097 Gunborg_1.39.JA_uci2xb      A32 1 Bf 2048  32  32 356 48% 2063 22%
098 Samchess_JA_xb              A32 1  f 2035  67  67  84 46% 2064 14%
099 AdroitChess0.4 JA           A32 1 bf 2025  32  32 366 52% 2007 16%
100 Faile_1.44.JA_xb            A32 1  f 2023  68  67  72 55% 1987 32%
101 Sjeng_1.12.JA_xb            A32 1 Bf 2008  33  33 360 49% 2015 14%
102 Knightcap_3.7F.JA_xb        A32 1  f 2001  68  68  76 49% 2007 22%
103 Cilian_4.14.JA_xb           A32 1 bf 1986  32  32 362 59% 1916 23%
104 Gullydeckel_2.15.pl10.JA_xb A32 1  b 1984  37  37 280 45% 2023 16%
105 BikJump v1.8                A32 1 bf 1978  30  30 394 46% 2008 25%
106 Micromax_4.8W.JA_xb         A32 1  b 1968  35  35 278 49% 1981 28%
107 Soldat-III_0.178.JA_xb      A32 1  b 1967  37  37 278 53% 1948 14%
108 ZCT-0.3.2500                A32 1 bf 1967  33  33 366 51% 1957 12%
109 Fairymax_4.8V.JA_xb         A32 1  b 1966  35  35 280 46% 2001 28%
110 Leonidas_r83.JA_xb          A32 1 Bf 1954  33  33 358 48% 1967 18%
111 Mephisto Roma Turbo         W64 1  b 1938  80  84  56 37% 2042 16%
112 Colchess_8.0.JA_xb          A32 1 Bf 1938  33  33 348 55% 1889 24%
113 Smash 1.03 JA               A32 1 bf 1902  32  32 374 50% 1902 20%
114 Ecce rev. 508               A32 1 bf 1900  33  33 360 49% 1908 18%
115 MorphyChess_1.05.JA_xb      A32 1  b 1873  38  38 268 53% 1845 24%
116 Surprise_4.3.b13.JA_xb      A32 1  b 1872  34  34 316 45% 1905 22%
117 Claudia v. 0.5              A32 1  b 1861  36  36 306 53% 1839 17%
118 Sayuri 2016.04.09           A32 4 bf 1840  35  35 310 48% 1853 21%
119 Hoichess_0.12.1.JA_xb       A32 1 bf 1834  33  33 356 49% 1845 17%
120 Kitteneitor_060513.JA_xb    A32 1 Bf 1793  65  66  78 48% 1803 32%
121 Jester_0.84.JA_xb           A32 1 Bf 1758  71  71  72 48% 1754 26%
122 Tscp_1.8.1.AB_xb            A32 1 Bf 1757  35  35 332 55% 1683 20%
123 Minimardi_1.3.AB_xb         A32 1  b 1753  38  38 264 50% 1733 23%
124 Zzzzzz_3.5.1.JA_xb          A32 1 Bf 1746  34  34 328 52% 1705 27%
125 Colossus 4.0 100X           C64 1 bf 1731 240 214  10 80% 1356 20%
126 Rocinante 2.0 JA            A32 1 bf 1727  35  35 344 49% 1711 14%
127 Chenard_2015.08.15.JA_xb    A32 1 Bf 1694  37  37 324 51% 1635 14%
128 Mephisto Roma 68020 UCI     W64 1  b 1659 127 137  20 35% 1767 30%
129 Darky_0.5d.JA_xb            A32 1  b 1658  42  42 260 51% 1588 16%
130 Pulse 1.5-cpp               A32 1 bf 1633  35  35 352 53% 1546 31%
131 VIRUTOR CHESS 1.1.1         A32 1 bf 1586  39  40 344 57% 1450 16%
132 Mizar_3.0.JA_xb             A32 1  b 1491  49  49 252 63% 1288 13%
133 Chess for Android           A32 1 bf 1490  41  42 339 54% 1389 15%
134 Superpawn b108 JA           A32 1  b 1427  42  42 310 64% 1230 17%
135 Chess Titans                W64 1  f 1382 217 208   7 57% 1352 29%
136 Toledo_Nano_2010.JA_xb      A32 1  b 1223  45  45 252 50% 1184 28%
137 Trappy_Beowulf_2.0.JA_xb    A32 1 bf 1207  41  42 338 46% 1226 12%
138 Colossus 4.0                C64 1 bf 1196 175 193  14 36% 1295 14%
139 Xadreco_5.7.JA_xb           A32 1  b 1066  45  47 308 32% 1236 11%
140 Byak 8.10.14.JA             A32 1  b 1052  44  46 314 32% 1239 19%
141 Novag Secondo               TTC 1 bf  951 257  49   6 42%  992 17%
142 OliveChess 0.2.7            A32 1 Bf  718 197-177 308 11% 1292  3%
143 DanaSah 6.0 RND             A32 1 bf  438 471-458 252  2% 1271  3%

Rapidroid test platform:
* GT-N7100 1.6 * 4 + 256MB hash: All Android progs
* GT-N5105 1.6 * 4 + 256MB hash: All Android progs
* Codegen Novatab 1.4 * 4 + 256MB: Single thread Android progs,
* Polypad 1010IPS tablet 1.61 * 2 + 128MB: Single thread Android progs
* HTC Diam 528Mhz, 16MB hash: Windows Mobile
* i7 M620 2.67 Ghz dual + Arena 3.5 + 2GB hash: Windows 64
* iPhone5S A7 1.3 Ghz * 2: iOS progs
* DosBox 1.74: DOS progs
* WinVICE 2.24: Commodore-64 progs
* Messtiny UCI adapters or CB-Emu2014: Mephisto progs
* Openings: 20 ply Adam Hair or 16 ply TCEC, no Q exchange, +0.15 to +0.40
  eval by Stockfish and Komodo, depth 20 minimum, played twice both sides
* Repeating openings and twin games not allowed between two programs
* Tablebases off and pondering off
* Time control: 600+0 to 1800+5 (optional 1/10 to 1/30 for manual games)

Calibration:
* Based on 40 engines rated in CCRL 40/4
* 32 bit engines: Exynos 4412 = (Athlon X2 4600+) - 65 ELO
* 64 bit engines: Exynos 4412 = (Athlon X2 4600+) - 110 ELO
* Bayeselo offset = 2285 (Mean of ELO error vs target: 41.5)

Termination stats:
* W:39.8% D:26.5% B:33.6% (53.2% vs 46.8%)

Legend:
* T = threads
* tc= f (playes fixed time only), b (plays Fischer clock only), bf (plays both)
* O/S: A32=Android 32bit, W64=Windows 64bit, C64=Commodore 64, TTC=Tabletop, IOS=iPhone</code>

5 comments:

Alex said...

Gurcan, do you have all the openings from TCEC s9 in pgn file?

Gurcan Uckardes said...

No. I' must wait for the superfinal to do something. Anyways it's difficult to trim TCEC pgn's and it needs hours to obtain the refined pgn. I guess i'll release TCEC8 & 9 sooner or later.

Alex said...

Hi Gurcan.
Two days ago i bought ASUS ZenPad 8.0 64bit, asmFish doesn't work :(
Engine failed to start.. This whole thing about asmFish looks like fairy tale to me.

Gurcan Uckardes said...

So you confirm it's Atom 3580 with 64 bit Android, 64 bir kernel and linux popcnt build exits?

Alex said...

I sent you a photo, you know better than me.