HAL9000

HAL9000
"It just isn't conceivable that you can design a program strong enough to beat players like me."

August 6, 2016

RAPIDROID RELOADED: August-2016 with K10, SF160716, Texel 1.06

In July, i've managed to replay rounds 7, 8 and 9 out of 19 total, including a few but major engine updates at the top.

Unfortunately any non-cumulative rating experiment suffers from deleted games in order to avoid rating distortion. Therefore, Rapidroid is not like CCRL but ressembles rather to IPON. Since only the latest versions are included, the last one comes in and flushes out the previous one completely. That's what slows down the progress.

The number of games played by Komodo, Stockfish and Texel should only give a rough idea for the moment. It's not yet clear enough who's gonna come number 1. But at least, one thing is sure: K10 worked way better than K9.42.

Regarding the new Texel, half of the games played didn't yet reveal a boost.

The highlights of this release:
* ADDED Ethereal 7.70 (#70 with 2341 ELO)
* UPDATED Komodo 9.42 to 10
* UPDATED Stockfish 7 to 2016-07-16
* UPDATED Texel 1.05 to 1.06

Targets for next release:
* Update more  games according to corrected time control management of Chess for Android, concerning rounds 10 to 12 out of 19.


BAYES RATINGS AFTER 18559 GAMES PLAYED BY 143 PROGRAMS
Rnk Name                        O/S T TC  Elo   +   - Gam Sco Oppo Dra
001 Komodo 10                   A32 4 bf 3354  58  53 164 84% 3072 24%
002 Stockfish 2016-07-16        A32 4 bf 3351  57  52 164 85% 3073 27%
003 Critter 1.6a                A32 4 bf 3105  32  32 298 58% 3062 48%
004 Firenzina 2.4.1 xTreme      A32 4 bf 3079  32  32 300 54% 3059 45%
005 Sting SF 4.8.4 JA           A32 4 bf 3061  33  33 306 58% 3013 38%
006 Rybka 2.3.2a mp             W64 4 bf 3059 118 115  22 57% 3016 41%
007 Chiron 3                    A32 4 bf 3051  45  45 164 50% 3057 41%
008 BlackMamba 2.0              A32 4 bf 3047  32  32 294 48% 3071 52%
009 Gull 3 x64 (syzygy)         A32 4 bf 3046  33  33 298 53% 3024 42%
010 Fritz 14                    A32 4 bf 3025  32  32 304 52% 3014 48%
011 Texel 1.06                  A32 4 bf 3009  44  44 168 43% 3062 40%
012 Hiarcs 13.71                IOS 2 bf 2983 129 118  24 71% 2836 25%
013 DeepSaros ver.2.3f          A32 4 bf 2977  31  31 326 50% 2985 44%
014 Senpai 1.0                  A32 4 bf 2971  31  31 326 52% 2960 40%
015 RobboLito 0.085e4l          A32 1 bf 2963  30  30 344 55% 2930 44%
016 IvanHoe 9.47c beta          A32 1 bf 2951  32  32 328 57% 2904 39%
017 Cheng 4.39                  A32 4 bf 2927  31  31 338 51% 2920 39%
018 Arasan 18.3                 A32 4 bf 2897  30  30 350 54% 2866 39%
019 Shredder 1.7.0              IOS 2  b 2894 117 116  22 55% 2871 45%
020 Scorpio_2.7.7.JA_xb.arm7    A32 4 Bf 2886  32  32 330 51% 2877 30%
021 Gaviota v1.0-d              A32 4 bf 2884  31  31 354 49% 2892 33%
022 ExChess_7.88b.JA_xb.arm7    A32 4  b 2882  31  31 330 47% 2901 40%
023 Hakkapeliitta 3.0           A32 1 bf 2876  31  31 342 49% 2883 35%
024 Grapefruit 1.0              A32 4 bf 2832  29  29 368 50% 2833 39%
025 Toga II 3.0                 A32 1 bf 2812  30  30 352 48% 2825 39%
026 DiscoCheck 5.2.1            A32 1 bf 2796  31  31 364 45% 2834 31%
027 Deep Saros 0.9              A32 4 bf 2792  29  29 362 47% 2811 43%
028 Doch32 1.3.4 JA             A32 1  b 2771  30  30 360 51% 2763 37%
029 Crafty_25.0.JA_xb.arm7      A32 1 bf 2758  30  30 350 53% 2734 37%
030 Murka 3                     A32 1 bf 2756  29  29 380 47% 2779 38%
031 Fruit Reloaded 2.1          A32 1  b 2754  29  29 364 48% 2760 39%
032 Bobcat 6.4b                 A32 1 bf 2752  30  30 360 51% 2743 34%
033 Deuterium v14.3.34.130      A32 1 bf 2742  30  30 374 52% 2727 33%
034 Chess Pro 2016.02           IOS 2 bf 2739 112 113  22 45% 2768 55%
035 The King 3.50 x64           W64 1  b 2714  53  53 114 42% 2768 34%
036 GNU Chess 5.60              A32 1 bf 2711  31  31 356 46% 2735 28%
037 Strelka 5                   A32 1 bf 2697  31  31 350 52% 2681 34%
038 Rodent II 0.8.7             A32 1  b 2688  33  33 314 55% 2654 32%
039 Tucano_6.00.JA_xb.arm5      A32 1 Bf 2660  32  32 318 52% 2641 39%
040 Rhetoric 1.4.1              A32 1 bf 2642  35  34 296 53% 2622 27%
041 RedQueen 1.1.98             A32 4 bf 2634  32  32 344 48% 2645 27%
042 CNVCS 1.2.0                 IOS 2  f 2623 111 114  24 44% 2659 46%
043 Pawny 1.2                   A32 1 Bf 2617  43  43 180 53% 2593 31%
044 Bison 15.1                  A32 1 bf 2595  32  32 336 51% 2586 29%
045 Alfil 12.10                 A32 1 bf 2583  32  32 340 48% 2598 29%
046 Rodin v8.00                 A32 1 bf 2579  44  44 180 47% 2608 27%
047 Cheese 1.8                  A32 1 bf 2558  32  32 336 46% 2589 27%
048 Chess Genius 4.0.00         IOS 2 bf 2555 196 255   8 13% 2810 25%
049 Daydreamer 1.75 JA          A32 1 bf 2554  32  32 326 46% 2579 35%
050 Glaurung Mainz              A32 1  b 2549  35  34 292 52% 2536 29%
051 Rotor 0.8                   A32 1 bf 2528  32  32 338 45% 2561 31%
052 Chess Genius 2.6.4          A32 1 bf 2520 224 239   4 38% 2568 75%
053 Sloppy_0.23.JA_xb           A32 1 Bf 2519  33  33 316 49% 2530 28%
054 Fridolin 2.00               A32 4 bf 2507  32  32 332 50% 2505 30%
055 GarboChess 3                A32 1 bf 2504  31  31 334 49% 2508 31%
056 Phalanx_XXIV.JA_xb.arm7     A32 1 Bf 2500  33  33 318 54% 2471 26%
057 Dirty_030411.JA_xb          A32 1 bf 2479  34  33 312 54% 2444 28%
058 Maverick 1.5 arm            A32 1 bf 2475  33  32 330 58% 2417 28%
059 BBChess 1.3b JA             A32 4 bf 2470  32  32 328 50% 2464 31%
060 GreKo_2015.JA_xb            A32 1 bf 2464  43  43 180 47% 2488 27%
061 DanaSah 6.1                 A32 1 bf 2456  43  43 180 43% 2504 31%
062 Pepito v1.59                A32 1 bf 2438  32  32 330 52% 2421 31%
063 K2 v.083                    A32 1  b 2428  43  43 178 52% 2417 32%
064 BetsabeII_1.47.JA_xb        A32 1 Bf 2406  34  34 320 52% 2392 24%
065 Ifrit_m1.8.JA_uci2xb        A32 1 Bf 2392  33  33 320 53% 2369 23%
066 Laser_0.2beta.JA_uci2xb     A32 1  b 2374  43  43 180 43% 2418 31%
067 Bruja_1.9.1.JA_xb           A32 1  b 2366  47  48 180 38% 2462 13%
068 zurichess geneva            A32 1  b 2360  38  38 252 53% 2339 26%
069 Typhoon_1.0.r358.JA_xb      A32 1  f 2347  49  48 160 57% 2295 19%
070 Ethereal 7.70               A32 1  b 2341  47  47 180 58% 2271 16%
071 Diablo 0.5.1b JA            A32 1 bf 2329  32  32 348 49% 2335 25%
072 Olithink_5.3.2.JA_xb        A32 1 Bf 2323  33  33 330 54% 2290 24%
073 Amy_0.8.JA_xb               A32 1 bf 2313  34  34 346 56% 2264 18%
074 Myrddin_0.86.JA_xb          A32 1 Bf 2287  34  34 334 50% 2281 21%
075 MangoPaola_1.1.JA_xb        A32 1 Bf 2263  49  48 162 53% 2236 20%
076 TJchess 1.1U                A32 1 bf 2263  33  33 344 43% 2313 21%
077 Sungorus 1.4 JA             A32 1 Bf 2255  46  45 174 56% 2210 21%
078 Natwarlal_0.14.JA_xb        A32 1 Bf 2252  32  32 348 48% 2265 24%
079 Bitfoot 150922.JA           A32 1 bf 2236  33  33 356 52% 2223 17%
080 Rattate_Nosferatu.JA_xb     A32 1 Bf 2220  33  32 360 54% 2191 18%
081 Beowulf_2.4a.JA_xb          A32 1  b 2198  45  45 180 48% 2219 25%
082 KmtChess_1.21.JA_xb         A32 1 Bf 2191  32  32 350 49% 2199 23%
083 Floyd 0.7 JA                A32 1 bf 2173  33  33 364 54% 2136 15%
084 Scidlet_2.61b2.JA_xb        A32 1 Bf 2167  32  32 360 49% 2177 18%
085 Resp_0.19.JA_xb             A32 1 bf 2165  31  32 366 48% 2182 22%
086 Gk_0.90.JA_xb               A32 1  b 2156  47  46 178 60% 2079 19%
087 Romichess_p3k.JA_xb         A32 1  b 2122  46  47 180 43% 2182 17%
088 Kurt 0.9.2.2 JA             A32 1 bf 2120  32  32 372 48% 2138 18%
089 DanChess_1.04.JA_xb         A32 1  f 2115  47  46 176 55% 2075 18%
090 NGplay_9.86.JA_xb           A32 1 Bf 2114  32  33 352 45% 2149 23%
091 Cinnamon 2.0                A32 4 bf 2109  34  34 318 53% 2088 23%
092 Robocide 28.12.14.JA        A32 1 bf 2091  31  31 392 58% 2031 19%
093 AnkanChess 0.0              A32 1  b 2087  46  45 178 55% 2051 19%
094 Sunsetter_C10.JA_xb         A32 1  b 2074  45  44 180 51% 2065 24%
095 Woodpecker_2.11.JA_xb       A32 1  f 2046  47  47 174 51% 2036 14%
096 Witz_Alpha21.JA_xb          A32 1  f 2040  45  45 180 47% 2066 18%
097 Gunborg_1.39.JA_uci2xb      A32 1 Bf 2037  33  33 342 47% 2056 23%
098 Knightcap_3.7F.JA_xb        A32 1  f 2036  48  48 160 53% 2015 18%
099 AdroitChess0.4 JA           A32 1 bf 2031  32  33 364 50% 2031 16%
100 Sjeng_1.12.JA_xb            A32 1 Bf 2023  33  33 342 51% 2015 16%
101 Faile_1.44.JA_xb            A32 1  f 1984  46  46 162 49% 1989 31%
102 BikJump v1.8                A32 1 bf 1978  31  31 392 42% 2038 23%
103 Soldat-III_0.178.JA_xb      A32 1  b 1976  46  45 180 54% 1947 15%
104 Micromax_4.8W.JA_xb         A32 1  b 1974  44  44 178 51% 1972 26%
105 Samchess_JA_xb              A32 1  f 1971  48  49 166 49% 1981 17%
106 Cilian_4.14.JA_xb           A32 1 bf 1969  33  33 350 57% 1915 24%
107 Leonidas_r83.JA_xb          A32 1 Bf 1964  34  34 340 50% 1964 19%
108 Gullydeckel_2.15.pl10.JA_xb A32 1  b 1959  46  47 180 42% 2020 15%
109 ZCT-0.3.2500                A32 1 bf 1959  33  34 360 47% 1980 12%
110 Fairymax_4.8V.JA_xb         A32 1  b 1957  44  45 180 42% 2023 26%
111 Mephisto Roma Turbo         W64 1  b 1932  80  84  56 37% 2035 16%
112 Smash 1.03 JA               A32 1 bf 1919  33  33 366 54% 1892 18%
113 Ecce rev. 508               A32 1 bf 1901  33  33 356 47% 1924 16%
114 Colchess_8.0.JA_xb          A32 1 Bf 1891  34  34 320 51% 1877 22%
115 Surprise_4.3.b13.JA_xb      A32 1  b 1877  38  38 260 46% 1900 20%
116 Claudia v. 0.5              A32 1  b 1875  40  40 254 49% 1881 16%
117 MorphyChess_1.05.JA_xb      A32 1  b 1863  46  46 174 50% 1861 24%
118 Sayuri 2016.04.09           A32 4 bf 1845  36  36 302 47% 1864 21%
119 Hoichess_0.12.1.JA_xb       A32 1 bf 1827  33  33 344 51% 1811 18%
120 Kitteneitor_060513.JA_xb    A32 1 Bf 1770  49  49 142 50% 1747 35%
121 Zzzzzz_3.5.1.JA_xb          A32 1 Bf 1763  34  34 314 52% 1723 28%
122 Jester_0.84.JA_xb           A32 1 Bf 1762  56  56 130 54% 1682 20%
123 Tscp_1.8.1.AB_xb            A32 1 Bf 1761  34  34 318 49% 1766 21%
124 Minimardi_1.3.AB_xb         A32 1  b 1746  48  48 172 50% 1719 22%
125 Colossus 4.0 100X           C64 1 bf 1740 238 210  10 80% 1383 20%
126 Rocinante 2.0 JA            A32 1 bf 1738  35  35 336 52% 1695 17%
127 Chenard_2015.08.15.JA_xb    A32 1 Bf 1723  37  38 312 50% 1686 13%
128 Mephisto Roma 68020 UCI     W64 1  b 1676 127 137  20 35% 1784 30%
129 Pulse 1.5-cpp               A32 1 bf 1650  35  36 350 55% 1550 29%
130 Darky_0.5d.JA_xb            A32 1  b 1650  50  51 170 45% 1643 16%
131 VIRUTOR CHESS 1.1.1         A32 1 bf 1603  39  40 334 55% 1502 15%
132 Mizar_3.0.JA_xb             A32 1  b 1497  60  59 162 67% 1257 14%
133 Chess for Android           A32 1 bf 1496  42  42 323 55% 1396 15%
134 Superpawn b108 JA           A32 1  b 1456  43  43 272 59% 1331 19%
135 Chess Titans                W64 1  f 1406 216 207   7 57% 1378 29%
136 Toledo_Nano_2010.JA_xb      A32 1  b 1271  54  55 162 51% 1216 30%
137 Trappy_Beowulf_2.0.JA_xb    A32 1 bf 1242  42  43 322 43% 1296 13%
138 Colossus 4.0                C64 1 bf 1229 172 191  14 36% 1327 14%
139 Byak 8.10.14.JA             A32 1  b 1132  44  46 276 31% 1309 22%
140 Xadreco_5.7.JA_xb           A32 1  b 1108  47  49 270 29% 1311 13%
141 Novag Secondo               TTC 1 bf 1008 247 102   6 42% 1045 17%
142 OliveChess 0.2.7            A32 1 Bf  760 167-136 266  8% 1384  2%
143 DanaSah 6.0 RND             A32 1 bf  493 424-403 162  2% 1302  3%

Rapidroid test platform:
* GT-N7100 1.6 * 4 + 256MB hash: All Android progs
* GT-N5105 1.6 * 4 + 256MB hash: All Android progs
* Codegen Novatab 1.4 * 4 + 256MB: Single thread Android progs,
* Polypad 1010IPS tablet 1.61 * 2 + 128MB: Single thread Android progs
* HTC Diam 528Mhz, 16MB hash: Windows Mobile
* i7 M620 2.67 Ghz dual + Arena 3.5 + 2GB hash: Windows 64
* iPhone5S A7 1.3 Ghz * 2: iOS progs
* DosBox 1.74: DOS progs
* WinVICE 2.24: Commodore-64 progs
* Messtiny UCI adapters or CB-Emu2014: Mephisto progs
* Openings: 20 ply Adam Hair or 16 ply TCEC, no Q exchange, +0.15 to +0.40
eval by Stockfish and Komodo, depth 20 minimum, played twice both sides
* Repeating openings and twin games not allowed between two programs
* Tablebases off and pondering off
* Time control: 600+0 to 1800+5 (optional 1/10 to 1/30 for manual games)

Calibration:
* Based on 39 engines rated in CCRL 40/4
* 32 bit engines: Exynos 4412 = (Athlon X2 4600+) - 65 ELO
* 64 bit engines: Exynos 4412 = (Athlon X2 4600+) - 110 ELO
* Bayeselo offset = 2285 (Mean of ELO error vs target: 41.56)

Termination stats:
* W:39.9% D:26.7% B:33.4% (53.2% vs 46.8%)

Legend:
* T = threads
* tc= f (playes fixed time only), b (plays Fischer clock only), bf (plays both)
* O/S: A32=Android 32bit, W64=Windows 64bit, C64=Commodore 64, TTC=Tabletop, IOS=iPhone

8 comments:

stvs said...

great work,btw are you sure the p.o 16-7-16 is the best sf dv?
because i tested the 3 last devs and the 26-6-16 is the best.
26-6-16 vs 16-7-16 p.o 57-43

Rahul said...

What is the best setting for komodo10 on android mobile 32-bit. Komodo always beaten by stockfish. Please tell me

Unknown said...

Hi Gurcan. How are you? :-)
Couple questions.
1) Did you made tournament, between SF 2016-07-16/12-06-16/16-07-16?
2) If you did, can you post the results? I'm very curious, why you picked 2016-07-16??

B.t.w. Mobialia Chess https://play.google.com/store/apps/details?id=com.alonsoruibal.chessdroid contains a very good engine Carballo Chess Engine v1.5.
Can somebody find it?

Alex said...

Sorry, tournament between SF 2016-07-16/12-06-16/26-06-16?

Unknown said...

In reply to questions about the last Stockfish development versions: http://chesstroid.blogspot.com/2016/08/stockfish-dev-20160626-vs-stockfish-dev_7.html

Unknown said...

it's not unusual to see SF beating K10. Komodo handles "other engines" not worse than SF but it seems it has some kind of weakness vs SF. Especially on Android, K9.3 and K9.42 are performing bad against SF7 and even SF6!

Unknown said...

You may tweak the comtempt factor to refrain Komodo from forcing too much in equal positions. And Komodo certainly needs more than bullet time controls...

Unknown said...

Alex i've took a look on Carballo. There's no binary to strip out. There's no separate release for Android either. I didn't communicate with the author bearing in mind that the Mobialia app is probably a constraint for a standalone uci binary. However, you can ask him in direct of course. The full force engine may be only around 2300 elo though.