March 26, 2016

RAPIDROID RELOADED: April-2016

For the first time since months, a Rapidroid release comes with no further updates to be introduced. Jim Ablett remained quiet lately. Besides, there have been only a few engine updates waiting in the queue to be ported to Android. Looks like it's a good opportunity for improving further with a new full round now.

I hope May-2016 release will welcome some more non-Android engines for more colors in the big picture.

Thanks to the revision of previous groupings in the database, below release does not only include updated engines but also hundreds of replayed games in order to reduce overall average gaps vs opponents. The draw ratio is now higher than before up to 26.2% even with less games. It's a good sign which indicates Rapidroid gets more accurate.

Please note that i've added a column to the list to indicate what time controls each engine can play. 

There are three types here: bf, b and f. 
"b" refers to blitz (meaning Fischer clock)
"f" refers to analyze mode or fixed time per move.
"bf" refers to compatibility with both.

As not all engines can use both, the experiment gets complex to maintain because each division may require two sub-tourneys under different time controls, which must be joined at the end. That also explains why the number of games can't be the same for all engines, even though i try hard to avoid gaps.

I still believe it's worth the effort. It's the only method to compare the strength of the engines which can never play each other.

The highlights of this release:
* UPDATED Arasan 18.2 to 18.3
* UPDATED Rodent 1.7 to II 0.8.7
* UPDATED Tucano 5.00 to 6.00
* DELETED Clubfoot for frequent early terminations
* DELETED Mini Rodent due to similarity with Rodent II

Rapidroid is calibrated using CCRL 40/4 ratings of 40 engines, converted to Exynos 4412, assuming that the latter performs 65 and 110 ELO lower than 32 and 64 bit engines of CCRL respectively.

Targets for next release:
* Introduce Excalibur LCD Express
* Introduce Senior Chess 1.81

BAYES RATINGS AFTER 16461 GAMES PLAYED BY 122 PROGRAMS
Rnk Name                     O/S T TC  Elo   +   - Gam Sco Oppo Dra
001 Stockfish 7              A32 4 bf 3341  38  36 332 85% 3068 29%
002 Komodo 9.3               A32 4 bf 3272  35  34 332 76% 3076 33%
003 Critter 1.6a             A32 4 bf 3131  30  30 340 57% 3089 46%
004 Sting SF 4.8.4 JA        A32 4 bf 3100  32  32 334 57% 3048 39%
005 Firenzina 2.4.1 xTreme   A32 4 bf 3098  30  30 336 52% 3084 49%
006 BlackMamba 2.0           A32 4 bf 3065  30  30 336 47% 3089 49%
007 Rybka 2.3.2a mp          W64 4 bf 3059 109 108  26 54% 3033 38%
008 Fritz 14                 A32 4 bf 3055  30  30 332 48% 3070 49%
009 Gull 3 x64 (syzygy)      A32 4 bf 3053  31  31 330 53% 3035 43%
010 Texel 1.05               A32 4 bf 3027  31  32 338 48% 3048 35%
011 Senpai 1.0               A32 4 bf 3001  32  32 334 49% 3006 37%
012 DeepSaros ver.2.3f       A32 4 bf 2995  32  32 330 50% 2997 37%
013 Hiarcs 13.71             IOS 2 bf 2969 121 114  26 65% 2859 23%
014 RobboLito 0.085e4l       A32 1 bf 2968  31  31 334 51% 2961 44%
015 IvanHoe 9.47c beta       A32 1 bf 2959  32  32 324 53% 2942 40%
016 Cheng 4.39               A32 4 bf 2926  32  32 330 43% 2981 38%
017 Arasan 18.3              A32 4 bf 2911  32  31 326 53% 2888 36%
018 Shredder 1.7.0           IOS 2  b 2907 114 113  24 54% 2889 42%
019 Hakkapeliitta 3.0        A32 1 bf 2894  32  32 328 49% 2906 34%
020 ExChess_7.88b.JA_xb.arm7 A32 4  b 2894  32  32 316 47% 2924 40%
021 Scorpio_2.7.7.JA_xb.arm7 A32 4  f 2893  36  36 280 56% 2849 30%
022 Gaviota v1.0-d           A32 4 bf 2875  32  32 336 42% 2932 32%
023 Grapefruit 1.0           A32 4 bf 2837  31  31 338 46% 2860 41%
024 DiscoCheck 5.2.1         A32 1 bf 2821  32  32 338 43% 2870 32%
025 Toga II 3.0              A32 1 bf 2820  32  31 320 53% 2801 37%
026 Deep Saros 0.9           A32 4 bf 2808  31  31 330 46% 2831 39%
027 Doch32 1.3.4 JA          A32 1  b 2776  32  32 320 52% 2762 37%
028 Fruit Reloaded 2.1       A32 1  b 2767  31  31 306 51% 2761 44%
029 Crafty_25.0.JA_xb.arm7   A32 1 bf 2756  32  32 314 53% 2735 35%
030 Deuterium v14.3.34.130   A32 1 bf 2755  31  31 340 48% 2770 39%
031 Bobcat 6.4b              A32 1 bf 2751  32  32 332 47% 2774 32%
032 Murka 3                  A32 1 bf 2750  30  30 346 48% 2762 38%
033 Chess Pro 2016.02        IOS 2 bf 2742 112 113  22 45% 2772 55%
034 GNU Chess 5.60           A32 1 bf 2734  32  32 320 49% 2737 34%
035 The King 3.50 x64        W64 1  b 2718  51  52 120 43% 2764 34%
036 Strelka 5                A32 1 bf 2705  33  33 314 51% 2699 29%
037 Rodent II 0.8.7          A32 1  b 2669  36  36 258 49% 2674 32%
038 RedQueen 1.1.98          A32 4 bf 2666  34  34 302 53% 2646 26%
039 Tucano_6.00.JA_xb.arm5   A32 1  f 2665  35  35 258 53% 2644 38%
040 CNVCS 1.2.0              IOS 2  f 2624 111 114  24 44% 2658 46%
041 Rhetoric 1.4.1           A32 1 bf 2621  33  33 304 53% 2600 31%
042 Bison 15.1               A32 1 bf 2593  34  34 308 49% 2602 29%
043 Alfil 12.10              A32 1 bf 2592  33  33 306 50% 2589 31%
044 Chess Genius 4.0.00      IOS 2 bf 2556 196 255   8 13% 2811 25%
045 Daydreamer 1.75 JA       A32 1 bf 2541  32  33 310 51% 2537 35%
046 Cheese 1.7               A32 1 bf 2530  34  34 308 42% 2588 29%
047 Rotor 0.8                A32 1 bf 2525  33  33 310 44% 2572 32%
048 Chess Genius 2.6.4       A32 1 bf 2517 224 239   4 38% 2566 75%
049 Fridolin 2.00            A32 4 bf 2505  32  32 316 53% 2488 30%
050 Glaurung Mainz           A32 1  b 2503  42  42 202 46% 2530 24%
051 GarboChess 3             A32 1 bf 2494  33  33 316 49% 2506 27%
052 Sloppy_0.23.JA_xb        A32 1  f 2489  33  33 304 53% 2464 31%
053 Danasah_5.07.JA_xb       A32 1  f 2470  35  35 296 50% 2465 25%
054 BBChess 1.3b JA          A32 4 bf 2464  32  32 322 50% 2461 28%
055 Dirty_030411.JA_xb       A32 1  f 2461  35  35 290 51% 2450 27%
056 Phalanx_XXIV.JA_xb.arm7  A32 1  f 2457  35  35 296 49% 2464 21%
057 Maverick 1.5 arm         A32 1 bf 2444  33  33 320 50% 2441 29%
058 Pawny_1.0.JA_uci2xb      A32 1  f 2423  33  33 302 52% 2406 31%
059 GreKo_12.5.JA_xb         A32 1  f 2422  34  34 304 53% 2400 25%
060 Pepito v1.59             A32 1 bf 2419  32  32 318 52% 2406 33%
061 BetsabeII_1.47.JA_xb     A32 1  f 2393  36  36 294 49% 2403 20%
062 Ifrit_m1.8.JA_uci2xb     A32 1  f 2379  34  34 296 53% 2353 26%
063 Diablo 0.5.1b JA         A32 1 bf 2355  33  33 322 52% 2334 25%
064 Typhoon_1.0.r358.JA_xb   A32 1  f 2354  34  34 310 56% 2309 23%
065 Olithink_5.3.2.JA_xb     A32 1  f 2344  34  34 310 53% 2316 24%
066 zurichess geneva         A32 1  b 2341  51  51 138 47% 2361 25%
067 Amy_0.8.JA_xb            A32 1 bf 2308  34  34 324 51% 2296 20%
068 Bitfoot 150922.JA        A32 1 bf 2292  35  35 324 58% 2224 16%
069 TJchess 1.1U             A32 1 bf 2285  33  33 330 49% 2290 23%
070 Myrddin_0.86.JA_xb       A32 1  f 2272  36  36 302 46% 2293 21%
071 Natwarlal_0.14.JA_xb     A32 1  f 2262  34  34 312 49% 2270 24%
072 MangoPaola_1.1.JA_xb     A32 1  f 2254  35  35 314 48% 2267 21%
073 Sungorus 1.4 JA          A32 1  f 2250  34  34 312 50% 2251 22%
074 KmtChess_1.21.JA_xb      A32 1  f 2203  34  34 312 50% 2205 23%
075 Rattate_Nosferatu.JA_xb  A32 1  f 2197  35  35 316 49% 2202 17%
076 NGplay_9.86.JA_xb        A32 1  f 2190  34  34 310 52% 2176 23%
077 Scidlet_2.61b2.JA_xb     A32 1  f 2181  35  35 312 48% 2193 14%
078 Resp_0.19.JA_xb          A32 1 bf 2162  34  34 326 49% 2165 19%
079 Floyd 0.7 JA             A32 1 bf 2108  37  36 322 58% 2040 13%
080 DanChess_1.04.JA_xb      A32 1  f 2104  36  36 300 52% 2087 17%
081 Kurt 0.9.2.2 JA          A32 1 bf 2069  35  35 316 48% 2089 18%
082 Robocide 28.12.14.JA     A32 1 bf 2059  33  33 342 53% 2039 18%
083 Witz_Alpha21.JA_xb       A32 1  f 2037  35  35 304 47% 2058 20%
084 Woodpecker_2.11.JA_xb    A32 1  f 2019  36  36 304 52% 2000 15%
085 Knightcap_3.7F.JA_xb     A32 1  f 2004  36  36 290 52% 1987 18%
086 AdroitChess0.4 JA        A32 1 bf 1991  35  35 324 49% 1995 17%
087 BikJump v1.8             A32 1 bf 1986  33  33 342 48% 2004 23%
088 Sjeng_1.12.JA_xb         A32 1  f 1976  36  36 298 53% 1957 16%
089 Leonidas_r83.JA_xb       A32 1  f 1951  36  36 298 48% 1968 20%
090 Faile_1.44.JA_xb         A32 1  f 1951  35  34 288 52% 1931 31%
091 ZCT-0.3.2500             A32 1 bf 1942  35  36 314 44% 1992 13%
092 Gunborg_1.39.JA_uci2xb   A32 1  f 1940  37  37 278 55% 1900 22%
093 Samchess_JA_xb           A32 1  f 1925  36  36 296 46% 1954 18%
094 Mephisto Roma Turbo      W64 1  b 1921  79  83  56 37% 2023 16%
095 Cilian_4.14.JA_xb        A32 1 bf 1918  34  34 318 53% 1888 25%
096 Ecce rev. 508            A32 1 bf 1889  35  35 320 46% 1923 18%
097 Sayuri 2015.10.01        A32 4 bf 1870  36  36 318 54% 1822 14%
098 Claudia v. 0.5           A32 1  b 1845  54  53 148 53% 1819 14%
099 Smash 1.03 JA            A32 1 bf 1837  35  35 328 48% 1855 15%
100 Colchess_8.0.JA_xb       A32 1  f 1837  37  37 270 51% 1817 24%
101 Surprise_4.3.b13.JA_xb   A32 1  b 1834  49  49 160 49% 1841 16%
102 Zzzzzz_3.5.1.JA_xb       A32 1  f 1745  37  37 260 49% 1727 31%
103 Hoichess_0.12.1.JA_xb    A32 1 bf 1739  35  36 310 48% 1742 20%
104 Chenard_2015.08.15.JA_xb A32 1  f 1733  42  42 254 48% 1713  9%
105 Kitteneitor_060513.JA_xb A32 1  f 1718  37  38 250 47% 1710 35%
106 Jester_0.84.JA_xb        A32 1  f 1711  42  42 240 50% 1665 13%
107 Tscp_1.8.1.AB_xb         A32 1  f 1710  40  40 256 47% 1712 17%
108 Colossus 4.0 100X        C64 1 bf 1708 237 207  10 80% 1331 20%
109 Rocinante 2.0 JA         A32 1 bf 1697  37  37 306 50% 1658 18%
110 Pulse 1.5-cpp            A32 1 bf 1651  36  36 322 55% 1546 30%
111 Mephisto Roma 68020 UCI  W64 1  b 1642 124 134  20 35% 1744 30%
112 VIRUTOR CHESS 1.1.1      A32 1 bf 1523  41  41 320 55% 1427 11%
113 Superpawn b108 JA        A32 1  b 1497  46  46 216 58% 1423 20%
114 K2 v.075                 A32 1  b 1474  51  51 208 57% 1402  6%
115 Chess for Android        A32 1 bf 1464  41  41 315 52% 1402 14%
116 Chess Titans             W64 1  f 1370 212 204   7 57% 1340 29%
117 Trappy_Beowulf_2.0.JA_xb A32 1 bf 1231  44  45 310 37% 1348  9%
118 Colossus 4.0             C64 1 bf 1205 170 190  14 36% 1286 14%
119 Byak 8.10.14.JA          A32 1  b 1164  47  49 228 25% 1404 18%
120 Xadreco_5.7.JA_xb        A32 1  b 1051  54  59 222 14% 1425 10%
121 Novag Secondo            TTC 1 bf  980 272  47   6 42%  999 17%
122 OliveChess 0.2.7         A32 1  f  602 367-324 180  0% 1530  0%

Rapidroid test platform:
* GT-N7100 1.6 * 4 + 256MB hash: All Android progs
* GT-N5105 1.6 * 4 + 256MB hash: All Android progs
* Codegen Novatab 1.4 * 4 + 256MB: Single thread Android progs,
* Polypad 1010IPS tablet 1.61 * 2 + 128MB: Single thread Android progs
* HTC Diam 528Mhz, 16MB hash: Windows Mobile
* i7 M620 2.67 Ghz dual + Arena 3.5 + 2GB hash: Windows 64
* iPhone5S A7 1.3 Ghz * 2: iOS progs
* DosBox 1.74: DOS progs
* WinVICE 2.24: Commodore-64 progs
* Messtiny UCI adapters or CB-Emu2014: Mephisto progs
* Openings: 20 ply from Adam Hair or 16 ply from TCEC, no Q exchange, +0.15 to +0.40 eval by Stockfish and Komodo, depth 20 minimum, played twice both sides
* Repeating openings and twin games not allowed between two programs
* Tablebases and pondering off
* Time control: 10 to 30 sec/move or 600+0 to 1800+5 or closest known by both programs.

Calibration:
* Based on 42 engines rated in CCRL 40/4
* 32 bit engines: Exynos 4412 = (Athlon X2 4600+) - 65 ELO
* 64 bit engines: Exynos 4412 = (Athlon X2 4600+) - 110 ELO
* Bayeselo offset = 2315 (Mean of ELO error vs target: 37.59)

6 comments:

  1. Gurcan,I don't know why the website is unavailable Jim Ablet?He moved or closed project?

    ReplyDelete
    Replies
    1. I have no idea. It seems the website hosting service is suspended for a while. I guess Jim will be back soon. Meanwhile there's a chance for me to introduce some more manual games!

      Delete
  2. Look the ccrl rating Komodo 9.4 is on top

    ReplyDelete
    Replies
    1. I'm ready and willing to rate 9.4 for Android as well. The only problem: not released yet.

      Delete
  3. Hi guys! New Komodo 9.4 is out!

    ReplyDelete
  4. yes komodo 9.4.2 is out

    ReplyDelete