将棋ソフトの棋力計測 (試作品)
実は以前投稿した以下の記事について、初級者用以上のソフトについてもほぼ同様の手法により棋力の測定を試みていました。
手法の面で異なる点は、ソフトRとの関係をBonanza6 D1だけでなく技巧も用いて計算しようとしたことが挙げられます。また、対象ソフト数のみならず相互の対局数も増やしています。
ただ、たとえば技巧のレートが元にした「コンピュータ将棋 まとめサイト」のものより高めに出る傾向がある点など、やや疑義のある結果が含まれます。また、前述の記事の趣旨は「線が無いところにとりあえず線を引いてみる」という類のものであり多少荒くても問題ないところはありますが、今回対象とした棋力帯はそうではないというところに怖さがあり、公開を躊躇っていました。
しかし、数万回におよぶ対局結果をお蔵入りにしてしまうのも勿体無いと思い、思い切って公開してみることにします。
対局時期は2022年1月下旬～3月中旬ごろであるため、以降のソフトウェアのアップデートにより棋力が変わっている可能性があります。また、上記記事の手法では24レートと81レートの高段域の変換で疑義がありましたが、対象ソフトが少ないため特に見直すことなくそのまま使用しています。
なお、uuunuuun Lv*とはuuunuuun氏が24レートとソフトレートの変換を行うために用意したソフトで、「まとめサイト」のレート表では「Lv*(24R****)」などと表示されているものです。
| ソフト名 | ソフトR | 24R | 24段級 | 81R | 81段級 |
| Gikou 2 (v2.0.2) D8 | 2,567 | 2,825 | 七段 | 2,349 | 七段 |
| Bonanza 6.0 D7 | 2,245 | 2,430 | 五段 | 2,198 | 五段 |
| Gikou 2 (v2.0.2) D3 | 2,021 | 2,115 | 四段 | 2,078 | 四段 |
| ぴよ将棋w Lv30 ピヨ幸 (R1650 三段＋) | 2,003 | 2,088 | 三段 | 2,067 | 四段 |
| uuunuuun Lv2 | 1,939 | 1,992 | 三段 | 2,030 | 四段 |
| ぴよ将棋w Lv27 ひよ花 (R1470 三段) | 1,931 | 1,980 | 三段 | 2,026 | 四段 |
| ぴよ将棋w Lv25 ひよ生 (R1350 二段＋) | 1,870 | 1,885 | 二段 | 1,989 | 四段 |
| きのあ将棋 ブラウザ版 郷谷さん *まじめ | 1,861 | 1,871 | 二段 | 1,984 | 四段 |
| 将皇(WebGL版) レベル6 | 1,844 | 1,844 | 二段 | 1,974 | 四段 |
| きのあ将棋 ブラウザ版 テストロボ 強さ200 | 1,843 | 1,843 | 二段 | 1,973 | 四段 |
| 将皇(WebGL版) レベル5 | 1,815 | 1,797 | 二段 | 1,956 | 四段 |
| uuunuuun Lv2a | 1,804 | 1,779 | 二段 | 1,949 | 三段 |
| Bonanza 6.0 D4 | 1,788 | 1,754 | 二段 | 1,939 | 三段 |
| きのあ将棋 ブラウザ版 郷谷さん | 1,587 | 1,414 | ２級 | 1,809 | 三段 |
| ぴよ将棋w Lv22 ピヨ丸 (R1170 初段＋) | 1,579 | 1,399 | ２級 | 1,804 | 三段 |
| Gikou 2 (v2.0.2) D1 | 1,544 | 1,337 | ３級 | 1,780 | 二段 |
| 将皇(WebGL版) レベル4 | 1,543 | 1,336 | ３級 | 1,779 | 二段 |
| きのあ将棋 ブラウザ版 ロレンツィオ | 1,543 | 1,335 | ３級 | 1,779 | 二段 |
| きのあ将棋 ブラウザ版 揖斐 才蔵 | 1,540 | 1,330 | ３級 | 1,777 | 二段 |
| uuunuuun Lv1 | 1,528 | 1,309 | ３級 | 1,769 | 二段 |
| きのあ将棋 ブラウザ版 宇氏 みう香 | 1,525 | 1,303 | ３級 | 1,767 | 二段 |
| きのあ将棋 ブラウザ版 あひるがあがあじごく | 1,518 | 1,290 | ３級 | 1,762 | 二段 |
| きのあ将棋 ブラウザ版 沙流 紀子 | 1,474 | 1,210 | ４級 | 1,731 | 二段 |
| 将皇(WebGL版) レベル3 | 1,455 | 1,176 | ４級 | 1,718 | 二段 |
| きのあ将棋 ブラウザ版 ナカビーⅡ世 | 1,435 | 1,138 | ５級 | 1,704 | 二段 |
| ぴよ将棋w Lv20 ピヨ馬 (R1050 初段) | 1,411 | 1,094 | ５級 | 1,687 | 二段 |
| きのあ将棋 ブラウザ版 テストロボ 強さ20 | 1,397 | 1,069 | ５級 | 1,677 | 二段 |
| uuunuuun Lv1a | 1,385 | 1,045 | ６級 | 1,668 | 二段 |
| 将皇(WebGL版) レベル2 | 1,331 | 943 | ７級 | 1,629 | 初段 |
| Bonanza 6.0 D2 | 1,325 | 931 | ７級 | 1,624 | 初段 |
| きのあ将棋 ブラウザ版 揖斐 才蔵 *ゆとり | 1,268 | 820 | ８級 | 1,582 | 初段 |
| ぴよ将棋w Lv17 ひよえ (R870 2級) | 1,250 | 784 | ８級 | 1,568 | 初段 |
| きのあ将棋 ブラウザ版 郷谷さん *ゆとり | 1,250 | 784 | ８級 | 1,568 | 初段 |
| きのあ将棋 ブラウザ版 あひるがあがあじごく *ゆとり | 1,245 | 774 | ８級 | 1,564 | 初段 |
| きのあ将棋 ブラウザ版 宇氏 みう香 *ゆとり | 1,217 | 719 | ９級 | 1,543 | 初段 |
| きのあ将棋 ブラウザ版 ロレンツィオ *ゆとり | 1,203 | 691 | ９級 | 1,532 | 初段 |
| Bonanza 6.0 D1 | 1,101 | 483 | 11級 | 1,453 | １級 |
| きのあ将棋 ブラウザ版 ナカビーⅡ世 *ゆとり | 1,099 | 479 | 11級 | 1,451 | １級 |
| きのあ将棋 ブラウザ版 沙流 紀子 *ゆとり | 1,095 | 471 | 11級 | 1,448 | １級 |
| 将皇(WebGL版) レベル1 | 1,088 | 456 | 11級 | 1,442 | １級 |
| ぴよ将棋w Lv15 ひよん (R750 3級) | 1,044 | 364 | 12級 | 1,407 | ２級 |
| きのあ将棋 ブラウザ版 クッキー | 993 | 256 | 13級 | 1,366 | ２級 |
| Lesserkaikai Lv7 | 990 | 249 | 14級 | 1,363 | ２級 |
| きのあ将棋 ブラウザ版 テストロボ 強さ2 | 986 | 241 | 14級 | 1,360 | ２級 |
| BlunderXX2012 D1 | 915 | #N/A | #N/A | 1,337 | ３級 |
| きのあ将棋 ブラウザ版 空 だめ子 | 845 | #N/A | #N/A | 1,279 | ４級 |
| Lesserkaikai Lv6 | 791 | #N/A | #N/A | 1,234 | ５級 |
| 将皇(WebGL版) レベル0 | 734 | #N/A | #N/A | 1,187 | ６級 |
| ぴよ将棋w Lv12 ピヨ介 (R570 6級) | 666 | #N/A | #N/A | 1,131 | ７級 |
| ハム将棋 | 615 | #N/A | #N/A | 1,089 | ８級 |
| Lesserkaikai Lv5 | 572 | #N/A | #N/A | 1,054 | ８級 |
| きのあ将棋 ブラウザ版 のゆぽん(偶数日) | 421 | #N/A | #N/A | 929 | 10級 |
| ぴよ将棋w Lv10 ピヨ太 (R450 8級) | 373 | #N/A | #N/A | 889 | 11級 |
| きのあ将棋 ブラウザ版 のゆぽん(奇数日) | 343 | #N/A | #N/A | 864 | 11級 |
| Lesserkaikai Lv4 | 264 | #N/A | #N/A | 799 | 12級 |
| Lesserkaikai Lv3 | 253 | #N/A | #N/A | 790 | 12級 |
| きのあ将棋 ブラウザ版 ザザルオ | -49 | #N/A | #N/A | 540 | 14級 |
| ぴよ将棋w Lv7 ひよ奈 (R270 11級) | -106 | #N/A | #N/A | 493 | 15級 |
| Lesserkaikai Lv2 | -228 | #N/A | #N/A | 392 | 16級 |
| ぴよ将棋w Lv5 ひより (R150 13級) | -425 | #N/A | #N/A | 230 | 17級 |
| こまお | -502 | #N/A | #N/A | 166 | 18級 |
| ぴよ将棋w Lv4 ピヨ之 (R120 13級) | -687 | #N/A | #N/A | 13 | 19級 |
| Lesserkaikai Lv1 | -781 | #N/A | #N/A | -64 | 20級 |
| ぴよ将棋w Lv3 ひよ香 (R90 14級) | -905 | #N/A | #N/A | -167 | 21級 |
| ぴよ将棋w Lv2 ピヨ作 (R60 14級) | -1,089 | #N/A | #N/A | -319 | 23級 |
| きのあ将棋 ブラウザ版 クラリア | -1,217 | #N/A | #N/A | -425 | 24級 |
| ぴよ将棋w Lv1 ひよこ (R30 15級) | -1,738 | #N/A | #N/A | -855 | 28級 |
| Lesserkaikai Lv0 | -1,937 | #N/A | #N/A | -1,020 | 30級 |
（補足）今回のレート表の作り方
上記の表ソフトRの計測方法は、前回記事のように測定されたレート差を元に単純シフトしたものではなく、線形補間による補正を行っています。それを説明するため、まずは補正前の生のレート(Bonanza6 D1=1101として単純シフトのみ行ったもの)を掲載します。
※24R, 81Rは補正後レートの代わりに補正前レートに対して同じ変換式を適用したもののため、前述の表とは結果が異なります。ただ、こちらのほうが肌感覚に合うという方もいらっしゃるかもしれないので、参考として掲載しています。
補正前レート表
| ソフト名 | ソフトR | 誤差 | 24R | 24段級 | 81R | 81段級 |
| Gikou 2 (v2.0.2) D8 | 2,642 | +59/-52 | 2,907 | 八段 | 2,381 | 七段 |
| Bonanza 6.0 D7 | 2,192 | +21/-17 | 2,358 | 五段 | 2,171 | 五段 |
| Gikou 2 (v2.0.2) D3 | 2,118 | +18/-19 | 2,255 | 四段 | 2,131 | 五段 |
| ぴよ将棋w Lv30 ピヨ幸 (R1650 三段＋) | 2,086 | +26/-17 | 2,210 | 四段 | 2,114 | 五段 |
| uuunuuun Lv2 | 1,976 | +12/-11 | 2,048 | 三段 | 2,052 | 四段 |
| ぴよ将棋w Lv27 ひよ花 (R1470 三段) | 1,962 | +18/-20 | 2,027 | 三段 | 2,044 | 四段 |
| ぴよ将棋w Lv25 ひよ生 (R1350 二段＋) | 1,856 | +17/-15 | 1,863 | 二段 | 1,981 | 四段 |
| きのあ将棋 ブラウザ版 郷谷さん *まじめ | 1,841 | +17/-14 | 1,839 | 二段 | 1,972 | 四段 |
| 将皇(WebGL版) レベル6 | 1,811 | +12/-21 | 1,791 | 二段 | 1,953 | 四段 |
| きのあ将棋 ブラウザ版 テストロボ 強さ200 | 1,810 | +14/-15 | 1,789 | 二段 | 1,953 | 四段 |
| 将皇(WebGL版) レベル5 | 1,760 | +12/-11 | 1,708 | 二段 | 1,922 | 三段 |
| uuunuuun Lv2a | 1,741 | +13/-11 | 1,676 | 初段 | 1,910 | 三段 |
| Bonanza 6.0 D4 | 1,714 | +18/-13 | 1,631 | 初段 | 1,892 | 三段 |
| きのあ将棋 ブラウザ版 郷谷さん | 1,616 | +17/-10 | 1,464 | １級 | 1,828 | 三段 |
| ぴよ将棋w Lv22 ピヨ丸 (R1170 初段＋) | 1,612 | +12/-14 | 1,457 | １級 | 1,826 | 三段 |
| Gikou 2 (v2.0.2) D1 | 1,595 | +14/-14 | 1,428 | ２級 | 1,814 | 三段 |
| 将皇(WebGL版) レベル4 | 1,594 | +13/-10 | 1,426 | ２級 | 1,814 | 三段 |
| きのあ将棋 ブラウザ版 ロレンツィオ | 1,593 | +13/-11 | 1,424 | ２級 | 1,813 | 三段 |
| きのあ将棋 ブラウザ版 揖斐 才蔵 | 1,589 | +16/-14 | 1,417 | ２級 | 1,810 | 三段 |
| uuunuuun Lv1 | 1,572 | +10/-14 | 1,387 | ２級 | 1,799 | 二段 |
| きのあ将棋 ブラウザ版 宇氏 みう香 | 1,567 | +14/-18 | 1,378 | ２級 | 1,795 | 二段 |
| きのあ将棋 ブラウザ版 あひるがあがあじごく | 1,557 | +17/-17 | 1,361 | ２級 | 1,789 | 二段 |
| きのあ将棋 ブラウザ版 沙流 紀子 | 1,493 | +16/-16 | 1,245 | ４級 | 1,745 | 二段 |
| 将皇(WebGL版) レベル3 | 1,466 | +12/-11 | 1,196 | ４級 | 1,726 | 二段 |
| きのあ将棋 ブラウザ版 ナカビーⅡ世 | 1,436 | +19/-21 | 1,141 | ５級 | 1,705 | 二段 |
| ぴよ将棋w Lv20 ピヨ馬 (R1050 初段) | 1,402 | +9/-12 | 1,077 | ５級 | 1,680 | 二段 |
| きのあ将棋 ブラウザ版 テストロボ 強さ20 | 1,382 | +12/-16 | 1,040 | ６級 | 1,666 | 二段 |
| uuunuuun Lv1a | 1,364 | +9/-15 | 1,006 | ６級 | 1,653 | 二段 |
| 将皇(WebGL版) レベル2 | 1,286 | +13/-17 | 855 | ７級 | 1,595 | 初段 |
| Bonanza 6.0 D2 | 1,277 | +12/-14 | 838 | ８級 | 1,589 | 初段 |
| きのあ将棋 ブラウザ版 揖斐 才蔵 *ゆとり | 1,232 | +15/-13 | 749 | ９級 | 1,555 | 初段 |
| ぴよ将棋w Lv17 ひよえ (R870 2級) | 1,218 | +11/-10 | 721 | ９級 | 1,544 | 初段 |
| きのあ将棋 ブラウザ版 郷谷さん *ゆとり | 1,218 | +22/-21 | 721 | ９級 | 1,544 | 初段 |
| きのあ将棋 ブラウザ版 あひるがあがあじごく *ゆとり | 1,214 | +12/-15 | 713 | ９級 | 1,541 | 初段 |
| きのあ将棋 ブラウザ版 宇氏 みう香 *ゆとり | 1,192 | +15/-18 | 669 | ９級 | 1,524 | 初段 |
| きのあ将棋 ブラウザ版 ロレンツィオ *ゆとり | 1,181 | +15/-21 | 647 | 10級 | 1,515 | 初段 |
| Bonanza 6.0 D1 | 1,101 | +0/0 | 483 | 11級 | 1,453 | １級 |
| きのあ将棋 ブラウザ版 ナカビーⅡ世 *ゆとり | 1,099 | +17/-18 | 479 | 11級 | 1,451 | １級 |
| きのあ将棋 ブラウザ版 沙流 紀子 *ゆとり | 1,095 | +20/-15 | 471 | 11級 | 1,448 | １級 |
| 将皇(WebGL版) レベル1 | 1,088 | +17/-16 | 456 | 11級 | 1,442 | １級 |
| ぴよ将棋w Lv15 ひよん (R750 3級) | 1,044 | +13/-12 | 364 | 12級 | 1,407 | ２級 |
| きのあ将棋 ブラウザ版 クッキー | 993 | +15/-16 | 256 | 13級 | 1,366 | ２級 |
| Lesserkaikai Lv7 | 990 | +14/-12 | 249 | 14級 | 1,363 | ２級 |
| きのあ将棋 ブラウザ版 テストロボ 強さ2 | 986 | +16/-17 | 241 | 14級 | 1,360 | ２級 |
| BlunderXX2012 D1 | 915 | +15/-14 | #N/A | #N/A | 1,337 | ３級 |
| きのあ将棋 ブラウザ版 空 だめ子 | 845 | +15/-26 | #N/A | #N/A | 1,279 | ４級 |
| Lesserkaikai Lv6 | 791 | +14/-19 | #N/A | #N/A | 1,234 | ５級 |
| 将皇(WebGL版) レベル0 | 734 | +20/-19 | #N/A | #N/A | 1,187 | ６級 |
| ぴよ将棋w Lv12 ピヨ介 (R570 6級) | 666 | +24/-18 | #N/A | #N/A | 1,131 | ７級 |
| ハム将棋 | 615 | +17/-19 | #N/A | #N/A | 1,089 | ８級 |
| Lesserkaikai Lv5 | 572 | +20/-26 | #N/A | #N/A | 1,054 | ８級 |
| きのあ将棋 ブラウザ版 のゆぽん(偶数日) | 421 | +19/-34 | #N/A | #N/A | 929 | 10級 |
| ぴよ将棋w Lv10 ピヨ太 (R450 8級) | 373 | +26/-28 | #N/A | #N/A | 889 | 11級 |
| きのあ将棋 ブラウザ版 のゆぽん(奇数日) | 343 | +22/-33 | #N/A | #N/A | 864 | 11級 |
| Lesserkaikai Lv4 | 264 | +25/-23 | #N/A | #N/A | 799 | 12級 |
| Lesserkaikai Lv3 | 253 | +32/-28 | #N/A | #N/A | 790 | 12級 |
| きのあ将棋 ブラウザ版 ザザルオ | -49 | +38/-31 | #N/A | #N/A | 540 | 14級 |
| ぴよ将棋w Lv7 ひよ奈 (R270 11級) | -106 | +33/-29 | #N/A | #N/A | 493 | 15級 |
| Lesserkaikai Lv2 | -228 | +40/-28 | #N/A | #N/A | 392 | 16級 |
| ぴよ将棋w Lv5 ひより (R150 13級) | -425 | +33/-35 | #N/A | #N/A | 230 | 17級 |
| こまお | -502 | +30/-37 | #N/A | #N/A | 166 | 18級 |
| ぴよ将棋w Lv4 ピヨ之 (R120 13級) | -687 | +33/-27 | #N/A | #N/A | 13 | 19級 |
| Lesserkaikai Lv1 | -781 | +50/-34 | #N/A | #N/A | -64 | 20級 |
| ぴよ将棋w Lv3 ひよ香 (R90 14級) | -905 | +27/-40 | #N/A | #N/A | -167 | 21級 |
| ぴよ将棋w Lv2 ピヨ作 (R60 14級) | -1,089 | +44/-43 | #N/A | #N/A | -319 | 23級 |
| きのあ将棋 ブラウザ版 クラリア | -1,217 | +67/-39 | #N/A | #N/A | -425 | 24級 |
| ぴよ将棋w Lv1 ひよこ (R30 15級) | -1,738 | +71/-98 | #N/A | #N/A | -855 | 28級 |
| Lesserkaikai Lv0 | -1,937 | +78/-107 | #N/A | #N/A | -1,020 | 30級 |
ソフトレートを持つソフトに対して、計測された補正前レートとの対応をプロットすると次のとおりです。
なお、以下で現れるソフトレートは「まとめサイト」にて2022年1月ごろに計測されたものであるため、最新のものとは異なります。
概ね傾きが1の直線に乗ってはいるので、大雑把には前述のサイトのレート表が再現できているといえますが、全体的に技巧2のレートが高めに出ている点が気になります。
この結果を、「大雑把には再現できているのだから単純シフトで良いのでは？」と解釈することもできます。そうしてできたのが２個目のレート表です。
一方で、幅広い棋力帯を対象とするなかでBonanza6 D1のレートだけを基準とするのはやや違和感があります。また、技巧が高めに出ているという可能性だけでなく、Bonanzaが低めに出ているという可能性も考えなくてはなりません。
このような観点から、いくつかのソフトのソフトレートを固定（＝ソフトレートを補正後レートにそのまま採用）し、その間については線形補間することで作成したものが１個目のレート表になります。
ソフトレートもちのソフトの補正前レートは次のとおり。そのうち、太字のソフトがソフトレートを固定したものです。
| ソフト名 | ソフトR | 補正前R |
| Gikou 2 (v2.0.2) D8 | 2567 | 2642 |
| Bonanza 6.0 D7 | 2245 | 2192 |
| Gikou 2 (v2.0.2) D3 | 2021 | 2118 |
| YaneuraOu 2017 Early KPP_KKPT 4.76 64AVX2 uuLv2 | 1997 | 1976 |
| YaneuraOu 2017 Early KPP_KKPT 4.76 64AVX2 uuLv2a | 1810 | 1741 |
| Bonanza 6.0 D4 | 1788 | 1714 |
| YaneuraOu 2017 Early KPP_KKPT 4.76 64AVX2 uuLv1 | 1605 | 1572 |
| Gikou 2 (v2.0.2) D1 | 1544 | 1595 |
| YaneuraOu 2017 Early KPP_KKPT 4.76 64AVX2 uuLv1a | 1354 | 1364 |
| Bonanza 6.0 D2 | 1325 | 1277 |
| Bonanza 6.0 D1 | 1101 | 1101 |
| BlunderXX2012 D1 | 941 | 915 |
（補足）その他気になる点
将皇といえば以下で24レートの検証が行われていますが、古いバージョンのものであり、今回の結果との関係性については良くわかりません。
ぴよ将棋の段位の迷子っぷり（昔の私の記事とも整合していません）やきのあ将棋の同じランクのCPU間の相互関係の意味など、私自身解釈しきれていない部分が多いです。
また、きのあ将棋の先行リリーステスト版についても調査できていません。
将棋ソフトの指し手は序盤・中盤・終盤の棋力のアンバランスさやミスへの辛さが特徴だと思います。
たとえば、今回のレート表で81二～三段に位置づけられるソフトが意味不明な序盤から早々棒銀で破られたり、一目でわかる即詰みを見逃して頓死することもあります。一方で級位者程度のソフトが難解な詰みを読み切ったり、王手飛車などの筋に異常に敏感だったり、級位者では踏み込めないような局面から一方的な攻勢を仕掛けてそのまま押し切ってしまうという例もあります。
そういった点を反映してか、プレイヤーのレーティングを計測するような将棋ソフトでも数回の待ったを認めている例もあります。ミスを待ったで帳消しにしつつ、ソフト側の理解の浅い序盤～中盤で弱みを突くことで格上と思われる相手にも特に歯ごたえ無くあっさり勝ててしまうこともあります。
このようにソフトの棋力というのは人間から見ればアンバランスなものです。今回のレート表はソフト間の相対的な強さは把握できるものの、人間の棋力との対応表という意味ではあまり参考にならないかもしれません。
