将棋の棋譜を動画から記録する

しばらく将棋から離れていたが藤井四段（当時）の影響でまた指すようになった。
改めて将棋の楽しさを知ったのです。

将棋中継を見ていて思うのが記録係の大変さ。
トッププロの対局を間近で見られるとはいえ、トイレも自由に行けず睡魔とも戦い、大変な仕事です。

これは何とか自動化できないかなと思った次第です。
天井カメラで動画撮影しているので実現可能だと思う。もしかしたら既にあるのかもしれない。

■準備
・それぞれの駒を画像を集める。
・将棋の駒は書体があるので、それぞれの書体の画像が必要。
さらに1文字駒と2文字駒もある。例）「玉」「玉将」

■モデル作成
・駒の画像を元に、これは「歩」ですよ、「飛」ですよという教師データを作成する。
・学習モデルはSSD（Single Shot Multibox Detector）にする。

■実行
・カメラからフレームごとの画像をInputデータとする。
・その画像から駒の種類と位置を判定する。
・位置から駒の配置を判定する。「3四歩」とか。
・配置の差分からKIF形式のデータにする

こんな流れだと思う。KIF形式データにすれば将棋ソフトに渡すことで、その時点の最善手とかも出させると思う。
※天井カメラがなくてもスマホを固定して撮影すればできそうだが、角度の調整が大変そう。。
仕事の合間にプロトタイプを作ってみようと思います。

[追記]
まずは自宅の駒を並べてiPhoneで撮影し、ラベリングを行い、SSD作成。テスト画像で判定させてみた結果。