よく、機械学習には説明可能性が求められることを目の当たりにします。これがなぜなのか少し考えてみたいと思います。
個人的には以下2点にあるのではないかと思います。
1. モデルのロバストさ懸念が残るが、テストデータを用意できないorテストデータを把握していないので、人間が判断するしかなくなるから。
2. ソフトウェア全体で見た場合に、「できていない点」を明示することで、他のやり方で補ったり、オペレーションで補ったりしたいから。
1は本来、テストデータで懸念が残る点をテストすべき項目かと思いますが、データを用意するコストが高いため、人間でなんとかしようということから発生する要求かと思います。
2は機械学習が全てできるわけではないという前提にたった上で、起きることかと思います。また、オペレーションで補う部分は、おおよそのソフトウェアの導入には業務プロセスの改変が必要なことを考えると、補わない場合も必要な要素になってくると思います。
一方、機械学習における説明可能性は、必ずしも上記に結びついているとは言えないため、結局は業務プロセスとしてお話しできる人が必要になってくるような気がします。
