思考の縁

わかりやすい絵という罠

結論はわかったんだけど、パッとわかるグラフを出してよ。

データ分析の仕事をしていると、クライアントからこういわれることがある。わかりやすい絵が欲しいという要望だ。

こうした言葉に耳を傾け、背後にある気持ちを理解して丁寧に対応することは大切だ。データアナリストは聞き手の理解を助けるありとあらゆる努力を常にしなくてはならない。

クライアントがこうした要望を出す背景は様々だ。

クライアントが分析報告書を元にした施策を上申するときに、上級幹部が直ぐにわかるようにするためということはよくある。あるいは、クライアント自身が納得できない部分があって、追加の説明を求めていることもあるだろう。

このように、要望の言葉の裏には何らかのコンテクストがあるため、まずは耳を傾ける必要がある。

その一方で、言われるままに「わかりやすい絵」を出すことが必ずしも正解でないこともある。一枚の散布図や折れ線グラフがストーリーテリングの鍵になることは確かにあるが、逆にミスリードを招くこともあるからだ。

そもそも、一つの散布図やら棒グラフで結論がズバッと出るような仕事だったら、わざわざデータアナリストにコストをかけて頼まないはずだ。たとえば、下の図でいうと左のような状態だろう。しかし、クライアントはたいてい右のような図を欲する。

それゆえ、今日のデータアナリストやデータサイエンティストが対峙するデータ分析タスクでは、単純なグラフ一枚でゆるぎない結論が出るということはほとんどないだろう。もし本当にそれで問題ないなら、データアナリストにアドホックな分析を頼むのではなく、とっくの昔にTableauだかPower BIだかでダッシュボード化されているはずだ。

したがって、個別分析に携わっているデータアナリストは、分析中にそうした絵を目撃したら「それは本当だろうか」と疑うくらいでなくてはならない。新しいデータ分析プロジェクトにおいて、一枚のグラフ、単回帰、クロス集計表で見えてくるものは、インサイトの片鱗や仮説として位置づけるべきだ。

そこで、データアナリストは統計モデルを使って、その仮説の確からしさや制約条件を確かめていく。それを含めて報告するからわかりにくくなるのだが、それは当たり前のことだ。その複雑性から目を背けるということは、複雑な社会や組織のメカニズムを捉えることをあきらめるのに等しい。

こうした仕事の性質があるため、データアナリストは伝えるための努力をしていくことになる。これはデータによるストーリーテリングの裏側で起きている攻防でもある。

ここで、どこまで物事を単純に伝えるかという点は悩ましい。

シンプルにしすぎると得てして結論が見えないぼんやりとしたグラフになってしまう。そこで、複雑な分析で得られた結論の傾向をうまく説明できそうな絵を探してしまうかもしれない。あるいは、クライアントや上司の指示で絵作りを強要されることもある。

このとき、データアナリストの良心や倫理観が問われるのである。

こうしたことを考えると、私は抑制の方向に意識が向く。次のミーティングでのスンとした雰囲気を予想して胃が重たくなりながらも、嘘をつくことはできないと考えてしまうからだ。

もちろん、人によってはドンと派手にブチかますような絵を使う人もいるだろう。

ここでの判断基準を端的に言うと技術者倫理をどう持つかという話につながる。この話は技術士の考え方が参考になる。

（真実性の確保）
5．技術士は、報告、説明又は発表を、客観的で事実に基づいた情報を用いて行う。
（1）技術士は、雇用者又は依頼者に対して、業務の実施内容・結果を的確に説明する。
（2）技術士は、論文、報告書、発表等で成果を報告する際に、捏造・改ざん・盗用や誇張した表現等をしない。
（3）技術士は、技術的な問題の議論に際し、専門的な見識の範囲で適切に意見を表明する。
出典：技術士倫理綱領（管理番号：IPEJ 02-01-2023），日本技術士会

この指針は、社会と技術の両方に誠実であるということだ。私は技術士ではないが、この考え方はとても誠実だと思う。

端的に言うとデータアナリストにリップサービスは不要だと考えている。これは、情報で施策の意思決定を支援するインテリジェンス活動の原則でもあろう。不都合な真実にも向き合うべきなのだ。

この考え方が私の土台にあるのは、経験によるところが大きい。誰かがリップサービスをした結果、顧客にも自分たちのチームにも禍根を残すような事案に何度か遭遇したことがあった。

ある機械学習による予測プロジェクトでのこと。

社内の他チームがクライアントに報告した結果は非常に素晴らしいものだった。難易度の高いタスクで90%近い精度を出しており、クライアントも絶賛していた。そこで、今後のシステム化を見据え、事業部隊である私たちのチームに引き継がれることになった。

しかし、ふたを開けてみると、不適切な精度指標で報告されていたことが判明した。不均衡な分類タスクなのにそれを考慮しない指標を使っていたのだ。そればかりでなく、リーク気味のモデリングもしていた。なお、これはスキル不足で起きたことではなく、意図されたものだった。

そこで、私たちがモデリングと評価をやり直すと、精度は2割近くまで低下してしまった。ここからが大変な仕事になった。クライアントには真実でない数字が見えている状況で、さらなる精度向上のための仕事を私たちが受け取っていたのだ。これは、仕事の入り方として最悪なケースであり、私たちは高い勉強代を支払うことになった。

以後、こうした仕事は事前に吟味して、よほどのことがない限り受け取らなくなった。

上に挙げた事例は精度偽装としてわかりやすい事例だろう。流石にこんな無茶はしないよ、という人は多いかもしれない。

しかし、以下のようなケースはどうだろうか。

濃淡はあるが、これらのケースに共通することは、報告書に記載された図（わかりやすい絵）が、技術的な観点で何らかの問題を持っているということだ。ここで、その図に対して制約や前提を丁寧に書いていればまだよいのだが、そうでない場合は技術者倫理に課題を抱えることになるだろう。

もちろん、こうした過程で生まれたわかりやすい絵が常に問題になるとは限らない。多くのデータ分析報告書は、参考の一つとして扱われることが多いからだ。

しかし、その報告書を目にした誰かがその絵を気に入り、組織内や世の中に発信してしまったらどうなるだろうか。あるいは、報告書を目にした人の中に技術に詳しい人がいたとしたら。

データによるストーリーテリングに、わかりやすい絵は必要だ。

しかし、単純化することと、単純化しすぎることの間には、天と地ほどの差がある。

どこまで単純化してよいかを判断し、その結果に対する責任を引き受けることがプロフェッショナルの責務である。