人気ブログランキング | 話題のタグを見る
ブログトップ

今日から始めるゲーム統計学

tsubame30.exblog.jp

かつては麻雀およびエロゲのデータを統計解析して遊んでました。今では日本酒に夢中です。

【エロゲ解析】ErogameScapeにおける「80点」の価値

70点「なかなか面白かった」
80点「ちょっとイマイチだった」

こういうコメントと点数の差異に違和感を感じた経験はないでしょうか?


ErogameScapeにおいて各個人の点数というのは重要なパラメーターなのですが、
点数の付け方に共通の「決め」のようなものはなく、各個人が自由に採点しているものです。
そのため、「Good」の位置が85点なのか、80点なのか、70点なのかは本人にしかわかりません。
勿論、その点数をつけたユーザーのサマリーから全体の分布を見ればおおよそ察しはつくのですが、
それを毎回行うのも難しいところです。


そこで、今回はErogameScapeにおける「80点」って、実際問題どのくらいの価値をもつのか、ということを偏差値の考え方を使って考えてみたいと思います。





-----◆SQL◆-----

SELECT tokuten_avg, tokuten_stddev FROM userreview_toukei_table WHERE tokuten_count>=20 ORDER BY tokuten_avg

得点入力数が20以上のユーザー(6351ユーザーが該当)を対象に、
各ユーザーの点数の平均と、標準偏差を出力します。
これをもとに、各ユーザーにおける「70点」「75点」「80点」「85点」の4点の偏差値を求め
各得点が各ユーザーの中でどのくらいの価値を持っているかを調べました。


※偏差値算出の計算式 
そのユーザーにおける「X点」の偏差値=(10*(X‐そのユーザーの平均点)/ そのユーザーの標準偏差) + 50
(Xに、70,75,80,85を代入)




-----◆結果◆-----

●「70点」および「80点」の偏差値のヒストグラム
【エロゲ解析】ErogameScapeにおける「80点」の価値_d0279358_19535024.png

赤の棒が「70点」、青の棒が「80点」を示します。

「70点」は、偏差値の分布の中心が「50」(45<偏差値≦50の範囲)に存在しています。
ErogameScapeにおいて、「70点」は真ん中よりは若干下、という風に考えられていることがわかります。

同様に、「80点」は、偏差値の分布の中心が「55」(50<偏差値≦55の範囲)が存在しており、
「80点」は真ん中よりは若干上、という風に考えられていることがわかります。


●各代表点における偏差値の90%信頼区間と平均(縦軸:偏差値)
【エロゲ解析】ErogameScapeにおける「80点」の価値_d0279358_19542436.png

得られた偏差値の集まりから、その平均値と、
90%信頼区間に該当する範囲の値を求めてプロットしました。

偏差値には数字の値と価値に線形性がなく、少し体感としてわかりにくいので、
ここ(偏差値のお話)のページの下にある表1を参考に、
それぞれの点数の偏差値が、上位%でどのくらいの位置にあるのかをプロットしてみました。


●各代表点における偏差値の90%信頼区間と平均(横軸:該当偏差値の上位%)
【エロゲ解析】ErogameScapeにおける「80点」の価値_d0279358_19545465.png

平均では、上位73%の価値である「70点」ですが、
全体的な評価が辛口な人にとっては上位16%もの価値があり、
全体的な評価が甘口な人にとっては上位98%程度の価値しかないという意味になります。

90%信頼区間ですら、特定点の価値にかなりバラツキがあることがわかります。

しかし、「85点」における90%信頼区間の下限に注目すると、
直線が崩れて大きく上昇し、信頼区間の範囲が狭まっています。
多くの方が、「85点」という評価には、ある程度以上の質の担保を認めているのではないかと考えられます。



平均値を見た時には
「70点」は上位73%(4本に1本の凡作)
「75点」は上位54%(2本に1本の凡作)
「80点」は上位34%(3本に1本の良作)
「85点」は上位21%(5本に1本の良作)
となりました。


これらのプロットの線はかなり直線に近く、
少なくとも70~85の区間では、点数の価値が線形であることがわかります。
この区間内では、+5点に同じ程度の価値があるということです。

ただ、0~100点の点数入力幅がありながら、
70~85の15点区間内に全体の50%が分布している
ことには注意が必要です。

0~100点の範囲で、点数と評価が線形ではなさそうです。
また、70~85点の区間の「5点差」には他の区間の5点差より価値があるのではないかと考えられます。
(実際、感覚として、上位50%に満たない75点から5点増えるだけで上位34%になるって、かなり変化として急激ですよね。)




--------◆総括◆--------

簡単にまとめると、以下のようになります。

●偏差値の信頼区間での評価
・ユーザーごとに特定点の価値には、かなりのバラツキがある
・多くの人が「85点」にはある程度以上の質の担保を認めていると思われる。


●偏差値の平均値での評価
・「80点」がついたゲームには、その評価をしたユーザーにおける上位34%程度の価値がある。
・70~85点の区間の「5点差」には、他の区間の「5点差」より価値があると思われる。




ゲームの評価をするときに批評空間の点数にどう表れるかというと、人によってかなり誤差がでるのですけども、
平均をとったら、「80点」は上位34%(3本に1本クラス)の作品であるという風に考えられているということがわかりました。



基準のない採点で、かつ人によってどこをどの程度評価するかすらバラバラなので、
共通の基準を与えることから非常に難しく、どうしたって人によって差が出ます。
「得点」という値が絶対だと思うことは危険ではあります。

でも、「じゃあこんだけ誤差あるんだから意味ないじゃん」っていうのもまた違うかなと思います。
現に、70~85の区間における平均評価でかなりの線形性が確認できました。
今回の解析やってて得点入力数が100を超えていながら、平均値の下は2から、上は95のIDまでありましたけども、概ね皆さん誠実な得点入力を心がけているように思います。

また、エロスケにはコメントを書く欄があり、微妙な部分を汲むチャンスはあります。
誤差があるから意味がない、ではなく、数字の価値をベースに感覚判断をとり入れるのが
エロスケの数字と向かい合う上で、大切なのではないかなぁと思います。




今回は、「偏差値のヒストグラムを描いてその平均と信頼区間の評価を行う」という、
私もやってて頭が混乱することをやってみました。
解釈が間違ってるのではないか、という指摘がありましたらどしどしお寄せください。




4月からは生活環境が一変し、更新が滞る可能性大です。
次がいつかはわかりませんが、その時がきたらまたお願いします。
by tsubame30 | 2013-03-31 20:07 | エロゲ解析

by tsubame30