ブログトップ

今日から始めるゲーム統計学

tsubame30.exblog.jp

かつては麻雀およびエロゲのデータを統計解析して遊んでました。今では日本酒に夢中です。

【エロゲ解析】批評空間の採点基準は甘くなってしまったのか?

最近は80点が簡単に出る。

ErogameScape界隈でたまに耳にするのがこの言説。
昔に比べて採点基準が甘くなっているのではないか、という疑問があります。

判断要素の種類が大きいエロゲーという作品を1種の点数で評価しているので、その判断基準はなかなかに複雑です。
また、人の入れ替わりが思いのほか速い空間です。
(※参考:ErogameScapeのアクティブユーザー数ってどのくらい?
採点基準が常に均一でないことは十分に予想されます。

しかし、仮に高得点の出現率が上がってたとして、
単純に最近のゲームの質が上がってきているのか
高得点だけをレビューする人が増えたのか、
SNS発達の影響で自分に合うゲームを選択しやすくなったのか、
「採点基準が変わった」以外にもいろいろな要素があり、なにが影響してそうなったのかを切り分けるのは難しいことではあります。

しかしまあ、要因はひとまず置き、本当に高得点率が上がっているのか、点数の価値が落ちているのかは気になるところです。

以前、ErogameScapeにおける「80点」の価値という記事を書きました。
この時は、各ユーザーの平均と標準偏差から基準化を行い、80点の価値を偏差値という形で評価しました。
今回は、この考え方を用いて、新旧のユーザーで採点基準(特定点の価値)が変わってしまったかどうかを検証してみました。





-----◆SQL◆-----

①アクティブ時期別 ユーザーの平均値と標準偏差の取得

SELECT tokuten_avg, tokuten_stddev FROM userreview_toukei_table WHERE tokuten_stddev IS NOT NULL AND tourokubi_max > current_date-1080

SELECT tokuten_avg, tokuten_stddev, tourokubi_max FROM userreview_toukei_table WHERE tokuten_stddev IS NOT NULL AND tourokubi_max <= current_date-1080 AND tourokubi_max > current_date-2160

……


「最終得点入力日が何年前であるか」で、各時代のユーザーを切り分けます。
最終得点入力日が1~3年(0~1080日)前までの間、4~6年(1080~2160日)前までの間……と3年間ごとに区切ったユーザー群4つについて、それぞれに属するユーザーの得点の平均点と標準偏差を取得しました。
標準偏差が表示されることだけを条件にしています。データ数などでの選抜はしていません。
2013/11/25に取得しました。


②アクティブ時期別 80点の偏差値の取得

SELECT tokuten_avg, tokuten_stddev FROM userreview_toukei_table WHERE tokuten_count>=5 AND tokuten_stddev>0 AND tourokubi_max > current_date-1080

SELECT tokuten_avg, tokuten_stddev FROM userreview_toukei_table WHERE tokuten_count>=5 AND tokuten_stddev>0 AND tourokubi_max <= current_date-1080 AND tourokubi_max > current_date-2160

……

同様に、「最終得点入力日が何年前であるか」で、各時代のユーザーを切り分け、
それぞれに属するユーザーの得点の平均点と標準偏差を取得し、以下の計算式により80点の価値を「偏差値」として取得しました。
   80点の偏差値=(10*(80‐そのユーザーの平均点)/ そのユーザーの標準偏差) + 50
こちらは、偏差値を算出する関係上、データ数5以上かつ標準偏差≠0となるようデータの取得に選抜を加えました。
2013/11/26に取得しました。




-----◆結果◆-----

①アクティブ時期別 平均値の遷移
d0279358_0441362.png

グラフは上記のようになりました。
値も合わせて見てもらえばわかるように、平均点の平均は、各アクティブ時期においてほとんどズレがありません。平均で見たら、特別高い・低い点数が出やすくなるようになったということはなさそうです。

集めた平均点の標準偏差もとりました。値はグラフの通りです。
標準偏差は、概ね最近になるにつれ減少しており、
最近のユーザーは昔と比べて、平均値から遠い点数をつけているユーザーが少ないことがわかります。




②アクティブ時期別 標準偏差の遷移
d0279358_0443443.png

得られた標準偏差についても、平均と標準偏差を求めました。グラフは上記のようになりました。
各ユーザーの標準偏差は、平均で見て年々減少しており、かつその平均値の誤差も小さいことがわかります。
最近のユーザーは、外れ値のゲームとの出会いが減っている
のかもしれません。
(データ数を揃えていないデータなので、このあたりは推測です)




③アクティブ時期別 80点の偏差値の遷移
d0279358_0445311.png

得られた偏差値の平均、中央を計算しました。
グラフは上記のようになりました。
人数は、対象となったユーザー数を示しています。

偏差値の平均は驚くほどに変化がありませんでした。
偏差値の中央は、それに比べれば変化がありましたが、偏差値の差にして最大でも0.7程度しか変化がありません。

これは、上位%にして2.7%程度(※1)。
80点に到達するレビューが1本増えるまでに37本のレビューが必要になる程度です。
点数の価値が変わっている、採点基準が甘くなっていると言えるレベルではないと考えられます。

ただ、変化自体は有意ではないとはいえ、昔(4320日前以後~3240日前以前)のユーザー群が微差とはいえ、80点の価値を最も大きく見ていると考えることはできそうです。

※1 偏差値と上位%の関係は以下のサイトを参考にしました。
偏差値と上位% http://sapientica.seesaa.net/article/377705594.html



--------◆総括◆--------

まとめると、


○特別高い/低い点数が出やすくなるような変化は起きていない
○点数の価値、採点基準が大きく変わっていることはない
○最近のユーザーは以前に比べ、平均から遠い点数をつけることが減ってきていると推測される


点数の出現やその価値が大きく傾いていることはなさそう、というのが今回の結論です。


とはいえ、最初にも触れましたが、この辺の点数全体の傾向の話は、
ゲームの質、ユーザーの判断基準、ゲーム選択の選抜、得点入力するゲームの選抜もろもろ
影響する部分が複雑で、どこのせいなのか切り分けられません。
極端な話、昔は採点基準がアマアマだったけど、ゲームの質が低すぎて結果的に平均値が揃った、であるとか、最近は採点基準かなり辛いんだけど、点数低いゲームはそもそも点数入力しないから結果的に平均が揃った、なんてこともあり得てしまいます。
今回の結果だけから、1要素だけを切り出してどうこう解釈することは難しいと思います。
[PR]
by tsubame30 | 2013-11-29 21:30 | エロゲ解析 | Comments(6)
Commented by RRL at 2013-12-02 22:43 x
年間の80点以上が、↓(たぶん合ってるはずw)。一応数自体は増えてはいますね

07年:23本
08年:30本
09年:34本
10年:29本
11年:43本
12年:50本

まあ、平均が変わらず標準偏差が下がれば80点以上が増えるのは当然と言えば当然ですが(分布の裾が広がるので高得点の確率も増える・・・はず)
Commented by Azael at 2013-12-04 14:41 x
いや、年間何本登録されて、そのうち80点以上は何作品なのかって割合でみたら、やっぱり、変わってないのでは?
調べてないので解りませんけれど、発売作品数は年々増えている気がします。
Commented by RRL at 2013-12-04 19:04 x
それは真っ先に疑問に感じたので、【エロゲ解析】エロゲ発売本数の年代別推移のエントリーから、年間850くらいで安定してる07年以降でピックアップしてます
Commented by tsubame30 at 2013-12-05 00:18
RRLさん、Azealさん

コメントありがとうございます。

80点以上の数というのは、おそらくゲームの中央値か平均値が、という意味だと思いますが、
今回解析で平均とったのは、「ユーザーのつけた得点」に対してです。
ユーザーの得点の平均と、ゲームについた得点の平均は、全く別の値です。

実際に表を見るとイメージしやすいと思います。
ユーザーの得点の標準偏差0に固定してすら、ゲームの平均中央はある程度自由に変わります。
abc:ユーザー、ABC:ゲーム

  A B C 平均
a 65 75 85 75
b 45 85 95 75
c 60 100 65 75
平均57 87 82
中央60 85 85


全く違う値なだけに、ゲームの中央値の分布もあわせて眺めると、
また新たな発見があるかもしれません。
Commented by tsubame30 at 2013-12-05 00:19
ちなみに、平均が変わらず標準偏差が下がれば、分布の裾が狭まるので高得点の確率は減っています。ただ、標準偏差が小さくなったと記事には書いちゃいましたが、データをとったサンプル数が大きくずれていて標準偏差をストレートに比べるのはいいことではありませんでした。

ユーザー点数が75が平均とした正規分布に従う場合、抽出するサンプル数が増えれば増えるほど、
標準偏差は減っていくので、サンプルデータ数が大きい直近3年の標準偏差が減るのは
至極当然で、外れ値のゲームとの出合いうんぬんは的外れの可能性もかなりあります。
このあたりちゃんとわかってなくて、良くなかったと反省してます。
Commented by RRL at 2013-12-05 23:12 x
あいまいなまま書き込んでしまってすみません。。。

しかし、誤差といえる範囲なのか
仮に有意な差ならばなんでこのような結果になったのかうまく説明できないかと気になりはしますね