ブログトップ

今日から始めるゲーム統計学

tsubame30.exblog.jp

かつては麻雀およびエロゲのデータを統計解析して遊んでました。今では日本酒に夢中です。

【エロゲ解析】ErogameScapeにおける「80点」の価値

70点「なかなか面白かった」
80点「ちょっとイマイチだった」

こういうコメントと点数の差異に違和感を感じた経験はないでしょうか?


ErogameScapeにおいて各個人の点数というのは重要なパラメーターなのですが、
点数の付け方に共通の「決め」のようなものはなく、各個人が自由に採点しているものです。
そのため、「Good」の位置が85点なのか、80点なのか、70点なのかは本人にしかわかりません。
勿論、その点数をつけたユーザーのサマリーから全体の分布を見ればおおよそ察しはつくのですが、
それを毎回行うのも難しいところです。


そこで、今回はErogameScapeにおける「80点」って、実際問題どのくらいの価値をもつのか、ということを偏差値の考え方を使って考えてみたいと思います。





-----◆SQL◆-----

SELECT tokuten_avg, tokuten_stddev FROM userreview_toukei_table WHERE tokuten_count>=20 ORDER BY tokuten_avg

得点入力数が20以上のユーザー(6351ユーザーが該当)を対象に、
各ユーザーの点数の平均と、標準偏差を出力します。
これをもとに、各ユーザーにおける「70点」「75点」「80点」「85点」の4点の偏差値を求め
各得点が各ユーザーの中でどのくらいの価値を持っているかを調べました。


※偏差値算出の計算式 
そのユーザーにおける「X点」の偏差値=(10*(X‐そのユーザーの平均点)/ そのユーザーの標準偏差) + 50
(Xに、70,75,80,85を代入)




-----◆結果◆-----

●「70点」および「80点」の偏差値のヒストグラム
d0279358_19535024.png

赤の棒が「70点」、青の棒が「80点」を示します。

「70点」は、偏差値の分布の中心が「50」(45<偏差値≦50の範囲)に存在しています。
ErogameScapeにおいて、「70点」は真ん中よりは若干下、という風に考えられていることがわかります。

同様に、「80点」は、偏差値の分布の中心が「55」(50<偏差値≦55の範囲)が存在しており、
「80点」は真ん中よりは若干上、という風に考えられていることがわかります。


●各代表点における偏差値の90%信頼区間と平均(縦軸:偏差値)
d0279358_19542436.png

得られた偏差値の集まりから、その平均値と、
90%信頼区間に該当する範囲の値を求めてプロットしました。

偏差値には数字の値と価値に線形性がなく、少し体感としてわかりにくいので、
ここ(偏差値のお話)のページの下にある表1を参考に、
それぞれの点数の偏差値が、上位%でどのくらいの位置にあるのかをプロットしてみました。


●各代表点における偏差値の90%信頼区間と平均(横軸:該当偏差値の上位%)
d0279358_19545465.png

平均では、上位73%の価値である「70点」ですが、
全体的な評価が辛口な人にとっては上位16%もの価値があり、
全体的な評価が甘口な人にとっては上位98%程度の価値しかないという意味になります。

90%信頼区間ですら、特定点の価値にかなりバラツキがあることがわかります。

しかし、「85点」における90%信頼区間の下限に注目すると、
直線が崩れて大きく上昇し、信頼区間の範囲が狭まっています。
多くの方が、「85点」という評価には、ある程度以上の質の担保を認めているのではないかと考えられます。



平均値を見た時には
「70点」は上位73%(4本に1本の凡作)
「75点」は上位54%(2本に1本の凡作)
「80点」は上位34%(3本に1本の良作)
「85点」は上位21%(5本に1本の良作)
となりました。


これらのプロットの線はかなり直線に近く、
少なくとも70~85の区間では、点数の価値が線形であることがわかります。
この区間内では、+5点に同じ程度の価値があるということです。

ただ、0~100点の点数入力幅がありながら、
70~85の15点区間内に全体の50%が分布している
ことには注意が必要です。

0~100点の範囲で、点数と評価が線形ではなさそうです。
また、70~85点の区間の「5点差」には他の区間の5点差より価値があるのではないかと考えられます。
(実際、感覚として、上位50%に満たない75点から5点増えるだけで上位34%になるって、かなり変化として急激ですよね。)




--------◆総括◆--------

簡単にまとめると、以下のようになります。

●偏差値の信頼区間での評価
・ユーザーごとに特定点の価値には、かなりのバラツキがある
・多くの人が「85点」にはある程度以上の質の担保を認めていると思われる。


●偏差値の平均値での評価
・「80点」がついたゲームには、その評価をしたユーザーにおける上位34%程度の価値がある。
・70~85点の区間の「5点差」には、他の区間の「5点差」より価値があると思われる。




ゲームの評価をするときに批評空間の点数にどう表れるかというと、人によってかなり誤差がでるのですけども、
平均をとったら、「80点」は上位34%(3本に1本クラス)の作品であるという風に考えられているということがわかりました。



基準のない採点で、かつ人によってどこをどの程度評価するかすらバラバラなので、
共通の基準を与えることから非常に難しく、どうしたって人によって差が出ます。
「得点」という値が絶対だと思うことは危険ではあります。

でも、「じゃあこんだけ誤差あるんだから意味ないじゃん」っていうのもまた違うかなと思います。
現に、70~85の区間における平均評価でかなりの線形性が確認できました。
今回の解析やってて得点入力数が100を超えていながら、平均値の下は2から、上は95のIDまでありましたけども、概ね皆さん誠実な得点入力を心がけているように思います。

また、エロスケにはコメントを書く欄があり、微妙な部分を汲むチャンスはあります。
誤差があるから意味がない、ではなく、数字の価値をベースに感覚判断をとり入れるのが
エロスケの数字と向かい合う上で、大切なのではないかなぁと思います。




今回は、「偏差値のヒストグラムを描いてその平均と信頼区間の評価を行う」という、
私もやってて頭が混乱することをやってみました。
解釈が間違ってるのではないか、という指摘がありましたらどしどしお寄せください。




4月からは生活環境が一変し、更新が滞る可能性大です。
次がいつかはわかりませんが、その時がきたらまたお願いします。
[PR]
by tsubame30 | 2013-03-31 20:07 | エロゲ解析 | Comments(11)
Commented by 匿名希望 at 2013-04-04 03:05 x
70~85点の区間の「5点差」が他より意味があるのは
なんとなくわかるんですが
では70点以上にとっての5点は
30点以下の何点分の価値があるんでしょ?
平均って点数の価値が等しい時にしか
使えないと思うんですが…
Commented by つばめ at 2013-04-07 09:44 x
重みがあったら平均が使えないというのはご指摘の通りですが、
今回は、価値が一様でないと思われる「80点」などの素点に対して平均の計算をしてません。

今回は、「各ユーザーの80点を基準化した値(偏差値)」の代表点として、平均を用いました。
およそ正規分布通りの分布をするものの平均なので、代表点としての使用には耐えうると考えてます。

……匿名希望さんの文意が汲めていないかもしれません。
そういう意図じゃない、ということであれば、よろしければ追コメントしていただければと思います。


>では70点以上にとっての5点は
>30点以下の何点分の価値があるんでしょ?

これ計算してみたんですが、偏差値の平均の評価においては、
「35点」の段階で上位100%近似できるところまで価値が落ち込んでいました。
上位%という評価観点では、0点も35点も同等であるということで、
35点以下の点差には実質意味が無さそうです。

「35点以下の35点差」<<「70点以上の1点差」@価値の大きさ
と考えても差し支えないレベルだと思います。

これに関してはグラフとあわせて改めて記事にしようと思います。


コメントありがとうございました!
Commented by アバ茶 at 2013-04-08 03:11 x
>「70点」は上位73%(4本に1本の凡作)
節子、それ4分の1やなくて4分の3や
Commented by つばめ at 2013-04-08 21:52 x
・アバ茶さんへ

コメントありがとうございます。

「上位73%」=「100本中、73位のゲーム」ということで、4本に1本の『凡作』という表現をいたしました。こちらの意図としては誤植ではありません。
「X本にY本の良作/凡作」の表現は、却ってわかりにくかったかも知れませんね……。
Commented by toto at 2013-04-09 01:42 x
ユーザー心理としては、駄作は回避(=評価しない)するし、評価高いゲームはやってみようって気になるから、70点が100本中73位だとしても、実はそれほど悪い点じゃない気がする。
Commented by シコリン拳伝承者 at 2013-04-10 04:36 x
逆に評価してる作品の100本中何個くらい満足出来るソフトがあるのかな?
このサイトは基本甘めな平均点だと感じるけどなー
70点位だと微妙だと感じる人が大半な気がする
Commented by aoihhito at 2013-04-11 21:35 x
はじめまして。最近批判空間を認知し登録したものです。
シナリオ、CV、キャラ、イラスト、メーカーと皆さんが
力を入れて購入するこだわりが感じられるレビューも
多いですし、バラツキは仕方ないですね。
実際、高評価でも買ってみたら...なんてのは
よくあることですし、それも含めて楽しませていただいてます。
同じ値でもベース入力数が10倍以上開いている
場合なんかだと意味も変わってくる気がしますね。

喜んで爆心地に行くようなユーザーは少数ですから
回避しやすいポイントができればいいですね。
長文失礼しました。
Commented by 通行人 at 2013-04-13 18:35 x
 こんにちは、つい最近まで批評空間でお世話になっていて最近このエロゲ世界から去る事を決めたものです。
本来なら批評空間でのハンネを使うべきですがお許し下さい。

>・70~85点の区間の「5点差」には、他の区間の「5点差」より価値があると思われる。

 まさに自分がつけていた指針であり、批評空間を利用していて良かったと改めて認識しました

 85点以上は去年は甘くなっていましたが年間3本くらいです。(一ヶ月に一本ペース)

付け加えるとさらに90点のハードルが非常に高く10年近いプレイ期間でしたが7本くらいです
勿論自分の好みにあったという点も加味されていますが

ではでは、長文失礼いたしまた
Commented by つばめ at 2013-04-13 22:07 x
・totoさんへ

評価されてること自体がある程度の質の担保をもつということは
totoさんの仰る通りでして、
70点でもそんなに悪いものではありません。
しかし、同時に80点あたりの質の良さを更に保証する事実でもあったりします。


・シコリン拳伝承者さんへ

>100本中何個くらい満足出来るソフトがあるのか
ということですが、これは率直に
「満足したゲームの数/今まで自分がやってきたゲーム全体の数」
から、『自分が満足する作品』の上位%のラインを考えてみると
参考になるかもしれません。


・aoihhitoさんへ

>実際、高評価でも買ってみたら...なんてのは
>よくあることですし、それも含めて楽しませていただいてます。
これがエロゲの醍醐味のひとつだと私も思ってます。
全体の評価と喰い違う自分だけの神ゲーがあるから面白いのだと思います。
だからこそ、点数もその価値もぶれるということでこんな記事を書きました。
なにかの参考になれば幸いです。
Commented by つばめ at 2013-04-13 22:07 x
・通行人さんへ

>批評空間を利用していて良かったと改めて認識しました
こう言ってもらえますととても嬉しいです。
全体統計と採点基準が非常に近いとのことで、
批評空間の点数を、自分の感覚と近いところで見つめることができたのではないかと思います。
エロゲは引退とのことで残念です。
いつでも戻ってきてくださいね。


皆さんコメントありがとうございました。
Commented by yuicyan12 at 2015-08-11 00:02
85↑は大抵の人が面白いと言う
80は人を選ぶ
75↓は趣味の品