数列の各数値の異常度を計算する
ある数列に平均１００、分散３０のいくつかの数値、平均３００、分散３０のいくつかの数値があります、それらを平凡な数値、又は標準的な数値とします
その数列の中に少数、例えば１～３個だけ200、1000といった数値があり、これらを異常な数値とします
この異常度合いを数値化します
手法
数列のあるインデックスの数値とそれ以外の数値との距離平均の逆数を計算し
「値が小さいほどに孤立している」とします
クラスタから孤立している値は距離総和が大きくなる事を利用
孤立している＝異常 とする
前提条件
十分なクラスタが形成されている数列であること
人間的な感覚やタスクに依存するため明確な条件は出せないです
用途
あらかじめのクラスターモデルが作成できない状況で少ない計算数で異常値検出したい時
かなり限定的ですがこのような時に役立つと思います
pythonコード
import numpy as np
def create_sample():
sequence1 = np.random.normal(loc=100, scale=30, size=100)
sequence2 = np.random.normal(loc=300, scale=30, size=100)
sequence = np.concatenate([sequence1, sequence2, [200.0]])
return sequence
def calc_rarity_sub(sequence, index):
index_value = sequence[index]
distances = []
for i, n in enumerate(sequence):
if i == index:
continue
d = (index_value - n) ** 2
distances.append(d)
norm = np.mean(distances)
rarity = 1 / (1 + norm)
return rarity
def calc_rarity(sequence):
rarity = []
for i, n in enumerate(sequence):
r = calc_rarity_sub(sequence, i)
rarity.append(r)
return np.array(rarity)
def main():
sequence = create_sample()
rarity = calc_rarity(sequence)
print(f"sequence={sequence}")
print(f"rarity={rarity}")
rarity_indexes = np.argsort(rarity)[::-1][:10]
print(f"rarity_indexes={rarity_indexes}")
print(f"rarity values={sequence[rarity_indexes]}")
if __name__ == "__main__":
main()
出力サンプル
sequence=[124.29876839 75.02881561 138.41220478 101.6527263 94.7371052
113.42615812 72.66859411 31.25465717 101.33472792 87.29804857
107.72585006 100.38198613 104.73793237 82.16052739 100.15095879
64.86018994 49.17057368 98.6835166 107.2462804 -4.5710227
66.26970438 111.5457916 71.30385694 101.52769522 66.75159355
118.5111038 119.44054042 99.20009529 106.01769889 112.62551595
50.65019549 74.72565872 86.19665278 56.32820564 107.05601727
112.14223614 136.68760951 85.74151346 69.16903356 48.55164721
98.81719321 110.37497397 81.97966749 83.00045684 160.39796084
116.09577521 139.77676752 122.4632853 104.63039644 146.83667298
78.812625 74.62383563 70.87856031 86.87455284 136.96808479
82.62654582 78.21896433 131.18227641 98.54738597 126.07336047
105.91849912 100.33466802 136.29223216 57.73718986 109.3984029
114.37511021 90.94937239 97.47320617 30.75693145 149.21776041
94.83192864 118.7402205 112.26702322 51.27696882 124.85821305
83.34389433 90.85403672 69.47568562 95.6086013 114.67465708
109.57497389 125.88313965 114.95912662 164.46160633 112.06845805
139.57424985 80.21616764 101.0723674 102.24459071 116.09231528
79.60918629 127.11563279 68.32004989 111.72746914 80.63959161
121.82831118 81.69972569 95.72299245 111.55984939 73.28074706
306.94944466 307.04789077 343.11746125 290.54074108 286.52004874
296.11784801 279.80461354 292.85099545 279.11612826 276.92270067
314.77916006 342.98569993 275.02620364 262.04197765 302.85032415
296.14550883 368.31479524 297.34438305 288.46315398 314.03274277
277.95280887 299.78791615 294.45724071 350.78805026 311.07847439
351.94119135 328.97211959 296.33153887 330.52739206 277.66118765
289.11951872 284.47158643 354.25973431 226.31218746 321.23977812
350.63775318 273.48299834 261.91030439 370.28854138 293.38827038
229.31133889 252.8816536 260.49187595 280.33006547 275.95562655
264.47653569 250.21703647 287.04216932 217.23943659 320.19909938
301.4945721 275.27950946 358.61011635 323.82708474 250.59404788
321.9924 299.38045207 236.57675083 255.23406088 289.36421902
320.61513994 317.77694066 287.44089113 335.07555435 276.92457039
346.92690031 295.10603743 303.02473492 309.45664387 259.37410308
252.24891244 284.49113793 335.41237346 313.10354908 235.63433856
303.19589027 308.51299215 273.2544621 285.97938195 301.53895257
333.88245429 316.74991927 255.50498219 311.61913162 281.1793757
242.89622943 301.63236046 249.40417227 284.23907046 301.15366493
253.89998704 300.27249261 313.70687763 236.34533985 265.76598624
323.30437587 324.36600336 347.93026193 258.82174833 315.65150503
200. ]
rarity=[6.29829797e-05 3.93198917e-05 7.12288171e-05 5.08564220e-05
4.75628974e-05 5.69271635e-05 3.84428863e-05 2.63054015e-05
5.07004237e-05 4.42541332e-05 5.39177688e-05 5.02356494e-05
5.23923007e-05 4.21100169e-05 5.01235380e-05 3.56991237e-05
3.08645724e-05 4.94168305e-05 5.36704520e-05 1.95393280e-05
3.61769198e-05 5.59205572e-05 3.79460462e-05 5.07950345e-05
3.63420076e-05 5.97128627e-05 6.02313870e-05 4.96645438e-05
5.30411623e-05 5.64969367e-05 3.12845215e-05 3.92059755e-05
4.37848464e-05 3.29635386e-05 5.35725920e-05 5.62384059e-05
7.02129380e-05 4.35924596e-05 3.71837145e-05 3.06910037e-05
4.94808207e-05 5.53005957e-05 4.20366071e-05 4.24527734e-05
8.35169751e-05 5.83785218e-05 7.20317031e-05 6.19357373e-05
5.23380899e-05 7.61444589e-05 4.07736563e-05 3.91677982e-05
3.77927360e-05 4.40730635e-05 7.03781915e-05 4.22998154e-05
4.05416271e-05 6.69755347e-05 4.93517456e-05 6.40033264e-05
5.29906229e-05 5.02126684e-05 6.99799839e-05 3.33972720e-05
5.47875813e-05 5.74401420e-05 4.58478186e-05 4.88410084e-05
2.61915729e-05 7.75036085e-05 4.76066427e-05 5.98404313e-05
5.63050764e-05 3.14645655e-05 6.33038552e-05 4.25937941e-05
4.58054645e-05 3.72921121e-05 4.79664342e-05 5.76027472e-05
5.48800594e-05 6.38936114e-05 5.77574654e-05 8.54832138e-05
5.61990158e-05 7.19126262e-05 4.13281184e-05 5.05720465e-05
5.11479240e-05 5.83766245e-05 4.10873141e-05 6.46058481e-05
3.68855290e-05 5.60172306e-05 4.14970240e-05 6.15755336e-05
4.19232561e-05 4.80196494e-05 5.59280330e-05 3.86681772e-05
4.34265130e-05 4.33851865e-05 3.08669972e-05 5.09071332e-05
5.29184012e-05 4.82322640e-05 5.64254441e-05 4.97827030e-05
5.67949173e-05 5.79835962e-05 4.02693600e-05 3.09041102e-05
5.90250373e-05 6.64327435e-05 4.51847149e-05 4.82193355e-05
2.47043906e-05 4.76622158e-05 5.19378735e-05 4.05591413e-05
5.74231868e-05 4.65462554e-05 4.90145603e-05 2.88000628e-05
4.17290540e-05 2.85047202e-05 3.51871002e-05 4.81324735e-05
3.46774822e-05 5.75814527e-05 5.16102507e-05 5.39690508e-05
2.79225496e-05 8.61805772e-05 3.78569260e-05 2.88388446e-05
5.98813523e-05 6.65097222e-05 2.42921429e-05 4.95245158e-05
8.47858625e-05 7.18189658e-05 6.73403951e-05 5.61446598e-05
5.85131135e-05 6.50143368e-05 7.33827682e-05 5.26533772e-05
8.97972871e-05 3.82340864e-05 4.57823981e-05 5.88852280e-05
2.68709305e-05 3.69378388e-05 7.31620247e-05 3.75868497e-05
4.67305199e-05 8.10913953e-05 7.04338715e-05 5.14885770e-05
3.80827866e-05 3.91288013e-05 5.24517550e-05 3.32375940e-05
5.79825756e-05 2.98178271e-05 4.87074820e-05 4.51084111e-05
4.23870636e-05 6.79965837e-05 7.21909751e-05 5.39589418e-05
3.31338869e-05 4.09231414e-05 8.15921852e-05 4.50336612e-05
4.27751084e-05 6.00088170e-05 5.31940314e-05 4.57627053e-05
3.36081601e-05 3.95153787e-05 7.02742490e-05 4.15121905e-05
5.56930379e-05 7.76070450e-05 4.57212859e-05 7.38579662e-05
5.40893904e-05 4.59339567e-05 7.12196666e-05 4.63280692e-05
4.06863824e-05 8.12148855e-05 6.42674077e-05 3.71213999e-05
3.67496999e-05 2.95490113e-05 6.83212596e-05 3.99336307e-05
9.34226327e-05]
rarity_indexes=[200 148 133 83 140 44 174 193 157 185]
rarity values=[200. 217.23943659 226.31218746 164.46160633 229.31133889
160.39796084 235.63433856 236.34533985 236.57675083 242.89622943]