Jubatus casulatalks2

50 %
50 %
Information about Jubatus casulatalks2
Technology

Published on February 15, 2014

Author: muddydixon

Source: slideshare.net

Description

Jubatus Casual Talks #2 (異常検知)の資料です

Multiple Seasonal Holt Winters の紹介と 時系列予測を実務に 適用するときの課題の共有 @muddydixon

自己紹介 ニフティクラウドの中のヒト 使ってください CROSSの中のヒト お越しください 落ち着きなく色々やっています mongo-hadoop Node.js HTML5 fluent-plugin-(datacalculator¦filter¦ anomalydetect)

メニュー fluent-plugin-anomalydetect Holt Winters概要 Simple / Weighted Moving Average Exponential Smoothing Holt Winters seasonal method Multiple Seasonal Holt Winters extends Dual Seasonal (Gould, 2008) Multiple Seasonal Holt Winters 実装とデモ

fluent-pluginanomalydetect (主に)時系列データを入力し、時系列データにお ける入力データの生起確率を計算し、出力する fluentのplugin 注:パラメタがセッティングが難しいです

Change Finder http://www.slideshare.net/yokkuns/tokyo-r15 予測モデルを作成し、実際の入力が発生する確 率 損失・スコアにし、異常値の度合いを求める

「月に何回くらい」って調整はできるかも 「異常は異常なので」以上なら何度でも・・・

参考図書

Holt Winters概要 移動平均法のひとつの指数平滑化法(exponential smoothing)に対して季節性・周期性の概念を導入した手法 triple exponential smoothingともいう ! 結局異常検知は予測モデルに対しての外れ度合いを計算す るので、より精度の高い予測モデルが必要になる そのモデルに制約があったとしても、制約下の条件で適 用すればよい(例:周期性など) Holt Wintersは予測に利用できるひとつのアルゴリズム RRDToolでも利用されている

使いどころ サーバリソースの推定 近傍の傾向だけではなく過去の周期性を元に 推定する(例えば先月、例えば昨年) 異常値がそのまま膨れていかないかを知る 売り上げの在庫管理 売れる周期の予測モデルを元に仕入れ

ざっくり 系列の要因を3つに分ける 1. ベースライン 2. トレンド 3. 季節性 上記3つを使ってm時刻先 の予測ができる! (ちなみに→のstlはETSか ARIMAを使ってる ETSはいわゆる平滑化) plot(stl(UKgas, s.window= per ))

Simple / Weighted Moving Average 移動平均:ARIMA=AR / I / MAの「MA」 「将来の値は過去のk個の値で表現できるよ!」 というモデル Simple MA ! Weighted MA

Exponential Smoothing 入力と前時間の平滑化をパラメタαでならして いく αが大きければ入力に感度が高く、小さけれ ばより平滑化される m時刻後の予測値は

Double Exponential Smoothing 予測値をベースラインとトレンドに分解して両者 を指数平滑化 s_t: ベースライン、b_t: トレンド 時刻m後の予測は

Triple Exponential Smoothing 季節性(間隔L)を加味した指数平滑化 モードは2つ: multiplicative additive 季節性が「比率」の時はmultiplicative、「絶 対量」の時はadditive Triple Exponential SmoothingをHolt-Winters methodと呼ぶ

Triple Exponential Smoothing 季節性(間隔L)を加味した指数平滑化 更新式

概念 ベースライン:移動平均 トレンド:近傍で上りか下りか 季節性:周期的な移動平均 先々月はこうだった、先月はこうだった、今月 は・・・ 参考:Seasonal ARIMA

Double Seasonal Holt Winters (Taylor, 2003) 2つの季節性を加味したモデル 従来のHWやARIMAよりも良い予測成績 といいつつそうでもないのでAR(1)で誤差の影 響を加味したら良くなったよ!

1日後 の予測

Multiple Seasonal Holt Winters (Gould, 2008) Multipleといいつつ、Taylor(2007)のDSの抽象 化を行ったモデル (結局2つの周期性のみ) かつ魔術的なパラメタ(月∼木、金、土、日をま とめよう!とか)が入ってる ただ、予測に必要な変数自体の削減はできる

(真の)Multiple Seasonal Holt Winters l個の季節性を加味したモデル 自己相関関数から求まるピークを周期性として利用 推定に必要なパラメタは多い・・・ 季節性毎の平滑化パラメタのフィッティングも 必要

demo

実適用上の課題 24 x 7 x X という形式ばかりではない 周期性をどのように抽出するか Seasonalityを破壊する要因 月という困った概念(28, 30, 31日)→例:給料日 第X月曜という困った概念→例:成人の日 四半期という困った概念 うるう年という困った概念 解決方法 季節性パラメタを吸収するラッパメソッド c_{i,t+m-L_i}に対して「毎月25日」を求めるとか

実装したいと思っていること パラメタの分割 1日 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1週間 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 ここを 推定したい 仮に周期性が24(時 間:15時), 168(週: 金曜), 720(月:第 一集)で見られた 場合、これを全部 組み込もうと思う と720の(履歴)パ ラメタを持たなけ ればならない これを月・七曜・ 時間毎に持ち、そ れらをc_iとして 計算する

参考文献 Forecasting Time Series with Multiple Seasonal Patterns, European Journal of Operational Research (2008), 191(1), 207‒220, Phillip G. Gould, Anne B. Koehler, Keith Ord, Ralph D. Snyder, Rob J. Hyndman1 and Farshid Vahid-Araghi Short-term electricity demand forecasting using double sea- sonal exponential smoothing, Journal of Operational Research Society, 54, 799‒805 (2003), James W. Taylor Texts, 7 Exponential smoothing, https://www.otexts.org/ fpp/7

宣伝1 採用募集中です クラウドのデータあります 現在、仮想・物理の障害予測や異常箇所特定 の迅速化、アラート、自動対応の準備中 パートナー企業のデータあります 某社のデータを匿名化して解析・予測、結果 の可視化を行い、売り上げ向上のためのシス テム アルファ提供

宣伝2 @slaさんによるセッションもあります CROSS2014 お越しください 例年並みにチケットが売れていません

イベント概要

Add a comment

Related presentations

Related pages

Jubatus Casual Talks #2 異常検知編 を開催 ...

先週末、12/14(土)にIIJ様オフィスにて「Jubatus Casual Talks #2 異常検知編」を開催 ... Jubatus casulatalks2 from Daichi ...
Read more

Jubatus Blog: Jubatus 0.5.0 released

Jubatus Blog An online and parallel machine learning framework and library. Official blog written by project members
Read more

季節性 arima - isenakagawa.xyz

季節性 arima 無料画像 Jubatus casulatalks2 これをauto.arima()で季節調整 2003)2つの季節性を加味 季節性サイクル ゼロ金利 ...
Read more

Jubatusに関する最新・人気の資料情報 - dots ...

Jubatusに関する最新・人気の資料を閲覧することができます。Jubatusに関するITセミナーやエンジニア向けイベント ...
Read more