キャンセル
次の結果を表示 
次の代わりに検索 
もしかして: 
DataRobot コミュニティ

アルゴリズムの特徴(得意/不得意)

ShinichiroOhno
リニアアクチュエータ

アルゴリズムの特徴(得意/不得意)

線形モデル、サポートベクタ、決定木、XGB、等々ありますが、
そういったアルゴリズムの違いを、

  • 皆さん自身がどう理解されており
  • 他の方々にどう説明しているか

気になりました。
有益な観点や資料を共有できるとうれしいです。

6件の返信6
ShinichiroOhno
リニアアクチュエータ

個人的には、sklearnのアルゴリズム比較 のページの下図が好きです。

  • 線形モデルの滑らかな決定境界
  • 決定木ベースのギザギザとした感じ
  • ガウスカーネル(RBF)SVMのカーネルトリックの強力さ

LightGBM、XGBは、

  • 量的/質的データをうまく扱える
  • スケールに敏感でなく、前処理が多少荒くても大丈夫

といった決定木の(実用上の)良さがありますが、、

やはり、カーネルベースSVMのエレガンスさにウットリしますw
積読にしてある、カーネル多変量解析 を読み直したくなりました。(時間が欲しいw)

 

sphx_glr_plot_classifier_comparison_001

 

 

 

Isao
データロボット同窓生

SVM、コンセプトが良いですよね!

当時の話を聞くと、いかに次元を減らして上手く分類するかをみんな苦心していた中、あえて高次元に吹っ飛ばしてキレイに分けるというアルゴリズムで「え!?そっち!?」と驚愕したというエピソードで理解しています(笑)

ManaM
データロボット同窓生

SVMは、第3次機械学習ブームのはじまる遥か昔、データマイニングを私がやっていたころに、出てきた時にすごい便利だなと思ってお気に入りのアルゴリズムの一つでした。

 

ShinichiroOhno
リニアアクチュエータ

SVMのマージン最大化と、ガウスカーネルの最強コンビ。Vapnik先生に感謝です!

all your Bayes are belong to us!

ちょっと前に、趣味で、局所特徴量+SVM(RBF)という、DeepLearning登場以前のコンビでImageNetをやってみた事があって、そこそこの精度が出たので驚きましたww

ShinichiroOhno
リニアアクチュエータ

あと書き忘れたのです、

dlibのsimple_object_detector

が面白いです。DNNより少量の画像で学習できます。

中身は、HOG特徴量+SVM です。

Miogawa
データサイエンティスト
データサイエンティスト

線形系のアルゴリズムはやはり端の値への安定性や分布を知っている時には強力だなと思います。決定境界のなめらかさは学習データがどうしても少ないパターンでは暴れてしまうツリーに対して強いケースがあると思います。裏に想像できるレベルの物理法則などが隠れているテーマの場合には、線形系のアルゴリズムが好きです。

逆に分布が表現できない複雑さがあるケースでは、ツリー系のピーキーなフィッティングはやはり強力な武器になるなと思います。ツリーもディープフォレストとか面白い進化がまだまだあるのでそこがまだ見えない楽しみもあるなと。他にも単調制約や様々な損失関数使えるので使いこなせればまだまだ奥は深いとも。

SVMはある種美しく完成してしまったのか、これ以上の伸び代があるのかと勝手に思っていましたが色々あるのですね。