線形モデル、サポートベクタ、決定木、XGB、等々ありますが、
そういったアルゴリズムの違いを、
気になりました。
有益な観点や資料を共有できるとうれしいです。
個人的には、sklearnのアルゴリズム比較 のページの下図が好きです。
LightGBM、XGBは、
といった決定木の(実用上の)良さがありますが、、
やはり、カーネルベースSVMのエレガンスさにウットリしますw
積読にしてある、カーネル多変量解析 を読み直したくなりました。(時間が欲しいw)
SVM、コンセプトが良いですよね!
当時の話を聞くと、いかに次元を減らして上手く分類するかをみんな苦心していた中、あえて高次元に吹っ飛ばしてキレイに分けるというアルゴリズムで「え!?そっち!?」と驚愕したというエピソードで理解しています(笑)
SVMは、第3次機械学習ブームのはじまる遥か昔、データマイニングを私がやっていたころに、出てきた時にすごい便利だなと思ってお気に入りのアルゴリズムの一つでした。
SVMのマージン最大化と、ガウスカーネルの最強コンビ。Vapnik先生に感謝です!
all your Bayes are belong to us!
ちょっと前に、趣味で、局所特徴量+SVM(RBF)という、DeepLearning登場以前のコンビでImageNetをやってみた事があって、そこそこの精度が出たので驚きましたww
あと書き忘れたのです、
dlibのsimple_object_detector
が面白いです。DNNより少量の画像で学習できます。
中身は、HOG特徴量+SVM です。
線形系のアルゴリズムはやはり端の値への安定性や分布を知っている時には強力だなと思います。決定境界のなめらかさは学習データがどうしても少ないパターンでは暴れてしまうツリーに対して強いケースがあると思います。裏に想像できるレベルの物理法則などが隠れているテーマの場合には、線形系のアルゴリズムが好きです。
逆に分布が表現できない複雑さがあるケースでは、ツリー系のピーキーなフィッティングはやはり強力な武器になるなと思います。ツリーもディープフォレストとか面白い進化がまだまだあるのでそこがまだ見えない楽しみもあるなと。他にも単調制約や様々な損失関数使えるので使いこなせればまだまだ奥は深いとも。
SVMはある種美しく完成してしまったのか、これ以上の伸び代があるのかと勝手に思っていましたが色々あるのですね。