プロジェクトを実行し、データから多くのモデルを構築したら、トップメニューの「モデル」をクリックして、リーダーボードからそれぞれのモデルを評価することができます。
図1. モデル
まずは「モデル」の右側に表示されている数字に注目してください。これは、このプロジェクトで構築されたモデルの数を示しています。
「モデル」をクリックすると、リーダーボードが開きます。モデルが選択したパフォーマンス指標の順にリストアップされています。例えば、二値分類の場合、デフォルトの指標はloglossです。
モデルのいずれかをクリックすると、詳細な情報を展開することができます。すると、以下のツールが表示されます:評価、解釈、説明、予測、コンプライアンス。
- 評価 ー モデルのパフォーマンス情報を提供します。
- 解釈 ー モデルの構成情報を提供します。
- 説明 ー モデルのブループリントを説明します。ブループリントはさまざまな前処理、パイプラインと機械学習アルゴリズムを組み合わせたものです。フローは左からスタートして、アップロード時データインジェストから、様々な前処理ステップ(場合によっては他のアルゴリズムを経由することも)を経て、最終的な機械学習アルゴリズムに至るまでの流れである(図2のアルゴリズムはeXtreme Gradient Boosted Trees Classifierです)。最後に完成したモデルは予測に使われます
- 予測 ー 予測リクエストの発行と結果を取得する方法を複数提供します。
- コンプライアンス ー 透明性を提供するため、DataRobotが構築したここのモデルの各ステップと設定を記述した詳細なドキュメントを生成します。
図2. モデルを理解し評価するためのツール
このメニューから1つ上のレベルに戻ると、グレーでハイライトされたさまざまな項目が表示されます(図3)。
図 3. モデルのタグ
これらのタグは、リーダーボード上のモデルを絞り込むためのいくつかの方法を提供します。タグによって提供される情報は機械学習アルゴリズムのタイプに依存し、モデルとブループリントの番号、係数が利用可能かどうか、スコアリングコードなどが含まれます。(各タグについては、DataRobotアプリ内のドキュメントで詳しく説明されています)。
タグをクリックすると、リーダーボード内そのタグが付与されたモデルを絞り込むことができます。
リーダーボードは3つの主要なカラムセクションで構成されています。
- モデル名と説明 ー モデルの名前とブループリントの各ステップの概要を説明するテキストが表示されます。
- 特徴量セットとサンプルサイズ ー 学習で使用された特徴量セットとデータ数を示します。例えば特徴量セットは有用な特徴量と100%のデータで学習した。特徴量セットとサンプルサイズをクリックして変更して、別の組み合わせで再学習することができます。
- 指標 <指標名> ー 検証、交差検定(実行した場合)とホールドアウトのスコアを確認できます。指標名をクリックすることで、ドロップダウンから他の指標に変更することができます。
図4. モデルのリーダーボード情報
図5に示すようにモデルアルゴリズムの名前の横にアイコンが表示されています。
図5. モデルアイコン
各アイコンは、モデルの構築に使用されたオープンソースの言語および/またはライブラリを示しています。例えば、Python、R、X Boost、DMTK、Tensorflowなどです。また、DataRobotのアイコンもありますが、これは我々が様々なライブラリを組合せし、チューニングして実装したものです。
リーダーボードのテーブルとメインメニューの間には、オレンジ色のテキストで書かれた別の項目のセットがあります。
図6 モデルの閲覧や新しいタイプのモデルを作成するためのツール
メニューには、モデルをアンサンブルに組合せるためのさまざまなオプションが用意されています。アンサンブルは、さまざまな方法で複数モデルの予測結果を一の結果に統合する手法です。
モデルを検索する、あるいはモデルを絞り込むためのツールもあります。新しいモデルを追加を使用して、リポジトリからモデルを追加して学習し、リーダーボードに追加することができます。エクスポートでは、リーダーボードの内容をダウンロード可能なファイルに作成し、出力します。
その上には、リーダーボード、学習曲線、速度 対 精度、モデル比較を含む別のメニューがあります。ここではリーダーボードについて説明していますが、その他の項目については他の資料で説明しています。
図7. リーダーボードツール
リーダーボードの評価の注意点・Tips:
- リーダーボード上位のモデルでは交差検定も実施してみましょう。データ量が多い場合は、自動的には計算されません。
- また、交差検定と検定のブレが大きくないかを確認し、大きな差がある場合には常に交差検定の値を信用し、どうして差が出るのか考察してみましょう。