お世話になっております。
Visual AIに搭載された各機能について背景の技術を知りたいと思っています。
画像埋め込み、アクティベーションマップについて、
具体的にどのようなことをしているのか、参考となる文献など教えていただけますでしょうか。
解決済! 解決策の投稿を見る。
この場では少しだけ抽象的な表現に留めさせていただきますが、下記のようになります。
<画像埋め込み>
こちらはニューラルネットワークの最終層の特徴量ベクトルを使って、教師なし学習によるクラスタリングを行い、その距離を2次元空間に投影しています。これにより外れ値的な画像、例えば家賃予測で内観の写真を使っている中で間取りの画像が混じっていた、といったケースを検出できます
<アクティベーションマップ>
Class Activation Mapの技術を応用しています。DataRobotではニューラルネットワークの一連の層から、適宜Global Average Pooling層に繋げて特徴量ベクトルの抽出を行います。その際に、抽出前の活性状況を確認することで、その特徴量ベクトルが元画像のどの辺りを代表しているかが分かります。その上でその画像を予測した際の各特徴量ベクトルの重要度を確認することで、モデルが画像のどこを見て予測したかを確認することが出来ます。
もう少し踏み込んだ説明や参考となる論文へのリンクはDataRobotのヘルプドキュメントの「Visual AIの使用」にありますので、そちらをぜひご覧ください。
(*下記はクラウド版のヘルプへのリンクで、ログインが必要です。オンプレの対応バージョンの場合はモデリング→Visual AIの使用→ビジュアルAIリファレンスをご覧ください。)
https://app.datarobot.com/docs-jp/modeling/visual-ai/vai-ref.html
ありがとうございます!いただきましたリファレンスも確認します。