サポートFAQ データソース関係

キャンセル
次の結果を表示 
次の代わりに検索 
もしかして: 

サポートFAQ データソース関係

 

DR_supprt_faq.png

サポートに寄せられたよくある質問をご紹介します。

[質問] データをアップロードしようとした際にファイルサイズ超過のエラーが発生しました。どうすればよいですか?

基本はお客様の契約されているファイルサイズ(例:5G)までファイルの大きさを下げていただき、再度アップロードをお試しいただければと思います。ファイルサイズの制限は、プロダクションにお客様データが取り込まれた際のCSV形式でのデータサイズですので、その他サポートしているファイルタイプによって変換時に大きさが大きく異なる場合が’あることをご留意ください。ファイルサイズの詳細情報はUS-portalサイトに情報掲載がございますのでそちらをご参照いただければ幸いです。

 

[質問] HDFS上に格納されたファイルはどのように指定することが出来ますか?

データのインポート画面より「HDFS」を指定後、基本的には以下のURLにてアクセス可能となります hdfs://<address>/<path> HA構成をご利用の場合は、アドレスをvirtual nameとして(例としてmyclusterというvirtual nameを持つ場合)以下のようにアクセスすることも可能です。

hdfs://mycluster/<path>

この場合、myclusterは以下のような複数のNameNodeとして解釈されます。

* hdp-name1.rd2.hq.datarobot.com:8020 * hdp-name2.rd2.hq.datarobot.com:8020

なお、DataRobotの内部ストレージとしてHadoopをご利用の場合は、以下のように簡易的な記法でもアクセス可能となります。

* hdfs:///<path> * /<path>

 

[質問] データセットのエンコーディングを確認することはできますか?

弊社製品ではありませんが、例えばchardetなど、インターネットからダウンロードできるツールがあります。 https://pypi.python.org/pypi/chardet

 

[質問] サポートされるファイルの種類は何ですか?

DataRobotは、データ取り込みのために以下のフォーマットをサポートしています。

ファイル形式 .csv または .tsv* (推奨)

データベーステーブル

.xls .xlsx .sas7bdat *ファイルは、カンマ区切り、タブ区切り、セミコロン区切り、またはパイプ区切りのファイルで、データ列の数と一致するヘッダーを持つものでなければなりません。各行は同じ数のフィールドを持つ必要があります。

圧縮形式 .gz .bz2 アーカイブ形式 .tar 圧縮とアーカイブのフォーマット

.zip .tar.gz/.tgz .tar.bz2 圧縮とアーカイブの両方が受け入れられます。しかし、DataRobotは圧縮されていないデータサイズを知ることができるため、データの取り込み時に効率的になるため、アーカイブの方が好ましいとされています。 エンコーディングと文字セット データセットは、以下のエンコーディング要件を守らなければなりません。 データファイルには、(URLからの)余計な文字やエスケープシーケンスを含めることはできません。

エンコーディングは、データセット全体を通して一貫していなければなりません。例えば、データファイルが最初の100 MBでUTF-8としてエンコードされていても、ファイルの後半にutf-8以外の文字がある場合、最初の100 MBからの検出が正しくないために失敗する可能性があります。 データは、以下のいずれかのエンコーディングに従う必要があります。

ascii
cp1252
utf-8
utf-8-sig
utf-16
utf-16-le
utf-16-be
utf-32
utf-32-le
utf-32-be
Shift-JIS
ISO-2022-JP
EUC-JP
CP932
ISO-8859-1
ISO-8859-2
ISO-8859-5
ISO-8859-6
ISO-8859-7
ISO-8859-8
ISO-8859-9
windows-1251
windows-1256
KOI8-R
GB18030
Big5
ISO-2022-KR
IBM424
windows-1252 圧縮タイプ9(Deflate64)はサポートされていません。
PKWareはDeflate64を商標登録しており、独自の実装であると考えられています。Deflate64は、そのプロプライエタリな性質と、Deflateと比較した場合の限界的な性能差のため、zlibではサポートされていません。 windows explorerの圧縮オプションの代わりにwinzipやgzipなどの圧縮ツールを使ってみてください。

ラベル(2)
バージョン履歴
最終更新:
‎12-10-2020 06:18 PM
更新者: