「TFRecord」の版間の差分
ページの作成:「'''TFRecord'''とは、tensorflowが推奨しているデータ形式、ファイル形式である。 拡張子は「.tfrecord」としていることが多い…」 |
Administrator (トーク | 投稿記録) 編集の要約なし |
||
| (同じ利用者による、間の1版が非表示) | |||
| 1行目: | 1行目: | ||
'''TFRecord'''とは、[[tensorflow]]が推奨しているデータ形式、ファイル形式である。 [[拡張子]]は「.tfrecord」としていることが多い。 | '''TFRecord'''とは、[[tensorflow]]が推奨しているデータ形式、ファイル形式である。 [[拡張子]]は「.tfrecord」としていることが多い。 | ||
==概要== | ==概要== | ||
TFRecordは[[CSV]]や[[JSON]]などと同様の[[テキスト]]に加え、[[バイナリ]]を効率的に格納できるという代物である。これにより物体検出の[[機械学習]]で使用する画像ファイル（バイナリ）、その中の物体を指す矩形座標（数値）、そして物体名のラベル（テキスト）などを１つのファイルに格納できる。 | TFRecordは[[CSV]]や[[JSON]]などと同様の[[テキスト]]に加え、[[バイナリ]]を効率的に格納できるという代物である。これにより物体検出の[[機械学習]]で使用する画像ファイル（バイナリ）、その中の物体を指す矩形座標（数値）、そして物体名のラベル（テキスト）などを１つのファイルに格納できる。 | ||
| 5行目: | 6行目: | ||
[[JSON]]に[[バイナリ]]を格納しようとすると[[BASE64]]などを使い無理やりテキスト化して格納する必要があり、これに伴い[[ファイル]]が肥大化したりと非常に効率が悪い。一方、TFRecordならそんな問題も解決だ。[[Tensorflow]]以外の用途でも「テキストとバイナリを同時に扱いたい」という用途では活躍することであろう。 | [[JSON]]に[[バイナリ]]を格納しようとすると[[BASE64]]などを使い無理やりテキスト化して格納する必要があり、これに伴い[[ファイル]]が肥大化したりと非常に効率が悪い。一方、TFRecordならそんな問題も解決だ。[[Tensorflow]]以外の用途でも「テキストとバイナリを同時に扱いたい」という用途では活躍することであろう。 | ||
TFRecordの中身は「[[Protocol Buffers]]」である。大雑把にいえば、生のProtocol Buffersは使い始めるまでの準備が面倒すぎるので、[[Tenforflow]]の中の人が簡単に扱えるよう[[ラッパーライブラリ]]を用意してくれたものがTFRecordである。 | |||
==関連クラス== | ==関連クラス== | ||
*保存 = tf.io.TFRecordWriter | *保存 = tf.io.TFRecordWriter | ||
*読込 = tf.data.TFRecordDataset | *読込 = tf.data.TFRecordDataset | ||