「TFRecord」の版間の差分
ナビゲーションに移動
検索に移動
Administrator (トーク | 投稿記録) |
Administrator (トーク | 投稿記録) |
||
6行目: | 6行目: | ||
[[JSON]]に[[バイナリ]]を格納しようとすると[[BASE64]]などを使い無理やりテキスト化して格納する必要があり、これに伴い[[ファイル]]が肥大化したりと非常に効率が悪い。一方、TFRecordならそんな問題も解決だ。[[Tensorflow]]以外の用途でも「テキストとバイナリを同時に扱いたい」という用途では活躍することであろう。 | [[JSON]]に[[バイナリ]]を格納しようとすると[[BASE64]]などを使い無理やりテキスト化して格納する必要があり、これに伴い[[ファイル]]が肥大化したりと非常に効率が悪い。一方、TFRecordならそんな問題も解決だ。[[Tensorflow]]以外の用途でも「テキストとバイナリを同時に扱いたい」という用途では活躍することであろう。 | ||
− | TFRecordの中身は「[[Protocol Buffers]]」である。大雑把にいえば、生のProtocol | + | TFRecordの中身は「[[Protocol Buffers]]」である。大雑把にいえば、生のProtocol Buffersは使い始めるまでの準備が面倒すぎるので、[[Tenforflow]]の中の人が簡単に扱えるよう[[ラッパーライブラリ]]を用意してくれたものがTFRecordである。 |
==関連クラス== | ==関連クラス== |
2020年10月5日 (月) 04:00時点における最新版
TFRecordとは、tensorflowが推奨しているデータ形式、ファイル形式である。 拡張子は「.tfrecord」としていることが多い。
概要[編集 | ソースを編集]
TFRecordはCSVやJSONなどと同様のテキストに加え、バイナリを効率的に格納できるという代物である。これにより物体検出の機械学習で使用する画像ファイル(バイナリ)、その中の物体を指す矩形座標(数値)、そして物体名のラベル(テキスト)などを1つのファイルに格納できる。
JSONにバイナリを格納しようとするとBASE64などを使い無理やりテキスト化して格納する必要があり、これに伴いファイルが肥大化したりと非常に効率が悪い。一方、TFRecordならそんな問題も解決だ。Tensorflow以外の用途でも「テキストとバイナリを同時に扱いたい」という用途では活躍することであろう。
TFRecordの中身は「Protocol Buffers」である。大雑把にいえば、生のProtocol Buffersは使い始めるまでの準備が面倒すぎるので、Tenforflowの中の人が簡単に扱えるようラッパーライブラリを用意してくれたものがTFRecordである。
関連クラス[編集 | ソースを編集]
- 保存 = tf.io.TFRecordWriter
- 読込 = tf.data.TFRecordDataset