「TFRecord」の版間の差分
ナビゲーションに移動
検索に移動
(ページの作成:「'''TFRecord'''とは、tensorflowが推奨しているデータ形式、ファイル形式である。 拡張子は「.tfrecord」としていることが多い…」) |
Administrator (トーク | 投稿記録) |
||
| 1行目: | 1行目: | ||
'''TFRecord'''とは、[[tensorflow]]が推奨しているデータ形式、ファイル形式である。 [[拡張子]]は「.tfrecord」としていることが多い。 | '''TFRecord'''とは、[[tensorflow]]が推奨しているデータ形式、ファイル形式である。 [[拡張子]]は「.tfrecord」としていることが多い。 | ||
| + | |||
==概要== | ==概要== | ||
TFRecordは[[CSV]]や[[JSON]]などと同様の[[テキスト]]に加え、[[バイナリ]]を効率的に格納できるという代物である。これにより物体検出の[[機械学習]]で使用する画像ファイル（バイナリ）、その中の物体を指す矩形座標（数値）、そして物体名のラベル（テキスト）などを１つのファイルに格納できる。 | TFRecordは[[CSV]]や[[JSON]]などと同様の[[テキスト]]に加え、[[バイナリ]]を効率的に格納できるという代物である。これにより物体検出の[[機械学習]]で使用する画像ファイル（バイナリ）、その中の物体を指す矩形座標（数値）、そして物体名のラベル（テキスト）などを１つのファイルに格納できる。 | ||
| 5行目: | 6行目: | ||
[[JSON]]に[[バイナリ]]を格納しようとすると[[BASE64]]などを使い無理やりテキスト化して格納する必要があり、これに伴い[[ファイル]]が肥大化したりと非常に効率が悪い。一方、TFRecordならそんな問題も解決だ。[[Tensorflow]]以外の用途でも「テキストとバイナリを同時に扱いたい」という用途では活躍することであろう。 | [[JSON]]に[[バイナリ]]を格納しようとすると[[BASE64]]などを使い無理やりテキスト化して格納する必要があり、これに伴い[[ファイル]]が肥大化したりと非常に効率が悪い。一方、TFRecordならそんな問題も解決だ。[[Tensorflow]]以外の用途でも「テキストとバイナリを同時に扱いたい」という用途では活躍することであろう。 | ||
| − | + | TFRecordの中身は「[[Protocol Buffers]]」である。大雑把にいえば、生のProtocol Buffersは準備が面倒すぎるので[[Tenforflow]]の中の人が簡単に扱えるよう[[ラッパーライブラリ]]を用意してくれたものがTFRecordである。 | |
| + | |||
==関連クラス== | ==関連クラス== | ||
| − | |||
*保存 = tf.io.TFRecordWriter | *保存 = tf.io.TFRecordWriter | ||
*読込 = tf.data.TFRecordDataset | *読込 = tf.data.TFRecordDataset | ||
2020年10月5日 (月) 04:00時点における版
TFRecordとは、tensorflowが推奨しているデータ形式、ファイル形式である。 拡張子は「.tfrecord」としていることが多い。
概要
TFRecordはCSVやJSONなどと同様のテキストに加え、バイナリを効率的に格納できるという代物である。これにより物体検出の機械学習で使用する画像ファイル（バイナリ）、その中の物体を指す矩形座標（数値）、そして物体名のラベル（テキスト）などを１つのファイルに格納できる。
JSONにバイナリを格納しようとするとBASE64などを使い無理やりテキスト化して格納する必要があり、これに伴いファイルが肥大化したりと非常に効率が悪い。一方、TFRecordならそんな問題も解決だ。Tensorflow以外の用途でも「テキストとバイナリを同時に扱いたい」という用途では活躍することであろう。
TFRecordの中身は「Protocol Buffers」である。大雑把にいえば、生のProtocol Buffersは準備が面倒すぎるのでTenforflowの中の人が簡単に扱えるようラッパーライブラリを用意してくれたものがTFRecordである。
関連クラス
- 保存 = tf.io.TFRecordWriter
- 読込 = tf.data.TFRecordDataset
