Hi ! Day28 !
今天要來介紹的是TFRecord!
TFRecord 由TensorFlow團隊所開發,其格式是一種可儲存序列式binary資料的簡單格式。TFRecord遵循Protocol Buffer,希望實現跨平台、跨語言的資料結構。
在操作TFRecord時,需要藉由tf.train.Example
將資料封裝成protocol message。tf.train.Example
的格式為{“string”: tf.train.Feature}
,而tf.train.Feature
內部也是由protocal message組成,三種格式為: BytesList, FloatList或Int64List。
參考書籍:深度學習最佳入門邁向AI專題實戰| 陳昭明作
https://medium.com/ai-blog-tw/適合大量資料i-o的儲存格式-tfrecord簡介與操作教學-cd27e50d51ee
https://www.tensorflow.org/tutorials/load_data/tfrecord