时间:2021-07-01 10:21:17 帮助过:2人阅读
这是用python将数据转为lmdb的代码,但是我用这个处理完数据再使用caffe会出现std::bad_alloc错误,后来经过艰苦地奋斗,查阅了大量资料,我发现了问题所在:
1.caffe的数据格式默认为四维(n_samples, n_channels, height, width)
.所以必须把我的数据处理成这种格式
2.最后一行txn.put(str_id.encode(‘ascii‘), datum.SerializeToString())一定要加上,我一开始一维python2不用写这个,结果老是出错,后来才发现这行必须写!
3.如果出现mdb_put: MDB_MAP_FULL: Environment mapsize limit reached
的错误,是因为lmdb默认的map_size比较小,我把lmdb/cffi.py里面的map_size默认值改了一下,改成了1099511627776(也就是1Tb),我也不知道是不是这么改,然后我又把上面python程序里map_size = X.nbytes 这句改成了map_size = X.nbytes * 10,然后就成功了!
找资料的过程中,我还发现了用python写leveldb的程序,网址在这里:https://github.com/BVLC/caffe/issues/745和http://stackoverflow.com/questions/32707393/whats-caffes-input-format
用python写HDF5的程序在这里:http://stackoverflow.com/questions/31774953/test-labels-for-regression-caffe-float-not-allowed/31808324#31808324
参考:
1.http://stackoverflow.com/questions/30983213/how-to-use-1-dim-vector-as-input-for-caffe/30991590#30991590
2.关于lmdb的map_size大小的问题:https://github.com/BVLC/caffe/issues/1298和http://stackoverflow.com/questions/31820976/lmdb-increase-map-size
Caffe使用:如何将一维数据或其他非图像数据转换成lmdb
标签: