大内存 大数据处理
做类似于采集的东西,需要使用几十万个特征数据,然后需要随时从里面检索对象。
现在加载几万个内存就用了2G内存。
请问有没有好方案?
[解决办法]
多做几层中转,常访问的存在内存,不常访问的不保存在内存,读取时发现取不到再去硬盘取数据.
数据如果保存在磁盘的话,可能能用内存映射文件之类的做吧.
[解决办法]
使用数据库保存特征数据
[解决办法]
内存里只保留用于检索的索引, 具体对象的数据放文件里面, 需要的时候再读吧.
[解决办法]
建索引等,利用数据库或数据文件,通过特征索引来查找
[解决办法]
逐步加载特征数据,同时先给特征数据排序,这样检索估计也快点