我处理非常大的二进制文件(每个文件几GB到多TB)。这些文件以传统格式存在,升级需要将标头写入文件的FRONT。我可以创建一个新文件并重写数据,但有时这可能需要很长时间。我想知道是否有更快的方法来完成此升级。该平台仅限于Linux,我愿意使用低级函数(ASM,C,C ++)/文件系统技巧来实现这一目标。初始库是Java,JNI是完全可以接受的。
我处理非常大的二进制文件(每个文件几GB到多TB)。这些文件以传统格式存在,升级需要将标头写入文件的FRONT。我可以创建一个新文件并重写数据,但有时这可能需要很长时间。我想知道是否有更快的方法来完成此升级。该平台仅限于Linux,我愿意使用低级函数(ASM,C,C ++)/文件系统技巧来实现这一目标。初始库是Java,JNI是完全可以接受的。
本机没有通用的方法。
也许某些文件系统提供了一些功能来执行此操作(无法提供任何关于此的提示),但您的代码将依赖于文件系统。
一个解决方案可能是 模拟 文件系统:您可以将数据存储在一组多个文件中,然后提供一些打开,读取和写入数据的功能,就像它是一个文件一样。
听起来很疯狂,但如果可以更改从文件读取数据的功能,则可以按相反的顺序存储文件数据。在这种情况下,您可以在文件末尾附加数据(以相反的顺序)。这只是一个普遍的想法,所以我不能推荐任何特别的东西。 用于反转当前文件的代码如下所示:
std::string records;
ofstream out;
std::copy( records.rbegin(), records.rend(), std::ostream_iterator<string>(out));
这取决于你所说的“文件系统技巧”。如果你愿意对文件系统的磁盘格式不屑一顾, 和 要添加的标头大小是文件系统块大小的倍数,那么您可以编写一个程序来直接操作文件系统的磁盘结构(卸载文件系统)。
这个企业虽然听起来很毛茸茸 - 如果你有数百个这样的巨型文件要处理,它可能是值得的。
我只是使用标准的Linux工具来做到这一点。
写另一个应用程序来做它似乎是次优的。
cat headerFile oldFile > tmpFile && mv tmpFile oldFile
我知道这是一个老问题,但我希望这有助于将来的某个人。如同 模拟 一个文件系统,你可以简单地使用一个命名管道:
mkfifo /path/to/file_to_be_read
{ echo "HEADER"; cat /path/to/source_file; } > /path/to/file_to_be_read
然后,您运行遗留程序 /path/to/file_to_be_read
,输入将是:
HEADER
contents of /path/to/source_file
...
只要程序按顺序读取文件而不执行该操作,这将起作用 mmap()
要么 rewind()
过了缓冲区。