Java中的文件流


问题内容

我目前正在使用 JOGL (Java
OpenGL绑定)开发3D图形应用程序。简而言之,我有一个巨大的横向二进制文件。由于其大小,我必须在运行时流式传输地形块。因此,我们明确看到了随机访问问题。我已经完成了第一个(也很肮脏的)实现(也许是多线程的),在这里我使用的是愚蠢的方法……这是它的初始化:

dataInputStream = new DataInputStream(new BufferedInputStream(fileInputStream,4 * 1024);
dataInputStream.mark(dataInputStream.available());

当我需要读取(流式)特殊块时(我已经知道文件中的“偏移量”),我正在执行以下操作(让我感到羞耻:)):

dataInputStream.reset();
dataInputStream.skipBytes(offset);
dataInputStream.read(whatever I need...);

由于我很少有经验,这是我首先想到的:)因此,到目前为止,我已经阅读了3篇有用且非常有趣的文章(建议您阅读,也许您对此主题感兴趣的话)

  1. 字节缓冲区和非堆内存-Gregory 先生似乎精通Java NIO。

  2. Java技巧:如何快速读取文件 [http://nadeausoftware.com/articles/2008/02/java_tip_how_read_files_quickly]-这是一个有趣的基准。

  3. 文章:调整Java I / O性能 [http://java.sun.com/developer/technicalArticles/Programming/PerfTuning/]-简单的Sun建议,但是请向下滚动并查看其中的“ Random Access”部分;它们显示了RandomAccessFile(RAF)的简单实现,并具有自我缓冲功能。

Gregory先生在文章结尾提供了几个* .java文件。其中之一是在FileChannel + ByteBuffer
+映射(FBM)和RAF之间进行基准测试。他说,他注意到使用FBM的速度是RAF的4倍。我已经在以下条件下运行了该基准测试:

  1. 偏移量(例如访问位置)是随机生成的(在文件范围内,例如0-file.length());
  2. 档案大小为220MB;
  3. 1000000次访问(75%的读取和25%的写入)

结果是惊人的:

皇家空军〜28秒! FBM〜0.2秒!

但是,他在该基准测试中对RAF的实现没有自我缓冲(第三篇文章讲述了这一点),因此我猜想它是“
RandomAccessFile.seek”方法调用,它使性能如此下降。

好的,在我了解了所有这些事情之后,现在有1个问题和1个难题:)

问题 :当我们使用“
FileChannel.map”映射文件时,Java是否将整个文件内容复制到MappedByteBuffer中?还是只是模仿它?如果复制,那么使用FBM方法不适合我的情况,对吗?

困境 :取决于您对问题的回答…

  1. 如果映射复制了一个文件,那么看来我只有2种可能的解决方案: RAF +自缓冲 (第3条中的一种)或 利用FileChannel中的位置 (不用于映射)…哪一个可以会更好?

  2. 如果映射不能复制文件,那么我有3个选择:前两个选择和 FBM本身

编辑
:这是另一个问题。在座的一些人说映射不会将文件复制到MappedByteBuffer中。好的,那我为什么不能映射1GB的文件,却收到“无法映射”消息…

PS 我希望收到与建议一个满足的答案,因为我无法找到过这个话题在互联网上一致的信息。

谢谢 :)


问题答案:

否,数据未缓冲。MappedByteBuffer使用指针引用数据。换句话说,数据不会被复制,只是
被映射
到物理内存中。如果还没有,请参阅API文档

内存映射文件是虚拟内存的一部分,已为其分配了与文件或类似文件的资源的某些部分的逐字节直接相关性。此资源通常是物理上存在于磁盘上的文件,但也可以是设备,共享内存对象或操作系统可以通过文件描述符引用的其他资源。一旦存在,文件和内存空间之间的这种关联关系允许应用程序将映射部分视为主内存。

资料来源:维基百科

如果您要经常读取数据,则最好至少缓存其中一些数据。