提问者:小点点

当重复映射和取消映射单个页面时,mmap()无法分配内存


我读了许多这样(和其他)的问题,但我找不到一个对我有帮助的问题。我想同时两个文件,并逐个字节复制它们的内容(我知道这看起来很荒谬,但这是我最小的可复制示例)。因此,我循环遍历每个字节,复制它,并且在我的文件中的一页大小之后,我当前页和下一页。Imo应该只有一页(4096字节)的每个文件是需要的,所以应该没有任何内存问题。

另外,如果输出文件太小,则通过分配内存,这样可以正常运行。在硬盘驱动器中缺少内存空间也不是问题。

但是,当我准备使用140 MB的稍大一点的文件时,我会从正在写入的output-file中得到错误。你们知道这是怎么回事吗?

#include <sys/types.h>
#include <sys/mman.h>
#include <err.h>
#include <fcntl.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <iostream>
#include <bitset>
#include <fcntl.h>
#include <sys/stat.h>
#include <math.h>
#include <errno.h>

using namespace std;

int main()
{

    char file_input[] = "medium_big_file";
    char file_output[] = "foo_output";
    int fd_input = -1;
    int fd_output = -1;
    unsigned char *map_page_input, *map_page_output;
    struct stat stat_input, stat_output;

    if ((fd_input = open(file_input, O_RDONLY)) == -1 ||
          (fd_output = open(file_output, O_RDWR|O_CREAT, 0644)) == -1) {
            cerr << "Error on open()" << endl;
            return EXIT_FAILURE;
    }

    // get file size via stat()
    stat(file_input, &stat_input);
    stat(file_output, &stat_output);
    const size_t size_input = stat_input.st_size;
    const size_t size_output = stat_output.st_size;

    const size_t pagesize = getpagesize();

    size_t page = 0;
    size_t pos = pagesize;

    if (size_output < size_input) {
      if (posix_fallocate(fd_output, 0, size_input) != 0) {
        cerr << "file space allocation didn't work" << endl;
        return EXIT_FAILURE;
      }
    }

    while(pos + (pagesize * (page-1)) < size_input) {
      // check if input needs the next page
      if (pos == pagesize) {
        munmap(&map_page_input, pagesize);
        map_page_input = (unsigned char*)mmap(NULL, pagesize, PROT_READ,
          MAP_FILE|MAP_PRIVATE, fd_input, page * pagesize);
        munmap(&map_page_output, pagesize);
        map_page_output = (unsigned char*)mmap(NULL, pagesize,
          PROT_READ|PROT_WRITE, MAP_SHARED, fd_output, page * pagesize);
        page += 1;
        pos = 0;
        if (map_page_output == MAP_FAILED) {
      cerr << "errno: " << strerror(errno) << endl;
          cerr << "mmap failed on page " << page << endl;
          return EXIT_FAILURE;
        }
      }

      memcpy(&map_page_output[pos], &map_page_input[pos], 1);

      pos += 1;
    }

    munmap(&map_page_input, pagesize);
    munmap(&map_page_output, pagesize);


    close(fd_input);
    close(fd_output);
    return EXIT_SUCCESS;
}

共3个答案

匿名用户

循环的第一次迭代尝试取消映射从未映射的内容,并将一个完全未初始化的指针传递到。不是一次,而是两次。

最后,需要指向mmap-ed内存的指针,而不是指向mmap-ed内存的指针。

显示的代码无法检查的返回状态。如果它这样做了,它会发现对的每次调用都失败(希望如此,但是如果第一个调用碰巧传递了一个对齐指针,堆栈的一个块可能最终被取消映射,随之而来的是欢闹),因此所示代码只是不断地分配越来越多的页面,并耗尽内存。

您必须修复这两个bug。

匿名用户

您不检查的退出代码。它会失败。它会失败,因为您不需要获取地址的地址。替换:

munmap(&map_page_input, pagesize);

munmap(map_page_input, pagesize);

由于munmap失败,您将耗尽每个进程的最大映射数。

匿名用户

munmap将mmap返回的值作为第一个参数。在您的代码中,munpap接收到一个指向包含它的变量的指针,因此您实际上并没有取消该区域的映射。只需删除“&;”在munmap调用中。