Все вопросы: [mmap]

27 вопросов

похожие теги:
46
голосов
8ответов
26012 просмотров

Почему mmap Python не работает с большими файлами?

[Изменить: эта проблема относится только к 32-битным системам. Если ваш компьютер, ваша ОС и ваша реализация Python являются 64-битными, то создание больших файлов mmap работает надежно и чрезвычайно эффективно.] Я пишу модуль, который, помимо прочего, разрешает побитовый доступ для чтения ...

5
голосов
4ответов
4425 просмотров

Python File Slurp с прямым преобразованием

Недавно был задан вопрос , как сделать выпадение файла в python , и принятый ответ подсказал что-то как: with open('x.txt') as x: f = x.read() Как я могу это сделать, чтобы прочитать файл и преобразовать конечное представление данных? Например, у меня есть двоичный файл размером 1 ГБ, ...

4
голосов
3ответов
8044 просмотров

mmap and access to GPIO config registers in an ARM processor

Im struggling to read(and write) to HW registers from Linux user space. The goal is to configure some GPIO pins from and be able to set and read this pins. According to the spec for the processor(imx27 from Freescale) the physical address for the register bank controlling GPIO this is 0x10015000...

0
голосов
2ответов
1680 просмотров

wx.TextCtrl.LoadFile()

I am trying to display search result data quickly. I have all absolute file paths for files on my network drive(s) in a single, ~50MB text file. The python script makes a single pass over every line in this file [kept on the local drive] in a second or less, and that is acceptable. That is the t...

7
голосов
1ответов
2408 просмотров

mmap(2) vs mmap(3)

Does anyone know what the difference between mmap(2) and mmap(3) is? Man section 3 is described as "This chapter describes all library functions excluding the library functions described in chapter 2, which implement system calls." Doesn't mmap(3) perform a system call? Reading the two man pag...

12
голосов
13ответов
7443 просмотров

What is the fastest way to read 10 GB file from the disk?

We need to read and count different types of messages/run some statistics on a 10 GB text file, e.g a FIX engine log. We use Linux, 32-bit, 4 CPUs, Intel, coding in Perl but the language doesn't really matter. I have found some interesting tips in Tim Bray's WideFinder project. However, we've f...

4
голосов
1ответов
1407 просмотров

mmap to overlay VME bus into user space memory over a PCI?

I'm trying to map a VME address space through a PCI bus into user space so I can perform regular read/writes on the memory. I have done this with another PCI device like this :- unsigned long *mapArea(unsigned int barAddr, unsigned int mapSize, int *fd) { unsigned long *mem; *fd = open...

1
голосов
3ответов
680 просмотров

mmaping large files(for persistent large arrays)

I'm implementing persistent large constant arrays via mmap. Is there any tips and tricks or gotchas one should be aware when using mmap?

0
голосов
2ответов
1818 просмотров

Linux mmap() error

I have a memory mapped file, from which I wish to parse the contents of the buffer. The mmap() returns success, and I can print out the buffer contents to a file using fprintf successfully. However, when I try to access the buffer as an array in my program directly, I get a segmentation fault. Wh...

12
голосов
7ответов
6043 просмотров

Как настроить стек для системного вызова clone () в Linux?

Системный вызов clone () в Linux принимает параметр, указывающий на стек, который будет использовать новый созданный поток. Очевидный способ сделать это - просто выделить какое-то пространство и передать его, но тогда вы должны быть уверены, что вы разместили столько места в стеке, сколько этот ...

10
голосов
9ответов
5966 просмотров

Производительность mmap для Linux / Perl

Я пытаюсь оптимизировать обработку больших наборов данных с помощью mmap. Набор данных находится в диапазоне гигабайт. Идея заключалась в том, чтобы поместить весь файл в память, чтобы несколько процессов могли работать с набором данных одновременно (только для чтения). Однако он работает не так...

2
голосов
2ответов
1802 просмотров

mmap с прямым порядком байтов и прямым порядком байтов

Если я использую mmap для записи uint32_t, столкнусь ли я с проблемами, связанными с правилами прямого / обратного порядка байтов? В частности, если я напишу некоторые данные с прямым порядком байтов mmap на машине с прямым порядком байтов, возникнут ли у меня проблемы, когда я попытаюсь прочита...

11
голосов
4ответов
18012 просмотров

Shmem против tmpfs против mmap

Кто-нибудь знает, насколько хорошо следующие 3 сравниваются по скорости: общая память tmpfs (/ dev / shm) mmap (/ dev / shm) Спасибо!

1
голосов
1ответов
238 просмотров

будет ли mmap использовать процессор пользователя вместо всего системного процессора? (солярис)

при использовании mmap для выделения некоторой анонимной памяти мы часто устанавливаем начальный адрес как 0 / null, поэтому mmap самостоятельно определит начальный адрес. И чтобы получить начальный адрес, он будет работать во всем пространстве виртуальной памяти, чтобы найти дыру, в которой мож...

5
голосов
3ответов
1638 просмотров

Использование памяти FileChannel # map

Имеет ли FileChannel#map выделить всю память, необходимую для результирующего ByteBuffer немедленно, или она выделяется только по запросу во время чтения из буфера? Я только что попытался отобразить весь файл размером 500+ МБ в простой тестовой программе и посмотрел на использование памяти ...

2
голосов
3ответов
2112 просмотров

Будет ли mmap использовать непрерывную память? (на Solaris)

Я использовал mmap (просто попытайтесь понять, как работает mmap) для выделения 96 КБ анонимной памяти, но похоже, что 96 КБ разделены на 64 КБ и 32 КБ. Но когда выделяется 960 КБ, он выделяет только один фрагмент размером 960 КБ. Когда solaris разделит выделенную память на несколько частей? Код...

5
голосов
5ответов
3269 просмотров

mmap () внутренности

Широко известно, что наиболее важной функцией mmap () является то, что отображение файлов совместно используется многими процессами. Но не менее широко известно, что каждый процесс имеет собственное адресное пространство. Вопрос в том, где действительно хранятся запоминаемые файлы (точнее, их...

24
голосов
4ответов
11278 просмотров

Внутреннее устройство Linux MMAP

У меня есть несколько вопросов относительно реализации mmap в системах Linux, которые, похоже, не очень документированы: При отображении файла в память с помощью mmap, как бы вы справились с предварительной выборкой данных в таком файле? Т.е. что происходит, когда вы читаете данные из обла...

4
голосов
3ответов
7441 просмотров

Использование mmap над файлом

Я пытаюсь разрешить двум различным процессам взаимодействовать, используя отображение памяти в одном и том же файле. Однако у меня с этим возникают проблемы. У меня такое чувство, что это связано с тем, как я использую вызов open () и передаю дескриптор файла в mmap. Вот мой код, вы видите чт...

25
голосов
6ответов
22886 просмотров

Насколько большим может быть файл с отображением памяти?

Что ограничивает размер файла с отображением памяти? Я знаю, что он не может быть больше, чем самый большой непрерывный кусок нераспределенного адресного пространства, и что на диске должно быть достаточно свободного места. Но есть ли другие ограничения?

15
голосов
7ответов
14254 просмотров

Изучение mmaped-адресов с помощью GDB

Я использую драйвер, опубликованный на странице Прямой доступ к памяти в Linux чтобы подключить физический баран к адресу пользовательского пространства. Однако я не могу использовать GDB для просмотра любого адреса; т.е. x 0x12345678 (где 0x12345678 - возвращаемое значение mmap) завершается о...

1
голосов
6ответов
2119 просмотров

Передача указателя на процесс, созданный с помощью exec ()

Я хотел бы передать указатель (я помещаю файл с данными в память с помощью mmap) процессам, созданным с помощью fork + exec, но я застрял в том, как передать указатель на процесс, созданный exec ()? ОБНОВЛЕНИЕ1: Спасибо за ваш вклад, я использую разделяемую память, создавая ее с помощью mm...

1
голосов
1ответов
1320 просмотров

Эффект флага защиты mmap для разделения между процессами

Влияет ли флаг защиты на совместное использование процессов? Если у меня есть область памяти mmapped, защищенная PROT_READ | PROT_WRITE, будет ли она полностью разделена, пока я не записал в нее? int prot = PROT_READ|PROT_EXEC; image = mmap(NULL, filesize, prot, MAP_PRIVATE, fildes, 0); п...

20
голосов
3ответов
25070 просмотров

Как разделить кеш APC между несколькими процессами PHP при работе под FastCGI?

В настоящее время я использую несколько копий PHP / FastCGI с включенным APC (под Apache + mod_fastcgi, если это важно). Могу ли я поделиться кешем между процессами? Как я могу проверить, опубликован ли он уже? (Я думаю, что может быть задействована настройка apc.mmap_file_mask ini, но я не знаю...

1
голосов
8ответов
1039 просмотров

Кеширование tar внутри jvm для более быстрого ввода-вывода файлов?

Я работаю над веб-приложением java, которое использует тысячи небольших файлов для создания артефактов в ответ на запросы. Я думаю, что наша система могла бы улучшить производительность, если бы мы могли отображать эти файлы в памяти, а не запускать их по всему диску, чтобы найти их все время. ...

279
голосов
6ответов
106563 просмотров

Когда мне следует использовать mmap для доступа к файлам?

Среды POSIX предоставляют как минимум два способа доступа к файлам. Есть стандартные системные вызовы open(), read(), write() и другие, но есть также возможность использовать mmap() для отображения файла в виртуальную память. Когда лучше использовать одно перед другим? В чем их индивидуальные...

187
голосов
12ответов
78849 просмотров

mmap () против блоков чтения

Я работаю над программой, которая будет обрабатывать файлы размером 100 ГБ и более. Файлы содержат наборы записей переменной длины. У меня запущена и запущена первая реализация, и теперь я стремлюсь повысить производительность, в частности, более эффективно выполнять ввод-вывод, поскольку входно...