Python struct.pack вызывает утечку памяти даже после удаления объекта

Я использую PyAudio для обнаружения активности источника звука. Я создаю файлы WAV из каждого звукового события в потоке, который часто бывает мертв. Используя memory_profiler, я заметил, что метод pack в методе record_to_file () часто использует в 4 раза больше памяти, чем я могу восстановить, удалив объект данных. Этот код взят из Обнаружение и запись звука в Python

from sys import byteorder
import sys
from array import array
import struct

import gc

import pyaudio
import wave
import subprocess
import objgraph
from memory_profiler import profile
from guppy import hpy

THRESHOLD = 5000
CHUNK_SIZE = 1024
FORMAT = pyaudio.paInt16
RATE = 44100

def is_silent(snd_data):
    "Returns 'True' if below the 'silent' threshold"
    return max(snd_data) < THRESHOLD


def normalize(snd_data):
    "Average the volume out"
    MAXIMUM = 16384
    times = float(MAXIMUM)/max(abs(i) for i in snd_data)

    r = array('h')
    for i in snd_data:
        r.append(int(i*times))
    return r


def trim(snd_data):
    "Trim the blank spots at the start and end"
    def _trim(snd_data):
        snd_started = False
        r = array('h')

        for i in snd_data:
            if not snd_started and abs(i)>THRESHOLD:
                snd_started = True
                r.append(i)

            elif snd_started:
                r.append(i)
        return r

    # Trim to the left
    snd_data = _trim(snd_data)

    # Trim to the right
    snd_data.reverse()
    snd_data = _trim(snd_data)
    snd_data.reverse()
    return snd_data


def add_silence(snd_data, seconds):
    "Add silence to the start and end of 'snd_data' of length 'seconds' (float)"
    r = array('h', [0 for i in xrange(int(seconds*RATE))])
    r.extend(snd_data)
    r.extend([0 for i in xrange(int(seconds*RATE))])
    return r


def record():
    """g
    Record a word or words from the microphone and 
    return the data as an array of signed shorts.

    Normalizes the audio, trims silence from the 
    start and end, and pads with 0.5 seconds of 
    blank sound to make sure VLC et al can play 
    it without getting chopped off.
    """
    p = pyaudio.PyAudio()
    stream = p.open(format=FORMAT, channels=1, rate=RATE,
        input=True, output=True,
        frames_per_buffer=CHUNK_SIZE)

    num_silent = 0
    snd_started = False

    r = array('h')

    while 1:
        # little endian, signed short
        snd_data = array('h', stream.read(CHUNK_SIZE))
        if byteorder == 'big':
            snd_data.byteswap()
        r.extend(snd_data)

        silent = is_silent(snd_data)

        if silent and snd_started:
            num_silent += 1
        elif not silent and not snd_started:
            snd_started = True

        if snd_started and num_silent > 400:
            break

    sample_width = p.get_sample_size(FORMAT)
    stream.stop_stream()
    stream.close()
    p.terminate()

    #r = normalize(r)
    r = trim(r)
    r = add_silence(r, 0.5)

    return sample_width, r

@profile
def record_to_file(path):
    "Records from the microphone and outputs the resulting data to 'path'"
    sample_width, data = record()

    data = struct.pack('<' + ('h'*len(data)), *data)
    print(sys.getsizeof(data))
    wf = wave.open(path, 'wb')
    wf.setnchannels(1)
    wf.setsampwidth(sample_width)
    wf.setframerate(RATE)
    wf.writeframes(data)
    wf.close()
    del data
    gc.collect()


if __name__ == '__main__':
    count = 1
    h = hpy()
    f = open('heap.txt','w')
    objgraph.show_growth(limit=3) 
    while(1):
        filename = 'demo' + str(count) + '.wav'
        print("please speak a word into the microphone")
        record_to_file(filename)
        print("done - result written to {0}".format(filename))
        cmd = 'cd "C:\\Users\\user\\Desktop\\Raudio" & ffmpeg\\bin\\ffmpeg -i {0} -acodec libmp3lame {1}.mp3'.format(filename, filename)
        "subprocess.call(cmd, shell=True)"
        count += 1
        objgraph.show_growth()
        print h.heap()

Вот одна итерация вывода модуля профилировщика памяти:

Line #    Mem usage    Increment   Line Contents
================================================
   117     19.6 MiB      0.0 MiB   @profile
   118                             def record_to_file(path):
   119                                 "Records from the microphone and outputs the resulting data to 'path'"
   120     22.4 MiB      2.8 MiB       sample_width, data = record()
   125     31.3 MiB      8.9 MiB       data = struct.pack('<' + ('h'*len(data)), *data)
   126     31.3 MiB      0.0 MiB       print(sys.getsizeof(data))
   127     31.3 MiB      0.0 MiB       wf = wave.open(path, 'wb')
   128     31.3 MiB      0.0 MiB       wf.setnchannels(1)
   129     31.3 MiB      0.0 MiB       wf.setsampwidth(sample_width)
   130     31.4 MiB      0.0 MiB       wf.setframerate(RATE)
   131     31.4 MiB      0.0 MiB       wf.writeframes(data)
   132     31.4 MiB      0.0 MiB       wf.close()
   133     30.4 MiB     -0.9 MiB       del data
   134     27.9 MiB     -2.5 MiB       gc.collect()

Отлаживая процесс с помощью VS, я вижу очень большое количество символов 'h' в моей системной памяти, что, вероятно, является причиной утечки. Любая помощь будет принята с благодарностью


person Brett Smith    schedule 01.11.2017    source источник


Ответы (1)


Класс struct хранит кеш элементов для более быстрого доступа. Единственный способ очистить кеш структуры - вызвать метод struct._clearcache(). Пример использования этого можно найти здесь.

Предупреждение! Это _ метод, который может измениться в любой момент. См. здесь для получения и объяснения этих типов методов.

Об этой «утечке памяти» обсуждается здесь и здесь.

person PeterH    schedule 01.11.2017
comment
Спасибо! Именно то, что мне нужно. Я предполагаю, что это вызвало бы это автоматически, если бы было мало памяти. Что вы имеете в виду под изменением в любое время? Как между выпусками кода? - person Brett Smith; 02.11.2017
comment
Ага. Метод может выйти из строя после выхода новой версии без уведомления разработчика библиотеки. - person PeterH; 03.11.2017
comment
Метод, начинающийся с _, на самом деле не должен использоваться вне его библиотеки. В python нет «частных» методов, как в java или c ++. Например, в Java, если разработчик не хочет, чтобы кто-либо имел доступ к методу в классе, он может пометить его как частный, и язык позаботится о блокировании доступа к методу, но в python такого нет. Есть просто соглашение об именах. Если имя метода начинается с _ или __, его следует использовать только внутри своей библиотеки, потому что разработчик не гарантирует, что метод останется неизменным между выпусками или просто будет удален. - person PeterH; 03.11.2017