Обработка очень большого массива с помощью Astropy и numpy

Я не знаю никакого решения, присущего numpy, но вы можете сэкономить выделение памяти, записав каждое решение сразу в файл, а не после цикла for. Это сохраняет выделение памяти для Redshift и выделение памяти, выполняемое за кулисами, когда numpy.savetxt() форматирует числа с плавающей запятой в строку.

inFile=sys.argv[1]
outFile=sys.argv[2]

comovingDistance = numpy.loadtxt(inFile, usecols=(2,))

with open(outFile, 'w') as fp:
    for distance in comovingDistance:
        fp.write("{:1.8e}\n".format(
            z_at_value(cosmo.comoving_distance, distance * unit.kpc)))

(NB: не проверено)

В качестве альтернативы другому предлагаемому мной решению вы можете разделить входной файл, перебрать новый набор (временных) входных файлов и в конце объединить входные файлы. Ниже приведен сценарий оболочки bash, который снаружи должен работать идентично сценарию Python в вопросе (один аргумент входного файла, один аргумент выходного файла).

#! /bin/bash                                                                                   

nlines=10000                                                                                   
input=$1                                                                                       
output=$2                                                                                      

# use a unique prefix!                                                                         
prefix='tmpsplit'                                                                              
split --lines=$nlines $input $prefix                                                           

outfiles=()                                                                                    
# Assume we only split to a maximum of 26^2 files
# This is the default for split anyway                                              
for filename in ${prefix}??                                                                    
do                                                                                             
        outfile="${filename}-out"                                                              
        ./calcdist.py $filename $outfile                                                      
done                                                                                           

# This assumes the shells orders the glob expansion alphabetically                             
cat ${prefix}*out > $output                                                                    

# Clean up                                                                                     
rm ${prefix}*                                                                                  

Вы можете использовать временный каталог вместо того, чтобы полагаться на уникальный префикс.