вычислить среднее значение небольших частей столбца, сгруппированных по ключу в Perl?

Прежде чем мы попытаемся завершить ответ, не могли бы вы попробовать это и сказать мне, насколько это близко к тому, что вы хотите?

#!/usr/bin/perl
use warnings;
use strict;

my $target = 3;

my %summary;

while(<>) {
    chomp;
    my ($col1,$col2,$col3,$col4,$col5,$col6,$col7) = split /\,/;
    $summary{$col5}{total} += $col7;
    ++$summary{$col5}{count};
    $summary{$col5}{line} = $_ if $col6 == $target;
}

$summary{$_}{average} = $summary{$_}{total} / $summary{$_}{count}
    for keys %summary;

print "${summary{$_}{line}},${summary{$_}{average}}\n"
    for sort keys %summary;

Если достаточно близко, то вы можете закончить самостоятельно. Если нет, то мы можем обсудить этот вопрос дальше.

Обратите внимание, что вы можете заменить <> на <FILE>, если вы предпочитаете читать из файла данных, а не из стандартного ввода.

ЗАМЕЧАНИЯ ПО РЕАЛИЗАЦИИ

Код основан на функции Perl автоживификации. Обратите внимание, например, на строку ++$summary{$col5}{count};, которая, кажется, изначально увеличивает несуществующий счетчик. Однако на самом деле это стандартная идиома Perl. Если вы попытаетесь сделать что-то арифметическое (например, приращение) для несуществующего объекта, Perl неявно создаст объект, инициализирует его нулем, а затем сделает с ним то, что вы хотели (например, приращение).

Вероятно, было бы неразумно для более трезвого языка программирования, такого как C ++, автовивифицировать, но многолетний опыт показывает, что автовивификация обеспечивает правильный баланс между порядком и удобством в немного менее трезвом языке, таком как Perl.

На более элементарном уровне код, вероятно, будет иметь смысл только для тех, кто используется для хешей Perl. Однако, если вы раньше не использовали хэши Perl, у вас будет такой же хороший шанс, как и любой другой, изучить их. Хеш - это центральный столп языка, и приведенное выше является довольно типичным примером его использования.

В этом случае у нас есть хэш хешей, что опять же довольно типично.

Одностороннее использование модуля Text::CSV_XS. Он не является встроенным, поэтому его нужно устанавливать из CPAN или аналогичного инструмента.

Содержание script.pl:

use warnings;
use strict;
use Text::CSV_XS;

my ($offset, $col_total, $row3, $rows_processed);

## Check arguments to the script.
die qq[Usage: perl $0 <input-file>\n] unless @ARGV == 1;

## Open input file.
open my $fh, q[<], shift or die qq[Open error: $!\n];

## Create the CSV object.
my $csv = Text::CSV_XS->new or  
        die qq[ERROR: ] . Text::CSV_XS->error_diag();

## Read file content seven lines each time.
while ( my $rows = $csv->getline_all( $fh, $offset, 7 ) ) { 

        ## End when there is no more rows.
        last unless @$rows;

        ## For each row in the group of seven...
        for my $row ( 0 .. $#{$rows} ) { 

                ## Get value of last column.
                my $last_col_value = $rows->[ $row ][ $#{$rows->[$row]} ];

                ## If last column is not a number it is the header, so print it
                ## appending the eigth column and read next one.
                unless ( $last_col_value =~ m/\A\d+\Z/ ) { 
                        $csv->print( \*STDOUT, $rows->[ $row ] );
                        printf qq[,%s\n], q[col8];
                        next;
                }   

                ## Acumulate total amount for last column.
                $col_total += $last_col_value;

                ## Get third row. The output will be this row with the
                ## average appended.
                if ( $rows->[ $row ][-2] == 3 ) { 
                        $row3 = [ @{ $rows->[ $row ] } ];
                }   

                ## Count processed rows.
                ++$rows_processed;
        }   

        ## Print row with its average.
        if ( $rows_processed > 0  && ref $row3 ) { 
                $csv->print( \*STDOUT, $row3 );
                printf qq[,%g\n], $col_total / $rows_processed;
        }   

        ## Initialize variables.
        $col_total = $rows_processed = 0;
        undef $row3;
}

Содержание infile:

col1,col2,col3,col4,col5,col6,col7
bla,bla,bla,bla,1408,1,123
bla,bla,bla,bla,1408,2,234
bla,bla,bla,bla,1408,3,345
bla,bla,bla,bla,1408,4,456
bla,bla,bla,bla,1408,5,567
bla,bla,bla,bla,1408,6,678
bla,bla,bla,bla,1409,0,123
bla,bla,bla,bla,1409,1,234
bla,bla,bla,bla,1409,2,345
bla,bla,bla,bla,1409,3,456
bla,bla,bla,bla,1409,4,567
bla,bla,bla,bla,1409,5,678
bla,bla,bla,bla,1409,6,789

Запустите это так:

perl script.pl infile

Со следующим выводом:

col1,col2,col3,col4,col5,col6,col7,col8
bla,bla,bla,bla,1408,3,345,400.5
bla,bla,bla,bla,1409,3,456,456

Это должно помочь. Замените Cols [index] соответствующим образом.

    use Data::Dumper ;
    open (FILE, "<", '/tmp/myfile') or die;
    my @lines ;
    my (%Sum,%Count);

    chomp(@lines = <FILE>);
    foreach my $line(@lines) {
        next if $line =~ /col/;
        my @Cols = split /,/, $line;
        $Sum{$Cols[0]} +=  $Cols[2] ;
        $Count{$Cols[0]}++;
    }

    foreach my $line(@lines) {
        if($line=~/col/) {
            print "$line,colX\n" ;
            next;
        }

        my @Cols = split /,/, $line;
        if($Cols[1]==3) {
            print "$line,",$Sum{$Cols[0]}/$Count{$Cols[0]},"\n" ;
        } else {
            print "$line,-1\n";
        }
    }

Пример ввода / tmp / myfile

col5,col6,col7
1408,1,123
1408,2,234
1408,3,345
1408,4,456
1408,5,567
1408,6,678
1409,0,123
1409,1,234

Пример вывода

col5,col6,col7,colX
1408,1,123,-1
1408,2,234,-1
1408,3,345,400.5
1408,4,456,-1
1408,5,567,-1
1408,6,678,-1
1409,0,123,-1
1409,1,234,-1