Как в R действительно быстро перебирать строки кадра данных?

Думаю, мне нужно дать полный ответ, потому что мне труднее отслеживать комментарии, и я уже потерял один комментарий по этому поводу ... Вот пример от nullglob, который демонстрирует различия между функциями for и применяет семейные функции намного лучше, чем другие примеры. Если сделать функцию очень медленной, тогда будет потрачена вся скорость, и вы не найдете различий между вариациями цикла. Но когда вы сделаете функцию тривиальной, вы увидите, насколько сильно на вещи влияет цикл.

Я также хотел бы добавить, что некоторые члены семейства приложений, не исследованные в других примерах, обладают интересными характеристиками производительности. Сначала я покажу репликации относительных результатов nullglob на моей машине.

n <- 1e6
system.time(for(i in 1:n) sinI[i] <- sin(i))
  user  system elapsed 
 5.721   0.028   5.712 

lapply runs much faster for the same result
system.time(sinI <- lapply(1:n,sin))
   user  system elapsed 
  1.353   0.012   1.361 

Он также обнаружил, что sapply намного медленнее. Вот некоторые другие, которые не тестировались.

Обычное старое применимо к матричной версии данных ...

mat <- matrix(1:n,ncol =1),1,sin)
system.time(sinI <- apply(mat,1,sin))
   user  system elapsed 
  8.478   0.116   8.531 

Таким образом, сама команда apply () существенно медленнее, чем цикл for. (цикл for не замедляется заметно, если я использую sin (mat [i, 1]).

Еще один, который, похоже, не тестировался в других сообщениях, - это tapply.

system.time(sinI <- tapply(1:n, 1:n, sin))
   user  system elapsed 
 12.908   0.266  13.589 

Конечно, никто бы никогда не использовал tapply таким образом, и его полезность намного превосходит любую подобную проблему скорости в большинстве случаев.

Самый быстрый способ - не зацикливаться (т. Е. Векторизованные операции). Один из единственных случаев, когда вам нужно выполнить цикл, - это когда есть зависимости (т.е. одна итерация зависит от другой). В противном случае постарайтесь выполнить как можно больше векторизованных вычислений вне цикла.

Если вам сделать цикл, тогда использование цикла for по сути так же быстро, как и все остальное (lapply может быть немного быстрее, но другие apply функции имеют примерно такую ​​же скорость, как for).

Используя тот факт, что data.frames по сути являются списками векторов столбцов, можно использовать do.call для применения функции с арностью числа столбцов к каждому столбцу data.frame (аналогично «застегиванию» на список на других языках).

do.call(paste, data.frame(x=c(1,2), z=c("a","b"), z=c(5,6)))