Оптимизация компилятора Scala для неизменности

Прежде всего: фактическое освобождение неиспользуемой памяти происходит всякий раз, когда JVM GC сочтет это необходимым. Так что scalac ничего не может с этим поделать.

Единственное, что может сделать scalac, — это установить для ссылок значение null не только тогда, когда они выходят за пределы области действия, но и как только они больше не используются.

В основном

val huge: HugeObjectType
val derivative1 = huge.map(_.x)
huge = null // inserted by scalac
val derivative2 = derivative1.groupBy(....)
derivative1 = null // inserted by scalac

Согласно этой ветке на scala-internals, в настоящее время < strong>не этого делать, и последняя JVM не обеспечивает спасение. См. сообщение хакера scalac Grzegorz Kossakowski и остальную часть этой темы.

Для метода, который оптимизируется JIT-компилятором JVM, JIT-компилятор обнуляет ссылки как можно скорее. Однако для основного метода, который выполняется только один раз, JVM никогда не будет пытаться полностью его оптимизировать.

Тема, указанная выше, содержит довольно подробное обсуждение темы и всех компромиссов.

Обратите внимание, что в типичных средах обработки больших данных, таких как apache spark, значения, с которыми вы работаете, не являются прямыми ссылками на данные. Таким образом, в этих фреймворках время жизни ссылок обычно не является проблемой.

В приведенном выше примере все промежуточные значения используются ровно один раз. Таким образом, простое решение состоит в том, чтобы просто определить все промежуточные результаты как определения.

def huge: HugeObjectType
def derivative1 = huge.map(_.x)
def derivative2 = derivative1.groupBy(....)
val result = derivative2.<some other transform>

Другой, но очень мощный подход — использование итераторов! связывание функций, таких как map и filter, над итератором обрабатывает их поэлементно, в результате чего никакие промежуточные коллекции никогда не материализуются... что очень хорошо соответствует сценарию! это не поможет с такими функциями, как groupBy, но может значительно уменьшить выделение памяти для предыдущих функций и подобных. Кредиты Саймону Шаферу из вышеупомянутого.

derivative1 будет удален сборщиком мусора, как только он выйдет из области видимости (и на него нет других ссылок). Чтобы это произошло как можно скорее, сделайте следующее:

val huge: HugeObjectType
val derivative2 = {
    val derivative1 = huge.map(_.x)
    derivative1.groupBy(....)
}

Это также лучше с точки зрения читабельности кода, поскольку очевидно, что единственная причина существования derivative1 — это derivative2, и что он больше не используется после закрывающей скобки.