Clojure Leining REPL OutOfMemoryError Пространство кучи Java

Любая форма, оцениваемая на верхнем уровне repl, реализуется полностью в результате шага печати цикла чтения-оценки-печати. Он также хранится в куче, так что вы можете позже получить к нему доступ через *1.

если вы сохраните возвращаемое значение следующим образом:

(def parsed (xml/parse (io/reader "data/small-sample.xml")))

это возвращается немедленно, даже для файла размером в сотни мегабайт (я проверил это локально). Затем вы можете выполнить итерацию по результату, который реализуется полностью, когда он анализируется из входного потока, путем итерации по возвращаемому дереву clojure.data.xml.Element.

Если вы не удерживаете элементы (привязывая их, чтобы они все еще были доступны), вы можете перебирать всю структуру, не используя больше оперативной памяти, чем требуется для хранения одного узла дерева xml.

user> (time (def n (xml/parse (clojure.java.io/reader "/home/justin/clojure/ok/data.xml"))))
"Elapsed time: 0.739795 msecs"
#'user/n
user> (time (keys n))
"Elapsed time: 0.025683 msecs"
(:tag :attrs :content)
user> (time (-> n :tag))
"Elapsed time: 0.031224 msecs"
:catalog
user> (time (-> n :attrs))
"Elapsed time: 0.136522 msecs"
{}
user> (time (-> n :content first))
"Elapsed time: 0.095145 msecs"
#clojure.data.xml.Element{:tag :book, :attrs {:id "bk101"}, :content (#clojure.data.xml.Element{:tag :author, :attrs {}, :content ("Gambardella, Matthew")} #clojure.data.xml.Element{:tag :title, :attrs {}, :content ("XML Developer's Guide")} #clojure.data.xml.Element{:tag :genre, :attrs {}, :content ("Computer")} #clojure.data.xml.Element{:tag :price, :attrs {}, :content ("44.95")} #clojure.data.xml.Element{:tag :publish_date, :attrs {}, :content ("2000-10-01")} #clojure.data.xml.Element{:tag :description, :attrs {}, :content ("An in-depth look at creating applications \n      with XML.")})}
user> (time (-> n :content count))
"Elapsed time: 48178.512106 msecs"
459000
user> (time (-> n :content count))
"Elapsed time: 86.931114 msecs"
459000
;; redefining n so that we can test the performance without the pre-parsing done when we counted
user> (time (def n (xml/parse (clojure.java.io/reader "/home/justin/clojure/ok/data.xml"))))
"Elapsed time: 0.702885 msecs"
#'user/n
user> (time (doseq [el (take 100 (drop 100 (-> n :content)))] (println (:tag el))))
:book
:book
.... ;; output truncated
"Elapsed time: 26.019374 msecs"
nil
user> 

Обратите внимание, что только когда я впервые запрашиваю подсчет содержимого n (таким образом, заставляя анализировать весь файл), возникает огромная временная задержка. Если я дозирую по частям структуры, это происходит очень быстро.

Я не так много знаю о lein, но в mvn вы можете сделать следующее:

mvn  -Dclojure.vmargs="-d64 -Xmx2G" clojure:nrepl

(Я не думаю, что это имеет значение, но я всегда видел это с заглавной буквы G, это чувствительно к регистру?)

Вытягивание 100 МБ данных в память не должно быть проблемой. Я регулярно направляю данные объемом в ГБ через свои проекты.

Я всегда использую сервер 64-битной версии и для больших куч, и, кажется, это то, что они делают здесь:

Параметры JVM с использованием Leiningen

Я думаю, что большая проблема заключается в том, что, как вы это написали, это может оцениваться во время компиляции. Вам нужно обернуть этот вызов в функцию и отложить его выполнение. Я думаю, что компилятор пытается прочитать этот файл, а это, скорее всего, не то, что вам нужно. Я знаю, что с mvn вы получаете разные настройки памяти для компиляции и запуска, и вы тоже можете это получить.