Есть ли способ увеличить пространство кучи Java в самом коде?

"запустить новый процесс с большим объемом памяти" можно ли это сделать в коде?

да. См. Этот упрощенный пример.

import java.awt.EventQueue;
import javax.swing.JOptionPane;
import java.io.File;

class BigMemory {

    public static void main(String[] args) throws Exception {
        if (args.length==0) {
            ProcessBuilder pb = new ProcessBuilder(
                "java",
                "-Xmx1024m",
                "BigMemory",
                "anArgument"
                );
            pb.directory(new File("."));
            Process process = pb.start();
            process.waitFor();
            System.out.println("Exit value: " + process.exitValue());
        } else {
            Runnable r = new Runnable() {
                public void run() {
                    JOptionPane.showMessageDialog(
                        null,
                        "Max Memory: " +
                        Runtime.getRuntime().maxMemory() +
                        " bytes.");
                }
            };
            EventQueue.invokeLater(r);
        }
    }
}

Ответ - нет".

Размер памяти передается JVM при запуске. Код, работающий внутри JVM, не может его изменить.

Если вы подумаете об этом, это имеет смысл, потому что JVM - это программа, написанная не на java, которая может выполнять байтовый код java. Было бы небезопасно позволять Java-коду управлять своим контейнером.

Не было бы максимума, если бы можно было увеличить.

Причина, по которой его нельзя увеличить, заключается в том, что он выделяется при запуске. Его можно установить только до запуска JVM.

Что вы можете сделать, так это перезапустить приложение с более высоким максимумом. например при запуске вы проверяете максимум, и если он недостаточно высокий, вы запускаете ту же программу, но с более высоким максимумом.

Примечание: если вы используете память вне кучи, она может быть больше ГБ или даже ТБ, так как это не является частью максимума.

На данный момент java.exe достигает только ~ 280 МБ (до сбоя) - это нормально?

Сбои могут означать что угодно, а причиной может быть что угодно. Я предлагаю вам более подробно изучить, почему он не работает, и я подозреваю, что вы обнаружите, что проблема не в максимальной памяти. (Если у вас нет небольшой машины с 1 ГБ, в этом случае максимальная память по умолчанию будет около 250 МБ)