Какая кодировка используется AppEngine TaskQueue, когда они кодируют массивы byte[] как строки?

Если я создам задачу через TaskOptions#payload(byte[], String), какой будет кодировка тела HTTP-запроса?

Кодировки нет — массив байтов, который вы передаете, становится буквальным телом HTTP-запроса.

Аналогично, какой будет кодировка строки, созданной с помощью TaskOptions#param(String, byte[]) и полученной с помощью ServletRequest#getParameter(String)?

Параметры кодируются с помощью formencoding, как в обычном запросе GET или POST.

Насчет первого понятия не имею. Однако я сделаю ставку на UTF-8, поскольку в Javadoc везде упоминается UTF-8. Вы можете отладить тело запроса с помощью инструмента отладчика HTTP, такого как Fiddler2. Вы можете протестировать строки со специфическими символами UTF-8, которые преобразуются в байтовый массив с помощью string.getBytes("UTF-8"), а затем считываются на стороне сервлета. Если он возвращает те же символы, то вероятность того, что он использует UTF-8, определенно велика.

Во втором случае это зависит от атрибута charset в заголовке запроса Content-Type. Однако это более чем часто отсутствует (по крайней мере, при использовании обычного веб-браузера). Однако вы можете установить его самостоятельно с помощью ServletRequest#setCharacterEncoding() до доступа к каким-либо данным из тела запроса.

if (request.getCharacterEncoding() == null) {
    request.setCharacterEncoding("UTF-8");
}

В противном случае будет использоваться платформа по умолчанию, как указано Charset#defaultCharset().