Task.StartNew() против Parallel.ForEach: сценарий нескольких веб-запросов

делает вызовы веб-запросов (не связанные, поэтому могут запускаться параллельно)

На самом деле вам нужно называть их одновременно, а не параллельно. То есть «одновременно», а не «используя несколько потоков».

Существующий код потребляет слишком много потоков

Да, я тоже так думаю. :)

Учитывая, что это все работа «асинхронного ввода-вывода», а не работа «с привязкой к процессору».

Затем все это должно выполняться асинхронно и не с использованием параллелизма задач или другого параллельного кода.

Как указал Антии, вы должны сделать свой асинхронный код асинхронным:

public async Task ProcessRequestAsync(...);

Затем вы хотите использовать его с использованием асинхронного параллелизма (Task.WhenAll), а не параллельного параллелизма (StartNew/Run/Parallel):

await Task.WhenAll(list.Select(x => ProcessRequestAsync(x)));

Если вы привязаны к ЦП (вы - «Процессорное время достигает 100%»), вам необходимо уменьшить загрузку ЦП. Асинхронный ввод-вывод ничего не делает, чтобы помочь с этим. Во всяком случае, это вызывает немного большую загрузку ЦП (здесь незаметно).

Профилируйте приложение, чтобы увидеть, что занимает так много процессорного времени, и оптимизируйте этот код.

То, как вы инициируете параллелизм (параллельный, задачный, асинхронный ввод-вывод), никак не влияет на эффективность самого параллельного действия. Сеть не станет быстрее, если вы вызовете ее асинхронно. Это все еще то же самое оборудование. Также не меньшее использование процессора.

Экспериментально определите оптимальную степень параллелизма и выберите метод параллелизма, подходящий для этой степени. Если их несколько десятков, то с нитями все в порядке. Если это сотни, серьезно рассмотрите асинхронный ввод-вывод.

Обтекание синхронных вызовов внутри Task.Factory.StartNew не дает вам никаких преимуществ асинхронности. Вы должны использовать правильные асинхронные функции для лучшей масштабируемости. Обратите внимание, как Скотт Хансельман делает асинхронные функции в посте, на который вы ссылаетесь.

Например

public async Task<bool> ValidateUrlAsync(string url)
{
    using(var response = (HttpWebResponse)await WebRequest.Create(url).GetResponseAsync())
    return response.StatusCode == HttpStatusCode.Ok;
}

Оформить заказ http://blogs.msdn.com/b/pfxteam/archive/2012/03/24/10287244.aspx

Итак, ваш метод ProcessRequest должен быть реализован как асинхронный, например

public async Task<bool> ProcessRequestAsync(...)

тогда вы можете просто

tasks.Add(this.ProcessRequestAsync(obj))

Если вы запускаете задачу с помощью Task.Factory.StartNew, она не работает как асинхронная, даже если ваш метод ProcessRequest выполняет внутренние асинхронные вызовы. Если вы хотите использовать Task.Factory, вы должны сделать свою лямбду также асинхронной, например:

tasks.Add(Task.Factory.StartNew(async (object state) => 
{
    await this.ProcessRequestAsync(obj);
}, obj, CancellationToken.None, TaskCreationOptions.AttachedToParent,   TaskScheduler.Default));