Кеширование OVERLAPPED структур при использовании IOCP в Windows

Предполагая, что вы связываете буфер данных со структурой OVERLAPPED как объект данных «для каждой операции», а затем объедините их, чтобы избежать чрезмерного выделения / освобождения и фрагментации кучи, является хорошей идеей.

Если вы когда-либо используете этот объект только для операций ввода-вывода, тогда нет необходимости в счетчике ссылок, просто вытащите его из пула, выполните с ним свой WSASend / WSARecv, а затем отпустите его в пул, как только вы закончите с ним в обработчик завершения IOCP.

Если, однако, вы хотите немного усложнить задачу и разрешить передачу этих буферов другому коду, вы можете рассмотреть возможность их подсчета ссылок, если это упростит задачу. Я делаю это в своей текущей структуре, и это позволяет мне иметь общий код для сетевой стороны вещей, а затем передавать буферы данных из завершений чтения в код клиента, и они могут делать с ними все, что хотят, и когда они готовы, они выпускают их обратно в бассейн. В настоящее время здесь используется счетчик ссылок, но я отхожу от него в качестве незначительной настройки производительности. Счетчик ссылок все еще существует, но в большинстве случаев он изменяется только от 0 до 1, а затем снова до 0, вместо того, чтобы манипулировать на разных уровнях в моей структуре (это делается путем передачи права собственности на буфер пользователю код с использованием умного указателя).

В большинстве ситуаций я ожидаю, что подсчет ссылок вряд ли будет вашей самой дорогой операцией (даже на оборудовании NUMA в ситуациях, когда ваши буферы используются с нескольких узлов). Более вероятно, что блокировка, связанная с помещением этих вещей обратно в пул, будет вашим узким местом; Я решил эту проблему, поэтому перехожу к следующему более высокому фрукту;)

Вы также говорите о своем объекте «для каждого соединения» и локальном кэшировании ваших данных «для каждой операции» (это то, что я делаю, прежде чем отправлять их обратно в распределитель), в то время как счетчик ссылок не является строго обязательным для данных «на операцию». , для данных «на соединение» необходимо, по крайней мере, атомарно изменяемое количество выполняемых операций, чтобы вы могли определить, когда можно освободить ИТ. Опять же, из-за моей конструкции фреймворка это стало обычным счетчиком ссылок, для которого код клиента может содержать ссылки, а также активные операции ввода-вывода. Мне еще предстоит найти способ обойти необходимость этого счетчика в структуре общего назначения.