На моем сервере есть черная дыра (TcpClient, TcpListener)

Я пытаюсь создать сервер, который будет получать файлы, отправленные клиентами по сети. Если клиент решает отправить один файл за раз, нет проблем, я получаю файл, как и ожидал, но если он пытается отправить более одного, я получаю только первый.

Вот код сервера: я использую один поток для каждого подключенного клиента.

public void ProcessClients()
{
    while (IsListening)
    {
        ClientHandler clientHandler = new ClientHandler(listener.AcceptTcpClient());
        Thread thread = new Thread(new ThreadStart(clientHandler.Process));
        thread.Start();
    }
}

Следующий код является частью класса ClientHandler.

public void Process()
{
    while (client.Connected)
    {
        using (MemoryStream memStream = new MemoryStream())
        {
            int read;
            while ((read = client.GetStream().Read(buffer, 0, buffer.Length)) > 0)
            {
                memStream.Write(buffer, 0, read);
            }

            if (memStream.Length > 0)
            {
                Packet receivedPacket = (Packet)Tools.Deserialize(memStream.ToArray());
                File.WriteAllBytes(Path.Combine(Environment.GetFolderPath(Environment.SpecialFolder.DesktopDirectory), Guid.NewGuid() + receivedPacket.Filename), receivedPacket.Content);
            }
        }
    }
}

На первой итерации я получаю первый отправленный файл, но после этого я ничего не получаю. Я безуспешно пытался использовать Thread.Sleep(1000) в конце каждой итерации.

С другой стороны у меня есть этот код (для клиентов)

.
.
client.Connect();
foreach (var oneFilename in fileList)
    client.Upload(oneFilename);
client.Disconnect();
.
.

Метод загрузки:

public void Upload(string filename)
{
    FileInfo fileInfo = new FileInfo(filename);
    Packet packet = new Packet()
    {
        Filename = fileInfo.Name,
        Content = File.ReadAllBytes(filename)
    };

    byte[] serializedPacket = Tools.Serialize(packet);

    netStream.Write(serializedPacket, 0, serializedPacket.Length);
    netStream.Flush();
}

netStream (NetworkStream) открывается при подключении и закрывается при отключении.

Где черная дыра? Могу ли я отправить несколько объектов, как я пытаюсь это сделать?

Спасибо за ваше время.