Параллельный двусвязный список — очередь FIFO с несколькими производителями/потребителями — тупиковая ситуация

Я играл с двусвязным списком для MPMC FIFO-Queue (в основном в демонстрационных целях). Сейчас я пытаюсь зафиксировать свою ошибку на какое-то время, и я действительно не добился прогресса.

Я попадаю в тупик вскоре после того, как все Producer-Threads произвели все значения. Я определил проблему следующим образом:

Блокировка приобретения:

<THREAD ID> | <MESSAGE> | <MUTEX ADDRESS>

4460175360 : TRYLOCK HEAD:   0x7fb380c039d0
4460175360 : LOCKED HEAD:     0x7fb380c039d0
4460175360 : RELEASED HEAD: 0x7fb380c039d0

4460175360 : TRYLOCK HEAD:    0x7fb380c039d0
4460175360 : LOCKED HEAD:      0x7fb380c039d0
4460175360 : RELEASED HEAD:  0x7fb380c039d0

4460175360 : TRYLOCK HEAD:    0x7fb380c039d0
4460175360 : LOCKED HEAD:      0x7fb380c039d0
4460175360 : RELEASED HEAD:  0x7fb380c039d0

4460175360 : TRYLOCK HEAD:    0x7fb380c039d0
4459638784 : TRYLOCK TAIL:       0x7fb380c039d0
4460711936 : TRYLOCK TAIL:       0x7fb380c039d0
4460175360 : LOCKED HEAD:      0x7fb380c039d0
4460175360 : RELEASED HEAD:  0x7fb380c039d0

4460175360 : TRYLOCK HEAD: 0x7fb380c039d0   <---- THIS TRY-LOCK-HEAD NEVER GETS CONFIRMED!
4459638784 : LOCKED TAIL:  0x7fb380c039d0 
4459638784 : RELEASE MUTEX: 0x7fb380c039d0 <---- THE PRODUCER THREAD RELEASED 0x7fb380c039d0
Producer-Thread 4459638784 produced: 0

---- NOW ONE ELEMENT IN QUEUE ----

4460711936 : LOCKED TAIL:  0x7fb381800020 <---- ADDRESS OF LOCK HAS CHANGED WHICH IS FINE (because an element has been added)
4460711936 : RELEASE MUTEX AT ADDR: 0x7fb381800020
Producer-Thread 4460711936 produced: 0

---- NOW TWO ELEMENTS IN QUEUE ----

4460711936 : TRYLOCK TAIL: 0x7fb381a00020
4459638784 : TRYLOCK TAIL: 0x7fb381a00020
4460711936 : LOCKED TAIL:   0x7fb381a00020
4460711936 : RELEASE MUTEX AT ADDR: 0x7fb381a00020
Producer-Thread 4460711936 produced: 1

---- NOW THREE ELEMENTS IN QUEUE ----

4459638784 : LOCKED TAIL: 0x7fb380d00060  <---- AGAIN ADDRESS HAS CHANGED -- FINE
4459638784 : RELEASE MUTEX AT ADDR: 0x7fb380d00060
Producer-Thread 4459638784 produced: 1

---- NOW FOUR ELEMENTS IN QUEUE ---- PRODUCERS ARE DONE ----
---- CONSUMER THREAD BLOCKS - STILL TRYING TO LOCK 0x7fb380c039d0 ----

---- BUT NOBODY ELSE HOLDS 0x7fb380c039d0 ---- ALSO NO SELF-DEADLOCK?

GDB сообщает мне, что оба потока-производителя завершены, и единственный поток, ожидающий mutx по адресу 0x7fb380c039d0, — это поток 2 (единственный поток-потребитель):

    (gdb) info threads
* 2                         0x00007fff8edc5dfd in pthread_mutex_lock ()
  1 "com.apple.main-thread" 0x00007fff8e715386 in __semwait_signal ()
(gdb) bt
#0  0x00007fff8e715122 in __psynch_mutexwait ()
#1  0x00007fff8edc5dfd in pthread_mutex_lock ()
#2  0x00000001000011a8 in ConcurrentDoublyLinkedList<int>::consumeNode (this=0x1001000e0) at ConcurrentDList.h:142
#3  0x0000000100000bd4 in consumeValues (ctx=0x7fff5fbffa78) at ConcurrentDList.cpp:29
#4  0x00007fff8edc07a2 in _pthread_start ()
#5  0x00007fff8edad1e1 in thread_start ()
(gdb) f 2
#2  0x00000001000011a8 in ConcurrentDoublyLinkedList<int>::consumeNode (this=0x1001000e0) at ConcurrentDList.h:142
142             pthread_mutex_lock(&head_->mutex);
(gdb) info reg
rax            0x200012d    33554733
rbx            0x100281000  4297592832
rcx            0x100280da8  4297592232
rdx            0x100    256
rsi            0x403    1027
rdi            0x1001039f0  4296030704
rbp            0x100280ed0  0x100280ed0
rsp            0x100280e00  0x100280e00
r8             0x2060   8288
r9             0x100280720  4297590560
r10            0xf9d79  1023353
r11            0x206    518
r12            0x1303   4867
r13            0x0  0
r14            0x7fff5fbffa78   140734799805048
r15            0x100000bb0  4294970288
rip            0x1000011a8  0x1000011a8 <ConcurrentDoublyLinkedList<int>::consumeNode()+110>
eflags         0x206    518
cs             0x7  7
ss             0x0  0
ds             0x0  0
es             0x0  0
fs             0x0  0
gs             0x0  0
(gdb) p *(pthread_mutex_t*) 0x1001039f0
$34 = {
  __sig = 1297437784, 
  __opaque = "\000\000\000\000` \000\000\000\000\000\000\000\000\000\000\003\004\000\000\000\002\000\000{?\017\000\000\000\000\000\b:\020\000\001\000\000\000\f:\020\000\001\000\000\000\000\000\000\000\000\000\000"
}

К сожалению, я не могу использовать pthread_mutex_t, потому что это непрозрачный тип. (Хотя у меня включены непрозрачные типы в GDB?). В противном случае было бы неплохо узнать, кто в настоящее время является владельцем этого мьютекса.

Ниже приведен код моего списка — он чрезмерно закомментирован, чтобы объяснить мои мысли о реализации. Обратите внимание, что это далеко не хорошая или высокопроизводительная реализация - в основном для целей иллюстрации.

CPP-код:

#include <stdlib.h>
#include <iostream>

#include <pthread.h>

template <class T>
class Node
{
    private:
       T value_;

       Node<T> *next_;
       Node<T> *prev_;

    public:

        pthread_mutex_t mutex;

        Node(T value, Node<T>* next, Node<T>* prev)
        {
            value_ = value;

            next_ = next;
            prev_ = prev;

            pthread_mutex_init(&mutex, NULL);
        }

        ~Node()
        {
            pthread_mutex_destroy(&mutex);
        }

        void setNext(Node<T>* next)
        {
            next_ = next;
        }        

        void setPrevious(Node<T>* prev)
        {
            prev_ = prev;
        }

        Node<T>* getNext()
        {
            return next_;
        } 

        Node<T>* getPrevious()
        {
            return prev_;
        }


        virtual bool isSentinel()
        {
            return false;
        } 
};

template <class T>
class SentinelNode : public Node<T>
{
    public:
      SentinelNode(T val, Node<T>* next, Node<T>* prev)
          : Node<T>(val, next, prev)
      {
      }

      virtual bool isSentinel()
      {
          return true;
      }
};

template <class T>
class ConcurrentDoublyLinkedList
{
    private:
        Node<T> *head_;
        Node<T> *tail_;

    public: 
        ConcurrentDoublyLinkedList()
        {
            head_ = tail_ = new SentinelNode<T>(NULL, NULL, NULL);
        }

        void produceNode(Node<T>* n)
        {  
            pthread_mutex_lock(&tail_->mutex);

            Node<T>* old = tail_;

            if(head_->isSentinel())
            {
                head_ = tail_ = n;
                pthread_mutex_unlock(&old->mutex);

                delete old;
                old = NULL;
            }
            else
            {
                n->setNext(tail_);
                tail_->setPrevious(n);
                tail_ = n;

                pthread_mutex_unlock(&old->mutex);
            }
        }

        Node<T>* consumeNode()
        {
            pthread_mutex_lock(&head_->mutex);

            if(head_->isSentinel())
            {
                 /* the head can only be a Sentinel if there is
                  * no element within the list
                  */

                  /* this also means that the list is currently
                   * implicitly fully locked */

                  /* return NULL and let the thread decide what to do */

                  pthread_mutex_unlock(&head_->mutex);

                  return NULL;
            }
            else
            {
                /* the head is not a Sentinel, which implies on of the following:
                 *     - The list has exactly one element, which means:
                 *         => head_ == tail_ && !head_->isSentinel()
                 *     
                 *     OR
                 *     
                 *     - The list has at least two elements, which means:
                 *         => head_ != tail_ && !head_->isSentinel()
                 *
                 *     - The absence of a Sentinel guarantees that the list
                 *       is NOT empty
                 */

                 if(head_ == tail_)
                 {
                      /* single element within the list 
                       * the list is still fully locked, 
                       * implicit because head_ == tail_
                       */

                       /* we replace the only element
                        * with a Sentinel, because
                        * the list is empty afterwards
                        */

                        Node<T>* p = head_;
                        head_ = tail_ = new SentinelNode<T>(NULL, NULL, NULL);

                        pthread_mutex_unlock(&p->mutex);

                        return p;
                 }
                 else
                 {
                      /* at least two elements are in the list
                       * which means that the current head
                       * must have a valid predecessor 
                       */

                       /* Producer and Consumer could
                        * hold a lock on two adjacent
                        * nodes. Thus, the Consumer
                        * must acquire head->prev
                        */

                        Node<T>* p = head_;
                        Node<T>* n = head_->getPrevious();

                        pthread_mutex_lock(&n->mutex);

                        /* head_->prev can now not be owned 
                         * by a producer. 
                         */

                        head_ = n;
                        head_->setNext(NULL);

                        pthread_mutex_unlock(&p->mutex);
                        pthread_mutex_unlock(&n->mutex);

                        return p;
                 } 
            }
        }
};

Я был бы очень признателен за ваши мысли и идеи по этому поводу. Я смотрю на это некоторое время сейчас и также могу быть совершенно на неправильном пути. Помощь приветствуется..

Спасибо, Себастьян


person Sebastian B.    schedule 06.04.2013    source источник
comment
Для начала откажитесь от концепции дозорных узлов. Они очень-редко когда-либо нужны, и это не исключение. NULL является таким же хорошим стражем, как и все остальное, и значительно снижает сложность управления списками. В этом случае у вас происходит утечка, как только вы добавляете новый узел в список. т.е. как только список переходит от пустого к заметке, часовой просачивается.   -  person WhozCraig    schedule 06.04.2013
comment
ОК, но мы также можем просто решить освободить его должным образом (код отредактирован) !? Использование узлов Sentinel делает получение блокировки пустых списков довольно простым, поэтому я не вижу значительного снижения сложности управления списками...   -  person Sebastian B.    schedule 06.04.2013
comment
Я полагаю, вы правы. Пока ошибки исправлены, это не очень важно. И мы не писали об этой утечке, так что с этой стороны она была еще менее значимой.   -  person WhozCraig    schedule 06.04.2013


Ответы (1)


Как потребление, так и производство блокируют головной и хвостовой узлы, предполагая, что после этого узлы все еще остаются головными и хвостовыми. То есть потоки могут иметь заблокированные узлы, которые больше не являются головными или хвостовыми узлами. Если бы вы сохранили «старый» указатель перед блокировкой, вы, по крайней мере, знали бы, какой узел вы заблокировали, но заблокированный узел, возможно, уже был использован, и часть вашей логики может больше не выполняться.

Я думаю, что было бы проще заблокировать указатели на начало и конец, а не на фактические узлы, предполагая, что вам нужны только методы создания и потребления. Конечно, самое простое решение — заблокировать всю структуру данных.

person user2229152    schedule 06.04.2013
comment
у вас есть пример этой ситуации? Я не вижу, как этот инвариант должен нарушаться. Если голова заблокирована, она не может быть использована каким-либо другим потоком и либо заменяется дозорным, либо устанавливает предшественника в качестве новой головы (что не может быть изменено ни производителем, ни другими потребителями - поскольку она заблокирована). Если производитель блокирует хвост, и он не является дозорным, то он может что-то изменить только в том случае, если хвост является хотя бы третьим элементом в списке. Как бы вы выразили свои сомнения в виде блокировки? - person Sebastian B.; 06.04.2013
comment
У меня такое ощущение, что проблема действительно связана с ситуацией, о которой вы упоминаете... но я все еще не вижу нарушенных инвариантов, которые я предполагаю... Можете ли вы привести пример? - person Sebastian B.; 07.04.2013