Каковы хорошие алгоритмы для обеспечения согласованности между несколькими файлами в сети?

Фундаментальная проблема здесь известна как «теорема CAP', которая определяет три свойства, которыми обладает распределенная система. могу иметь:

• Непротиворечивость: чтение данных из системы всегда возвращает самые последние данные.
• Доступность: каждый ответ либо успешен, либо нет (не просто ждать, пока все не восстановится)
• Устойчивость к разделам: система может работать, когда ее серверы не могут обмениваться данными друг с другом (отключение сервера — один из особых случаев).

Теорема CAP утверждает, что у вас может быть только два из них. Если ваша система непротиворечива и терпима к разделам, то она теряет условие доступности — возможно, вам придется подождать, пока раздел не восстановится, прежде чем вы получите ответ. Если у вас есть согласованность и доступность, у вас будет время простоя, когда есть раздел или достаточно серверов. Если у вас есть доступность и устойчивость к разделам, вы можете читать устаревшие данные или иметь дело с конфликтующими записями.

Обратите внимание, что это применяется отдельно между чтением и записью — у вас может быть доступная и устойчивая к разделам система для чтения, но непротиворечивая и доступная система для записи. Это в основном система ведущий-ведомый; в разделе запись может завершиться ошибкой (если они находятся не на той стороне раздела), но чтение будет работать (хотя они могут возвращать устаревшие данные).

Поэтому, если вы хотите быть доступным и толерантным к разделам для чтения, один простой вариант — просто назначить один хост единственным, который может выполнять запись, и синхронизировать с него (например, используя rsync из скрипта cron или что-то в вашем C). проект, вы просто периодически копируете файл, используя простой сетевой код, и делаете дополнительную копию сразу после его изменения).

Однако, если вам нужна устойчивость к разделам для записи, это более сложно. У вас может быть два сервера, которые не могут общаться друг с другом, оба выполняют запись, а позже должны выяснить, какие данные выигрывают. В основном это означает, что вам нужно будет сравнить две версии при синхронизации и решить, какая из них победит. Это может быть так же просто, как «пусть победит самая высокая отметка времени», или вы можете использовать векторные часы, как в Dynamo, чтобы реализовать более сложную политику — что здесь подходит, зависит от вашего приложения.

Ознакомьтесь с rsync и узнайте, как Dropbox работает.

При каждой записи на сервер A разветвляйте процесс для записи одного и того же содержимого на сервер B. Таким образом, все операции записи на сервер A реплицируются на сервер B. Если у вас несколько серверов, сделайте разветвленный процесс для записи на все резервные серверы.