Запуск задания Jenkins одновременно на всех узлах

• Rundeck может быть инструментом, более подходящим для ваших нужд. Может быть настроен для параллельного выполнения нескольких заданий и имеет плагин для Jenkins: http://rundeck.org/
• Rundeck разработан для интеграции с более крупными системами. Мы генерируем файл ресурсов из нашей базы данных управления конфигурацией. Очень просто просмотреть документацию: http://rundeck.org/docs/administration/node-resource-sources.html.
• Дополнительные плагины доступны для Amazon и / или таких систем, как puppet и chef: http://rundeck.org/plugins

1. Install
   • Parameterized Trigger Plugin
   • Подключаемый модуль параметров NodeLabel
2. Для задания, которое вы хотите запустить, включите Выполнять параллельные сборки, если необходимо
3. Create another job besides the job you want to run on all slaves and configure it
   • Build > Add build step > Trigger/call builds on other projects
     • Add ParameterFactories > All Nodes for Label Factory > Label: the label of the nodes

Построение матрицы будет работать; используйте «Подчиненные» в качестве оси и разверните список «Отдельные узлы», чтобы выбрать все свои узлы.

Обратите внимание, что вам нужно будет обновлять выбор каждый раз, когда вы добавляете или удаляете подчиненное устройство.

Для более удобного в обслуживании решения вы можете использовать плагин Job DSL чтобы настроить начальное задание, которое имеет шаблон для сборки, затем перебирает каждое ведомое устройство и создает новое задание с меткой сборки, установленной на имя ведомого.

Вам нужны два плагина: параметризованный плагин триггера, чтобы быть возможность запускать другие задания в качестве этапа сборки вашего основного задания и подключаемый модуль NodeLabel (прочтите раздел BuildParameterFactory, чтобы узнать, что вам нужно), чтобы указать метку.

Лучший и самый простой способ добиться этого - использовать плагин Elastic Axis.
1. Установите пульгин.
2. Создайте задание с несколькими конфигурациями. (Установите, если нет)
3. В конфигурации задания вы можете найти новую ось, добавленную как Эластичная ось. Добавьте метку, как показано ниже, чтобы запустить задание на нескольких ведомых устройствах.

Взяв несколько из вышеперечисленных ответов и скорректировав их для серии 2.0.

Теперь вы можете запускать все задания на всех узлах.

// The script triggers PayloadJob on every node.
// It uses Node and Label Parameter plugin to pass the job name to the payload job.
// The code will require approval of several Jenkins classes in the Script Security mode
def branches = [:]
def names = nodeNames()
for (int i=0; i<names.size(); ++i) {
  def nodeName = names[i];
  // Into each branch we put the pipeline code we want to execute
  branches["node_" + nodeName] = {
    node(nodeName) {
      echo "Triggering on " + nodeName
      build job: 'PayloadJob', parameters: [
              new org.jvnet.jenkins.plugins.nodelabelparameter.NodeParameterValue
                  ("TARGET_NODE", "description", nodeName)
          ]
    }
  }
}

// Now we trigger all branches
parallel branches

// This method collects a list of Node names from the current Jenkins instance
@NonCPS
def nodeNames() {
  return jenkins.model.Jenkins.instance.nodes.collect { node -> node.name }
}

Взято из кода https://jenkins.io/doc/pipeline/examples/#trigger-job-on-all-nodes

Понятно - никаких специальных плагинов не требуется!

Я создал родительское задание, которое запускает / вызывает другую сборку, и когда я звоню ему, я передаю ему метку, которую я не хочу запускать в дочернем задании.

Таким образом, в основном родительское задание запускает только нужное мне задание, а дочернее задание будет выполняться столько раз, сколько ведомых устройств в этой метке (в моем случае 4 раза).

Я искал способ запустить docker system prune на всех узлах (с меткой docker). Я закончил с довольно простым скриптовым конвейером, для работы которого AFAIK понадобится только плагин конвейера:

#!/usr/bin/env groovy

def nodes = [:]

nodesByLabel('docker').each {
  nodes[it] = { ->
    node(it) {
      stage("docker-prune@${it}") {
        sh('docker system prune -af --filter "until=1440h"')
      }
    }
  }
}

parallel nodes

Что это делает, он ищет все узлы с меткой docker, затем выполняет итерацию по нему и создает ассоциативный массив nodes с одним шагом на каждый найденный узел (если быть точным, то, что это делает, очищает все старые докеры старше 60 дней) . parallel nodes начинает выполняться параллельно (на всех найденных узлах одновременно).

Надеюсь, что это кому-то поможет.

Включите This project is parameterized, добавьте параметр типа Label, введите произвольное имя для метки и выберите значение по умолчанию значение, такое как метка, покрывающая несколько узлов, или соединение (&&) таких меток. Включите Run on all nodes matching the label, оставьте Run regardless of result, оставьте Node eligibility на All nodes.

Решение: вы можете кратко распараллелить одну и ту же сборку на нескольких узлах Jenkins.

Это может быть полезно для создания одного и того же проекта в разных средах (например, для сборки узловых приложений в тестовой, разработочной и промежуточной средах).

Пример:

pipeline {
agent { docker {  image 'node:14-alpine' } }
stages {
    stage('build') {
        steps {
            parallelTasks
        }
      }
   }
}


def parallelTasks() {
  def labels = ['test', 'dev', 'staging'] // labels for Jenkins node types we will build on
  def builders = [:]
  for (x in labels) {
      def label = x
      
      builders[label] = {
          node(label) {
              sh """#!/bin/bash -le
                    echo "build app on ${label} node"
                    cd /home/app
                    npm run build
              """
          }
      }
  }
  parallel builders


}