Задания Rails с Sidekiq в Google Cloud Run не работают

У меня есть работающее приложение Rails в Google Cloud Run, использующее:

  • Облачная сборка
  • Облачный реестр
  • Cloud Run
  • Cloud SQL
  • Облачное хранилище
  • Облачная служба управления ключами
  • Облачный планировщик

Я настроил Sidekiq для выполнения некоторых заданий в фоновом режиме, но я получаю эту ошибку в журналах Cloud Run, когда пытаюсь выполнить задания Sidekiq.

Redis::CannotConnectError (Error connecting to Redis on 127.0.0.1:6379 (Errno::ECONNREFUSED)):

Я показываю вам настройку моего развертывания:

cloudbuild.yaml

steps:

# Decrypt Rails Master key file
- name: gcr.io/cloud-builders/gcloud
  args: ["kms", "decrypt", "--ciphertext-file=./config/master.key.enc", 
         "--plaintext-file=./config/master.key",
         "--location=us-central1","--keyring=project_name", 
         "--key=rails_master_key"]

# Decrypt Whale on Rails service account credentials
- name: gcr.io/cloud-builders/gcloud
  args: ["kms", "decrypt", "--ciphertext-file=./config/project_name_runner.key.enc", 
         "--plaintext-file=./config/project_name_runner.key",
         "--location=us-central1","--keyring=project_name", 
         "--key=project_name_runner_key"]

# Build image with tag 'latest' and pass decrypted Rails DB password as argument
- name: 'gcr.io/cloud-builders/docker'
  args: [ 'build',
    '--tag', 'gcr.io/$PROJECT_ID/project_name:latest',
    '--build-arg', 'DB_PWD',
    '--build-arg', 'RUBY_VERSION=${_RUBY_VERSION}',
    '--build-arg', 'PG_MAJOR=${_PG_MAJOR}',
    '--build-arg', 'NODE_MAJOR=${_NODE_MAJOR}',
    '--build-arg', 'BUNDLER_VERSION=${_BUNDLER_VERSION}',
    '--build-arg', 'RAILS_ENV=${_RAILS_ENV}',
    '--build-arg', 'REDIS_URL=${_REDIS_URL}',
    '--build-arg', 'DATABASE_HOST=${_DATABASE_HOST}',
    '--build-arg', 'DATABASE_USER=${_DATABASE_USER}',
    '--build-arg', 'DATABASE_NAME=${_DATABASE_NAME}',
    '.'
  ]
  secretEnv: ['DB_PWD']

# Push new image to Google Cloud Registry       
- name: 'gcr.io/cloud-builders/docker'
  args: ['push', 'gcr.io/$PROJECT_ID/project_name:latest']

secrets:
- kmsKeyName: projects/project_name/locations/us-central1/keyRings/project_name/cryptoKeys/db_pwd_key
  secretEnv:
    DB_PWD: "db_password"

substitutions:
  _RUBY_VERSION: '2.7.0'
  _PG_MAJOR: '11'
  _NODE_MAJOR: '12'
  _BUNDLER_VERSION: '2.1.2'
  _RAILS_ENV: production
  _REDIS_URL: redis://redis:6379/
  _DATABASE_HOST: /cloudsql/project_name:us-central1:project_name-production
  _DATABASE_USER: production_user
  _DATABASE_NAME: project_name-production

entrypoint.sh

#!/usr/bin/env bash

cd /usr/src/app

# Create the Rails production DB on first run
bundle exec rake db:prepare

# Do some protective cleanup
> log/production.log
rm -f tmp/pids/server.pid

# Run the web service on container startup
# $PORT is provided as an environment variable by Cloud Run
bundle exec rails server -b 0.0.0.0 -p $PORT

# Run sidekiq in production
bundle exec sidekiq -C config/sidekiq.yml

Dockerfile

# Leverage the official Ruby image from Docker Hub
# https://hub.docker.com/_/ruby
ARG RUBY_VERSION
FROM ruby:$RUBY_VERSION

LABEL maintainer="[email protected]"

ARG PG_MAJOR
ARG NODE_MAJOR
ARG BUNDLER_VERSION
ARG RAILS_ENV

# Add PostgreSQL to sources list
RUN curl -sSL https://www.postgresql.org/media/keys/ACCC4CF8.asc | apt-key add - \
  && echo 'deb http://apt.postgresql.org/pub/repos/apt/ stretch-pgdg main' $PG_MAJOR > /etc/apt/sources.list.d/pgdg.list

# Install recent versions of nodejs (10.x) and yarn pkg manager
# Needed to properly pre-compile Rails assets
RUN (curl -sL https://deb.nodesource.com/setup_$NODE_MAJOR.x | bash -) && apt-get update && apt-get install -y nodejs 

# Add Yarn to the sources list
RUN (curl -sS https://dl.yarnpkg.com/debian/pubkey.gpg | apt-key add -) && \
    echo "deb https://dl.yarnpkg.com/debian/ stable main" | tee /etc/apt/sources.list.d/yarn.list && \
    apt-get update && apt-get install -y yarn

# Install production dependencies (Gems installation in
# local vendor directory)
WORKDIR /usr/src/app
COPY Gemfile Gemfile.lock ./
ENV BUNDLE_FROZEN=true
RUN gem update --system && \
    gem install bundler:$BUNDLER_VERSION
RUN bundle install

# Copy application code to the container image.
# Note: files listed in .gitignore are not copied
# (e.g.secret files)
COPY . .

# Pre-compile Rails assets (master key needed)
RUN yarn install
RUN RAILS_ENV=production bundle exec rake assets:precompile

# Set Google App Credentials environment variable with Service Account
ENV GOOGLE_APPLICATION_CREDENTIALS=/usr/src/app/config/sunne_cms_api_runner.key

# Setup Rails DB password passed on docker command line (see Cloud Build file)
ARG DATABASE_NAME
ARG DATABASE_HOST
ARG DATABASE_USER
ARG DB_PWD
ENV DATABASE_PASSWORD=${DB_PWD}
ENV DATABASE_NAME=${DATABASE_NAME}
ENV DATABASE_HOST=${DATABASE_HOST}
ENV DATABASE_USER=${DATABASE_USER}

# Setting up Rails environment
ENV RAILS_ENV=${RAILS_ENV}

# For now we don't have a Nginx/Apache frontend so tell 
# the Puma HTTP server to serve static content
# (e.g. CSS and Javascript files)
ENV RAILS_SERVE_STATIC_FILES=true

# Redirect Rails log to STDOUT for Cloud Run to capture
ENV RAILS_LOG_TO_STDOUT=true

# Designate the initial sript to run on container startup
RUN chmod +x /usr/src/app/entrypoint.sh
ENTRYPOINT ["/usr/src/app/entrypoint.sh"]

person Adrià Carro    schedule 19.02.2020    source источник
comment
Cloud Run не поддерживает фоновые задания. Ваш контейнер начинается с HTTP-запроса и заканчивается, когда запрос возвращается. Не ждите большего после того, как запрос вернется. Cloud Run не является операционной системой, планировщиком задач, обработчиком фоновых потоков и т. Д. Прочтите это, чтобы понять, что Cloud Run может / не может делать cloud.google.com/run/docs/reference/container-contract   -  person John Hanley    schedule 19.02.2020
comment
У меня есть проект, который пытается сделать что-то подобное - я включил несколько альтернативных решений в свой ответ ниже.   -  person MandisaW    schedule 29.02.2020


Ответы (2)


Cloud Run не поддерживает фоновые задания. Ваш контейнер начинается с HTTP-запроса и заканчивается, когда запрос возвращается. Не ждите большего после того, как запрос вернется.

Cloud Run - это не операционная система, планировщик задач, процессор фоновых потоков и т. Д.

Прочтите это, чтобы понять, что Cloud Run может / не может:

Контракт Cloud Run Container

person John Hanley    schedule 19.02.2020

Как упоминает Джон Хэнли, Cloud Run не поддерживает фоновую обработку. Однако в зависимости от ваших требований у вас есть несколько вариантов.

Опция 1

Используйте отдельную службу для выполнения фоновых заданий, возможно, используя Cloud Pub / Sub подписки на межсервисные сообщения для широковещательной рассылки, когда работа будет готова. Ваша веб-служба может возвращать дескриптор / идентификатор подписке, который вызывающий абонент может использовать для прослушивания обновлений.

Сама фоновая служба может быть запущена в собственном контейнере Cloud Run, если это необходимо, или, поскольку вы, похоже, используете NodeJS, вы можете упаковать ее как Облачная функция.

Вариант 2

Переместите свой контейнер в решение, поддерживающее фоновую обработку, например App Engine или Kubernetes Engine (GKE). Однако у этих двух моделей ценообразования очень разные по сравнению с Cloud Run, и в зависимости от модели использования они могут оказаться значительно дороже. (Это сообщение в блоге Google раскрывает различия между GKE и Cloud Run.)

GKE может обрабатывать установку с одним контейнером без необходимости напрямую изучать Kubernetes или возиться с ним. Но если архитектура вашего проекта изменится или вам потребуется выполнить какую-либо настройку или устранить неполадки, может потребоваться значительная кривая обучения.

Вариант 3

Перепишите свой код, чтобы вместо этого использовать синхронную обработку, сохраняя запрос до завершения задания. Это было бы возможно только в том случае, если ваши задания всегда будут завершаться до истечения тайм-аута (60 секунд?), И если ваш конечный вариант использования позволяет это. Это простейшее решение, но наиболее ограничительное и подверженное ошибкам со стороны пользователя.

person MandisaW    schedule 29.02.2020