mirror of https://github.com/mastodon/mastodon
Refactor (ruby) redis configuration (#31694)
David Roetzel
1 year ago
committed by
GitHub
parent
a23b3747ac
commit
388d5473e1
@ -1,53 +0,0 @@
|
||||
# frozen_string_literal: true
|
||||
|
||||
def setup_redis_env_url(prefix = nil, defaults = true)
|
||||
prefix = "#{prefix.to_s.upcase}_" unless prefix.nil?
|
||||
prefix = '' if prefix.nil?
|
||||
|
||||
return if ENV["#{prefix}REDIS_URL"].present?
|
||||
|
||||
password = ENV.fetch("#{prefix}REDIS_PASSWORD") { '' if defaults }
|
||||
host = ENV.fetch("#{prefix}REDIS_HOST") { 'localhost' if defaults }
|
||||
port = ENV.fetch("#{prefix}REDIS_PORT") { 6379 if defaults }
|
||||
db = ENV.fetch("#{prefix}REDIS_DB") { 0 if defaults }
|
||||
|
||||
ENV["#{prefix}REDIS_URL"] = begin
|
||||
if [password, host, port, db].all?(&:nil?)
|
||||
ENV['REDIS_URL']
|
||||
else
|
||||
Addressable::URI.parse("redis://#{host}:#{port}/#{db}").tap do |uri|
|
||||
uri.password = password if password.present?
|
||||
end.normalize.to_str
|
||||
end
|
||||
end
|
||||
end
|
||||
|
||||
setup_redis_env_url
|
||||
setup_redis_env_url(:cache, false)
|
||||
setup_redis_env_url(:sidekiq, false)
|
||||
|
||||
namespace = ENV.fetch('REDIS_NAMESPACE', nil)
|
||||
cache_namespace = namespace ? "#{namespace}_cache" : 'cache'
|
||||
sidekiq_namespace = namespace
|
||||
|
||||
redis_driver = ENV.fetch('REDIS_DRIVER', 'hiredis') == 'ruby' ? :ruby : :hiredis
|
||||
|
||||
REDIS_CACHE_PARAMS = {
|
||||
driver: redis_driver,
|
||||
url: ENV['CACHE_REDIS_URL'],
|
||||
expires_in: 10.minutes,
|
||||
namespace: "#{cache_namespace}:7.1",
|
||||
connect_timeout: 5,
|
||||
pool: {
|
||||
size: Sidekiq.server? ? Sidekiq[:concurrency] : Integer(ENV['MAX_THREADS'] || 5),
|
||||
timeout: 5,
|
||||
},
|
||||
}.freeze
|
||||
|
||||
REDIS_SIDEKIQ_PARAMS = {
|
||||
driver: redis_driver,
|
||||
url: ENV['SIDEKIQ_REDIS_URL'],
|
||||
namespace: sidekiq_namespace,
|
||||
}.freeze
|
||||
|
||||
ENV['REDIS_NAMESPACE'] = "mastodon_test#{ENV['TEST_ENV_NUMBER']}" if Rails.env.test?
|
||||
@ -0,0 +1,96 @@
|
||||
# frozen_string_literal: true
|
||||
|
||||
class Mastodon::RedisConfiguration
|
||||
def base
|
||||
@base ||= {
|
||||
url: setup_base_redis_url,
|
||||
driver: driver,
|
||||
namespace: base_namespace,
|
||||
}
|
||||
end
|
||||
|
||||
def sidekiq
|
||||
@sidekiq ||= {
|
||||
url: setup_prefixed_redis_url(:sidekiq),
|
||||
driver: driver,
|
||||
namespace: sidekiq_namespace,
|
||||
}
|
||||
end
|
||||
|
||||
def cache
|
||||
@cache ||= {
|
||||
url: setup_prefixed_redis_url(:cache),
|
||||
driver: driver,
|
||||
namespace: cache_namespace,
|
||||
expires_in: 10.minutes,
|
||||
connect_timeout: 5,
|
||||
pool: {
|
||||
size: Sidekiq.server? ? Sidekiq[:concurrency] : Integer(ENV['MAX_THREADS'] || 5),
|
||||
timeout: 5,
|
||||
},
|
||||
}
|
||||
end
|
||||
|
||||
private
|
||||
|
||||
def driver
|
||||
ENV['REDIS_DRIVER'] == 'ruby' ? :ruby : :hiredis
|
||||
end
|
||||
|
||||
def namespace
|
||||
@namespace ||= ENV.fetch('REDIS_NAMESPACE', nil)
|
||||
end
|
||||
|
||||
def base_namespace
|
||||
return "mastodon_test#{ENV.fetch('TEST_ENV_NUMBER', nil)}" if Rails.env.test?
|
||||
|
||||
namespace
|
||||
end
|
||||
|
||||
def sidekiq_namespace
|
||||
namespace
|
||||
end
|
||||
|
||||
def cache_namespace
|
||||
namespace ? "#{namespace}_cache" : 'cache'
|
||||
end
|
||||
|
||||
def setup_base_redis_url
|
||||
url = ENV.fetch('REDIS_URL', nil)
|
||||
return url if url.present?
|
||||
|
||||
user = ENV.fetch('REDIS_USER', '')
|
||||
password = ENV.fetch('REDIS_PASSWORD', '')
|
||||
host = ENV.fetch('REDIS_HOST', 'localhost')
|
||||
port = ENV.fetch('REDIS_PORT', 6379)
|
||||
db = ENV.fetch('REDIS_DB', 0)
|
||||
|
||||
construct_uri(host, port, db, user, password)
|
||||
end
|
||||
|
||||
def setup_prefixed_redis_url(prefix)
|
||||
prefix = "#{prefix.to_s.upcase}_"
|
||||
url = ENV.fetch("#{prefix}REDIS_URL", nil)
|
||||
|
||||
return url if url.present?
|
||||
|
||||
user = ENV.fetch("#{prefix}REDIS_USER", nil)
|
||||
password = ENV.fetch("#{prefix}REDIS_PASSWORD", nil)
|
||||
host = ENV.fetch("#{prefix}REDIS_HOST", nil)
|
||||
port = ENV.fetch("#{prefix}REDIS_PORT", nil)
|
||||
db = ENV.fetch("#{prefix}REDIS_DB", nil)
|
||||
|
||||
if host.nil?
|
||||
base[:url]
|
||||
else
|
||||
construct_uri(host, port, db, user, password)
|
||||
end
|
||||
end
|
||||
|
||||
def construct_uri(host, port, db, user, password)
|
||||
Addressable::URI.parse("redis://#{host}:#{port}/#{db}").tap do |uri|
|
||||
uri.user = user if user.present?
|
||||
uri.password = password if password.present?
|
||||
end.normalize.to_str
|
||||
end
|
||||
end
|
||||
@ -0,0 +1,170 @@
|
||||
# frozen_string_literal: true
|
||||
|
||||
require 'rails_helper'
|
||||
|
||||
RSpec.describe Mastodon::RedisConfiguration do
|
||||
let(:redis_environment) { described_class.new }
|
||||
|
||||
before do
|
||||
# We use one numbered namespace per parallel test runner
|
||||
# in the test env. This here should test the non-test
|
||||
# behavior, so we disable it temporarily.
|
||||
allow(Rails.env).to receive(:test?).and_return(false)
|
||||
end
|
||||
|
||||
shared_examples 'setting a different driver' do
|
||||
context 'when setting the `REDIS_DRIVER` variable to `ruby`' do
|
||||
around do |example|
|
||||
ClimateControl.modify REDIS_DRIVER: 'ruby' do
|
||||
example.run
|
||||
end
|
||||
end
|
||||
|
||||
it 'sets the driver accordingly' do
|
||||
expect(subject[:driver]).to eq :ruby
|
||||
end
|
||||
end
|
||||
end
|
||||
|
||||
shared_examples 'setting a namespace' do
|
||||
context 'when setting the `REDIS_NAMESPACE` variable' do
|
||||
around do |example|
|
||||
ClimateControl.modify REDIS_NAMESPACE: 'testns' do
|
||||
example.run
|
||||
end
|
||||
end
|
||||
|
||||
it 'uses the value for the namespace' do
|
||||
expect(subject[:namespace]).to eq 'testns'
|
||||
end
|
||||
end
|
||||
end
|
||||
|
||||
shared_examples 'secondary configuration' do |prefix|
|
||||
context "when no `#{prefix}_REDIS_` environment variables are present" do
|
||||
it 'uses the url from the base config' do
|
||||
expect(subject[:url]).to eq 'redis://localhost:6379/0'
|
||||
end
|
||||
end
|
||||
|
||||
context "when the `#{prefix}_REDIS_URL` environment variable is present" do
|
||||
around do |example|
|
||||
ClimateControl.modify "#{prefix}_REDIS_URL": 'redis::/user@other.example.com/4' do
|
||||
example.run
|
||||
end
|
||||
end
|
||||
|
||||
it 'uses the provided URL' do
|
||||
expect(subject[:url]).to eq 'redis::/user@other.example.com/4'
|
||||
end
|
||||
end
|
||||
|
||||
context 'when giving separate environment variables' do
|
||||
around do |example|
|
||||
ClimateControl.modify "#{prefix}_REDIS_PASSWORD": 'testpass1', "#{prefix}_REDIS_HOST": 'redis2.example.com', "#{prefix}_REDIS_PORT": '3322', "#{prefix}_REDIS_DB": '8' do
|
||||
example.run
|
||||
end
|
||||
end
|
||||
|
||||
it 'constructs the url from them' do
|
||||
expect(subject[:url]).to eq 'redis://:testpass1@redis2.example.com:3322/8'
|
||||
end
|
||||
end
|
||||
end
|
||||
|
||||
describe '#base' do
|
||||
subject { redis_environment.base }
|
||||
|
||||
context 'when no `REDIS_` environment variables are present' do
|
||||
it 'uses defaults' do
|
||||
expect(subject).to eq({
|
||||
url: 'redis://localhost:6379/0',
|
||||
driver: :hiredis,
|
||||
namespace: nil,
|
||||
})
|
||||
end
|
||||
end
|
||||
|
||||
context 'when the `REDIS_URL` environment variable is present' do
|
||||
around do |example|
|
||||
ClimateControl.modify REDIS_URL: 'redis::/user@example.com/2' do
|
||||
example.run
|
||||
end
|
||||
end
|
||||
|
||||
it 'uses the provided URL' do
|
||||
expect(subject).to eq({
|
||||
url: 'redis::/user@example.com/2',
|
||||
driver: :hiredis,
|
||||
namespace: nil,
|
||||
})
|
||||
end
|
||||
end
|
||||
|
||||
context 'when giving separate environment variables' do
|
||||
around do |example|
|
||||
ClimateControl.modify REDIS_PASSWORD: 'testpass', REDIS_HOST: 'redis.example.com', REDIS_PORT: '3333', REDIS_DB: '3' do
|
||||
example.run
|
||||
end
|
||||
end
|
||||
|
||||
it 'constructs the url from them' do
|
||||
expect(subject).to eq({
|
||||
url: 'redis://:testpass@redis.example.com:3333/3',
|
||||
driver: :hiredis,
|
||||
namespace: nil,
|
||||
})
|
||||
end
|
||||
end
|
||||
|
||||
include_examples 'setting a different driver'
|
||||
include_examples 'setting a namespace'
|
||||
end
|
||||
|
||||
describe '#sidekiq' do
|
||||
subject { redis_environment.sidekiq }
|
||||
|
||||
include_examples 'secondary configuration', 'SIDEKIQ'
|
||||
include_examples 'setting a different driver'
|
||||
include_examples 'setting a namespace'
|
||||
end
|
||||
|
||||
describe '#cache' do
|
||||
subject { redis_environment.cache }
|
||||
|
||||
it 'includes extra configuration' do
|
||||
expect(subject).to eq({
|
||||
url: 'redis://localhost:6379/0',
|
||||
driver: :hiredis,
|
||||
namespace: 'cache',
|
||||
expires_in: 10.minutes,
|
||||
connect_timeout: 5,
|
||||
pool: {
|
||||
size: 5,
|
||||
timeout: 5,
|
||||
},
|
||||
})
|
||||
end
|
||||
|
||||
context 'when `REDIS_NAMESPACE` is not set' do
|
||||
it 'uses the `cache` namespace' do
|
||||
expect(subject[:namespace]).to eq 'cache'
|
||||
end
|
||||
end
|
||||
|
||||
context 'when setting the `REDIS_NAMESPACE` variable' do
|
||||
around do |example|
|
||||
ClimateControl.modify REDIS_NAMESPACE: 'testns' do
|
||||
example.run
|
||||
end
|
||||
end
|
||||
|
||||
it 'attaches the `_cache` postfix to the namespace' do
|
||||
expect(subject[:namespace]).to eq 'testns_cache'
|
||||
end
|
||||
end
|
||||
|
||||
include_examples 'secondary configuration', 'CACHE'
|
||||
include_examples 'setting a different driver'
|
||||
end
|
||||
end
|
||||
Loading…
Reference in New Issue