AWS RDS в нескольких зонах доступности в разных регионах?

Можно, но узлы в других регионах являются репликами чтения.

Вы можете создать одну или несколько реплик данного исходного экземпляра БД [MySQL] в пределах региона AWS или между регионами AWS и обслуживать большой объем трафика чтения приложений из нескольких копий [...]

Развертывания в нескольких зонах доступности и реплики чтения используют разные базовые технологии репликации, подходящие для соответствующих целей. Однако вы можете использовать их вместе для надежных и масштабируемых производственных развертываний.

Реплики чтения имеют ограничения, как вы можете себе представить. Вы не можете писать в реплики (очевидно), и есть задержка репликации, которая может привести к потере данных, если исходная база данных выйдет из строя (в этом вам поможет мульти-зона доступности). В часто задаваемых вопросах по RDS есть некоторые обсуждения.