Nginx

Olá, Lucas!
Como vai?

A ideia do Docker é justamente o projeto carregar consigo o setup, ou seja, ter embutido tudo o que precisa para rodar.

Nesse caso, cada projeto deve rodar em uma porta diferente, assim evita ter conflitos um com os outros.

Até é possível, usar o mesmo nginx para rotear para várias aplicações diferentes, mas estaria compartilhando recursos entre projetos, logo se precisasse eventualmente trocar algo em algum projeto (versão do nginx por exemplo) quebraria em outros projetos.

Uma alternativa (não recomendada) seria ter o nginx instalado (ou rodando na porta 80 em um container Docker), e esse carinha fazer o proxy para cada uma das aplicações:
vhost01 -> localhost:8989
vhost02 -> localhost:81