Dúvida em relação ao acesso com ssl

Eu criei um droplet na digital ocean,instalei o apache, php e mysql tudo normal. Fiz também a parte de instalação do SSL de acordo com o passado na aula. O certificado foi instalado tudo normal e está funcionando muito bem. Quanto digito o dominio com http ele é redirecionado para https e quando digito https funciona normal. Tenho somente um problema que não consigo resolver. Alem do dominio quando eu digito o ip da máquina vps o site também é acessado e ai aparece como não seguro ou seja o ssl não está aplicado ao ip. Como posso bloquear o acesso via ip do servidor e acessar somente digitando o dominio.