Qual foi a outra placa de vídeo que você testou? Também foi uma RX 580 2048SP ou uma RX 580?
Se testou com esses drivers que vem enfrentando problemas e está ok, pode ser problema com a sua VGA mesmo.