A ports.conf szerintem rendben van.

Az ssl-t engedélyezted?
sudo a2enmod ssl

Utána elvileg kell egy restart.
sudo service apache2 restart

Ha ez nem segít az error.log vége kellene. Hátha kit tudok olvasni belőle valamit.
tail /var/log/apache2/error.log