pveproxy использует /etc/pve/local/pveproxy-ssl.pem и /etc/pve/local/pveproxy-ssl.key, если они есть, или /etc/pve/local/pve-ssl.pem и /etc/pve/local/pve-ssl.key в противном случае. Закрытый ключ не может использовать парольную фразу.
/etc/pve/local/pveproxy-ssl.key, установив TLS_KEY_FILE в /etc/default/pveproxy, например:
TLS_KEY_FILE="/secrets/pveproxy.key"