Добрый день!
1. Поскольку процессор официально не значится в списке совместимых, то могут быть проблемы.
В интернете есть упоминания о том, что у кого-то с AMD Ryzen ESXi работает. Например AMD Ryzen "Working" with VMware ESXi 6.5 to an extent
Тем не менее помимо процессора вам надо иметь работающий дисковый контроллер, чтобы ESXi видел жесткие диски для размещения виртуальных машин и совместимый сетевой адаптер, под который есть драйверы для ESXi.
2. Workstation должен работать.