Ciao,
si, vSphere si installa "come un OS" o per meglio dire "bare metal" ossia direttamente senza alcun sistema operativo in mezzo (di fatto e' lui il "sistema operativo")
Per quanto riguarda il resto: vSphere NON e' open source.
Esiste una versione di base gratuita ufficialmente chiamata ESXi Hypervisor:
http://www.vmware.com/products/vsphere-hypervisor/overview.html