Hola!
Les traigo un truco para aumentar la memoria de video de una maquina virtual.
Primer paso: Bueno tener la maquina ya creada (:

Segundo paso: Entrar a Configuración, Pantalla

Tercer paso: Aumentar la cantidad de monitores a 8

Cuarto paso: Aumentar la memoria al máximo (mi caso 256 mb) y aceptar

Quinto paso: Entrar de nuevo en Configuración, Pantalla.

Sexto paso: Por ultimo (: mermar la cantidad de monitores


Espero que les sirva.
Pd:
Probado en Nvidia 2 gb dedicados
VirtualBox 3.2.6
Solo funciona en linux, ocasionalmente en Snow Leopard pero Windows crashea al llegar al escritorio ):
EDIT #1 Virtualbox 4 funciona windows (: