Con la salida de VirtualBox 4.2.x aproveché de actualizar los repositorios de una de las máquinas del trabajo, la cual corre Ubuntu 12.04. Para hacer esto basta con colocar lo siguiente en el archivo /etc/apt/sources.list:
deb http://download.virtualbox.org/virtualbox/debian precise contrib
Después de este cambio debes refrescar el listado de paquetes y actualizar VirtualBox:
aptitude update aptitude install virtualbox-4.2
Repositorios en Debian
Para Debian testing (wheezy) y stable (Squeeze) se deben colocar las siguientes líneas:
deb http://download.virtualbox.org/virtualbox/debian wheezy contrib deb http://download.virtualbox.org/virtualbox/debian squeeze contrib non-free
Configuración en apt-cacher
Si seguiste la receta de apt-cacher y VirtualBox de este mismo blog, te informo que basta con modificar el /etc/apt/sources.list en los clientes como se explica arriba, es decir, el servidor de apt-cacher no sufre cambios.
Referencia: Download VirtualBox for Linux Hosts