Het departement werd in 1815 door Koning Willem I opgericht. Ruim zestig jaar later werd het huidige gebouw aan de Hogewal in Den Haag in gebruik genomen. Het ligt op het terrein van Paleis Noordeinde
. In de zomer zijn de Koninklijke stallen enkele weken opengesteld voor het publiek.