Het departement werd in 1815 door Koning Willem I opgericht. Ruim zestig jaar later werd het huidige gebouw aan de Hogewal in Den Haag in gebruik genomen. Het ligt op het terrein van Paleis Noordeinde. In de zomer zijn de Koninklijke stallen enkele weken opengesteld voor het publiek.