Иако је уредбом кнеза Милана Обреновића основан 10. августа 1878. године, музеј је отворен за јавност тек 1904. године у малој октоугаоној згради, над Римским бунаром, у Горњем граду. Пошто је страдао у Првом светском рату, музеј је поново отворен 2. априла 1937. године у две зграде и једној бараци у Горњем граду Београдске тврђаве. Током Другог светског рата музејска збирка је остала у Београду, а Немци су однели неке веома ретке и драгоцене предмете. Крајем 1944. године музеј је поново почео с радом. У реновираној згради бившег Војногеографског института отворена је 20. октобра 1961. године нова поставка музеја, која представља војну историју југословенских народа од досељавања на Балкан до XX века. Ова изложба је, с мањим изменама, сачуванa до данас. У збиркама Војног музеја налазе се: оружје, униформе, заставе, одликовања, архивска документа, уметничка дела, фотографије, макете и друго. Осим у згради Војног музеја, део поставке налази се и на отвореном простору.