Zostało powołane w 1920 r. dekretem Marszałka Józefa Piłsudskiego. Od 1933 r. mieści się w obecnym gmachu przy Alejach Jerozolimskich 3. Do czasu wybuchu II wojny światowej prezentowano w nim ponad 60 tys. cennych, historycznych eksponatów. Podczas okupacji wywieziono je do Niemiec.
Muzeum zostało na nowo udostępnione już w 1946 r. Udało się odzyskać 2/3 wywiezionych przez Niemców eksponatów.
Obecnie w Muzeum prezentowanych jest ponad 250 eksponatów z historii oręża polskiego.
W parku przymuzealnym zobaczyć można działa artyleryjskie, pojazdy opancerzone oraz samoloty i helikoptery.