Ressources documentaires de premier ordre, ses collections (300 km d’archives remontant au 17ème siècle, près d’un million d’ouvrages), représentent aussi une part de la mémoire de la nation que les archivistes, les bibliothécaires, les historiens et les techniciens du SHD s’emploient à conserver, transmettre et partager. Elles appartiennent à tous les Français.

Créé le 1er janvier 2005 dans le cadre de la réforme de l'État, le service historique de la défense est rattaché à la direction de la mémoire, du patrimoine et des archives (DMPA), l'une des directions du secrétariat général pour l'administration (SGA) du ministère de la défense. Il est issu de la fusion des quatre services historiques de l'armée de terre, de la marine, de l'air et de la gendarmerie nationale, du centre des archives de l'armement et du personnel de Châtellerault.

Il se compose du centre historique des archives (implanté à Vincennes, Cherbourg, Brest, Lorient, Rochefort, Toulon, Caen, avec des espaces de stockage au Blanc et à Fontainebleau), du centre des archives de l’armement et du personnel (implanté à Châtellerault), d’un département administratif et financier, et d’une division du soutien logistique. En 2012, le bureau central des archives administratives militaires (BCAAM) de la direction du service national (DSN), situé à Pau, lui sera rattaché.