La loi de finances de 1921 institue les premiers « pelotons de gendarmerie mobile » à pied et à cheval. En 1926, ils prennent l’appellation de « Garde républicaine mobile » et à partir de l’année suivante, ils sont regroupés en « légions ».
Après l’armistice du 25 juin 1940, la Garde républicaine mobile devient la « Garde » ; les « légions » deviennent des « régiments » en 1942.
A partir de 1944, la Garde prend l’appellation de « Garde républicaine ». Ce n’est qu’en 1954, le 20 septembre, qu’elle devient la « Gendarmerie mobile ».
Dans les années 1936-1937, les premiers insignes apparaissent en Gendarmerie. C’était alors une pratique peu courante, et seules sept unités ont été recensées comme étant pionnières en la matière. La création des insignes était laissée à l’appréciation des chefs de corps et aucun service n’était chargé d’en réglementer ni le dessin ni l’usage.
Il faudra attendre 1945 pour qu’un service de la Symbolique militaire soit créé, chargé d’homologuer officiellement les insignes portés par les soldats. Cinquante ans plus tard le Service historique de la Gendarmerie nationale (SHGN) voyait le jour. Il fut chargé de gérer la symbolique de l’Institution en reprenant les attributions du Bureau de la Symbolique militaire de l’armée de Terre appliquées à la Gendarmerie. En 2005, ce service de la Direction générale de la Gendarmerie nationale fusionnait avec ses homologues des trois armées au sein d’un Service historique de la Défense sous l’autorité du Secrétariat général pour l’Administration ; il en constitue désormais le Département gendarmerie (SHD/DEPGEND). Celui-ci reprend à son compte les attributions de l’ancien SHGN.
Depuis la réorganisation de 1966, la gendarmerie mobile a porté les mêmes écus que ceux de la gendarmerie départementale, mais fixés sur un plateau doré et non argenté.
Les légions de gendarmerie mobile (LGM) sont créées par la réorganisation de la gendarmerie intervenue en 1991. Elles se subdivisent en groupements et escadrons, voire groupes d’escadrons. Les LGM sont au nombre de neuf. Elles sont dotées chacune d’un insigne spécifique, homologué la même année, différent des insignes de la gendarmerie départementale : parti à la grenade d’or et de la reprise de l’écusson de la région d’implantation, avec, au chef, le numéro de la LGM et sa mention.
Lors de la réorganisation territoriale de 2000, les 4ème et 8ème LGM sont dissoutes. Leurs insignes disparaissent.
De nouveaux insignes sont attribués à la gendarmerie mobile à l’occasion de la réorganisation territoriale intervenue au 1er juillet 2005. Les LGM sont toutes dissoutes. La gendarmerie mobile est désormais organisée en groupements rattachés directement aux nouvelles régions zonales de gendarmerie. De nouveaux insignes sont homologués le 30 août 2005 au profit de la gendarmerie mobile. Ceux-ci seront mis à la disposition des unités par la DGGN courant 2006.
Seule, l’ancienne Légion de gendarmerie mobile d’Ile-de-France (LGMIF), devenue Force de gendarmerie mobile et d’Intervention (FGMI) conserve ses insignes, à savoir, le sien en propre et ceux des cinq groupements.
