Los elementos más antiguos de este conjunto son en primer lugar el Hotel Tubeuf alta en 1635 por Charles Chevry, comprado en 1641 por Jacques Tubeuf, el presidente de la Cámara de Cuentas, por el otro lado permanecen los edificios Mazarin realizados por los arquitectos Pierre Le Muet y François Mansart, a quien debemos las dos galerías, actualmente utilizadas como salas de exposiciones.
Los edificios nuevos han sido construidos de la década de 1720 bajo la dirección de Robert de Cotte y Abbe Bignon, especialmente para acomodar el Gabinete de Medallas. Los cambios fueron pocos en la segunda mitad del siglo XVIII hasta mediados del siglo XIX. La otra fase de la obra principal se reanuda con Henri Labrouste en 1854: sus principales logros fueron el ala con monumental de la fachada Rue de Richelieu, el edificio de la calle des Petits Champs incluyendo la rotonda, la entrada actual en la corte de honor y sobre todo la gran sala de lectura (conocida actualmente por “sala Labrouste”) y el gran almacén central. En los interiores, Labrouste utilizó carpintería metálica para cubrir la sala con delgados apoyos e introducir iluminación cenital, armar un bosque de finos pilares bajo una delicada luz. El edificio principal está decorado con una escultura de Charles Degeorge.
A Labrouste le sucede Jean-Louis Pascal, que reconstruyó a partir de 1878 la fachada norte del patio de Robert de Cotte, restaura la apertura de fachada a la sala VIP, las alas construidas de las calles Colbert (1898) y Vivienne (1902-1906), finalmente en 1897 construye la Sala Oval, que concluirá en 1932, que sin embargo, se inauguró en 1936.
Por falta de espacio, la Biblioteca Nacional tuvo que extenderse fuera del cuadrilátero Richelieu, ocupando parte de la Galerie Vivienne para instalar los servicios de depósito legal.