Tras el asesinato del rey Enrique IV, su viuda, María de Médici, decidió alejarse de las intrigas de la corte que residía en los edificios donde se halla hoy el Museo del Louvre. Buscaba otro alojamiento más digno de su rango de Regente (el Louvre le parecía demasiado medieval) y que le recordara el palacio florentino de su niñez. Encuentra en este barrio campestre, frecuentado por italianos, lo que necesita: el hotel de su amigo, el duque de Luxemburgo, con ocho hectáreas de parque. Envía a un arquitecto a Florencia para hacer el plan exacto de su antiguo palacio luego cambia de parecer y contrata a Salomon de Brosse que le propone un proyecto muy ambicioso. Las obras empiezan en abril de 1615 y en 1624 aunque no esté acabado, la reina se instala. Desde 1622 había empezado a decorar la galería principal con obras del pintor Peter Paul Rubens, siguiendo así la tradición familiar de mecenazgo de las artes. Estos cuadros se encuentran hoy en la sala Rubens del Museo del Louvre. En 1627, cedió o vendió el Petit Luxembourg al cardenal de Richelieu. La reina no vivió muchos años en su palacio; en 1631 fue obligada a exiliarse por orden de su hijo, el rey Luis XIII, tras el Día de los Engañados. A su muerte en 1642, María de Médici dejo el palacio en herencia a su hijo favorito, Gastón de Orleans. El palacio fue ampliado varias veces, pero sin modificar mucho su aspecto exterior: se construyó en los patios interiores, y luego se amplió el palacio hacia el jardín haciendo una copia casi exacta de su antigua fachada. Sin embargo, para dar cabida al Senado en 1969 fue preciso construir oficinas individuales para cada senador y varias salas de reunión y locales administrativos además de adaptar al gusto del siglo XX las comodidades básicas. El espacio necesario se encontró en el subsuelo, en el que se excavaron dos niveles subterráneos que se prolongan por debajo del parque. No fue suficiente, y se hizo edificar al otro lado de la calle una extensión, conectada por un paso subterráneo. En 1715 el palacio pasó al regente Felipe II de Orleans que alojó allí a sus hijas, duquesa de Berry y Luisa Isabel de Orleans, Reina Viuda de España, que falleció en el palacio en 1742. El palacio y los jardines fueron el escenario de los amores escandalosos de la duquesa de Berry. Ilustre protagonista de las orgías de la Regencia, la joven viuda libertina ocultó allí una serie de embarazos. Saint-Simon describe el parto vergonzoso y muy laborioso de la duquesa de Berry a finales de marzo de 1719 en el Luxemburgo. Cuando La "Mesalina de Berry" falleció, tres meses más tarde, con la salud arruinada por aquel parto sumamente peligroso, la autopsia reveló que la princesa estaba embarazada de nuevo. El palacio fue posteriormente la residencia del conde de Provenza, futuro Luis XVIII, por lo que fue confiscado por la Revolución Francesa que lo declaró "propiedad nacional". Sirvió de prisión en el periodo revolucionario conocido como el Terror, fue la sede del Directorio en 1795, y albergó la Cámara de los Pares a partir de 1814. Desde esa fecha ha mantenido su vocación parlamentaria.
Tanto el palacio como los jardines sufrieron las vicisitudes de sus propietarios, y quedaron casi abandonados en varias ocasiones. Durante la Segunda Guerra Mundial, los alemanes lo utilizaron como cuartel y construyeron un búnker en el jardín