El palacio fue construido en una escala monumental cuyo objetivo era ser el reflejo de la grandeza y el poder de la Rusia Imperial. Es el producto del diseño de numerosos arquitectos, entre los que se destaca el trabajo de Bartolomeo Rastrelli, en lo que se denominó el estilo barroco isabelino. El palacio es de color verde y blanco con forma de rectángulo, posee 1.786 puertas, 1.945 ventanas, 1.500 habitaciones y 117 escaleras. Su fachada principal mide 150 m de longitud y 30 m de altura. La reconstrucción de 1837 no modificó la apariencia exterior, pero se rediseñaron grandes sectores de su interior en una variedad de estilos y gustos.
La primera residencia real en San Petersburgo fue una cabaña de madera conocida como el Domik Petra I, construida en 1704, que daba al río Neva . En 1711 fue trasladado a la Ribera Petrovskaya, donde sigue en pie. Tras ser despejado el terreno, el zar se embarcó en la construcción de una residencia más grande entre 1711 y 1712. La residencia fue el Palacio de Invierno primigenio, diseñado por Domenico Trezzini. El siglo XVIII fue un periodo de gran desarrollo en la arquitectura real europea, ya que la necesidad de una residencia fortificada fue reduciendo gradualmente. Uno de los ejemplos más tempranos y más notable fue el Palacio de Versalles de Luis XIV. Pedro el Grande de Rusia, interesado en promover todos los conceptos occidentales, quería tener un palacio moderno al igual que sus compañeros soberanos. Sin embargo, a diferencia de algunos de sus sucesores, Pedro nunca aspiró a rivalizar con Versalles. El Palacio de Invierno primigenio fue un edificio de dos plantas principales con tejado de pizarra. Pedro pronto se cansó del palacio, y en el 1721 mandó construir el segundo Palacio de Invierno, bajo la dirección del arquitecto Georg Mattarnovy. Este palacio sigue siendo modesto en comparación con los palacios reales en otras capitales europeas, era de dos pisos sobre una planta baja almohadillada. En él murió Pedro el Grande en 1725.
Pedro el Grande fue sucedido por su viuda, Catalina I, que reinó hasta su muerte en 1727, quien a su vez fue sucedida por Pedro II, nieto de Pedro el Grande. Pedro II mandó rediseñar el palacio al arquitecto Domenico Trezzini, que duplicó su tamaño. Este fue el tercer palacio y, al igual que el segundo, era de estilo barroco petrino. Tras la muerte de Pedro II en 1730, el trono pasó a Anna Ivanova, sobrina de Pedro el Grande y tras su muerte en 1740 pasó a Ivan VI, que solo tenía unos meses de vida. Tras un golpe de estado, la hija de Pedro el Grande, Isabel I, se convirtió en emperatriz en 1741. En 1759, poco antes de la muerte de Isabel, el Palacio de Invierno, cuarto, diseñado por Francesco Bartolomeo Rastrelli, estaba a punto de concluir.
Catalina II fue la responsable de crea los tres grandes palacios adyacentes. La sala del pabellón servía de paso al Pequeño Hermitage, donde la emperatriz exponía su colección de pintura que había reunido a base de comprar las obra a nobles europeos arruinados. Su colección de arte creció tanto que se desbordó el Pequeño Hermitage, lo que hizo necesario encargar la construcción de un segundo edificio más grande, que llegó a ser conocido como el Antiguo Hermitage. Más tarde, Catalina encargó un tercer edificio, el Teatro Hermitage, diseñado por Giacomo Quarenghi. Los trabajos de construcción del Palacio de Invierno continuaron hasta la muerte de la emperatriz en 1796.
El Zar Nicolás I es responsable de la apariencia actual del palacio. En 1833, Montferrand fue contratado para rediseñar los cuartos del estado de la parte oriental y crear el Sala de los Mariscales y de la Pequeña Sala del Trono. En 1837, se produjo un incendio de origen desconocido. El palacio fue mandado reconstruir rapidamente tras el incendio, modificando el diseño de algunas salas. En 1841 Nicolás I ordena la construcción de un edificio para abrir al público parte de su colección de arte, el Nuevo Hermitage, diseñado por Leo Von Klenze.
En 1905, el palacio fue el escenario de la masacre del Domingo sangriento, aunque para esta fecha la familia imperial ya habían optado por fijar su residencia en el Palacio de Alexander que se encuentra más retirado y más seguro, en Tsarskoe Selo, y solo regresaban al Palacio de Invierno para ocasiones muy especiales o de naturaleza formal.
Tras la Revolución de febrero de 1917, durante un breve tiempo el palacio fue la sede del Gobierno Provisional Ruso, liderado por Alexander Kerensky. Posteriormente ese mismo año, el palacio fue atacado por un grupo de soldados y marineros del ejército rojo, en lo que fue un momento definitorio en el nacimiento del estado soviético. Nicolás II fue el último Zar de Rusia, siendo destronado por la Revolución de febrero, producida en el marco de la Primera Guerra Mundial. Después de la Revolución de Octubre, los bolcheviques asesinaron a la familia imperial en Ekaterinburgo en 1918.
En 1917 el Palacio de Invierno, con sus edificios adyacentes, fue declarado Museo Estatal. El museo se formó con la colección imperial privada de arte, cuyas odras fueron adquiriendo los zares durante varios siglos. El Museo del Hermitage hoy en día es uno de los museos mas importantes del mundo y está formado por varios edificios: el Palacio de invierno, el Pequeño Hermitage, el Viejo Hermitage, el Teatro del Hermitage, el Nuevo Hermitage, el Palacio Menshikov y el Edificio del Estado Mayor.
