Begin 18e eeuw bezat de architect Armand-Claude Mollet een stuk land aan de weg naar het dorp Roule, ten westen van Parijs (nu de Rue du Faubourg Saint-Honoré) dat grensde aan een kroondomein, de Grand Cours door de Champs-Élysées. In 1718 kocht Henri-Louis de la Tour d'Auvergne, graaf van Évreux dit, met de afspraak dat hij er een hôtel particulier zou bouwen, met een toegangshof ervoor en een tuin erachter. Dit Hôtel d'Évreux was voltooid in 1722 (de naam Palais de l'Élysée zou pas van 1787 dateren, vanwege de nabijheid van de Champs-Élysées). Hoewel het daarna nog vele malen is verbouwd, blijft het een mooi voorbeeld van klassieke Régence.

Het gebouw behoorde toe aan verscheidene hoogadelijke personen, onder wie Madame de Pompadour. Tijdens de Franse Revolutie werd het onteigend en diende het een tijd als staatsdrukkerij en als depot van staatsmeubelen. In 1797 werd het verkocht aan een particulier, die het verhuurde als ruimte voor bals, tentoonstellingen en feesten. Later werd het gebouw opgedeeld in winkels en appartementen, die werden verhuurd.

In 1803 kocht maarschalk Joachim Murat, de zwager van Napoleon Bonaparte, het gebouw en liet het met grote kosten ombouwen tot een luxe-residentie voor zichzelf. Toen Murat in 1808 koning van Napels werd, stond hij het paleis aan de staat af. Toen keizer Napoleon in 1809 scheidde van zijn eerste vrouw Joséphine de Beauharnais, schonk hij haar het Elysée. Joséphine verbleef er echter bijna nooit en in 1812 moest ze het aan Napoleon afstaan, in ruil voor het kasteel van Laken. Napoleon verbleef er af en toe met zijn tweede gezin.

Toen de geallieerde legers in 1814 Parijs bezetten, nam tsaar Alexander I van Rusland er zijn intrek. Napoleon verbleef er later opnieuw tijdens de Honderd Dagen. Na de slag bij Waterloo bracht hij daar zijn laatste dagen in Parijs door en deed er op 22 juni 1815 voor de tweede maal troonsafstand.

Het Elysée werd daarna voorgoed staatseigendom. Nog in 1815 werd het de residentie van de hertog van Berry, de neef en mogelijke opvolger van koning Lodewijk XVIII. Toen deze in 1820 werd vermoord, werd het paleis lange tijd niet meer gebruikt, behalve soms door enkele buitenlandse prinsen die op bezoek waren.

In 1848, onder de voorlopige regering van de Tweede Republiek, werd het hernoemd tot Elysée National. Hetzelfde jaar werd het voor het eerst toegewezen aan de President van de Republiek als officiële residentie. Het paleis der Tuilerieën, dat sinds 1800 de residentie van het staatshoofd was, gold te veel als een symbool van de monarchie. Toen de president, Louis-Napoléon Bonaparte, zich in 1852 tot keizer Napoleon III liet uitroepen, verhuisde hij het jaar daarop opnieuw naar de Tuilerieën. Napoleon III belastte de architect Joseph-Eugène Lacroix met renovaties, die doorgingen tot 1867. Sindsdien is het uiterlijk van het Élysée essentieel ongewijzigd. Het Elysée werd toen gebruikt als verblijf voor buitenlandse vorsten die Parijs bezochten.

Onder de Derde Republiek werd het Elysée sinds 1874 opnieuw gebruikt door het staatshoofd (de Tuilerieën waren in 1871 afgebrand), maar aanvankelijk was Versailles de grondwettelijke regeringszetel. Pas in 1879 werd het de officiële residentie van de president.

Sindsdien is het Elysée de ambtswoning van alle Franse presidenten geweest. Vooral onder de Vijfde Republiek is het het centrum van de Franse politiek macht geworden.

Vanwege de onopvallende ligging van het paleis, het gebrek aan ruimte en problemen met de veiligheid, hebben de presidenten Charles de Gaulle, Valéry Giscard d'Estaing en François Mitterrand plannen gehad om naar een andere residentie te verhuizen. Er werd gedacht aan het kasteel van Vincennes, het Hôtel des Invalides of de École Militaire. Uiteindelijk is daar niets van terechtgekomen. Sinds 2010 bestaat er wel een noodplan waarbij de president in geval van overstromingen naar Vincennes zou uitwijken.