Kjemiens røtter kan spores tilbake til oppdagelsen av ild. Med ild kunne man forandre et stoff til et annet under tilføring av varme. Denne kunnskapen førte videre til metallurgi. Først ble metallene utvunnet fra malm, senere ble legeringer utviklet for å oppnå bedre og sterkere metall. Denne prosessen ble utviklet over flere tusen år.

Gull ble foredlet lenge før de første legeringene kom. De hadde imidlertid liten forståelse av foredlingsprosessen som skjedde. Prosessen ble sett på som en forvandling, heller enn en foredling. Mange lærde på den tiden mente at det ville være fornuftig å finne en måte å forvandle billige metaller til gull. Dette var opptrinnet til alkymi, og letingen av de vises sten, som de mente skulle hjelpe dem til en slik forvandling.

Pestene som herjet Europa i middelalderen, gav ytterlige oppgang for alkymistene. Etterspørselen etter medisin økte. De mente at det kanskje fantes en eliksir som kunne kurere alle slags sykdommer. I likhet med de vises sten ble det imidlertid aldri funnet noen slik eliksir, og moderne kjemi slår også fast at det ikke er mulig med en slik medisin.

Mange alkymister så sin snitt til å drive med kvakksalveri og pengeforfalskning. For andre var det en intellektuell beskjeftigelse hvor man ikke greide å skille overtro fra vitenskapelig arbeid. Over tid ble praktiserende alkymister bedre på å skille disse. Paracelsus (1493–1541) forkastet læren om de fire elementer, og med bare en helt elementær forståelse av kjemi og medisin, smeltet han sammen alkymi og vitenskap i noe som ble kalt iatrokjemi.

Starten for kjemi som vitenskap kan spores tilbake til flere muslimske kjemikere. Da er arbeider av Geber (ca. 725 -815), Al-Kindi (ca. 801- ca. 873), Al-Razi (865-925) og Abu Rayhan Biruni (973-1048) av særlig betydning. Gebers arbeid skulle bli mere kjent i Europa gjennom oversettelser til latin utarbeidet i det 14. århundre av en Pseudo-Geber (falske-Geber), som også skrev bøker på egenhånd under pseudonymet «Geber».

En virkelig vitenskapelig revolusjon startet under innflytelse av filosofer som Sir Francis Bacon (1561–1626) og René Descartes (1596–1650). De krevde mer nøyaktighet i matematikk og nytenkning på måten vitenskapelige observasjoner ble utført på. I kjemi startet det med Robert Boyle (1627–1692), som oppdaget gasser, og presenterte ligningen som idag er kjent som Boyle-Mariottes lov. Antoine Lavoisier (1743–1794), også kalt den moderne kjemis far, utarbeidet teorien om massens konstans i 1783. Vel så viktig var atomteorien, som kom rundt 1800, utarbeidet primært av John Dalton (1766–1844).

Oppdagelsen av de forskjellige grunnstoffene har en lang historie, fra før alkymiens dager og fram til i dag, og kulminerer i utarbeidelsen av det Periodiske system som ble gjort av Dmitrij Mendelejev (1834–1907). Nobelprisen i kjemi, stiftet 1901, gir et utmerket overblikk over viktige oppdagelser innen kjemi de siste 100 årene.