By i det sydlige Palæstina med status af hellig by både i jødedom, kristendom og islam, idet den huser centrale helligdomme for alle tre religioner. Af det gamle jødiske tempelkompleks er dog kun den såkaldte grædemur tilbage.
De gammeltestamentlige kilder hævder, at byen blev erobret af David omkring 1000 f.v.t., og at hans søn og efterfølger, Salomo, byggede det første tempel i Jerusalem, som dermed blev både politisk og religiøst centrum. Med kong Josias' reform 622 f.v.t. centraliseredes Jahvekulten i Jerusalem.
I 598 f.v.t. blev byen erobret af babylonerne, og hele byen med templet blev ødelagt i 587. Efter eksilet blev byen og templet genrejst, og den bestod herefter under skiftende herredømme, til romerne ved slutningen af den romersk-jødiske krig i 66-70 e.v.t. igen lagde den i ruiner.
Nyere historisk forskning har, navnlig på grundlag af arkæologiske studier, sat spørgsmålstegn ved den historiske holdbarhed af Det Gamle Testamentes skildring af Jerusalem som en slags metropol allerede i Davidstiden. Meget tyder på, at bebyggelsen af området har været meget sparsom på den tid.
Forestillingen om Jerusalems hellighed ligger tydeligt nok bag ved apokalyptikkens beskrivelse af et nyt, himmelsk Jerusalem, der eksisterer i himlen samtidig med det jordiske, og som engang skal komme ned og afløse det. En særlig pointe i den kristne forestilling om det nye Jerusalem i Johannes' Åbenbaring er, at der ikke skal være noget tempel i det ny Jerusalem.
I visse sekteriske kristendomsformer forekommer endelig forestillingen om, at Jerusalem skal genrejses på jorden andetsteds end i Palæstina, især er der tanker om, at det ny Jerusalem skal skabes i Amerika, den nye verden, det geografiske hjemsted for det nye Israel. I midten af 1800-tallet rejste således 1500 bønder fra Hälsingland til området nær Chicago, hvor de ville grundlægge det ny Jerusalem, og i Mormonkirken trives også ideen om, at Amerika er frihedens land, og at det ny Jerusalem skal bygges der, en tanke, der også præger etableringen af det teokratiske samfund i Salt Lake City i staten Utah.