Haverslev kirke ligger højt i landskabet, som skråner mod syd ned mod en dalsænkning, der strækker sig helt ud til fjorden. I dalen var der i middelalderen en helligkilde, som trak mange syge til. Den gang var kirken viet til vor Frue - altså jomfru Maria.