1614 flyttades staden, som nu börjat kallas Ny-Kungälv, till Bagaholmen
(nuvarande Fästningsholmen) på order av Kristian IV för att komma i skydd
under Bohus fästning. Det hindrade inte Sverige att 1645, under
Hannibalsfejden, ännu en gång bränna ner den. Ett antal byggnader började
byggas upp utanför fästningsholmen under mitten av 1600-talet. Bland annat
stadens fängelse som byggdes vid nuvarande Västra Gatan 3, och där
källarvalven ännu finns kvar. Vid denna tid hade Kungälv endast omkring
600-800 innevånare.