Obiekt trudny w klasyfikacji, jako że katedra z zamkiem stanowią nierozerwalną całość.
Ale zacznijmy od początku. Budowę zamku kapituły pomezańskiej rozpoczęto na przełomie XIII i XIV wieku a większośc prac budowlanych zakończono w latach 1340-50, zaś w latach 80 -tych ukończono słynne kwidzyńskie Gdanisko. Zamek posiadał formę typową dla zamków Zakonu Krzyżackiego, na planie kwadratu z wieżami w narożach.
Poważnie zniszczony w czasie wojen Polski z Zakonem pod koniec XV i na początku XVI wieku. W XVIII wieku mieściły sie w nim wojskowe magazyny, później był w nim sąd i więzienie. W 1798 roku rozebrano skrzydła wschodnie i południowe. Dopiero po roku 1854 na mocy decyzji króla Fryderyka Wilhelma IV zaprzestano dewastacji i rozpoczęto prace rekonstrukcyjne. Nadal jednak pełnił funkcje sądowe i penitencjarne, aż do 1935 roku, kiedy to po adaptacji aż do roku 1945 funkcjonowała w nim szkoła Hitlerjugend.
W czasie działań wojennych zamek uniknął zniszczeń.