Zamek wybudowany w latach 1360-74 zastąpił wcześniejszą, kilkakrotnie spaloną, drewnianą strażnicę. Około połowy XVI wieku zamek otoczono dodatkowymi murami obronnymi z trzema wysokimi basztami w narożnikach. Dolne partie tych umocnień zachowały się do dni obecnych. Zamek był siedzibą prokuratora, administratora i dowódcy wojsk krzyżackich w prokuratorii rastenburskiej. Zajmował on największe, północne skrzydło budowli. Znajdowała się tu również kaplica zamkowa. Dziedziniec pierwotnie otaczały drewniane krużganki, a przy skrzydle wschodnim znajdowała się studnia. Budowlę wielokrotnie przebudowywano, w 1662 roku na dziedzińcu dobudowano basztę z klatką schodową, obniżono również najwyższe skrzydło północne. Zamek stał się siedzibą starostwa. Na początku XX wieku budowlę zaadoptowano na pomieszczenia biurowe i mieszkalne. W 1945 roku po zajęciu miasta przez wojska Armii Czerwonej wraz z większością zabytkowej zabudowy spłonął i do lat sześćdziesiątych stał jako ruina. W latach 1962-67 zamek został odbudowany. Projekt odbudowy zakładał przywrócenie pierwotnego gotyckiego kształtu budowli utraconego w wyniku wielokrotnego przebudowania. Obiekt przeznaczono na cele kulturalno-edukacyjne.
Warto zwiedzić mieszczące się tu Muzeum im.Wojciecha Kętrzyńskiego. Znajdują się tu między innymi ekspozycje przedmiotów pochodzących z okolicznych pałaców i zabytkowych kościołów, kolekcja średniowiecznych rzeźb z XV wieku, epitafia i chorągwie pogrzebowe oraz kolekcja dawnego rzemiosła artystycznego.
W związku z remontem zamku ekspozycje muzeum mieszczą się w siedzibie tymczasowej przy ul.Chopina 1 (secesyjna kamienica na przeciw zamku).
Zamek można zwiedzić wirtualnie:
W latach 2019-2020 zamek został odremontowany, przeprowadzono rekonstrukcję zarysu pierwotnych murów obronnych wraz z dwoma basztami. Podczas prac przeprowadzono badania archeologiczne wokół zamku.
