Wzgórze nad rzeką Guber było prawdopodobnie miejscem osadnictwa już w epoce brązu. We wczesnym średniowieczu istniała tu osada pruska o nazwie Rast, która dała początek nazwie późniejszego miasta Rastenburg. Mówią o niej po raz pierwszy źródła pisane z 1342 roku. Została zdobyta przez wojska Zakonu Krzyżackiego, którego wybudowały w tym miejscu drewnianą strażnicę. Strażnica, znajdująca się na granicy państwa krzyżackiego, służyła między innymi do obrony przed atakami wojsk litewskich. Dwukrotnie nie oparła się atakom, była palona i ponownie odbudowywana. Wokół zaczęła rozwijać się wieś, która 11 listopada 1357 roku otrzymała od komtura Bałgii prawa miejskie. W tym okresie zaczęto rozbudowywać mury obronne, które osiągnęły wysokość 10 metrów.
W narożniku południowo-wschodnim fortyfikacji wzniesiono murowany zamek,a w narożniku południowo-zachodnim na miejscu drewnianej strażnicy zaczęto wznosić kościół, pełniący także funkcje obronne. Wybudowano również 13 baszt i bramy miejskie: Wysoką, Młyńską oraz furtę wodną. Pod koniec XIV wieku na rynku stanął budynek ratusza. W XV wieku mieszkańcy miasta dwukrotnie buntowali się przeciw władzy zakonu krzyżackiego. Po bitwie pod Grunwaldem burmistrz poddał miasto królowi polskiemu.
W 1440 roku Rastenburg był jednym z 19 miast założycielskich Związku Pruskiego, konfederacji miast i szlachty pruskiej skierowanej przeciw Krzyżakom. Po próbach jego delegalizacji w 1454 roku wybuchło powstanie, które ogarnęło również Rastenburg. Zdobyto zamek, a prokuratora krzyżackiego utopiono w stawie młyńskim. Miasto na mocy pokoju toruńskiego w 1466 roku pozostało jednak w granicach państwa krzyżackiego. Rastenburg rozwijał się dzięki napływowi osadników, miejska zabudowa przekroczyła granice murów miejskich dając początek nowym przedmieściom. Początek XVIII wieku to okres upadku miasta. Wojny i epidemie zdziesiątkowały mieszkańców.
Na początku XIX wieku Rastenburg stracił wiele zabytkowych budowli, rozebrano ratusz, bramy miejskie, jeden z kościołów oraz domy z podcieniami wokół rynku. Stagnacja trwała do połowy XIX wieku. Wtedy rozpoczęła się szybka rozbudowa spowodowana rewolucją przemysłową i rozwojem okolicznych posiadłości wiejskich. Miasto otrzymało połączenia kolejowe z innymi miastami regionu. Powstały liczne zakłady przemysłowe, między innymi jeden z największych w Prusach młynów, cukrownia, browar, drożdżownia.
Pod koniec XIX wieku nastąpił rozwój urbanistyczny miasta. Powstał nowy rynek z ratuszem. Wybudowano wiele budynków użyteczności publicznej. Rastenburg rozwijał się mimo zniszczeń I wojny światowej. Powstały dwa kompleksy koszarowe, a w okresie II wojny światowej miasto stało się zapleczem dla wojennej kwatery „Wilczy Szaniec”. To sąsiedztwo wpłynęło na dalsze losy miasta. Pod koniec wojny mimo braku działań wojennych wojska Armii Czerwonej spaliły część starej zabudowy wraz z zamkiem. Po wojnie do miasta napłynęła nowa fala osadników, tym razem z polskich kresów wschodnich. Miasto w 1946 roku otrzymało nową nazwę Kętrzyn.
