У северозападном делу Горњег града сачувани су остаци замка деспота Стефана Лазаревића. Цитадела или унутрашњи град настала је првобитно као византијски кастел у XII веку. Поново је комплетно изграђена за време деспота Стефана Лазаревића 1404–1427. године. Археолошким истраживањима која су вршена систематски до 1980. године откривени су остаци бедема с кулама, калдрмисани прилаз замку са североисточне стране, са округлим стубовима на које се некад ослањао покретни мост.

Пронађени су остаци оружја, камена ђулад, остаци керамике, новца и других предмета из деспотовог и из каснијих времена. У аустријско-турским борбама крајем XVII века замак деспота Стефана Лазаревића готово је у потпуности уништен