Макета замка деспота Стефана Лазаревића, рад вајара Коље Милуновића, постављена је приближно у средишту средњовековног замка. Овај део тврђаве претрпео је највеће промене и највећа разарања током времена, а посебно крајем 17. века, када су у великој експлозији барута, приликом турске опсаде, готово до темеља разнети бедеми и куле замка. Рашчишћавањем тих рушевина, добијен је готово раван простор, сасвим другачији него што је био првобитно, па је захваљујући макети лако замислити пређашњи изглед овог дела тврђаве.
Језгро замка заправо представља каштел, који је саграђен у 12. веку, по наређењу византијског цара Манојла I Комнина. Простор дужине око 135 м и ширине око 60 м затварали су бедеми заштићени кулама. Остаци овог првог утврђења откривени су у току археолошких истраживања, а део бедема са двема кулама може се видети на рубу падине, иза данашњег бедема, који потиче с краја 17. века.
У првој деценији 15. века каштел је темељно обновљен и претворен у замак са двором деспота Стефана Лазаревића. Делови замка били су одвојени преградним бедемом, у оквиру којег се налазила велика донжон кула са покретним мостом, као последња линија одбране двора. Због своје величине и значаја ова кула звала се „Небојшаˮ. Након разарања приликом турске опсаде крајем 17. века – ово име преузела је знатно мања, осмоугаона кула на обали Дунава.
Двор се налазио у мањем делу, на гребену. Овде је првобитно постојало неколико зграда, међу којима је најважнија била она са великом салом, где је деспот примао званичне госте. У комплексу двора налазиле су се и капела, као и знаменита библиотека, а сва је прилика да је ту била и кућа деспотове сестре Оливере. У другом, већем делу, одвојеним бедемом од предњег дела замка, биле су смештене помоћне зграде двора и штале.
Улаз у замак налазио се преко пута чесме Мехмед-паше Соколовића, где се и данас могу видети делови зидова двеју улазних кула. Овде је некада постојао и покретни дрвени мост, који се пружао преко одбрамбеног рова. Управо на том мосту, у ноћи између 21. и 22. јула 1456. године, одиграла се битка између Турака и бранилаца Београда, на коју подсећа оближње спомен-обележје.
