Im ausgehenden 12. oder beginnenden 13. Jahrhundert begann die Besiedlung des Radeberger Raumes. Die angeworbenen Bauern kamen größtenteils aus Franken und Thüringen. Der adlige Kolonisationsführer soll der Meißner Burgmann Arnold gewesen sein. Auf ihn werden die Anfänge der Radeberger Herrschaft zurückgeführt. 1233 werden die Söhne Arnolds, Arnold und Thimo, erstmals urkundlich erwähnt. Sie benannten sich bereits nach Radeberg, dem Kern ihrer räumlich geschlossenen, rechtlich kompakten Kleinherrschaft.

Die Burg als Wohn- und Herrschaftszentrum des Geschlechts bestand sicher schon.  Sie ist eine Kombination von Höhenburg auf der Felsklippe (Klippenstein) und umgebender Wasserburg. Auf einer Anhöhe über der Röder auf dem hier anstehenden Lausitzer Granit (Zweiglimmergranodiorit) errichtet, könnte sie bereits durch eine Ringmauer geschützt und von drei Seiten mit Wasser umgeben gewesen sein.

Ein Graben, der spätere Schlossteich, schützte das Burggelände nach Norden und Westen. Im Süden reichte die große Röder bis an die Ringmauer. Der „Halskragen“ zwischen dem Schlossberg und dem „Eulenstein“ wird bereits herausgearbeitet gewesen sein. 1963 konnte auf dem gegenüberliegenden Schlossberg ein doppelter Abschnittswall mit dazugehörigen Gräben durch Untersuchungen des Landesamtes für Vorgeschichte mit der Fachgruppe Heimatforschung Radeberg nachgewiesen werden.

Die Oberburg bestand Mitte des 15. Jahrhunderts wahrscheinlich aus Wohnturm, Bergfried, dem Hofestubenhaus und dem Pallas. Der ehemals fünfgeschossige Wohnturm hat sich im Westteil der heutigen Hauptburg erhalten. Sein unteres Stockwerk ist im und auf dem Fels angelegt. Der darüber liegende Raum, heute als Turmzimmer bezeichnet, war reich mit floraler Wandmalerei geschmückt, wovon Fragmente erhalten sind. Die beiden oberen Stockwerke des Wohnturms wurden gegen Ende des 18. Jahrhunderts abgetragen.

Der Bergfried der Burg soll eine Höhe von 40 Metern (70 Ellen) besessen haben. Auf der ältesten erhaltenen Abbildung des Schlosses von Wilhelm Dilich 1629 ist er deutlich zu erkennen. Zu dieser Zeit war er stadtseitig mit einer Uhr versehen. 1715 erteilte Kurfürst Friedrich August wegen Baufälligkeit des Bergfriedes den Befehl zum Abbruch. Der exakte Standort konnte bis heute nicht eindeutig nachgewiesen werden.

Im nördlichen Teil des Plateaus befindet sich das Hofestubenhaus. Möglicherweise war die Hofseite des Gebäudes ursprünglich offen oder in hölzerner Bauweise ausgeführt. Baumaßnahmen führten 2001 zu archäologischen Funden (Knochen, Scherben) vom Beginn des 13. Jahrhunderts.

Der Pallas liegt im südlichen Teil des Felsplateaus. Hier hat sich die gotische Raumfolge erhalten. Sie ist im Dresdner Raum eine Einzelerscheinung. Der Zugang zum Plateau erfolgte wahrscheinlich in einer zur Treppe erweiterten Felsspalte am westlichen Rand des Felssporns.  

„…das alte, am Fuße des nicht eben sehr hohen Felsens gelegene, seitherige Amtshaus (wurde) zur Wohnung für den Schloßthorwärter…“ schreibt Heinrich Martius 1828 und spricht damit den heute als Rentnerei bezeichneten röderseitigen Teil der Vorburg an. Für die kurfürstlichen Amtsgeschäfte war das schmale, über zwei Geschosse gewölbte Gebäude unter Einbeziehung der äußeren Ringmauer errichtet wurden.  

Der Pirnaische Mönch Johannes Lindner berichtet 1529 von der 1430 erfolgten Zerstörung des Schlosses im Hussitenkrieg. Die Glaubwürdigkeit dieser einzigen Quelle erscheint heute eher unwahrscheinlich.