Ein spätromanisches, L-förmiges Gebäude aus der Zeit nach 1235 bildet den Kernbau der Gozzoburg mit einem Hocheinstieg und drei erhaltenen Rundbogenfenstern. Nach der Übernahme dieses Hauses durch den Kremser Stadtrichter Gozzo von Krems in den späten vierziger Jahren des 13. Jahrhunderts wurde der Kernbau in drei Phasen zu einer ansehnlichen Palastanlage ausgebaut. Die erste urkundliche Erwähnung des Namens erfolgte im Jahr 1258, im Jahr 1267 erfolgte die Einweihung der neu gebauten Katharinenkapelle.

Gozzoburg: Ein Stück Kremser Geschichte. Die Burg wurde zuletzt bis 2007 revitalisiert. Dabei wurden die ältesten und am besten erhaltenen profanen Fresken in Mitteleuropa freigelegt. Für die vorbildliche Restaurierung wurde die Gozzoburg mit dem Europa-Nostra-Preis ausgezeichnet.
Heute werden Teile der Burg als Hochschul- und Gastronomiestandort verwendet.