Первыми хозяевами замка было семейство Балашес, затем замок перешел к могущественному феодалу венгерского происхождения - Матушу Чаку из Тренчина. В этом замке был мощный центр владений Матуша. Грозный Матуш пережил трёх королей: Андраша III, Вацлава II и Карла Роберта, умело лавируя и помогая то одному, то другому и воюя с ними по очереди. При этом, ни один из королей так и не смог отнять у Матуша ни пяди земли, хотя многократно и пытался это сделать. Огромные владения Матуша в те времена так и называли – «Матушева земля». Умер сей грозный владыка своей смертью в 69-летнем возрасте, не оставив наследника. С той поры замок неоднократно менял владельцев, одно время даже принадлежав польской королеве Барбаре, жены Сигизмунда.