Посреди гавани находится крохотный островок, который до появления в этих местах англичан местные аборигены называли Mat-te-wan-ye. 15-метровая скала вначале использовалась европейцами как тюрьма, затем на острове освоили добычу песчаника, а с 1839 года здесь было решено возвести форт для защиты гавани, и в 1841 году на острове начали возводить фортификационные сооружения, но строительство укрепления так и не было завершено. И только в 1855 году, во время Крымской войны, опасаясь атак русского флота, власти возобновили возведение форта. В 1857 году построенный на острове форт получил свое нынешнее имя в честь губернатора Нового Южного Уэльса сэра Уильяма Томаса Денисона — Форт Денисон (Fort Denison).
В 1913 году орудие на вершине башни было заменено на маяк, который сохранился на острове и по сей день. Кроме этого на острове имеется мареограф и навигационное оборудование, метеорологическая станция, которая до сих пор каждые полчаса исправно публикует на собственном сайте форта результаты своих наблюдений. А в определенное время пушки форта дают залп – чтобы моряки на судах могли синхронизировать свои хронометры.
В настоящее время остров-форт служит для развлечения туристов. На нем работает небольшой музей, повествующий об истории острова. Здесь часто проводят корпоративные мероприятия и свадьбы.