Původní kasematy na Špilberku postavil už v roce 1742 plukovník Rochepin. Teprve někdy po roce 1783 je císař Josef II. nechal přestavět na věznici pro nejhorší zločince z rakouských i českých zemí, ale nejen z nich. Na Špilberku byli vězněni i političtí rebelové z okolních zemí, jako byla např. Kalábrie.