Nel Duecento era una torre di vedetta e un carcere, nel Settecento i veneziani la trasformano in osservatorio astronomico.

La Specola fa parte del castello Carrarese ed è l'unico osservatorio affrescato del mondo. Per gli astronomi aveva un grande vantaggio perché si trovava a sud della città quindi l’orizzonte era completamente libero. Inoltre era una costruzione solida, le pareti sono spesse tre metri in alcuni punti, ed era già orientata ai punti cardinali, un vantaggio per collocare gli strumenti. Durante la seconda guerra mondiale è stato inaugurato un nuovo osservatorio ad Asiago ma la Specola è rimasta comunque attiva. Dagli inizi del Duemila l'osservatorio è gestito dall'Istituto nazionale di astrofisica e ancora oggi oltre alla didattica, si fa ricerca, si costruiscono strumenti da spedire tra le stelle.