Die Errichtung der Burg geht auf die letzten Jahre der Scaliger-Herrschaft zurück (1383); auf Befehl von Antonio della Scala wurde die Burg auf den Überresten einer hochmittel - alterlichen Vorgängerburg erbaut, von der der Turm mit Blick auf den See erhalten geblieben ist. Nach kurzer Belagerung wurde die Burg von den Visconti eingenommen, um dann an die Republik von Venetien überzugehen. Während dieser Periode wurde das Castello von Torri für kurze Zeit Sitz des Capitano del Lago.

Von der antiken Festung sind heute noch drei Türme und ein Teil der Festungsmauer erhalten; die Maueranlage kann besichtigt werden. Nicht zugänglich ist dagegen das System unterirdischer  Geheimgänge,  das sich in die Landschaft hinein erstreckt und als Notfluchtweg für den Belagerungsfall angelegt wurde Heute ist in den Räumen der Burg ein sehenswertes, volkskundliches Museum untergebracht, in dem die Geschichte der Fischerei und der Landwirtschaft (Oliven- und Zitronenanbau) der Ortschaften am Gardasee erklärt werden; ferner finden sich dort Felszeichnungen, teilweise aus prähistorischer Zeit, die in großer Zahl aus dem Gemeindegebiet Torris zufinden sind.

Von den Türmen der Burg ist der Mittelturm am besten erhalten; als Hauptturm diente allerdings der Turm mit Blick auf das Hinterland. Der Raum im unteren Teil dieses Hauptturms diente einst als Gefängnis.