La Tour d’Anniviers, également appelée « Cour Neuve » ou « Tour de l’Evêque » était le donjon d’une fortification du 13ème siècle dont l’enceinte était constituée de maisons contigües. Probablement érigée par les évêques de Sion pour affirmer leur pouvoir temporel sur la région, la forteresse fut inféodée le 21 mai 1235 à Guillaume d’Anniviers, issu d’une famille locale libre et riche qui administrait les biens de l’évêque. Ce dernier gardait la Tour pour son propre usage et interdisait de bâtir des maisons plus hautes à Vissoie.
La famille d’Anniviers s’éteignit en 1380 faute de descendant mâle, et la succession passa à Pierre de Rarogne, époux de Béatrice, fille de Jacques II d’Anniviers. En 1467 mourut Hildebrand de Rarogne, dernier seigneur d’Anniviers. L’évêque Walter Supersaxo reprit ses droits et fit administrer le pays par un châtelain. La Tour fut rehaussée de deux étages couronnés d’un crénelage supportant une toiture en bois, et devint le siège de l’administration de toute la vallée.
A la fin de l’ancien régime en 1798, la Tour devint propriété du châtelin Jean-Georges Roux. Le toit de bois brûla en 1879 pour être reconstruit en 1906. Le bâtiment tomba lentement en ruine et la commune de Vissoie l’acheta aux héritiers du châtelain Roux en 1975. Des travaux de rénovation se terminèrent en 1984. La tour abrite en 2009 les bureaux de l’office du tourisme de Vissoie.