Cette tour, d’allure médiévale mais qui a tout au plus un siècle d’existence, fut reconstruite au-dessus d’importantes salles souterraines et voûtées du XIV° siècle, sorte de casemates ayant appartenu à la Tour de la Naz originale.

Le pavillon est, quant à lui, situé sur l’emplacement de la tour originale.

Datant du début du XIXème siècle et installé sur des caves voûtées moyenâgeuses, il a été occupé par Jean Naly durant son mandat de Maire, de 1888 à 1893.

Il fut ensuite la résidence d’Antoinette Delorme, religieuse à Vallard, qui le vendra en 1923 à Louis-Alphonse, Prince de Bourbon.

Pendant la Seconde Guerre mondiale,  il sera occupé par les troupes ennemies. Par la suite, il connaîtra un court destin gastronomique.

En 1993, le Conseil municipal décide d’acquérir le bâtiment qui devient la mairie-annexe.

En 2015, en présence de Madame Hessel, le Château est baptisé Pavillon Stéphane Hessel, en hommage à l’homme engagé et indigné qui était venu à Gaillard en 2010 pour une conférence dans le cadre du Partage du Savoir.