De forme hexagonale, il repose sur six massifs piliers d’angle et sur un pilier central, tous surmontés d’une corniche très saillante, en forme de champignon débordant.
Ces piliers supportent une charpente de six pièces rayonnantes soutenant le plancher du réduit supérieur. Celui-ci est édifié en briques, avec pans de bois, et couvert d’une toiture en petites tuiles plates dominée par un lanternon à six faces.
L’accès au pigeonnier se faisait à l’aide d’une échelle, par une petite trappe percée dans le plancher. Trois lucarnes dans le toit et trois petites fenêtres permettaient aux pigeons d’accèder au colombier.
Il y a tout lieu de penser que le pigeonnier de Viven date du milieu du 17ème, son existence près du château, reconstruit à cette époque est attestée en 1660 par le dénombrement de Jean d’Arros, seigneur de Viven.