Le palais épiscopal forme une entité indépendante au sud du réfectoire des moines, s’appuyant directement sur la galerie méridionale du cloître.
Actuellement centre éducatif professionnel, le palais sert de lieu de formation. Le public y a accès lors des manifestations culturelles d'été.

Ce lieu de résidence de l’évêque a été restauré par l’évêque Pierre Soybert au XV° s., puis de grands travaux sont entrepris aux XVII° et XVIII° s. en particulier par Mgr François Barthélémy de Gramont de Lanta (1677-1716) et Mgr Bertrand de Langle (1739-1774). Lorsque l’évêché est supprimé à la Révolution, le palais épiscopal est vendu à la famille d’Hautpoul, puis Jonquières d’Oriola.

Le palais épiscopal d’époque moderne cache un bâtiment plus ancien, bâti au XIVe°-XV° s., dont on peut voir de nombreux vestiges (meurtrière près de la porte, ouvertures murées avec de grands arcs appareillés brisés, vestige de fenêtre flamboyante sur la cour). Ce premier palais comportait les trois ailes actuelles sur lesquelles on a plaqué au XVIIe s., à l’ouest et au sud, une galerie surmontée d’un large couloir desservant les pièces nobles de l’étage.
Trois vestiges de tours circulaires occupaient les angles de la bâtisse : au nord-est, sud-est et nord-ouest ; celle du nord-ouest semble plus massive et présente une bouche à feu dirigée vers la cour.

Le grand corps de bâtiment sud donnant sur le parc a été le dernier construit dans le dernier quart du XVIII° s., sous l’épiscopat de Mgr d’Abzac. Il se compose d’un corps central encadré par deux ailes latérales fort peu saillantes. Le haut soubassement à un niveau soutient un étage noble et un étage d’attique, le tout couronné par une terrasse à balustres. À l’extérieur, une totale simplicité règne sur les façades.
A l’intérieur, les salles de réception et les chambres ont reçu de très remarquables décors de gypseries, des cheminées de marbre, des lambris de grande qualité.