Le parc du château s'étend sur toute la colline qui domine le village de Ray, il couvre environ 6 hectares qui s'étagent en terrasses successives, bordées par des hauts murs d'enceinte de l'ancienne forteresse. Il y a donc, toute une partie du parc ombragée par de grands arbres : cèdres dont un spécimen de grande taille, 5 mètres de tour à hauteur d'homme, 7 mètres au pied, est particulièrement majestueux ; des tilleuls, sophora épicéas, pins sapo, foyards, sycomores, frênes et marronniers âgés de 150 ans.
Vers 1880 le Duc Raynald de Marmier aménagea une futaie forestière à l'extrémité nord du parc afin de lui donner de la profondeur en créant un sous-bois.