Desde La Avellaneda podemos encaminarnos hacia el sur por una pista en buen estado que nos llevará hasta la carretera que va desde Castañar de Ibor a Robledollano. Durante el camino podemos recrearnos con el paisaje del valle medio del Ibor con sus galerías de alisos que en algunos lugares ocultan pozas transparentes donde podemos bañarnos y pescar. En el trayecto encontramos algunos ejemplares de la arquitectura popular de estas sierras así como algunos molinos pintorescos. Los olivares suben por las laderas hasta donde el monte y los canchales se aferran todavía al terreno haciendo el paisaje más agreste.

Si lo deseamos podemos desviarnos del camino al llegar a la carretera y subir a la derecha para llegar a Castañar, población situada en el lugar que desde la Edad Media se conocía como el Castrejón de Ibor. El topónimo ya nos indica la existencia de una población prehistórica localizada en un cerro fortificado. Este antiguo poblamiento también ha dejado restos como las cerámicas y útiles líticos encontrados en la llamada cueva del Aguzal, donde además se pueden observar muestras del arte esquemático de los habitantes de aquella época.

En la cueva conocida como La Mina, situada junto al río Ibor, existen pinturas rupestres más antiguas, ya que están datadas en el Paleolítico Superior y representan una de las escasas muestras del arte de esta época que existe en España, además de las situadas en la cornisa cantábrica. Dos cérvidos, dos équidos, un posible oso y dos cuadrúpedos aparecen representados sobre la colada calcítica aprovechando el primitivo artista los volúmenes de la piedra para dar relieve a sus representaciones como sucede en las pinturas de las cuevas de Altamira.

Pero es en un documento de 1293 custodiado en el Archivo Municipal de Talavera de la Reina donde encontramos la primera referencia concreta a esa dehesa de Castrejón de Ibor en la que se asienta actualmente Castañar. Se trata de un privilegio del rey Sancho IV donando a Talavera esta dehesa además de otras dos que ya se encontraban en su demarcación territorial:
“Sepan Quantos esta carta vieren como nos don Sancho por la gracia de Dios rey de Castilla, de Toledo…por hacer bien y merced al conçejo de Talavera porque han pocos pueblos e non han común ninguno e porque el Rey nuestro padre les tomó el montadgo que solían aver que era su común, por la merced que hizo a los pastores, dámosles tres dehesas en su término, que las ayan e se aprovechen dellas para su común y las puedan arrendar y hacer en ellas toda cosa que su pro sea. La rimera dehesa es en los Xebalillos…e la otra dehesa es la de Ibarromán…e la otra dehesa es del Castrejón de Ibor como van las cumbres y vierten las aguas contra Ibor e por (río) Vieja arriva fasta o nace, e dende a la mano yzquierda como vierten las aguas fazia Ibor fasta ençima de Navalvillar e dende como atraviesa la sierra fasta en Calabaças e dende fasta en la ventera fasta en la Mesa como vierten las aguas fazia Avellaneda, e dende como atraviesa Ibor fasta en el Castrejón. E mandamos que aia Talavera estas dehesas para siempre jamás con las aguas e los pastos e con los montes e con las mudas de los açores e de los falcones que en ella son o fueren de aquí adelante e defendemos firmemente que ninguno sea osado de les entrar en ellas”.

Como vemos, la riqueza en aves rapaces de la zona hace que los derechos sobre ellas aparezcan específicamente en el privilegio. También es curioso constatar cómo la delimitación de la dehesa se corresponde perfectamente con la unión de los actuales términos de Castañar y Navalvillar.
Algunos historiadores consideran que esta donación fue una forma de reconciliarse con la población talaverana tras la terrible represión que hubieron de sufrir los caballeros de la villa que se habían puesto de parte de Alfonso X en la guerra que tuvo con su hijo Sancho, quien tomó venganza según la leyenda descuartizando a muchos de ellos y colgando sus despojos de la puerta de la muralla llamada Puerta de “Cuartos”.
De esta época medieval pudiera proceder la torre que se hallaba en una elevación cercana al pueblo y de la que ahora solamente queda el topónimo. Castañar perteneció a Talavera y a sus señores los arzobispos de Toledo hasta el siglo XIX en que, como la parte occidental de La Jara, pasó a integrarse en la provincia de Cáceres.