Castañar de Ibor está situado en las sierras de las Villuercas donde abunda la cuarcita y la pizarra por ser un relieve Apalachense como el de La Jara, que es por ello el primer material utilizado en sus construcciones. Históricamente perteneció a las Antiguas Tierras de talavera y por eso lo traemos aquí, pues como vemos en las fotografías su arquitectura es muy parecida a la de la comarca talaverana de La Jara, a la que perteneció.
En el siglo XVI se dice que las «casas son de piedra e tierra e madera que se saca de las mismas casas» , aunque yo creo que lo que quiere decir la encuesta de Felipe II es que los materiales se sacaban del mismo entorno, pues los bosques de la zona permitían el autoabastecimiento sin necesidad como en otros casos de traerlas vigas de Gredos.
Al ser los bloques de cuarcita y pizarra de mayores dimensiones que en otros lugares, el aparejo permite tener dos pisos de mampostería, aunque también los podemos ver de adobes o tapial. Aun así no son lo suficientemente grandes para hacer los esquinazos, por loq ue algunas construcciones secundarias tienen redondeadas las esquinas.
Al ser construcciones más serranas , se pueden ver algunos modestos balcones en la segunda planta. Muchos muros están blanquedos , especialmente alrededor de puertas y ventanas ,y otros enfoscados con cal y arena en parte de su superficie.