Durante la Reconquista, en la Batalla de la Vega del Escobar, en el siglo X,  adquiere su nombre y el escudo de armas. Tornavacas se refiere a tornar las vacas, expresión acuñada por Ramiro II.

Muchos de estos animales, cuenta la leyenda, fueron lanzados, con teas encendidas en los cuernos, de noche contra el ejército moro, provocando una gran confusión, lo que provocó su derrota. De hecho, cuando consigue el título de Villazgo la población, en el siglo XIV, sus armas se corresponden con una vaca con dos teas en las astas.

En otros tiempos se denominó Villaflor de las Cadenas. La versión más aceptada acerca del origen del topónimo que en la actualidad da nombre al valle y al municipio, es la orden que el Rey leonés Ramiro II dio a su lugarteniente para que regresaran las vacas, que con teas encendidas en sus cornamentas, habían servido para poner en fuga al ejército musulmán. El lugar donde dieron vuelta los astados pasó a denominarse “Tornavacas”. Otras versiones del nombre actual deriva del puerto de Tornavacas, por donde «tornaban las vacas» de los agostaderos de la sierra de los Invernaderos.

Según P. Madoz la villa empezó por ser un mero puesto de pastoreo. Fue donada, en calidad de señorío, el 6 de junio de 1407 a García Álvarez de Toledo, conde de Oropesa. Siendo la primera localidad del Valle del Jerte que consiguió el título de Villazgo, gracias a la gestión y el interés de los Álvarez fue declarada Villa. Siendo la primera localidad del Valle del Jerte que consiguió el título de Villazgo, entre los años 1369 y 1379 (Cabezuela del Valle, que fue la segunda, no lo conseguiría hasta tres siglos más tarde).

En el año 1556 el Emperador Carlos I en su camino al retiro del Monasterio de Yuste pernoctó en esta villa la noche del 11 al 12 de noviembre, probablemente en un edificio noble situado en la calle Real de Abajo, que aún se conserva y donde reza una inscripción: “IVAN MÉNDEZ DÁVILA/ CRIADO DE SU MAGESTAD”.

En un principio estaba previsto que la comitiva pasara por otros pueblos del Valle como Jerte, el desaparecido Vadillo, Cabezuela, cuando decidió, esa misma noche y para ahorrar jornadas de camino, atravesar el monte por la Garganta de los infiernos ayudados por los mozos tornavaqueños.

Un viaje que debió resultar duro al emperador ya que al finalizar la subida prometió no cruzar otro puerto que no fuera el de la muerte. Aquel recorrido forma la actual ruta de Carlos V, un camino de aproximadamente 8 horas que nos lleva del Valle del Jerte a la Vera.

El escudo heráldico y la bandera que representan al municipio fueron aprobados oficialmente el 25 de febrero de 1991. El escudo se blasona de la siguiente manera:

Escudo cuartelado: Primero y Cuarto de oro, una vaca de sable con sus cuernos embolados y ardiendo; Segundo y Tercero jaquelado de plata y azul de quince piezas. Al timbre, Corona Real cerrada.