Los orígenes de la localidad datan de época romana, de la cual se han hallado restos en las cercanías del cementerio.
En la Edad Media, la localidad quedó integrada en el Reino de León, estando documentada la existencia de un castillo medieval, del que hoy no se conservan restos, y en el cual habría dormido el rey Fernando II de León con su corte, después de la boda con su tercera esposa Urraca López de Haro, en el verano de 1187.
En un documento del reinado de Alfonso IX de León, del año 1198, se la nombra La Eximia, mientras que en otro documento pontificio del año 1208 se la nombra como Egema, habiendo sido el principal núcleo del antiguo señorío de Valdegema.
Durante la Edad Moderna Gema estuvo integrado en el Partido del Vino de la provincia de Zamora, tal y como reflejaba en 1773 Tomás López en Mapa de la Provincia de Zamora. Así, al reestructurarse las provincias y crearse las actuales en 1833, la localidad se mantuvo en la provincia zamorana, dentro de la Región Leonesa integrándose en 1834 en el partido judicial de Toro, pasando posteriormente al Partido Judicial de Zamora.
Que ver
El principal monumento es la iglesia dedicada a San Juan Bautista, sobre todo del s. XVIII y construida con las piedras del castillo. También destaca un puente de tres ojos (aparece junto al castillo y una hoja de vid en el escudo del pueblo) cuya construcción es de origen romana.
El pueblo tuvo un pasado más esplendoroso que el actual, del que quedan como testimonios las numerosas casas señoriales, algunas de ellas blasonadas.
A parte de los monumentos civiles destaca el famoso Pino de Gema, un árbol de gran tamaño que se encuentra a unos 4 kilómetros de la villa, y que se puede ver desde gran distancia. Junto a otros 7 árboles de especiales características se encuentra catalogado por la Junta de Castilla y León como árbol de especial protección.