Lipovec se poprvé připomíná v roce 1401, kdy náležel Pardusovi, řečenému Kbel z Lipovce. Jeho potomci Pardusové z Lipovce vlastnili ves téměř celé 15. století. Tvrz se však porpvé připomíná až v roce 1483, kdy po smrti Aleše Parduse z Lipovce a jeho dcery Anežky připadla tvrz, dvůr a ves Lipovec s dalšími čtyřmi vesnicemi jako odúmrť králi Vladislavovi II. Ten odúmrť postoupil Janovi ze Šelmberka a Janu Šmatlanovi z Močovic. Na tvrzi však v této době bydlela vdova po Aleši Pardusovi Anna z Výklek. To vedlo k dlouhým sporům mezi novými majiteli a Annou, které skončili až v roce 1493 dohodou, podle níž mohla Anna na tvrzi dožít a současně měla právo brát z lesů, náležejících ke statku, bezplatně dříví na opravy tvrze. Anna zemřela v roce 1494, tvrz přestala být obývána a začala chátrat. Jan ze Šelmberka a Jan Šmatlan prodali v letech 1494 a 1495 Lipovec mikuláši Trčkovi z Lípy, který ho spojil se svým lichnickým panstvím. Jako pustá se tvrz v Lipovci připomíná v roce 1510 a po tomto roce písemné zprávy o ní mizí vůbec.
Tvrziště se však zachovalo v severozápadní části vsi až do konce 19. století. Byl to okrouhlý pahorek, obklopený zbytkem valu a příkopu. Až do poloviny 18. století byl v těchto místech i rozsáhlý rybník, který byl hlavní částí fortifikace tvrze. Při úpravě zahrady náležejícímu domu čp. 34 byla na počátku 20. století větší část tvrziště rozvezena, takže se z něj dnes zachovala jen výraznější terenní vlna.
Historie Licoměřic: Ves Licoměřice původně nazývaná Vicemilice dolní, se poprvé v písemných pramenech uvádí v roce 1257, kdy zde měl majetek Hons z Vicemilic. Jediná zpráva o Licoměřické tvrzi pochází z roku 1464. V roce 1478 Vicemilice koupil Slavata z Chlumu. Po připojení ke chlumskému panství změnil i původní název vsi na Licoměřice (poprvé doloženo v roce 1654). Filiální gotický kostel sv. Kateřiny je ze 14. století, později však byl upravován. Fara, která zanikla kolem roku 1623, nebyla obnovena. Na hřbitově stojí zvonice z 16. století, která je v přízemí zděná a ve vrchním patře dřevěná. Zvonice byla při jedné z oprav prakticky znovu vybudována a je až na zdivo nová.
V roce 1944 zde byla jedna ze základen partyzánské skupiny Mistr Jan Hus. Pod lesem nad obcí stojí památník zemřelých obyvatel obou obcí, kteří byli 19. 12. 1944 odvlečeni do koncentračního tábora v Terezíně.
V letech 1968-82 se těsně nad obcí těžil uran (vytěženo 480 tun). Dodnes je místo těžby poddolováno, jeden z vrtů, který dosahuje hloubky přes 200 metrů, je zabetonován a označen tabulí s technickými údaji. Pod obcí vznikla v 90. letech 20. století čistička vod odtékajících z prostorů dolů.