Na pravém břehu řeky Jihlavy, na zalesněném ostrohu vyrostl někdy po polovině 13. století křižácký hrad řádu templářů. Poprvé písemně doložen v roce 1298. Hrad nebyl nijak velký, byl v podstatě typem hradu s plášťovou zdí o síle 2 metry na čtvrtkruhovém půdorysu. Řád templářů byl brzy zrušen (roku 1312) a poté hrad připadl nejspíš králi Janu Lucemburskému.

Ten jej však záhy daroval Pirknerům z Pirkenštejna, po nich následovali páni ze Šelmberka a v roce 1379 páni z Lipé. Někdy na přelomu 14. a 15. století byl hrad vybaven novými fortifikačními prvky byla vybudována nová hradební zeď s parkánem a přibyly dva obdélníkové paláce. V druhé polovině 15. století byla obrana hradu posílena na jihu dvěma dalšími příkopy a mohutnou štítovou zdí (síla 5 metrů, výška 10 metrů, délka 50 metrů), která však zůstala nedokončena.

Páni z Lipé se někdy kolem roku 1480 rozhodli Templštejn opustit a přestěhovat se na Moravský Krumlov; později se sice na hrad ještě jednou vrátili, ale bývalá sláva hradu už byla pryč. Navíc stavba vyhořela a od roku 1625 se Templštejn uvádí jako pustý.