C'era una volta su Klevevž un possente castello noto come Castello di Klevevž o Klingenfels. Fu edificato dai vescovi di Frisinga per la sua favorevole posizione strategica e per esigenze economiche nel 1265. 

Dopo diversi proprietari nel tempo, le famiglie Jombart e Ulm hanno lasciato un segno visibile nella storia della zona di Klevevž.

Oggi solo pochi resti scoperti delle mura, del giardino del castello e della dependance adiacente al castello ricordano il castello.