Nekoč je na Klevevžu stal mogočen grad znan kot Grad Klevevž oziroma Klingenfels. Postavili so ga Freisinški škofje zaradi ugodne strateške lege in gospodarskih potreb leta 1265. 

Po več različnih lastnikih skozi čas sta družini Jombart in Ulm pustili viden pečat na zgodovino območja Klevevž.

Danes na grad spominja le nekaj odkritih ostankov obzidja, grajski vrt in gospodarsko poslopje ob gradu.