Országszerte rengeteg olyan várrom található, amelyekről a legtöbben semmilyen információval nem rendelkezünk pedig igazán érdekes történetek fűződnek hozzájuk. A döbröntei Szarvaskő vára sokak nem is mond semmit, még a nevét sem hallották, holott izgalmas eseményeknek volt szemtanúja.
A várat Himfy Benedek pozsonyi ispán építtette 1367-ben, Nagy Lajos király engedélyével, azonban a Himfy család csakhamar a rablólovagok sorába lépett, ami odáig fajult, hogy egy alkalommal a Pannonhalma Szent Márton-hegyi apátságát is megrohanták.
Ezt látván, Hunyadi elkobozta tőlük a birtokot, de már röviddel ezután a Szarvaskő vára ismét a Himfy-ek uradalma alá került. 1499-ben Himfy Imre lányát, Orsolyát hozzáadta Essegvári Ferencet, aki a lánnyal együtt a várat is megkapta. 1526-ban vastag falú rondellával vették körbe, a mohácsi csata következtében kialakult belháborúk elleni védelemként. Az utolsó feljegyzés, ami még a vár épségét bizonyítja, 1555-ből származik. Pusztulásáról nincs pontos információ, azonban valószínűsítik, hogy egy portyázó török csapat okozhatta a vesztét.