Neužívání pozemků restituenta u domu majitely bytu - nárok na nájemné za pozemky

Jsme obětí klasické špatné restituce státu. Vrátil pozemky, na kterých již stály domy. Všechny soudy jsme prohráli. S některými vlastníky jsme se dohodli a odkoupili, ale zbyly pozemky, které nejsou zastavěné a nemáme ani potřebu po nich chodit do domů, garáží. Restituent po nás chce nájemné a vyhrožuje soudem - nájemné za užívání. My ale pozemky nevyužíváme, chodí přes ně cizí lidí, kálí psi a ještě mu je vlastně udržujeme (sekáme trávu apod.). Můžeme mu prostě vzkázat prostřednictvím právníka, ať si pozemky nechá, klidně oplotí, že je nechceme? Děkuji, Ivana