O lípě se tvrdí, že stráží hrob Švandy dudáka. Pomineme-li věrohodnost této pověsti, stejně jako báchorky o začarovaných dudách, divých ženách, nebo i kvílení dud pověšených za oltářem v kostele sv. Prokopa během nedělní bohoslužby, je Švanda dudák postavou historickou a má své příznivce. Podle jejich tvrzení je Švanda pohřben právě na hřbitově vedle kaple sv. Kříže pod nejstarší lípou. Dnes je hřbitov zrušený a na jeho místě se nachází zahrádkářská kolonie.