അയ്യായിരത്തിലധികം വർഷം പഴക്കമുണ്ടെന്ന് കരുതപ്പെടുന്ന, കേരള ചരിത്രത്തിന്റെ തന്നെ ഭാഗമായി മാറിയ കല്ലിൽ ഭഗവതി ക്ഷേത്രത്തിന് നിരവധി പ്രത്യേകതകൾ ഉണ്ട്. കാടിനുള്ളിൽ പാറക്കെട്ടുകൾക്കിടയിൽ നൂറിലധികം പടികൾ കടന്നു മാത്രം എത്താൻ സാധിക്കുന്ന കല്ലിൽ ഭഗവതി ക്ഷേത്രം പെരുമ്പാവൂരിൻറെ അഭിമാനമാണ്. ക്ഷേത്ര ഭൂപടത്തിൽ പെരുമ്പാവൂരിനെ അടയാളപ്പെടുത്തിയിരിക്കുന്ന ഈ ക്ഷേത്രത്തിന് അയ്യായിരത്തിലധികം വർഷം പഴക്കമുണ്ടെന്നാണ് പറയപ്പെടുന്നത്. പുരാവസ്തു വകുപ്പിന്റെ കീഴിൽ ഒരു സംരക്ഷിത സ്മാരകമായാണ് ഇതിനെ ഇപ്പോൾ സംരക്ഷിക്കുന്നത്.
ഐതിഹ്യങ്ങളും കഥകളും ഒരുപാട് ചുറ്റിപ്പിണഞ്ഞു കിടക്കുന്ന കല്ലിൽ ഭഗവതി ക്ഷേത്രം ഒരു വലിയ പാറയുടെ മുകളിലാണുള്ളത്. എന്നാൽ പെട്ടന്ന് എത്താമെന്നു വിചാരിച്ചാലും നടക്കില്ല. 28 ഏക്കറോളം വരുന്ന കാടിനു നടുവിലെത്തണം ഈ ക്ഷേത്രം കാണണമെങ്കിൽ. ഇവിടെ എത്തിയാൽ പിന്നെയും 120 പചികൾ കയറണം ക്ഷേത്രമിരിക്കുന്ന പാറയുടെ മുകളിലെത്തുവാൻ. കാടിനുള്ളിലെ മരങ്ങൾ കൂടാതെ എവിടെ നോക്കിയാലും ഇവിടെ കാണുവാനുള്ളത് കല്ലുകൾ മാത്രമാണ്. ക്ഷേത്രത്തിലേക്കുള്ള കവാടം തുടങ്ങുന്നിടം മുതൽ കല്ലുകളുടെ കാഴ്ച തുടങ്ങും. അങ്ങെത്തുന്നിടം വരെ കല്ലുകൾ നിറഞ്ഞ വഴികളാണുള്ളത്. ശ്രീകോവിലിലേക്കുള്ള പടികളും ആനപ്പന്തലിന്റെ കരിങ്കല്ലിൽ തീർത്ത തൂണുകളും ക്ഷേത്രത്തിന്റെ ചുറ്റിലും പാകിയിരിക്കുന്നതും ഒക്കെ കരിങ്കല്ലു തന്നെയാണ്. ഇവിടുത്തെ നമസ്കാര മണ്ഡപവും പൂർണ്ണമായും കല്ലിലാണ് നിർമ്മിച്ചിരിക്കുന്നത്.
ഇവിടെ പ്രചരിക്കുന്ന ഐതിഹ്യം ഒരു സ്ത്രീയുമായി ബന്ധപ്പെട്ടതാണ്. ഒരിക്കൽ കാടിനുള്ളിൽ എത്തിച്ചേർന്ന ആളുകള് അസാമാന്യ സൗന്ദര്യമുള്ള ഒരു സ്ത്രീയെ കണ്ടുവത്രെ. കല്ലുകൊണ്ട് അമ്മാനമാടി കളിക്കുന്ന അവരെ അടുത്തു ചെന്നു കാണുവാൻ പോയപ്പോഴേക്കും അവർ അവിടെ നിന്നും അപ്രത്യക്ഷയായത്രെ. കളിച്ചുകൊണ്ടിരുന്ന കല്ലുകൾ കൊണ്ട് ഗുഹയിൽ മറയുകയാണ് അവർ ചെയ്തത്. ദേവി ചൈതന്യമുള്ള ആ സ്ത്രീ കല്ലിൽ ഭഗവതി ആയിരുന്നു എന്നാണ് വിശ്വാസം. ദേവി കളിച്ചപ്പോൾ മുകളിലേക്കു പോയ കല്ല് ക്ഷേത്രത്തിന്റെ മേൽക്കൂരയായി മാറിയെന്നും താഴേക്ക് വന്നത് ഇരിപ്പിടമായി എന്നുമാണ് വിശ്വാസം.