За паметник на културата е обявено праисторическото селище "Пещера". Местното население я наименува с простото име "Пеща". Тя е проходима и през известни периоди на последните години е служила, както за отглеждане на култивирани гъби, така и за отлежаване на бели сирена и млечни продукти. Малко са известните данни за праисторическото ѝ минало, още повече, че има разклонения, които все още не са изследвани.
Един от основните проблеми е безвъзвратното застаряване на населението. Праисторическо заселище от най-ранния неолит - датирано около шесто хилядолетие преди Христа, е открито при Горната пещера. Намерени са там и в местността "Буче" каменни и керамични оръдия на труда, глинени съдове и керамични върхове на стрели. Открити са 9-10 землянки и останки от гробове. В самата пещера (частично изследвана през 1949 и 1959 г.) са попаднали на находки от желязната епоха.
В османски документ от 15 в.е записано "...село Пеще, с друго име Цаконица, дял от тимор, домакинства 14...".
През 14 век част от обитателите, наричани "пещене", се заселили на север в равнината и нарекли селото си Пещене.
За произхода на името Цаконица не съществуват сигурни данни. Вероятностите за възникването му са поне две.
Първата: Още през 6-ти век в областта Пелопонес живеели славянски племена, назоваващи се ЦАКОНИ. През 15-ти век в Егейска Македония село Цакони Бозар имало 66 глави на домакинства, а изгореното при управлението на Али Паша село Горенци през 18-ти век било заселено от жители на предишно упоменатото село. През 19-ти век в този край е имало няколко български села със сходно име:  Цакони - с жители 60 българи и 80 помаци;  Цакон махале;  Цакон чифлик.
Твърде вероятно е през многовековното турско робство прокудени българи от Егейска Македония да са потърсили убежище в непроходимите гори на Веслец и в близост до удобната за скривалище пещера и по подобие на съседите си /Върбица, Бешовица, Тишевица/ към наименованието са добавили сричката - ЦА.
Втората вероятност: През 11-12-ти век печенеги, узи и кумани предприемат непрестанни нападения над Византия. Според  редица изследователи, българи, които назовавали ЦАКОНИ, с привелигирован статут, охранявали на смени старопланинските крепости. Вероятно е цакони да са охранявали и цаконското "Кале", чиито обзор стига на север до река Дунав и като първи заселници са оставили своето име.