ગુજરાતના ભરૂચ જિલ્લાનો ઝગડીયા તાલુકો પ્રાચિન હેરિટેજ સાઈટોથી સમૃદ્ધ છે. અહીં સ્થિત કડિયાડુંગરની ગુફા એક જોવા જેવી જગ્યા છે. અહીં ઝાઝપોર ગામની બાજુમાં આવેલા કડિયા ડુંગરની ખડકમાંથી કોતરીને બનાવેલી 7 જેટલી બૌદ્ધ ગુફાઓ પુરાતન સ્થાપત્યોમાં વિશેષ મહત્ત્વ ધરાવે છે. બૌદ્ધ ગુફાઓ ઈ.સ.પહેલી કે બીજી સદીમાં બંધાઈ હોવાનું માનવામાં આવે છે.અહી પાંડવોએ અજ્ઞાતવાસનો કેટલાક સમય વિતાવ્યો હોવાની લોકમાન્યતા છે. જે મુજબ અજ્ઞાતવાસમાં પાંડવો અને દ્રોપદીએ અહીં આશરો લીધરો હતો અને ગુફાઓમાં તેઓ રહેતા હતા. ડુંગર પર ભીમનાં પગલાનાં નિશાન પણ જોવા મળે છે. સાથે હેડમ્બા સાથે ભીમે અહીં લગ્ન કર્યાં હતાં તેવું પણ લોક વાયકાઓમાં સમર્થન મળે છે. ઘનઘોર વનરાજી અને દિવ્ય શાંતિ ની પ્રતીતિ કરાવતા કડીયા ડુંગરની આગવી ઓળખ સમી બૌધ્ધ ગુફાઓ હવે માત્ર ઈતિહાસના પાનાઓમાં જ રહી ગઈ હોય તેમ લાગી રહ્યું છે.
ડુંગરના ખડકોમાંથી કોતરી કાઢેલી કેટલીક ગુફાઓ અહીં આવેલી છે. જેમાં સૌથી ઉપર આવેલી બે ગુફાઓ પૈકી એકમાં પ્રવેશ કરતાં જમણી બાજુની દિવાલમાં એક ઉત્કીર્ણ લેખ નજરે પડે છે. જોકે હાલમાં તેનું લખાણ ઉકેલવું મુશ્કેલ છે. ગુફાની દિવાલોમાં હાથી તેમજ વાનરના રેખા ચિત્રો છે. બધી જ ગુફાઓમાં આગળના ભાગમાં વરંડા અને અંદરના ભાગમાં ખંડો તથા તેમાં પાષાણ કોતરીને બનાવેલી બેઠકોની રચના બૌધ્ધ વિહારની પ્રતીતિ કરાવે છે. ડુંગરમાં આવેલી ગુફાઓની આસપાસ પાણી ભરી શકાય તેવા પથ્થરના કુંડ કે ટાંકાઓ પણ નજરે પડે છે. ચોમાસામાં ડુંગર પરનું પાણી નીચે વહીને આ ટાંકાઓમાં ભેગું થાય છે.
લગભગ ૨૫૦૦ વર્ષ પહેલાં ભારતમાં ભગવાન બુધ્ધે નિર્વાણનો સંદેશ ફેલાવ્યો હતો. પ્રિયદર્શી રાજા અશોકે બૌધ્ધ ધર્મનો ફેલાવો કરવા ભગીરથ પ્રયત્નો કરેલા. ધર્મપ્રચાર કરવા તેમણે ભારતમાં અને વિદેશમાં પણ પ્રચારકો મોકલ્યા હતા. આવા પ્રચારકોનું એક જૂથ લાટપ્રદેશ (દક્ષિણ ગુજરાત)માં આવ્યું હતું. ધર્મરક્ષિત નામના ભિક્ષુકે ગુજરાત અને સૌરાષ્ટ્રમાં બૌધ્ધ ધર્મનો પ્રચાર કર્યો હતો. એ અરસામાં બૌધ્ધ ભિક્ષુઓ ડુંગરો કોતરીને વસવાટ કરતા હતા. બૌધ્ધ ધર્મના નિયમો પ્રમાણે ચોમાસાના ચાર મહિના તેમને એક જ સ્થળે રહેવું પડતું હતું. આ ભિક્ષુઓ ધ્યાન માટે એકાંતવાસ પસંદ કરતાં. કોઈ ગામ કે શહેર નજીકના ડુંગરોની ગુફાઓ તેમને વસવાટ માટે વધુ અનુકુળ થઇ પડતી.
જેથી ખડકોમાંથી કોતરી કાઢેલી કડિયા દુંગરની આ ગુફાઓ જૂના સ્થાપત્યના નમૂનારૂપ છે. ગુફાઓ ઈ.સ.ની પહેલી-બીજી સદીની આસપાસની હોવાનો અંદાજ ઈતિહાસના પાનેથી મળે છે. આ સ્થળે એક જ પથ્થર માંથી કોતરાયેલો ૧૧ ફૂટ ઉંચો સ્તંભ છે.