पिसा की मीनार की तरह यह भी एक झुका हुआ मंदिर है।
भैरवी देवी मंदिर मुख्य मंदिर के बाईं ओर स्थित है, और भैरो मंदिर मुख्य मंदिर के दाईं ओर स्थित है। ऐतिहासिक अभिलेखों के अनुसार, गंगा वंशी सम्राट अनंगभीम देव- III ने इस मंदिर का निर्माण किया था। संबलपुर के पांचवें चौहान राजा, राजा बलियर सिंह (1660-1690 ईस्वी) द्वारा मंदिर का पुनर्निर्माण या जीर्णोद्धार किया गया था। शेष मंदिरों का निर्माण संबलपुर के राजा अजीत सिंह (1766-1788 ईस्वी) के शासन के दौरान किया गया था। मंदिर महानदी नदी के तट पर एक चट्टानी चौराहे पर स्थित है। झुकाव का कारण निर्माण के समय तकनीकी खामियां नहीं माना जा सकता है।
यह भी आसानी से स्वीकार्य विचार नहीं है कि कमजोर नींव के कारण मंदिर का झुकाव हो सकता है। हो सकता है कि महानदी नदी में बाढ़ की धाराओं के कारण, या भूकंप के कारण, जिस चट्टानी तल पर यह खड़ा है, उसका आंतरिक विस्थापन हो सकता है। मंदिर का आधार अपनी मूल व्यवस्था से थोड़ा विचलित हो गया है, और परिणामस्वरूप, मंदिर का शरीर झुक गया है। इस झुकाव ने इतिहासकारों, मूर्तिकारों और अन्य शोधकर्ताओं को आकर्षित किया है। आश्चर्य की बात यह है कि मुख्य मंदिर एक दिशा में झुका हुआ है, जबकि अन्य छोटे मंदिर अन्य दिशाओं में झुके हुए हैं।
मंदिर परिसर के भीतर यानी मंदिर की सीमाओं के भीतर, सब कुछ झुकी हुई स्थिति में है, जिसमें स्वयं सीमाएँ भी शामिल हैं, और ग्रामीणों और पुजारियों का कहना है कि पिछले 40 या 50 वर्षों में झुकाव का कोण नहीं बदला है। झुकाव एक भूवैज्ञानिक कारण से हो सकता है; अंतर्निहित चट्टान संरचना में असमान हो सकती है। झुकाव के झुकाव का कोण 13.8 डिग्री है। कहा जाता है कि शिव की पूजा एक दूधवाले ने शुरू की थी, जो प्रतिदिन महानदी को पार करके किनारे पर एक स्थान पर जाता था जहां अंतर्निहित चट्टान निकली थी। यहां उन्होंने अपना दूध का डोल चढ़ाया, जो तुरंत चट्टान से भस्म हो गया।
इस चमत्कारी परिस्थिति ने पूछताछ की, जो वर्तमान मंदिर के निर्माण में समाप्त हुई। शिवरात्रि पर हर साल मार्च में मंदिर की तलहटी में एक वार्षिक मेला लगता है। यह मेला भारी भीड़ को आकर्षित करता है जिसमें विदेशी आगंतुक भी शामिल होते हैं। ओडिशा सरकार ने वार्षिक मेले में अधिक पर्यटकों को आकर्षित करने के लिए एक हैंगिंग ब्रिज का प्रस्ताव रखा है। यहां एक विशेष प्रकार की मछली पाई जाती है जिसे 'कुडो' मछली के नाम से जाना जाता है; उन्हें अक्सर आगंतुकों द्वारा खिलाया जाता है। ऐसा माना जाता है कि कोई भी कूडो मछली को पकड़ने के लिए शाप से पत्थर में बदल जाता है, मंदिर में एक महिला की पत्थर की मूर्ति है जो कूडो मछलियों में से एक को काट रही है, कहा जाता है कि वह शाप से प्रभावित होकर पत्थर बन गई।