काशी का यह विश्वनाथ मंदिर शिव और पार्वती का मूल स्थान है, इसीलिए अविमुक्तेश्वर को आदिलिंग के रूप में पहला लिंग माना जाता है। 

द्वादश ज्योतिर्लिंगों में प्रमुख काशी विश्वनाथ मंदिर अति प्राचीन काल से काशी में है। यह स्थान शिव और पार्वती का मूल स्थान है, इसीलिए अविमुक्तेश्वर को आदिलिंग के रूप में पहला लिंग माना जाता है। इसका उल्लेख महाभारत और उपनिषदों में भी मिलता है। विश्वनाथ मंदिर, जिसे 11 वीं शताब्दी ईसा पूर्व में राजा हरिश्चंद्र द्वारा पुनर्निर्मित किया गया था, सम्राट विक्रमादित्य द्वारा पुनर्निर्मित किया गया था। इसे लूटने के बाद 1194 में मुहम्मद गोरी ने ध्वस्त कर दिया था। इतिहासकारों के अनुसार इस भव्य मंदिर को 1194 में मुहम्मद गोरी ने तोड़ा था। इसे फिर से बनाया गया था, लेकिन एक बार फिर इसे जौनपुर के सुल्तान महमूद शाह ने 1447 में ध्वस्त कर दिया था। 1585 ई. में पुन: इस स्थान पर पंडित जी द्वारा पुनः भव्य मंदिर का निर्माण करवाया गया। राजा टोडरमल की मदद से नारायण भट्ट. इस भव्य मंदिर को 1632 में शाहजहाँ ने आदेश दिया था और इसे नष्ट करने के लिए सेना भेजी थी।

हिंदुओं के प्रबल प्रतिरोध के कारण सेना विश्वनाथ मंदिर के केंद्रीय मंदिर को नष्ट नहीं कर सकी, लेकिन काशी के 63 अन्य मंदिरों को ध्वस्त कर दिया गया। डॉ. एएस भट्ट ने अपनी पुस्तक 'दान हरावाली' में उल्लेख किया है कि मंदिर का पुनर्निर्माण 1585 में टोडरमल द्वारा किया गया था। 18 अप्रैल 1669 को औरंगजेब ने एक फरमान जारी कर काशी विश्वनाथ मंदिर को नष्ट करने का आदेश दिया। यह फरमान आज भी एशियाटिक लाइब्रेरी, कोलकाता में संरक्षित है। इस विध्वंस का वर्णन उस समय के लेखक साकी मुस्तैद खान द्वारा लिखित 'मसीदे आलमगिरी' में है। औरंगजेब के आदेश पर यहां के मंदिर को तोड़कर ज्ञानवापी मस्जिद का निर्माण कराया गया था। 2 सितंबर 1669 को औरंगजेब को मंदिर विध्वंस के पूरा होने की सूचना दी गई। औरंगजेब ने प्रतिदिन हजारों ब्राह्मणों को मुसलमान बनाने का आदेश भी पारित किया था।

आज उत्तर प्रदेश के 90 प्रतिशत मुसलमान ब्राह्मण हैं। 1752 और 1780 के बीच, मराठा सरदार दत्ताजी सिंधिया और मल्हारराव होल्कर ने मंदिर को मुक्त कराने के प्रयास किए। 7 अगस्त 1770 ई. को महादजी सिंधिया ने दिल्ली के सम्राट शाह आलम को मंदिर तोड़ने के लिए मुआवजे की वसूली का आदेश जारी किया, लेकिन तब तक काशी पर ईस्ट इंडिया कंपनी का शासन था, इसलिए मंदिर का जीर्णोद्धार रुक गया। इस मंदिर का जीर्णोद्धार इंदौर की महारानी अहिल्याबाई ने 1777-80 में करवाया था। इस परिसर में अहिल्याबाई होल्कर ने विश्वनाथ मंदिर बनवाया जिस पर पंजाब के महाराजा रणजीत सिंह ने सोने की छतरी बनाई। ग्वालियर की महारानी बैजबाई ने ज्ञानवापी का मंडप बनवाया और वहां महाराजा नेपाल ने नंदी की विशाल प्रतिमा स्थापित की। 1809 में काशी के हिंदुओं ने जबरन मस्जिद पर कब्जा कर लिया, क्योंकि पूरा क्षेत्र ज्ञानवापी मंडप का क्षेत्र है जिसे अब ज्ञानवापी मस्जिद के नाम से जाना जाता है।

30 दिसंबर 1810 को बनारस के तत्कालीन जिलाधिकारी श्री वाटसन ने 'परिषद में उपाध्यक्ष' को एक पत्र लिखकर ज्ञानवापी परिसर को हमेशा के लिए हिंदुओं को सौंपने के लिए कहा था, लेकिन यह कभी संभव नहीं था। इतिहास की पुस्तकों में ११वीं से १५वीं शताब्दी के काल में मंदिरों और उनके विनाश का भी उल्लेख मिलता है। मुहम्मद तुगलक (1325) के समकालीन लेखक जिनप्रभा सूरी ने 'विविध कल्प तीर्थ' पुस्तक में लिखा है कि बाबा विश्वनाथ को देवक्षेत्र कहा जाता था। लेखक फुरर ने यह भी लिखा है कि फिरोज शाह तुगलक के समय में कुछ मंदिरों को मस्जिदों में बदल दिया गया था। 1460 में वाचस्पति ने अपनी पुस्तक 'तीर्थ चिंतामणि' में वर्णन किया है कि अविमुक्तेश्वर और विश्वेश्वर एक ही लिंग हैं।