जब साईं बाबा शिरडी आए, तो उन्होंने मस्जिद को अपना निवास स्थान बनाया। उसने ऐसा क्यों किया क्या उसके पास रहने के लिए और कहीं नहीं था या उसने जानबूझकर ऐसा किया था? कई लोग उसे मुसलमान मानते थे क्योंकि वह एक मस्जिद में रहता था। लेकिन वह वहां रामनवमी मनाने, दीपावली मनाने और दूनी का आनंद लेने के लिए रुके थे। वह रोज मस्जिद में दीया जलाते थे। एक मुसलमान मस्जिद में इतना सारा काम कैसे कर सकता है? दरअसल, साईं बाबा मस्जिद में रहने से पहले नीम के पेड़ के नीचे रहते थे। पास ही एक सुनसान मस्जिद थी। इस मस्जिद में किसी ने कैटफ़िश नहीं परोसी। तीन महीने तक नीम के पेड़ के पास रहने के बाद, बाबा बिना किसी को बताए शिरडी से चले गए। भारत के सबसे महत्वपूर्ण स्थानों की तीन साल की यात्रा के बाद, साईं बाबा अपनी भाभी की शादी में चांद पाशा पाटिल (दुपुकेदा के एक मुस्लिम जागीरदार) के साथ बैलगाड़ी पर जुलूस के रूप में आए। मैं था। जुलूस जिस स्थान पर रुका उसके सामने खंडोबा का मंदिर था, जहां साधु मंगलपति थे। इस बार मंगलपति ने बाबा को तरुण फकीर के वेश में देखा और कहा "साईं के पास आओ"। तब से बाबा का नाम "साईं" है। साईं उसके बाबा मंगलपति को 'भगत' कहते थे। बाबा ने मंदिर में कई दिन बिताए, लेकिन जब उन्होंने मंगलपति की हिचकिचाहट देखी, तो वे समझ गईं और खुद ही मंदिर से चली गईं।

 इसके बाद उन्होंने जीर्ण-शीर्ण मस्जिद की सफाई की और उसे अपना निवास स्थान बना लिया। दरअसल, यह एक ऐसी जगह थी जिसे मस्जिद कहना उचित नहीं है। उसमें किसी तरह की कोई मीनार नहीं थी। यहां कभी नमाज नहीं पढ़ी जाती थी। दरअसल, उस समय शिरडी गांव में बहुत कम लोगों के घर थे। कोई व्यक्ति एक फकीर को अपने घर में कैसे रख सकता है? हां, अगर आपके पास आगंतुक हैं तो हम इसे कुछ दिनों तक रख सकते हैं। लेकिन यदि आप अपना शेष जीवन शिरडी में व्यतीत करना चाहते हैं, तो आपको अपनी व्यवस्था स्वयं करनी होगी। इन सबके बीच बाबा को एक वीरान मस्जिद ही नजर आती है, एक ऐसी जगह जो किसी के काम की नहीं है। वह इसी खंडहर में रहने लगा। उन्होंने इस स्थल का नाम द्वारका माई रखा।

 लेकिन लोग अभी भी इसे मस्जिद कहते हैं, हालांकि मराठी में यह मस्जिद है। लेकिन अब इसे मस्जिद कहने का कोई मतलब नहीं है। यह अब मस्जिद नहीं थी, फिर भी इसे मस्जिद क्यों कहा जाता है? बाद में पास में ही बापू साहब भूतिवाड़ा बनवाया गया। बाबा का समाधि मंदिर है। प्रांगण में एक हनुमान मंदिर भी है जो बाबा के समय से अस्तित्व में है और आज भी खड़ा है। बाबा ने द्वारिका स्थित अपने माई के घर को अपनी योग शक्तियों से आग लगा दी। घर को आज तक जलाऊ लकड़ी की निरंतर धारा द्वारा संरक्षित किया गया है। बाबा ने इन दून की राख को वुडी कहा और अपने अनुयाइयों में बांट दिया। नतीजतन, कई गंभीर रूप से बीमार मरीज भी ठीक हो गए। दूर नहीं, द्वारका माई के पास, चावड़ी है, जहाँ बाबा ने दिन भर विश्राम किया था। साईं बाबा के अनुयायी चावड़ी को बारात के साथ लेकर आए। उनके पहनावे की वजह से हर कोई उन्हें मुसलमान समझता था। उनके माथे पर बंधी एक कहनी को उनके हिंदू गुरु वैकुंशा हिज बाबा ने बांधा था और उन्हें एक सटक (चिमटी) भेंट किया था।