এই বাড়িটি তৈরি হয় ১৮২৩ সালে। এসময় দ্বারকানাথ গভর্নমেন্টের দেওয়ান, পরে আরো উন্নতি হয়। প্রথমদিকে দিগম্বরীর চোখে এত পরিবর্তন ধরা পড়েনি। নিজের জপ-তপ ঠাকুরসেবা নিয়ে তিনি সদাব্যস্ত। ভরা সংসার। বড় ছেলে দেবেন্দ্রর সবে বিয়ে হয়েছে। ছেলের বৌ সারদাও এসেছেন যশোর থেকে। এখানে যে পিরালীবংশের অনেকেই থাকেন। ছ বছরের মেয়ে সারদা এসেছেন দক্ষিণডিহি থেকে। অন্য দিকে তাকাবার সময় কই? ভোর চারটে থেকে দিগম্বরীর পূজা শুরু হত। লক্ষ হরিনামের মালা জপ ছাড়াও তিনি নিয়মিতভাবে পড়তেন ভাগবত-রাসপাধ্যায়ের বাংলা পুঁথি। দয়া বৈষ্ণবী পড়ে শোনাতেন নানারকম ধর্মগ্রন্থ। পরাণ ঠাকুর তাঁর পুজোর উপচার ও রান্নার উপকরণ গুছিয়ে রাখত। দিগম্বরী স্বপাকে আহার করতেন। একাদশীতে খেতেন সামান্য ফলমূল।
মাঝে মাঝে শোনেন অনেক কথা। অনেকে অনেক কিছু বলে। কিছু শোনেন, কিছু মনে থাকে না, মালা জপতে জপতে ভুলে যান। মন বলে, এ সবই অহেতুক রটনা। কৃতী পুরুষের গায়ে কালি ছিটোবার সুযোগ কে না। খোঁজে? কিন্তু খুব বেশি দিন নিশ্চেষ্ট হয়ে থাকা সম্ভব হল না। ওদিকে বাগানবাড়িতে পানভোজন হাসিহল্লা চলে নিয়মিত। ঘরগুলো আলোতে, আরশীতে, মির্জাপুরের কার্পেটে, লাল জাজিমে, সবুজ রেশমে, ফুলের তোড়ায় ঝলমল করে। গুজব ছড়ায়। শেষে সবই শুনলেন দিগম্বরী, শুনলেন দ্বারকানাথের। ভোজসভায় নাকি মদের স্রোত বয়ে যাচ্ছে। শোনেন ছড়ার গান বাঁধা হয়েছে :
বেলগাছিয়ার বাগানে হয় ছুরিকাঁটার ঝনঝনি,
খানা খাওয়ার কত মজা আমরা তার কি জানি?
জানেন ঠাকুর কোম্পানী।
বাগবাজারের রূপচাঁদ পক্ষী অরো শোনালেন :
কি মজা আছে রে লাল জলে
জানেন ঠাকুর কোম্পানী।
মদের গুণাগুণ আমরা কি জানি।
জানেন ঠাকুর কোম্পানী।
প্রথমে বিশ্বাস হয়নি তবু নিঃসংশয় হবার জন্যে দিগম্বরী স্থির করলেন, তিনি স্বয়ং যাবেন সেই ম্লেচ্ছ ভোজসভায়। স্বচক্ষে দেখে আসবেন কোষ্টা সত্যি আর কোন্টা মিথ্যে। পতিব্রতা দিগম্বরীর এই অতর্কিত অভিযান চিরস্মরণীয়। বিপথগামী স্বামীকে ফেরাবার জন্যে তিনি নিজেই গেলেন, সঙ্গে রইল ভীতত্ৰন্তা তরুণী সারদা ও আরো কয়েকজন আত্মীয়। মনে ক্ষীণ আশা, যা শুনেছেন তা ভুল। এতদিনের চেনা মানুষ কি এভাবে বদলে যেতে পারে?
অন্দরমহল থেকে বেরিয়ে বেলগাছিয়ার বাগানবাড়িতে প্রবেশ করতে গিয়ে কুলবধূ দিগম্বরী কেঁপে উঠেছিলেন কিনা কে জানে। সেই ঐতিহাসিক মুহূর্তটিকে কেউ কোনভাবে ধরে রাখেনি। সত্যিই কি তিনি সেখানে যেতে পেরেছিলেন, পারিপার্শ্বিক ঘটনা তো তাই বলে চোখের সামনে দেখলেন, অলো-ঝলমলে ঘরে সাহেব-বিবিদের সঙ্গে একাসনে পানাহারে মত্ত তার স্বামী। এ কি দুঃস্বপ্ন! তাহলে যা শুনেছেন সব সত্যি! বুকটা যেন ভেঙে গুড়িয়ে গেল। তবু কর্তব্য ভোলেননি; বিপথগামী স্বামীকে ফিরিয়ে আনার জন্যে অনেক চেষ্টা অনেক কাকুতি-মিনতি করেছিলেন। কর্ণপাত করেননি দ্বারকানাথ।
অন্য মেয়ে হলে এ সময় কী করতেন? হয় কেঁদে-কেঁদে নিঃশেষে হারিয়ে যেতেন, নয়ত থাকতেন আপনমনে। যেমন থাকত সেকালের অধিকাংশ ধনী গৃহিণীরা। দিগম্বরী এর কোনটাই বেছে নিলেন না। তার মতে তেজস্বিনী নারীর কাছে ধর্ম আর কর্তব্য সবার আগে। তাই মনের দুঃখ মনে চেপে তিনি ব্রাহ্মণ পণ্ডিতদের মতামত চেয়ে পাঠালেন। কী করবেন তিনি? স্বামীকে ত্যাগ করে কুলধর্ম বজায় রাখবেন, না স্বামীর সহধর্মিণী হয়ে কুলধর্ম ত্যাগ করবেন? দ্বারকানাথ অবশ্য ধর্মত্যাগী নন। কিন্তু ম্লেচ্ছদের সঙ্গে যে। একত্রে খানা খায় তার আর ধর্মত্যাগের বাকী কী আছে? পণ্ডিতেরা ভাল করেই বিচার করলেন। বহু বিতর্কের পর উত্তর এল, স্বামীকে ভক্তি ও তাহার সেবা করা অবশ্য কর্তব্য তবে তাহার সহিত একত্র সহবাস প্রভৃতি কার্য অকর্তব্য।
পণ্ডিতদের রায় শুনে দিগম্বরী নিজের কর্তব্য স্থির করে নিলেন। শুধু সেবা। ছাড়া আর সব ব্যাপারে তিনি স্বামীর সঙ্গে সমস্ত সম্পর্ক ছিন্ন করলেন। অবশ্য বাইরের কেউ কিছু জানতে পারল না। কারণ তাঁর স্বামীভক্তি ছিল প্রবল। তিনি প্রতিদিন দ্বারকানাথের শয্যার কাছে গিয়ে মাটিতে একটি প্রণাম রেখে আসতেন। দ্বারকানাথ সম্পূর্ণ নির্বিকার। বৈষয়িক ব্যাপারে কিংবা অন্য কারুর প্রয়োজনে দিগম্বরী যখনই স্বামীর সঙ্গে কথা বলতে বাধ্য হতেন তারপরই সাত ঘড়া গঙ্গাজলে স্নান করে নিজেকে শুদ্ধ করে নিতেন। দিনরাতের বিচার ছিল না। দুঃসহ অত্যাচারের ফলে কয়েকদিনের জ্বরবিকারে নিবে গেল দিগম্বরীর জীবনদীপ। তার জ্যোতির্ময়ী মূর্তিটি শুধু অম্লান হয়ে রইল মহর্ষিপুত্রের আধ্যাত্মিক ধ্যান-স্মৃতিতে। দ্বারকানাথেরও কি মনে পড়েনি তেজস্বিনী দিগম্বরীকে? স্ত্রীর মৃত্যুর পরে তিনি বারবার অনুভব করেছেন গৃহলক্ষ্মীর অভাব; তাই তো যেদিন কার-টেগোর কোম্পানীর একটি মূল্যবান জাহাজ অকুল সাগরে ডুবে গেল সেদিন দ্বারকানাথের বুকভাঙা নিঃশ্বাসের সঙ্গে শুধু বেরিয়ে এল দুটি কথা, লক্ষ্মী চলিয়া গিয়াছেন, অলক্ষ্মীকে এখন আটকাইবে কে?
সে যুগের পরিপ্রেক্ষিতে দিগম্বরী যে সাহস দেখিয়ে গিয়েছিলেন তার ছেলের বৌয়েদের মধ্যে সেই তেজ, সেই শক্তি দেখা যায়নি। দেবেন্দ্রনাথের স্ত্রী সারদার সমস্ত কাজকর্মই ছিল স্বামীকেন্দ্রিক। বরং গিরীন্দ্রনাথের স্ত্রী যোগমায়ার মধ্যে শাশুড়ির সনাতন ধর্মনিষ্ঠার অনেকটাই লক্ষ্য করা গেছে। দেবেন্দ্রনাথের ছোট ভাই নগেন্দ্রনাথের স্ত্রী ত্রিপুরা সুন্দরী, তিনি এসেছিলেন অনেক পরে।