শেখ কুদরতউল্লাহ ও একরামউল্লাহ শেখের মৃত্যুর দুই এক পুরুষ পর থেকেই শেখ বাড়ির পতন শুরু হয়। পর পর কয়েকটা ঘটনার পরেই শেখদের আভিজাত্যটাই থাকল, অর্থ ও সম্পদ শেষ হয়ে গেল।
ইংরেজরা মুসলমানদের ভাল চোখে দেখত না। প্রথম ঘটনা, রাণী রাসমণি হঠাৎ জমিদার হয়ে শেখদের সাথে লড়তে শুরু করলেন, ইংরেজও তাকে সাহায্য করল। কলকাতার একটা সম্পত্তি ও উল্টাডাঙ্গার আড়ত শেখদের সম্পত্তি ছিল। এই সম্পত্তি দেখাশোনা করতেন শেথ অছিমুদ্দিন। আবার জমিদারি নিয়েও রাসমণির স্টেটের সাথে দাঙ্গাহাঙ্গামা লেগেই ছিল। শেখ বাড়ি থেকে তিন মাইল দূরে শ্রীরামকান্দি গ্রামে তমিজুদ্দিন নামে এক দুর্ধর্ষ লোক বাস করত। সে রাসমণি স্টেটের পক্ষ অবলম্বন করেছিল। সে ভাল যোদ্ধা ছিল। একবার দুইপক্ষে খুব মারামারি হয়। এতে রাণী রাসমণির লোক পরাজিত হয়। শেখদের লোকেদের হাতে তমিজুদ্দিন আহত অবস্থায় ধরা পড়ে এবং শোনা যায় যে, পরে মৃত্যুবরণ করে। মামলা শুরু হয়। শেখদের সকলেই গ্রেফতার হয়ে যায়। পরে বহু অর্থ খরচ করে হাইকোর্ট থেকে মুক্তি পায়।
এরপরই আর একটা ঘটনা হয়। টুঙ্গিপাড়া শেখ বাড়ির পাশেই আরেকটা পুরানা বংশ আছে, যারা কাজী বংশ নামে পরিচিত। এদের সাথে শেখদের আত্মীয়তাও আছে। আত্মীয়তা থাকলেও রেষারেষি কোনোদিন যায় নাই। কাজীরা অর্থ-সম্পদ ও শক্তিতে শেখদের সাথে টিকতে পারে নাই, কিন্তু লড়ে গেছে বহুকাল। যে কাজীদের সাথে আমাদের আত্মীয়তা ও ঘনিষ্ঠতা ছিল তারা শেখদের সমর্থন করত। কাজীদের আর একটা দল রাণী রাসমণির সাথে যোগদান করে। তারা কিছুতেই শেখদের আধিপত্য সহ্য করতে পারছিল না। তাই তারা এক জঘন্য কাজের আশ্রয় নিল শেষ পর্যন্ত। অধিকাংশ কাজী শেখদের সাথে মিশে গিয়েছিল। একটা দল কিছুতেই শেখদের শেষ না করে ছাড়বে না ঠিক করেছিল। বৃদ্ধ এক কাজী, নাম সেরাজতুল্লা কাজী। তার তিন ছেলে ও এক মেয়ে ছিল। ছেলেরা এক। ষড়যন্ত্র করে এবং অর্থের লোভে বৃদ্ধ পিতাকে গলা টিপে হত্যা করে শেখ বাড়ির গরুর ঘরের চালের উপরে রেখে যায়। এই ঘটনা শুধু তিন ভাই এবং তাদের বোনটা জানত। বোনকে ভয় দেখিয়ে চুপ করিয়ে রেখেছিল। শেখ বাড়িতে লাশ রেখে রাতারাতিই থানায় যেয়ে খবর দেয় এবং পুলিশ সাথে নিয়ে এসে লাশ বের করে দেয় এবং বাড়ির সকলকে গ্রেফতার করিয়ে দেয়। এতে শেখদের ভীষণ অবস্থার সম্মুখীন হতে হয়।
আমার দাদার চাচা এবং রেণুর দাদার বাবা কলকাতা থেকে নিজেকে দেউলিয়া ঘোষণা করে চলে আসেন বাড়িতে। কলকাতার সম্পত্তি শেষ হয়ে যায়। তারপর যখন সকলে গ্রেফতার হয়ে গেছে, কেউই দেখার নাই—বড় বড় ব্যবসায়ী, মাঝি ও ব্যাপারীরা নৌকা ডুবিয়ে দিয়ে উধাও হতে শুরু করল। এর পূর্বে তমিজুদ্দিনের খুনে যথেষ্ট টাকা খরচ হয়ে গেছে। জমিদারিও নিলাম হয়ে প্রায় সবই চলে যেতে লাগল। বহুদিন পর্যন্ত মামলা চলল। নিচের কোর্টে সকলেরই জেল হয়ে গেল। শেষ পর্যন্ত কলকাতা হাইকোর্টে মামলা শুরু হল। আমাদের এডভোকেট হাইকোর্টে দরখাস্ত করল সিআইডি দ্বারা মামলা আবার ইনকোয়ারি করাতে। কারণ, এ মামলা ষড়যন্ত্রমূলক। হাইকোর্ট মামলা দেখে সন্দেহ হলে আবার ইনকোয়ারি শুরু হল। একজন অফিসার পাগল সেজে আমাদের গ্রামে যায় আর খোঁজ খবর নেয়। একদিন রাতে সেরাজতুল্লাহ কাজীর তিন ছেলের মধ্যে কি নিয়ে ঝগড়া হয় এবং কথায় কথায় এক ভাই অন্য ভাইকে বলে, “বলেছিলাম না শেখদের কিছু হবে না, বাবাকে অমনভাবে মারা উচিত হবে না।” অন্য ভাই বলে, “তুই তো গলা টিপে ধরেছিলি তাই তো বাবা মারা গেল।” বোনটা বলল, “বাবা একটু পানি চেয়েছিল, তুই তো তাও দিতে দিলি না।” সিআইডি এই কথা শুনতে পেল ওদের বাড়ির পিছনে পালিয়ে থেকে। তার কয়েকদিন পরেই তিন ভাই ও বোন গ্রেফতার হল এবং স্বীকার করতে বাধ্য হল তারাই তাদের বাবাকে হত্যা করেছে।
শেখরা মুক্তি পেল আর ওদের যাবজ্জীবন জেল হল। শেখরা মামলা থেকে বাঁচল, কিন্তু সর্বস্বান্ত হয়েই বাঁচল। ব্যবসা নাই, জমিদারি শেষ, সামান্য তালুক ও খাস জমি, শেখ বংশ বেঁচে রইল শুধু খাস জমির জন্য। এদের বেশ কিছু খাস জমি ছিল। আর বাড়ির আশপাশ দিয়ে কিছু জমি নিষ্কর ছিল। খেয়ে পরার কষ্ট ছিল না বলে বাড়িতে বসে আমার দাদার বাবা চাচারা পাশা খেলে দিন কাটাতেন। সকলেই দিনভর দাবা আর পাশা খেলতেন, খাওয়া ও শোয়া এই ছিল কাজ। এরা ফার্সি ভাষা জানতেন এবং বাংলা ভাষার উপরও দখল ছিল। রেণুর দাদা আমার দাদার চাচাতো ভাই, তিনি তার জীবনী লিখে রেখে গিয়েছিলেন সুন্দর বাংলা ভাষায়। রেণুও তার কয়েকটা পাতা পেয়েছিল যখন তার দাদা সমস্ত সম্পত্তি রেণু ও তার বোনকে লিখে দিয়ে যান তখন। রেণুর বাবা মানে আমার শশুর ও চাচা তাঁর বাবার সামনেই মারা যান। মুসলিম আইন অনুযায়ী রেণু তার সম্পত্তি পায় না। রেণুর কোনো চাচা না থাকার জন্য তার দাদা সম্পত্তি লিখে দিয়ে যান। আমাদের বংশের অনেক ইতিহাস পাওয়া যেত যদি তার জীবনীটা পেতাম। কিন্তু কে বা কারা সেটা গায়েব করেছে বলতে পারব না, কারণ অনেক কথা বের হয়ে যেতে পারে। রেণু অনেক খুঁজেছে, পায় নাই। এ রকম আরও অনেক ছোটখাটো গল্প আছে, কতটা সত্য আর কতটা মিথ্যা বলতে পারি না।
যাহোক, শেখদের দুর্দিন আসলেও তারা ইংরেজদের সহ্য করতে পারত না। ইংরেজকে গ্রহণ করতে না পারায় এবং ইংরেজি না পড়ায় তারা অনেক পেছনে পড়ে গেল। মুসলমানদের সম্পত্তি ভাগ হয় অনেক বেশি। বংশ বাড়তে লাগল, সম্পত্তি ভাগ হতে শুরু করল, দিন দিন আর্থিক অবস্থাও খারাপের দিকে চলল। তবে বংশের মধ্যে দুই একজনের অবস্থা ভালই ছিল।