কিন্তু বেশিদিন রাজত্ব করা তাঁহার পক্ষে সম্ভব হইল না। বাংলার মুসলিম সম্প্রদায়ের একাংশ বিধর্মীর সিংহাসন অধিকারে অসন্তুষ্ট হইয়া তাঁহার প্রচণ্ড বিরোধিতা করিতে লাগিলেন। ইহাদের নেতা ছিলেন বাংলার দরবেশরা। রাজা গণেশ এই বিরোধিতা কঠোরভাবে দমন করিলেন এবং দরবেশদের মধ্যে কয়েকজনকে বধ করিলেন। ইহাতে দরবেশরা তাঁহার উপর আরও ক্রুদ্ধ হইয়া উঠিলেন। দরবেশদের নেতা নূর কুত্ত্ব আলম উত্তর ও পূর্ব ভারতে সর্বাপেক্ষা পরাক্রান্ত নৃপতি জৌনপুরের সুলতান ইব্রাহিম শকীর নিকট উত্তেজনাপূর্ণ ভাষায় এক পত্র লিখিয়া জানাইলেন যে গণেশ ঘোরতর অত্যাচারী এবং মুসলমানদের পরম শত্রু; তিনি ইব্রাহিমকে সসৈন্যে বাংলায় আসিয়া গণেশের উচ্ছেদসাধন করিতে অনুরোধ জানাইলেন। ইব্রাহিম শর্কী এই পত্র পাইয়া এ বিষয়ে জৌনপুরের দরবেশ আশরফ দিমনানীর উপদেশ প্রার্থনা করিলেন এবং তাঁহার সম্মতিক্রমে সৈন্যবাহিনী লইয়া বাংলার দিকে রওনা হইলেন।
যে সমস্ত দেশের উপর দিয়া ইব্রাহিম গেলেন, তাহাদের মধ্যে মিথিলা বা ত্রিহুত অন্যতম। বিহুত জৌনপুরের সুলতানের অধীন সামন্ত রাজ্য। কিন্তু এই সময়ে ত্রিহুতের রাজা দেবসিংহকে উচ্ছেদ করিয়া তাঁহার স্বাধীনচেতা পুত্র শিবসিংহ (কবি বিদ্যাপতির পৃষ্ঠপোষক) রাজা হইয়াছিলেন। তিনি জৌনপুররাজের অধীনতা অস্বীকার করিয়া স্বাধীনতা ঘোষণা করিয়াছিলেন এবং রাজা গণেশের সহিত মৈত্রীবন্ধনে আবদ্ধ হইয়াছিলেন। গণেশের সহিত যেমন বাংলার দরবেশদের সংঘর্ষ বাধিয়াছিল, শিবসিংহের সহিতও তেমনি ত্রিহুতের দরবেশদের সংঘর্ষ বাধিয়াছিল। ইব্রাহিম শর্কী যখন ত্রিহুতে আসিয়া উপস্থিত হইলেন, তখন শিবসিংহ তাঁহার সহিত সম্মুখযুদ্ধে অবতীর্ণ হইলেন এবং পরাজিত হইয়া পলায়ন করিলেন। ইব্রাহিম তাঁহার পশ্চাদ্ধাবন করিলেন এবং তাঁহার সুদৃঢ় দুর্গ লেহরা জয় করিয়া তাঁহাকে বন্দী করিলেন। অতঃপর ইব্রাহিম শিবসিংহের পিতা দেবসিংহকে আনুগত্যের সর্তে ত্রিহুতের রাজপদে পুনঃপ্রতিষ্ঠিত করিলেন।
ইহার পর ইব্রাহিম আবার তাঁহার অভিযান শুরু করিলেন এবং বাংলায় আসিয়া উপস্থিত হইলেন। রাজা গণেশ তাঁহার বিপুল সামরিক শক্তির নিকট দাঁড়াইতে পারিলেন না। তাঁহার উপরে তাঁহার পুত্র রাজনীতিচতুর যদু (নামান্তর জিক্সল) পিতার পক্ষ ত্যাগ করিয়া ইব্রাহিমের পক্ষে যোগ দিলেন। তখন গণেশ সরিয়া দাঁড়াইতে বাধ্য হইলেন। যদু রাজ্যের লোভে নিজের ধর্ম পর্যন্ত বিসর্জন দিলেন। ইব্রাহিম যদুকে মুসলমান করিয়া বাংলার সিংহাসনে বসাইলেন। যদু সুলতান হইয়া জলালুদ্দীন মুহম্মদ শাহ নাম গ্রহণ করিলেন। ৮১৮ হিজরার (১৪১৫-১৬ খ্রী) মাঝামাঝি সময়ে এই ঘটনা ঘটিয়াছিল।
অতঃপর ইব্রাহিম দেশে ফিরিয়া গেলেন। জলালুদ্দীনের সিংহাসনে আরোহণের ফলে বাংলার আবার হিন্দু-প্রাধান্যের অবসান ঘটিয়া মুসলিম-প্রাধান্য প্রতিষ্ঠিত হইল। কিন্তু এই পরিবর্তন বেশিদিন স্থায়ী হইল না। রাজা গণেশ কিছুদিন পরে সুযোগ বুঝিয়া প্রত্যাবর্তন করিলেন এবং অল্পায়াসে নিজের ক্ষমতা পুনরুদ্ধার করিলেন। পুত্র জলালুদ্দীন নামে সুলতান রহিলেন, কিন্তু তিনি পিতার ক্রীড়নকে পরিণত হইলেন। বাংলা দেশে আবার হিন্দুধর্ম্মের জয়পতাকা উড়িতে লাগিল। গণেশ আবার তাঁহার প্রতিপক্ষ দরবেশদিগকে ও অন্যান্য মুসলমানদিগকে দমন করিতে লাগিলেন। এই ব্যাপার দেখিয়া নূর কুত্ত্ব আলম অত্যন্ত মর্মাহত হইলেন এবং কয়েক মাসের মধ্যেই তিনি পরলোকগমন করিলেন।
এদিকে রাজা গণেশ যখন নানা দিক দিয়া নিজেকে সম্পূর্ণ নিরাপদ মনে করিলেন, তখন তিনি পুত্র জলালুদ্দীনকে অপসারিত করিয়া স্বয়ং ‘দনুজমর্দনদেব’ নাম গ্রহণ করিয়া সিংহাসনে আরোহণ করিলেন। ‘দনুজমর্দনদেব’-এর বঙ্গাক্ষরে ক্ষোদিত মুদ্রাও প্রকাশিত হইল, এই মুদ্রাগুলির এক পৃষ্ঠায় রাজার নাম এবং অপর পৃষ্ঠায় টাকশালের নাম, উৎকীর্ণ হওয়ার সাল এবং “চণ্ডীচরণপরায়ণস্য” লেখা থাকিত। ‘দনুজমর্দনদেব’-রূপে সমগ্র ১৩৩৯ শকাব্দ (১৪১৭-১৮ খ্রী) এবং ১৩৪০ শকাব্দের (১৭১৮-১৯ খ্রী) কিয়দংশ রাজত্ব করিবার পর রাজা গণেশ পরলোকগমন করিলেন। সম্ভবত তিনি জলালুদ্দীন (যদু)-কে তাঁহার ইচ্ছার বিরুদ্ধে হিন্দুধর্ম্মে পুনর্দীক্ষিত করাইয়াছিলেন এবং তাঁহাকে বন্দী করিয়া রাখিয়াছিলেন। সম্ভবত জলালুদ্দীনের ষড়যন্ত্রেই গণেশের মৃত্যু হয়।
স্বল্প সময়ের জন্য রাজত্ব করিলেও রাজা গণেশ বাংলার অধিকাংশ অঞ্চলের উপরই তাঁহার কর্তৃত্ব প্রতিষ্ঠা করিতে পারিয়াছিলেন। উত্তরবঙ্গ ও পূর্ববঙ্গের প্রায় সমস্তটা এবং মধ্যবঙ্গ, পশ্চিমবঙ্গ ও দক্ষিণবঙ্গের কতকাংশ তাঁহার রাজ্যের অন্তর্ভুক্ত ছিল।
রাজা গণেশ যে প্রচণ্ড ব্যক্তিত্বের অধিকারী এবং কুশাগ্রবুদ্ধি কূটনীতিজ্ঞ ছিলেন, তাহা তাঁহার পূর্ববর্ণিত ইতিহাস হইতেই বুঝা যায়। তিনি নিষ্ঠাবান হিন্দুও ছিলেন। চণ্ডীদেবীর প্রতি তাঁহার আনুগত্যের কথা তিনি মুদ্রায় ঘোষণা করিয়াছিলেন; বিষ্ণুভক্ত ব্রাহ্মণ পদ্মলাভের তিনি চরণপূজা করিতেন, এ কথা পদ্মনাভের বংশধর জীব গোস্বামীর সাক্ষ্য হইতে জানা যায়। পরমধর্মদ্বেষ হইতে রাজা গণেশ একেবারে মুক্ত হইতে পারেন নাই। কয়েকটি মসজিদ ও ঐস্লামিক প্রতিষ্ঠানকে তিনি ধ্বংস করিয়াছিলেন। তিনি বহু মুসলমানের প্রতি দমননীতি প্রয়োগও করিয়াছিলেন, তবে বেশির ভাগ ক্ষেত্রেই রাজনৈতিক কারণে উহা করিয়াছিলেন। মুসলমানদের প্রতি গণেশের অত্যাচার সম্বন্ধে কোন কোন সূত্রে অনেক অতিরঞ্জিত বিবরণ স্থান পাইয়াছে। ফিরিশতার কথা বিশ্বাস করিলে বলিতে হয় গণেশ অনেক মুসলমানের আন্তরিক ভালবাসাও লাভ করিয়াছিলেন। ফিরিশতার মতে গণেশ দক্ষ সুশাসকও ছিলেন।
