উলেমাগণ এইসব বিচ্ছিন্ন সামরিক রাজ্যগুলোকে একত্রিত রেখেছিলেন। দশম শতাব্দীতে নিজেদের শিক্ষার মানের ব্যাপারে অসন্তুষ্ট হয়ে ওঠেন তাঁরা এবং ইসলামী বিজ্ঞানের গবেষণার লক্ষ্যে প্রথমবারের মত মাদ্রাসা প্রতিষ্ঠা করেন। এতে করে তাদের প্রশিক্ষণ আরও সুসামজ্ঞস্যপূর্ণ এবং শিক্ষা আরও সমরূপ হয় এবং পুরোহিত গোষ্ঠীর মর্যাদা বেড়ে যায়। সেলজুক সাম্রাজ্যে জুড়ে মাদ্রাসা প্রতিষ্ঠাকে উৎসাহিত করেন নিযামুলমুলক, শিক্ষাক্রমের সঙ্গে এমন সব বিষয় যোগ করেছিলেন যা উলেমাদের স্থানীয় সরকার পরিচালনায় সক্ষম করে তুলবে। ১০৬৭তে বাগদাদে নিযামিয়াহ্ মাদ্রাসা স্থাপন করেন তিনি। নিজস্ব প্রতিষ্ঠান গড়ে ওঠায় উলেমাগণ এবার ক্ষমতার একটা ভিত্তি পান, যা আমিরদের সামরিক দরবারের চেয়ে আলাদা কিন্তু সমমানের হয়ে দাঁড়ায়। শ্রেণীকৃত মাদ্রাসাসমূহ সমগ্র সেলজুক অঞ্চলে শরিয়াহ্ নির্দেশিত পথে মুসলমানদের একই রকম জীবনযাত্রা উৎসাহিত করে। উলেমাগণ শরিয়াহ্ আদালতের আইনি ব্যবস্থায়ও একচেটিয়া কর্তৃত্ব প্রতিষ্ঠা করেন। এভাবে আপনাআপনি রাজনৈতিক ক্ষমতা ও সমাজের নাগরিক জীবনে একটা বিভেদ তৈরি হয়। আমির শাসিত ছোট ছোট রাষ্ট্রগুলোর কোনওটিই টেকেনি; কোনও রাজনৈতিক আদর্শ ছিল না তাঁদের। আমিররা খুব স্বল্প বা অস্থায়ী দায়িত্বপ্রাপ্ত ব্যক্তি ছিলেন এবং সাম্রাজ্যের সামগ্রিক আদর্শবাদ সরবরাহ করতেন উলেমা আর সুফি শিক্ষক (পির)গণ, যাদের সম্পূর্ণ আলাদা বলয় ছিল। পণ্ডিত উলেমাগণ মাদ্রাসা হতে মাদ্রাসায় ঘুরে বেড়াতেন; সুফি পিরগণও সবসময় চলিষ্ণু ছিলেন, এক শহর বা কেন্দ্র থেকে অন্য শহর বা কেন্দ্র দারুণভাবে সফরে যেতেন। ধর্মীয় ব্যক্তিরা বিচ্ছিন্ন সমাজকে একসূত্রে গাঁথার সুতোর যোগান দিতে শুরু করেছিলেন।
এভাবে খেলাফতের কার্যকর বিলুপ্তির পর সাম্রাজ্য আরও ইসলামী হয়ে ওঠে। নিজেদের আমির শাসিত স্বল্পায়ু রাষ্ট্রের বাসিন্দা ভাবার বদলে মুসলিমরা নিজেদের উলেমাদের প্রতিনিধিত্বশীল অধিকতর আন্তর্জাতিক সমাজের সদস্য হিসাবে দেখতে শুরু করে, যা দার আল-ইসলামের সঙ্গে সহাবস্থানের যোগ্য। উলেমাগণ এই নয়া অবস্থার সঙ্গে শরিয়াহ্কে মানিয়ে নেন। মুসলিম আইনকে পাল্টা সংস্কৃতি গড়ে তোলার কাজে ব্যবহারের পরিবর্তে শরিয়াহ্ নতুন খলিফাঁকে পবিত্র আইনের প্রতীকী অবিভাবক হিসাবে দেখল। আমিরগণ এসেছেন, বিদায় নিয়েছেন; কিন্তু শরিয়াহ্র সমর্থক বলে উলেমাগণ একমাত্র স্থিতিশীল কর্তৃপক্ষে পরিণত হন; এবং সুফিবাদ আরও জনপ্রিয় হয়ে ওঠে, সাধারণ মানুষের ধার্মিকতা গম্ভীর হয় এবং এক অভ্যন্তরীণ মাত্রা লাভ করে।
এসময় সর্বত্র সুন্নী ইসলামের অগ্রযাত্রা যেন স্পষ্ট হয়ে ওঠে। অধিকতর চরমপন্থী ইসমায়েলিদের কেউ কেউ, যারা ফাতিমীয় সাম্রাজ্যের বেলায় আশাহত হয়েছিল, উম্মাহ্ মাঝে যা প্রকৃত ধর্ম বিশ্বাস প্রতিষ্ঠায় লক্ষ্যণীয়ভাবে ব্যর্থ হয়, গেরিলাদের এক আন্ডারগ্রাউন্ড নেটওঅর্ক গঠন করে, সেলজুকদের উৎখাত এবং সুন্নীদের ধ্বংসের কাজে নিবেদিত ছিল এরা। ১০৯০ থেকে কাযভিনের উত্তরে অবস্থিত আলামুতের পাহাড়ী দুর্গ থেকে হামলা পরিচালনা শুরু করে তারা, সেলজুকদের শক্ত ঘাঁটি দখল করে আর নেতৃস্থানীয় আমিরদের প্রাণনাশ করতে থাকে। ১০৯২ নাগাদ তা পূর্ণাঙ্গ বিদ্রোহের রূপ নিয়েছিল। প্রতিপক্ষের কাছে বিদ্রোহীরা হ্যাঁশিশিন (যেখান থেকে আমাদের “অ্যাসাসিন” শব্দটি এসেছে) নামে পরিচিত হয়ে উঠেছিল, কারণ তারা নাকি আত্মঘাতী এসব হামলায় যোগ দানে উৎসাহিত হবার জন্যে হ্যাঁশিস সেবন করত। ইসমায়েলিরা নিজেদের সাধারণ মানুষের রক্ষক বলে বিশ্বাস করত, যারা নিজেরাই প্রায়ই আমিরদের হয়রানির শিকার হত, কিন্তু এই সন্ত্রাসী কার্যক্রম অধিকাংশ মুসলিমকে ইসমায়েলিদের বিরুদ্ধে খেপিয়ে তোলে। উলেমাগণ তাদের নিয়ে অবিশ্বাস্য আর ভ্রান্ত কাহিনী ছড়াতে থাকেন (হ্যাশিসের গল্প এসব কিংবদন্তীর অন্যতম), সন্দেহভাজন ইসমায়েলিদের ধরে এনে হত্যা করা হয়, যার ফলে আবার নতুন করে ইসমায়েলি হামলার ঘটনা ঘটে। কিন্তু এই বিরোধিতা সত্ত্বেও ইসমায়েলিরা আলামুতের আশপাশে একটা রাষ্ট্র প্রতিষ্ঠায় সক্ষম হয়েছিল, যা ১৫০ বছর টিকে ছিল এবং কেবল মঙ্গোল হানাদাররাই একে ধ্বংস করতে পেরেছিল। অবশ্য তাদের জিহাদের প্রত্যক্ষ ফলাফল আশানুযায়ী মাহদির আগমন ছিল না, বরং গোটা শিয়া সম্প্রদায়ের অপমান ছিল। ইসমায়েলি বিদ্রোহে অংশগ্রহণ হতে বিরত থাকা দ্বাদশবাদীরা (Twelvers) সুন্নী কর্তৃপক্ষকে সযত্নে খুশি রাখে এবং যেকোনও রাজনৈতিক সংশ্রব থেকে দূরে সরে থাকে। সুন্নীরা তাদের দিক থেকে একজন থিয়োলজিয়ানের ভূমিকায় সাড়া প্রদানে প্রস্তুত ছিল যিনি তাদের ধর্ম বিশ্বাসের প্রামাণিক সংজ্ঞা প্রদানে সক্ষম হয়েছিলেন, যাঁকে পয়গম্বর মুহাম্মদের(স:) পর সবচেয়ে গুরুত্বপূর্ণ মুসলিম বলে অভিহিত করা হয়।
আবু হামিদ মুহাম্মদ আল-গাযযালি (মৃত্যু: ১১১১) উযির নিযামুলমুলকের আশ্রয়প্রাপ্ত ছিলেন, এবং বাগদাদস্থ নিযামিয়াহ্ মাদ্রাসার লেকচারার এবং ইসলামী আইনের বিশেষজ্ঞ ছিলেন তিনি। ১০৯৫-তে এক নার্ভাস ব্রেকডাউনের শিকার হন। এই সময়ে ইসমায়েলি বিদ্রোহ তুঙ্গে পৌঁছেছিল, কিন্তু আল-গায্যালি বিশ্বাস হারাচ্ছেন ভেবেই প্রধানত হতাশ হয়ে পড়েছিলেন। নিজেকে পক্ষাঘাতগ্রস্ত অবস্থায় আবিষ্কার করেন তিনি, কথা বলতে পারছিলেন না; চিকিৎসকগণ তাঁর মাঝে গভীর মানসিক আবেগাসঞ্জাত দ্বন্দ্ব আবিষ্কার করেন; পরে গাযালি ব্যাখ্যা দিয়েছেন যে যদিও ঈশ্বর সম্পর্কে অনেক কিছু জানতেন; কিন্তু স্বয়ং ঈশ্বরকে জানেন না বলে উদ্বিগ্ন ছিলেন তিনি। তো জেরুজালেমে চলে যান তিনি, সেখানে সুফি চর্চা করেন, দশ বছর পর ইরাকে ফিরে আসার পর রচনা করেন অসাধারণ গ্রন্থ ইয়াহ্ আলাম আল-দিন (দ্য রিভাইভাল অভ দ্য রিলিজিয়াস সায়েন্সেস)। এটা কুরান এবং আহাদিসের পর সর্বাধিক উদ্ধৃত গ্রন্থে পরিণত হয়েছে। এর গুরুত্বপূর্ণ দার্শনিক ভিত্তি হল কেবল আচার-অনুষ্ঠান এবং প্রার্থনাই মানুষকে ঈশ্বর সম্পর্কে প্রত্যক্ষ জ্ঞান জোগাতে পারে; কিন্তু থিয়োলজি (কালাম) এবং ফালসাফার যুক্তিসমূহ ঈশ্বর সম্পর্কে কোনও নিশ্চয়তা দিতে পারে না। ইয়াহ্ মুসলিমদের এক দৈনন্দিন আধ্যাত্মিক ও প্রায়োগিক কর্মধারার যোগান দেয়, যা তাদের এই ধর্মীয় অভিজ্ঞতা অর্জনে প্রস্তুত করে তোলে। খাওয়া, ঘুমানো, ধোয়া, স্বাস্থ্য এবং প্রার্থনা সংক্রান্ত সকল শরিয়াহ্ আইনের ভক্তিমূলক ও নৈতিক ব্যাখ্যা দেয়া হয়েছে, ফলে সেগুলো আর নেহাত বাহ্যিক নির্দেশাবলী না থেকে মুসলিমদের কুরান উল্লেখিত ঈশ্বর সম্পর্কে চিরন্তন সচেতনতার বিকাশ ঘটাতে সক্ষম করে তুলেছে। এভাবে শরিয়াহ্ সামাজিক ঐক্য বজায় রাখার কায়দা এবং পয়গম্বর ও তাঁর সুন্নাহ্র যান্ত্রিক বাহ্যিক অনুকরণের অতিরিক্ত কিছুতে পরিণত হয়েছে: এটা হয়ে দাঁড়িয়েছে অভ্যন্তরীণ ইসলাম অর্জনের উপায়। আল-গায্যালি ধর্মীয় বিশেষজ্ঞদের জন্যে লেখেননি, বরং সাধারণ ধার্মিকদের উদ্দেশ্যে লিখেছেন। তিনি মনে করতেন তিন ধরনের মানুষ আছে: যারা বিনা প্রশ্নে ধর্মীয় সত্যকে মেনে নেয়, যারা কালামের যুক্তিভিত্তিক অনুশীলনে তাদের বিশ্বাসের পক্ষে যুক্তির সন্ধান করে; আর সুফিগণ, যাদের ধর্মীয় সত্যের প্রত্যক্ষ অভিজ্ঞতা রয়েছে।