স্বৰ্গত কাশীনাথ দীক্ষিত ও অধ্যাপক সরসীকুমার সরস্বতী মহাশয়দের আলোচনা-গবেষণার ফলে পাহাড়পুর মন্দিরের মৌলিক রূপ-প্রকৃতি ও গঠন আজি ধরিতে পারা সহজ হইয়াছে। এই সুবৃহৎ মন্দির উত্তর-দক্ষিণে ৩৫৬.৫ ফিট ও পূর্ব-পশ্চিমে ৩১৪.২৫ ফিট বিস্তৃত। মূলত মন্দিরটির ভূমি-নকশা চতুষ্কোণ; প্রত্যেক দিকের বাহু সম্মুখ দিকে একাধিকবার (তিনবার) বিস্তৃত করিয়া অনেকগুলি কোণের সৃষ্টি করা হইয়াছে এবং সমগ্র নকশাটিকে সমান্তরালে প্রসারিত করা হইয়াছে চারিদিকে। মূল চতুষ্কোণ নকশাটির সমগ্র ভূমির উপর একটি শূন্যগর্ভ বিরাটকায় চতুষ্কোণ স্তম্ভ সোজা উপরের দিকে উঠিয়া গিয়াছে; ইহারই সর্বোচ্চ স্থাপিত ছিল মন্দিরের শীর্ষ, কিন্তু সে-শীর্ষ এবং স্তম্ভটিরও উপরের অংশ ভাঙিয়া পড়িয়া গিয়াছে; কাজেই শীর্ষটি কি শিখরাকৃতি ছিল, না ছিল স্তুপাকৃতি তাহা নির্ণয়ের কোনও উপায় আজ আর নাই। শূন্যগর্ভ দৈত্যকায় স্তম্ভটির দেয়াল অতি প্রশস্ত, কারণ চারিদিকের সমান্তরাল প্রসারের চাপ ও ভারের অনেকাংশ পড়িত এই দেয়ালের উপর। এই চতুঃসংস্থান-সংস্থিত স্তম্ভটিই সমগ্র মন্দিরটির কেন্দ্ৰ, ইহাকে আশ্রয় করিয়াই প্ৰত্যেকটি ক্রমহ্রাস্বায়মান স্তর এবং স্তরোপরি প্রদক্ষিণ পথ ও প্রাচীর চতুঃশালগুহ, মণ্ডপ প্রভৃতি সমস্তই কল্পিত, রচিত ও প্রসারিত। ভিত্তিস্তর বাদ দিলে মন্দিরটির সর্বসুদ্ধ ক’টি ক্রমহ্রস্বয়মান স্তর ছিল, বলা কঠিন। শাস্ত্রানুযায়ী সর্বসুদ্ধ পাচটি স্তর বা তল থাকিবার কথা; হয়তো তাহাই ছিল, কিন্তু আপাতত ধ্বংসাবশেষের মধ্য হইতে দৃষ্টিগোচর হইতেছে ভিত্তিস্তরসহ মাত্র তিনটি। মন্দিরটি চতুর্মুখ, অর্থাৎ “সর্বতোভদ্র হওয়া সত্ত্বেও ইহার প্রবেশ তোরণ উত্তর দিকে। অঙ্গন হইতে সোপান বাহিয়া উপরে উঠিলেই ভিত্তিস্তরের সমতলে একটি সুপ্ৰশস্ত চত্বর; এই চত্বর অতিক্ৰম করিলেই দক্ষিণতম প্রান্তে বেষ্টনী প্রাচীরের তোরণ ভেদ করিয়া ভিত্তিস্তরের সর্বতোভদ্ৰ প্ৰদক্ষিণ-পথে প্রবেশ। প্ৰদক্ষিণ-পথটি ঘুরিয়া চলিয়া গিয়াছে মন্দিরের চারিদিকে এবং পথটির প্রান্ত বাহিয়া বেষ্টনী-প্রাচীর। এই প্ৰদক্ষিণ-পথের যে কোনও দিক হইতে সোপানশ্রেণী বাহিয়া হ্রস্বায়িত প্রথম তলে বা স্তরে আরোহণ করা যায়। এই স্তরেও একই প্রকারের প্রদক্ষিণ-পথ, বেষ্টনী-প্রাচীর, তদুপরি এক একদিকে এক একটি করিয়া মণ্ডপ। প্রথম তল হইতে সোপান বাহিয়া দ্বিতীয় তলে আরোহণ করিলেই স্পষ্টত বুঝা যায়, এই তলই সর্বপ্রধান তল, কারণ এই তলই সর্বাপেক্ষা সমৃদ্ধ, এই তলেই কেন্দ্ৰস্থিত শূন্যগর্ভ স্তম্ভটি চারিদিকে চারিটি গর্ভগৃহ এবং প্রত্যেক গর্ভগৃহের সম্মুখে এক একটি করিয়া বৃহৎ মণ্ডপ। সন্দেহ নাই, এই চারিটি গর্ভগৃহই ছিল প্রধান দেবগৃহ বা পূজাগৃহ এবং ইহাদেরই সম্মুখের মণ্ডপে পূজারীরা নৈবেদ্য ইত্যাদি লইয়া সমবেত হইতেন। মণ্ডপ ও দেবগৃহ দক্ষিণে রাখিয়া চারদিক ঘিরিয়া প্ৰদক্ষিণ-পথ এবং বেষ্টনী-প্রাচীর। এই তলের উপরে আর কোনও তল ছিল। কিনা এবং সেই তলে কোনও পূজাগৃহ ছিল। কিনা, বলা কঠিন। ইহার উপর আর যাহা কিছু ছিল সমস্তই ভাঙিয়া ধ্বসিয়া পড়িয়া গিয়াছে। কাজেই এই মন্দিরের উপরিভাগের আকৃতি-প্রকৃতি কী ছিল তাহা লইয়া কল্পনা-জল্পনা করা চলে, কিন্তু নিঃসংশয়ে কিছু বলা চলে না।
কাশীনাথ দীক্ষিত মহাশয় অনুমান করিয়াছিলেন, পাহাড়পুরে বোধ হয় একটি চতুর্মুখ জৈন-মন্দির ছিল এবং এই চতুর্মুখ জৈন-মন্দিরটিই বোধ হয় ছিল পাহাড়পুর-মন্দিরের মূল অনুপ্রেরণা। এ-অনুমান মিথ্যা না-ও হইতে পারে। এই ধরনের চতুর্মুখ বা সর্বতোভদ্র মন্দির ব্ৰহ্মদেশের প্রাচীন পাগান-নগরীতেও নির্মিত হইয়াছিল, এমন প্রমাণ বিদ্যমান। আনন্দ, সর্বজ্ঞ, টিহু-লো-মিনহ-লো প্রভৃতি মন্দিরেও দেখা যায়, কেন্দ্রে একটি বিরাটকায় চতুষ্কোণ স্তম্ভ সোজা উঠিয়া গিয়াছে উপরের দিকে এবং তাহার শীর্ষে শিখর বা স্তূপ। এই স্তম্ভটির চারিদিকের চারিমুখে প্রত্যেক তলে চারিটি সুউচ্চ সুবৃহৎ কুলুঙ্গি কাটিয়া বাহির করা হইয়াছে; প্রত্যেক কুলুঙ্গিতে বুদ্ধ-প্রতিমা। প্রত্যেক দিকের তোরণদ্বার হইতে একটি সুদীর্ঘ অলিন্দ পথ সোজা চলিয়া গিয়াছে প্রতিমার সম্মুখ পর্যন্ত; দুই দিকে সমান্তরালে আরো দুইটি অলিন্দ এবং এই অলিন্দ রেখাশ্রেণী ভেদ করিয়া কেন্দ্রীয় স্তম্ভটির চারদিক ঘিরিয়া একাধিক প্রদক্ষিণ-পথ চলিয়া গিয়াছে। পাহাড়পুর-মন্দিরের বিন্যাসের সঙ্গে পাগানের এই জাতীয় মন্দিরগুলির বিন্যাসের সমগোত্রীয়তা কিছুতেই দৃষ্টি এড়াইবার কথা নয়। এ-কথা সত্য যে, পাহাড়পুর-মন্দিরের কেন্দ্রীয় স্তম্ভে কোনও কুলুঙ্গি কাটা নাই; কিন্তু তাহার পরিবর্তে চারিদিকের দেয়ালের সম্মুখেই স্থাপনা করা হইয়াছে চারিটি গর্ভগৃহ ও মণ্ডপ। আসল কথা হইল কেন্দ্রীয় স্তম্ভটি এবং তাহাকে ঘিরিয়া চারিদিকের পূজািস্থান ও প্ৰদক্ষিণ-পথ। এই রূপ চতুর্মুখ সর্বতোভদ্র মন্দিরের রূপ এবং এই রূপই পাহাড়পুর, পাগানে এবং লোরো-জোংরাং—এ দৃষ্টিগোচর।
পোড়ামাটির ইটে, কাদার গাঁথুনীতে পাহাড়পুর-মন্দির তৈরি। বহিঃপ্রাচীরের দেয়ালের স্কন্ধে কিছু কিছু অলংকরণ এবং অগণিত পোড়ামাটির ফলক ছাড়া ঐশ্বর্য প্রচারের আর কোনও চেষ্টা নাই। মহাস্থানের গোকুল এবং গোবিন্দভিটার স্তূপেও কিছু কিছু এই ধরনের অলংকরণ ও মৃৎফলক নিদর্শন পাওয়া গিয়াছে। পাহাড়পুরের ভিত্তিপ্রাচীরগাত্রে প্রস্তরফলক।-নিদর্শনও অপ্রচুর নয়। এই সুবৃহৎ মন্দির একদিনে নির্মিত হয় নাই, বলাই বাহুল্য; বহুদিনের অনবসর চেষ্টায় এত বড় মন্দির নির্মাণ সম্ভব। পরবর্তীকালে নানা সময়ে নানা সংযোজনাও হইয়াছে, সন্দেহ নাই। কিন্তু তৎসত্ত্বেও সমগ্র মন্দিরটির পরিকল্পনায় ও গঠনে এমন একটি সুসম সংহত সমগ্রতা আছে যে, মনে হয় মন্দিরটি আগাগোড়া একই ভাবনা-কল্পনার সৃষ্টি এবং মোটামুটি একই সময়ে নির্মিত। খুব সম্ভব, নরপতি ধর্মপোলই ইহার পোষক এবং তাঁহারই রাজত্বকালে সোমপুরের এই মন্দির ও বিহার রচিত হইয়াছিল। এই মন্দির ও বিহার প্রাচীন বাঙলার গৌরব।
