১৮০৭ সালে রামলোচন ঠাকুরের উইলসূত্রে রবীন্দ্রনাথের পিতামহ দ্বারকানাথ ঠাকুর এ জমিদারির মালিক হন। রবীন্দ্রনাথ জমিদারি দেখাশোনার দায়িত্ব নিয়ে প্রথম শিলাইদহে আসেন ১৮৮৯ সালের নভেম্বর মাসে।

জমিদারির দেখাশোনা করতে রবীন্দ্রনাথ ঠাকুর কৈশোরে এবং তার পরবর্তীকালেও মাঝে মাঝে এখানে আসতেন এবং এই কুঠিবাড়িতেই থাকতেন। তবে পরবর্তীকালে বন্যার সময় পদ্মার ভাঙ্গনে পুরানো কুঠিবাড়ির নিকটবর্তী এলাকা পর্যন্ত বিলীন হওয়ার আশঙ্কা দেখা দিলে এই পুরানো কুঠিবাড়িটি ভেঙ্গে ফেলা হয় এবং পুরানো ভবন সামগ্রী দিয়েই নতুন কুঠিবাড়িটি নির্মাণ করা হয়। ১৮৯১ থেকে ১৯০১ সালের মধ্যে একদশকেরও বেশি সময় রবীন্দ্রনাথ অনিয়মিত বিরতিতে এখানে অবস্থান করেছেন।

শিলাইদহ কুঠিবাড়ি আম, কাঁঠাল ও অন্যান্য চিরসবুজ বৃক্ষের বাগান, একটি পুষ্পোদ্যান এবং দুটি পুকুরসহ প্রায় ১১ একর মনোরম এলাকা জুড়ে বিস্তৃত। শিলাইদহে রয়েছে গ্রামীণ পরিবেশ আর মনোমুগ্ধকর প্রাকৃতিক সৌন্দর্য। কুঠিবাড়ি ভবনটি একটি বেষ্টনী প্রাচীর দিয়ে ঘেরা। দক্ষিণ দিকে অবস্থিত একটি সাধারণ অথচ আকর্ষণীয় প্রবেশ তোরণ পেরিয়ে এতে প্রবেশ করা যায়। নিচতলা ও দোতলায় বিশাল কেন্দ্রীয় হলকক্ষসহ এতে বিভিন্ন আকারের মোট ১৫টি কক্ষ রয়েছে। নিচতলা ও দোতলার উন্মুক্ত ব্যালকনিগুলি রানীগঞ্জ টালি দিয়ে তৈরি ঢালু ছাদ দ্বারা আংশিক আচ্ছাদিত। নিচতলার উপরের মধ্যবর্তী অংশে রয়েছে ত্রিকোণ প্রান্ত বিশিষ্ট একটি ঢালু ছাদ। দোতলার ওপরের পিরামিড আকৃতির ছাদ ভবনটিকে আরও বৈচিত্র্য এনে দিয়েছে।