המרכז הרפואי נקרא על שם משה פלימן, ראש עיריית חיפה בין השנים 1969-1973, שבתקופת כהונתו החלה בניית בית החולים. משה פלימן פעל להקמת בית חולים גריאטרי בחיפה, שיוכל להוות תחליף ראוי במקום לשלוח קשישים בעיר לשיקום במוסדות "מלבן" של הג'וינט במרכז הארץ, כפי שהיה מקובל עד אז. בהמשך נרכש בית החולים על ידי משרד הבריאות והוגדר כבית חולים גריאטרי-שיקומי. בשנת 1977 נפתחה בבית החולים גם מחלקת אשפוז יום, עבור חולים שמסוגלים ללון בבתיהם.
בשנת 2004 נשקלה סגירת בית החולים והעברת מטופליו לבית החולים רמב"ם, אך בסופו של דבר נסגרו שתי מחלקות אשפוז ומחלקת אשפוז היום.
בשנת 2011 נפתחה בבית החולים מחלקה להנשמה ממושכת ושיקום נשימתי.
כיום פועלות בבית החולים 6 מחלקות אשפוז הכוללות מחלקות שיקום, מחלקות אקוטיות ותת-אקוטיות ומחלקת הנשמה ממושכת ושיקום נשימתי.
