Das alte Adelsgeschlecht derer von Attems stammt aus Friaul und ist nach seiner Stammburg Attimis bei Cividale benannt. Seit dem 16. Jahrhundert war eine Linie des Hauses auch in der Steiermark ansässig, ihnen gehörte die Burg Gösting. Seit 1687 hatte der Graf auch sechs Bürgerhäuser am Ende des ersten Sacks in Graz erworben, an deren Stelle er sich von Johann Joachim Carlone um einen fast quadratischen Innenhof ein vierstöckiges Stadtpalais mit prächtiger Barock-Außenfassade errichten ließ, das 1716 fertig war.