باغ ارم شیراز از باغهای تاریخی و باشکوه این شهر است که شالودۀ اولیۀ آن به دورۀ سلجوقی و احتمالاً به فرمان اتابک قراچه، حکمران فارس در عهد سلطان سنجر سلجوقی، بازمیگردد. در دورۀ قاجار، طی حکومت فتحعلیشاه، عمارتی در این باغ ساخته شد که بانی آن بنا بر منابع تاریخی همچون فارسنامۀ ناصری، جانیخان قشقایی، والی فارس، و به روایت آثار العجم، محمّدقلیخان، فرزند او، ذکر شده است. در دورۀ ناصرالدینشاه قاجار، عمارت پیشین تخریب و بنای فعلی با معماری چشمنواز جایگزین آن شد.
بر اساس نقشۀ دقیقی که دونالد ویلبر از این باغ ترسیم کرده، امروزه تنها حدود نیمی از مساحت اولیۀ باغ باقی مانده است؛ با این حال، عمارت اصلی آن کماکان پابرجا و استوار است. ساخت این عمارت به همت میرزا حسنعلی نصیرالملک آغاز شد و پس از وی، ابوالقاسم نصیرالملک، خواهرزادۀ او، کار تکمیل آن را به پایان رساند. این بنا در سه طبقه طراحی شده و در دو طبقۀ فوقانی، ایوانی مرتفع و ستوندار در مرکز جبهۀ اصلی قرار دارد که دیوارها و سقف آن با تزیینات ظریف گچبری آراسته شدهاست. در پشت این ایوان، دو تالار بزرگ واقع شده که هرکدام با پنجرههای هفتقسمتی به ایوان مشرف هستند. همچنین در دو طرف ایوان اصلی، ایوانهای کوچکتر ستونداری تعبیه شدهاست.
بر هلالیهای نیمدایرۀ بالای نماهای اصلی بنا، کاشیکاریهای نفیسی شامل تصویر ناصرالدینشاه قاجار و صحنههایی از داستانهای مشهور همچون سلیمان و بلقیس، خسرو و شیرین، و زلیخا و زنان مصر به چشم میخورد. در سال ۱۳۴۲ خورشیدی، پس از انتصاب اسدالله علم به ریاست دانشگاه پهلوی شیراز، عمارت باغ ارم به اقامتگاه وی تبدیل شد و سه سال بعد، با انتصاب او به وزارت دربار، این عمارت در زمرۀ کاخهای سلطنتی قرار گرفت. این باغ و عمارت آن همواره بهعنوان نمادی از هنر و معماری دورۀ قاجار و میراث فرهنگی ایران مورد توجه بودهاست.