در سال ۱۲۹۷ هجری قمری، در قریهٔ چرمهین از توابع لنجان اصفهان، در خانهٔ حاج علیپناه مشهور به ارباب حاج آقا، پسری به دنیا آمد که نام او را رحیم نهادند. خاندان وی از اعیان دهاقین و بزرگان آن دیار بودند و به دلیل برخورداری از مال و ثروت، به لقب «ارباب» شهرت داشتند. پدر آقا رحیم، حاج علیپناه (فرزند عبدالله معروف به ارباب آقا)، در شعر تخلص «لنگر» داشت و سالها با شاعرانی چون عمان سامانی، دهقان سامانی و ملا محمد همامی همنشین بود. این فضای ادری و فرهنگی تأثیر ژرفی بر کودک خانواده گذاشت؛ چنانکه بسیاری از اشعار حافظ، مولانا و شاعران عرب را در دوران کودکی از زبان پدر و عمویش فراگرفت.
آقا رحیم ارباب بزرگترین فرزند خانواده بود و دو برادر و یک خواهر داشت. برادران وی نیز از افراد برجسته و دانشمند بودند: عبدالله ارباب (۱۲۹۸-۱۳۷۹ هجری قمری) از استادان بزرگ خط نسخ به شمار میرفت و قرآن و کتب دعا را با این خط مینوشت، و حاج عبدالعلی ارباب (۱۳۰۴-۱۳۸۴ هجری قمری) مردی باسواد و اهل کمال بود که مخارج خانواده را تأمین میکرد. هر دو برادر که از آقا رحیم کوچکتر بودند، پیش از او درگذشتند.
پدر و عمویش (ارباب حاج حسن) به دلیل ستمی که از سوی بختیاریها بر آنان رفته بود، ناگزیر به شهر اصفهان پناه آوردند تا دادخواهی کنند، اما حاکم وقت را فاسدتر از ستمگران یافتند و بدینسان برای همیشه در محلهٔ باغ همایون سابق (باغ تختی امروزی) ساکن شدند. محل سکونت آنان چهار خانهٔ تو در تو بود که پیرامون آنها اتاقهایی قرار داشت و هشت خانوار با حدود شصت نفر در کمال صلح و صفا در آن میزیستند. آقا رحیم ارباب تحصیلات مقدماتی خود، شامل ادبیات فارسی و بخشی از صرف و نحو را در زادگاهش چرمهین و نزد ملا محمد همامی فراگرفت.