باغ تاریخی سیف الدوله یکی از قدیمی ترین بوستان های طبیعی غرب کشوره که در شمال شرقی ملایر و در دامنه کوه گرمه در مساحتی در حدود ۱۰ هکتار، واقع شده. این باغ در سال ۱۲۷۶ هجری قمری توسط نور سلطان محمد میرزای سیف الدوله حکمران ملایر در دوره ناصرالدین شاه به منظور تفرجگاه و تفریحگاه مردم شهر وقف شد. این باغ به تقلید از شیوه باغ سازی دوره صفویه در اصفهان (چهارباغ اصفهان) ساخته شده. در واقع به این دلیل که سیف الدوله مدتی در اصفهان زندگی می کرد، این عامل را در باغ سازی به این روش که در معماری قبل از دوره صفویه و قاجار هم معمول بوده رو بی ثمر نمی توان دانست. این بوستان دارای دو استخر و یک مسجد می باشد که توسط سیف الدوله احداث شد و ساختمانی که ظاهراً محل سکونت بانی آن بوده.
در محوطه این پارک که در گذشته محل سکونت اختصاصی حاج سیف الدوله بود، آرامگاه وی و مزار امیر المؤید (نوه سیف الدوله که در واقع مالک اصلی پارک و اراضی اطراف آن بود) و ۷ قبر دیگر بنا شده است. این مقبره دارای پلان چهارضلعی می باشد که بر فراز آن گنبدی واقع شده است. در داخل مقبره علاوه بر اتاق بزرگی در وسط با پوشش گنبدی شکل، ۴ اتاق کوچک مربع شکل به ضلع ۴ متر با پوشش نیم گنبدی نیز بنا شده که هر کدام با دو ورودی به بیرون راه پیدا می کنند و با دو ورودی به داخل مقبره ارتباط می یابند. در داخل مقبره تابلویی بزرگ که بر روی آن آیاتی از قرآن نگاشته شده به چشم می خورد و نیز چند عکس از سیف الدوله، امیر المؤید و افراد خانواده وی مشاهده می شود.
در اوایل دوره مشروطیت و هنگامی که هرج و مرج کشور را فراگرفته بود، این پارک بارها مورد غارت قرار گرفت و خسارت ها و ویرانی های بسیاری بر آن وارد شد ولی سیف الدوله با علاقه ای خاص اقدام به جبران خسارت ها نمود و تا پایان عمر عهده دار این امر بود. پس از سیف الدوله نوه ایشان عهده دار این امر گردید و در وصیت نامه خود این باغ رو به شهرداری شهر واگذار کرد و از آن پس حفظ و نگهداری این مجموعه تاریخی بر عهده شهرداری ملایر قرار گرفت.