قلعه باقر آباد به دستور عبدالرحیم خان فرزند محمد تقی خان بافقی با حفر قنات در سال ۱۳۲۰ ه.ق در سه مرحله ساخته شد، که ابتدا برج شمالی رو ساختند و بعد قسمت برج جنوبی که ده سال بعد ساخته شده ، در سال ۱۲۹۸ هجری شمسی به علت هرج و مرج در کشور مردم روستا دور قلعه رو حصار کشیدند،. این قلعه با مصالح خشت و گل بنا شده و برج شمالی قلعه با ارتفاع ۸ متر دارای ۲ طبقه،۳ سنگ انداز و ۱۴۰ تیر اندازه.