کاروانسرای قلعه خرگوشی یکی از مهمترین کاروانسراهای دوره صفوی است که ساخت آن را به زمان حکومت شاه عباس صفوی نسبت می دهند. در واقع، قلعه خرگوشی یکی از همان ۹۹۹ کاروانسرایی است که به دستور شاه عباس در مسیرهای اصلی آن زمان ساخته شده است.تمام این بنای ۸۰×۸۰ متر از سنگ گرانیت و آجر ساخته شده است. حتی صفه ها، حجره ها و اصطبل بنا هم سنگی هستند و این شاید مهم ترین دلیل استوار ماندن قلعه خرگوشی تا امروز باشد .شاید جالب ترین تزئین بنا که در نگاه اول نظرتان را جلب می کند، کتیبه ای باشد که بر سر در ورودی نصب شده و روی آن به خط "علی رضا عباسی" خطاط معروف عصر "شاه عباس" نوشته شده است.