غار بابا جابر در دامنه شمالی کوه باباجابر قرار گرفته و رودخانه لعل بار، از شاخه های اصلی قم رود، از پایین آن میگذرد. غار دارای دو دهانه و در ارتفاع ۱۷۰۰ متری از سطح دریاست. دهانه شرقی، بالای یک پرتگاه ۶ متری قرار دارد و ورود از این دهانه به غار مشکل است.