Erem Pięciu Męczenników jest jednym z dwóch czynnych dzisiaj klasztorów kamedulskich w Polsce, należących do pustelniczego zakonu męskiego nazwanego Kongregacją Eremitów Kamedułów Góry Koronnej. Dzieje eremu zapoczątkowała w1663 r. fundacja Alberta Kadzidłowskiego, starosty radziejowskiego – właściciela pobliskich Gosławic, wieńcząca starannie bernardynów kazimierskich oraz samych kamedułów, uznawanych za kontynuatorów duchowej tradycji św. Romualda, z której wywodziło się Pięciu Braci. Z eremem sąsiadowała jedna z kaplic sanktuarium poświęcona św. Barnabie, wskazywana przez tradycję jako miejsce męczeństwa jego współbraci.
Kościół Bieniaszewski, otwarty w 1666 r., został poświęcony Ofiarowaniu NMP. Erem tworzyło ponadto osiem drewnianych domków (cel) i zabudowania gospodarcze. Drewniana świątynia spłonęła w 1741 r. Murowany kościół powstał w latach 1760 – 1781.
Władze cesarskie w 1819 r. poleciły zakonnikom opuszczenie pustelni. Kilku nie wypełniło nakazu. Ostatni z nich – o. Karol Piankowski zmarł w Bieniszewie w 1846 r. W 1860 r. władze sprzedały klasztor, nakazując rozbiórkę kościoła. Nabywca, Karol Mielżyński, nie wykonał tego polecenia. Kolejny właściciel, Stanisław Mańkowski wspierał odbudowę obiektu. Kameduli powrócili do Bieniszewa w 1937 r. W 1940 r. czterech pustelników zostało aresztowanych przez hitlerowców. W obozach Sachsenhaus i Dauchau stracili życie: o. Krystian Ochoński oraz słudzy boży o. Cherubin Kozik i o. Alojzy Maciej Poprawa. Więzienne cierpienie przeżył o. Florian Niedźwiadek, który został pierwszym powojennym przeorem. W czasie okupacji klasztor zajęło Hitlerjugend dokonując wielu profanacji zniszczeń.
Zespół klasztorny w Bieniszewie oprócz kościoła tworzą: budynki nowicjatu, refektarz i biblioteki (z XX w.), kompleks bramy z 1. poł. XVIII w. oraz współczesne domki eremitów.
Kościół pw. Narodzenia NMP jest budowlą późnobarokową, trzynawową o układzie bazylikowym z dwoma wieżami. Budowniczy, Czech Jan Adam Stier, współpracował z włoskim architektem Janem Catenazzim oraz Pompeo Ferrarim. Polichromię w kaplicy św. Krzyża wykonał w 1756 roku Jan Petri. Przedstawia ona m.in. obraz Sądu Ostatecznego i sceny znalezienia św. Krzyża. Wyposażenie chóru stanowią dębowe stalle z 1755 r. Zakrystię zdobi rokokowa polichromia z widokami polskich pustelni kamedulskich. W kościele znajdują się relikwie Pięciu Braci Męczenników. W rokokowym ołtarzu głównym widnieje scena Ofiarowania Najświętszej Maryi Panny i łaskami słynący obraz Matki Bożej Pocieszenia z Dzieciątkiem.
We wszystkie niedziele w roku oraz w niektóre uroczystości kościół klasztorny jest otwarty dla wszystkich wiernych, a dla mężczyzn każdego dnia w wyznaczonych godzinach. Odpust w Bieniszewie przypada 8 września w uroczystość Narodzenia Najświętszej Maryi Panny.
Lasy w gminie Kazimierz Biskupi należą do najbogatszych siedlisk fauny i flory w Wielkopolsce. Znaczna ich część to pozostałość po historycznej Puszczy Kazimierskiej, która w początkach XIX w. zajmowała 65 procent obecnej powierzchni gminy.
Do dziś zachował się kompleks leśny obejmujący 22,65 km2, drugi co do wielkości w powiecie konińskim. Jego południową część stanowi Puszcza Bieniszewska. Wydzielono tam cztery rezerwaty przyrody: Sokółki (240 ha), Bieniszew (144 ha), Mielno (94,5 ha) i Pustelnik (100,25). Te wydzielone obszary, w których wolno poruszać się tylko wyznaczonymi szlakami, służą ochronie wybranych gatunków roślin i zwierząt. W sąsiedztwie drzewostanów sosnowych spotkać można skupiska: olch, dębów, buków, grabów, brzóz, lip, wiązów, jesionów, grochodrzewu czy osiki. Urozmaicone jest runo leśne. Bogata jest także szata roślinna torfowisk, terenów bagiennych i jeziorek śródleśnych. Tereny te są ostojami dzikiego ptactwa, a także jeleni, saren, dzików, zajęcy, lisów oraz wielu innych zwierząt. Do największych akwenów w okolicy należą jezioro Głodowskie (na południowo-wschodnim krańcu Puszczy Bieniszewskiej) i Gosławskie, sąsiadujące z ciągiem jezior konińsko-ślesińskich.
Przez tereny leśne, skrajem rezerwatów przyrody, przebiegają piesze szlaki turystyczne oraz trasy rowerowe. W okolicy klasztoru w Bieniszewie znajduje się także ścieżka przyrodnicza, na trasie której ustawione są tablice informacyjne wskazujące na ciekawostki natury, zwyczaje dzikiej zwierzyny. Przy szlakach turystycznych zobaczyć można pojedyncze okazy pomnikowych dębów.
