Некогда на острове Палей в 6 км от села Толвуя стоял Палеостровский монастырь.
По преданию, его основал в XII в. инок Корнилий, уроженец Пскова, живший в пещере меж каменных глыб, а впоследствии на этом месте появились монастырские здания. Легенда не подтверждена документально, но монастырь действительно один из древнейших в крае, в начале XV в. он уже существовал. Точно известно, что там жил инок Зосима, будущий основатель Соловецкого монастыря.
К концу XVI в. монастырь разросся, его облик, судя по описаниям, был весьма внушителен для этих мест – три церкви, жилые и хозяйственные постройки, прочная ограда. В смутное время обитель разорили, и она почти обезлюдела. К середине XVII в. ее восстановили, однако жить в мире ей не пришлось: монастырь дважды захватывали раскольники, а в конце 1680-х здесь произошли массовые раскольнические самосожжения. В пожарах погибли все древние монастырские здания.
В конце XVII – начале XIX в. обитель отстроили заново. В 1795 г. возвели деревянную церковь Ефрема Сирина, а в 1820-х гг. – каменный собор Рождества Богородицы. Возникли деревянные и каменные кельи. Но попытка возрождения не удалась. Монастырь захирел, так и не обретя былого значения. После революции его ликвидировали, конфисковав имущество, а на монастырской территории устроили совхоз.
Сейчас от обители остались главный корпус с домовой церковью, некоторые здания и часть ограды.