В монастырь Арсения пришла в 17 лет, основала женское училище и библиотеку. В 42 года получила разрешение архиепископа Платона построить Казанский собор. Тогда игуменья приступила к созданию пещерного храма в притворе церкви Арсения Великого. Ей помогали духовные дочери, монахини Никодима, Агния и Викторина. В общей сложности удалось вырыть 165 метров. Но при жизни Арсении не удалось закончить дело. Пещеры засыпали.
Спустя годы жители раскопали ходы, и нашли каменную плиту с отпечатками ладоней и колен игуменьи Арсении, которая на этом месте молилась Матери Божьей. Паломники уверены, что плита обладает целебными свойствами.