Родился около 340 года в Египте. С двумя своими братьями Анувием (IV в.; память 5/18 июня) и Паисием он ушел в один из египетских монастырей, где все трое приняли иноческий постриг. Преподобный Пимен проводил время в строгом посте и молитвенных подвигах и достиг такой высоты добродетелей, что вошел в совершенное бесстрастие.
Для многих иноков преподобный Пимен был духовным наставником и руководителем. Они записывали его ответы для назидания себя и других. На вопрос, как избавиться от навязчивых злых мыслей, старец отвечал: «Злые помыслы, внушаемые врагом нашего спасения, могут, словно искра, разжечь в человеке греховные пожелания. Надо тушить эти искры водой, то есть молитвой и устремлением души к Богу».
Преподобный говорил: «Человеку необходимо соблюдать три главных правила: бояться Бога, часто молиться и делать добро людям. Злоба никогда не уничтожит злобы; если кто тебе сделал зло, сделай ему добро, и твое добро победит его злобу».
Прославившись святостью своей жизни и глубокой назидательностью своих поучений, имея около 110 лет от рождения, египетский пустынник скончался около 450 года. Вскоре же он был признан святым угодником Божиим и в знак великого смиренномудрия, скромности, правдивости и самоотверженного служения Богу получил наименование Великий.