Заздрість і крамоли проти Андрія його родичів-князів, настільки звичайні на Русі в давнину, не змусили князя захищати свої права і владу також крамолою; він не підняв і відкритої боротьби – не взявся за зброю, що так часто бувало в подібних випадках. Лагідний князь відмовився від свого уділу, кинув все своє надбання і зник з вітчизняного міста. Бідним мандрівником Святий Андрій з'явився в місто Переяславль-Залеський (близько 1360 року) і оселився при церкві святого Миколая Чудотворця біля міських воріт. Деякий час по тому смоленський князь був прийнятий паламарем до цієї церкви і в такій скромній посаді трудився тридцять років, приховуючи від усіх своє знатне походження. 
Сказання не описують подвиги святого князя-паламаря, але вже одне це хіба не великий подвиг-залишити князювання, сім'ю, рідне місто і стати паламарем при бідній церкві чужого міста? Коли Святий Андрій преставився (близько 1390 року), на його тілі знайшли золотий ланцюг і перстень – знаки княжої гідності, важкі залізні вериги – знак його подвижництва, а також малу хартію, на якій рукою покійного було написано: «Аз єсмь Андрій, єдиний від смоленських князів. Заздрості заради і крамоли від братів моїх залишили князювання моє і будинок та інше"»
Бідного паламаря поховали при Микільській церкві, при якій він проходив своє скромне служіння, причому його тіло обернули берестою.
Багато років минуло відтоді, але жителі Переяславля пам'ятали про подвижника-паламара. Скоро після смерті почали шанувати його святим і святкувати пам'ять в день кончини – 27 жовтня; написали його образ; склали службу – особливі стихири і канон. Але потім, близько половини XVI століття, святкування пам'яті святого Андрія чомусь припинилося, і про подвижника стали забувати. У той час в Переяславі-3алесском трудився преподобний Данило, уродженець цього міста, який, ймовірно, добре знав усні перекази про Святого Андрія і відвідував храм, при якому угодник служив паламарем, і його могилу, бачив його образ і вериги. Преподобний вирішив сприяти прославлянню святого князя Андрія.
В останній рік життя преподобному Данилу сталося бути в Москві у справах своєї обителі. Він просив у малолітнього государя Іоанна Васильовича IV, свого хрещеного сина, і у митрополита Іоасафа (1539-1542) коштів на будівництво застарілих церков міста Переяславля в ім'я Іоанна Предтечі (у західних міських воріт) і в ім'я святителя Миколая. Потім преподобний розповів царю і митрополиту, що при Микільському храмі лежать мощі святого Андрія, князя Смоленського, і просив дозволу оглянути їх. Він передав ті усні розповіді, які ходили в Переяславі про святого угодника, згадав про те, що раніше пам'ять його в Микільській церкві святкувалася щорічно, вказував на службу святому і його образ і гірко скаржився на те, що жителі Переяславля перестали згадувати про святого угодника Божого. "Для того сповістив я все це державі твоїй, государ, – говорив преподобний, – щоб не прийшов у забуття такий святий. Боюся, щоб за мовчання своє я не був винен осуду».
Государ відпустив кошти зі своєї скарбниці на будівництво нових храмів на місце застарілих і разом з митрополитом дозволив преподобному Даниїлу і місцевому духовенству розкопати могилу святого Андрія і оглянути його мощі, що лежать в землі. Коли преподобний, повернувшись в Переяславль, сповістив про цю милість, все так зраділи, що хотіли дзвоном збирати народ на торжество відкриття мощей. Але один священик зауважив: "Якщо Богу буде завгодно явити мощі раба Свого, то без дзвону зробимо молебень і підемо до могили угодника. Тоді стане ясно, чи завгодно це справа Богу і самому святому».
Так і вчинили. Відспівали молебень і, розібравши надгробок, розкопали могилу. Виявилося, що хоча тління і торкнулося мощей святого, проте тіло було ціле; склади не відокремилися один від іншого. Незважаючи на те, що про торжество не сповіщали навмисне, на нього зібралося безліч народу. І коли святі мощі викопали і відгребли з них зотлілу бересту, багато недужі брали її шматочки і отримували зцілення. Оглянувши мощі святого князя Андрія і не виймаючи їх із землі, преподобний Данило послав донесення царю і митрополиту. З Москви для офіційного огляду мощей були надіслані архімандрит Чудовського монастиря Іона і протопоп Успенського собору Гурій. Коли вони оглянули мощі святого угодника Божого, Іона запитав преподобного Даниїла: "Навіщо ти свідчив ці мощі? Хто наказав тобі це?»
Преподобний був сильно засмучений докірливими словами іони. Він заплакав і говорив, що вчинив не самовільно, а з дозволу царя і митрополита, які наказали йому оглянути мощі святого Андрія; вказав на його образ; послався на службу святому. Нарешті він представив трьох осіб, які отримали зцілення від недуг при відкритті мощей: управитель царських сіл Іоанн Оклячеєв сказав, що він зцілився від довголітньої головної хвороби після дотику до мощей святого князя; одна жінка з Переяславля розповіла, що три роки вона страждала важкою хворобою горла, не могла вимовити слова, але коли при відкритті мощей святого Андрія вона взяла шматочок берести і проковтнула його, негайно відчула полегшення і стала говорити; інша жінка також за допомогою берести від мощей святого зцілилася від тривалої очної хвороби.
Але ні доводи преподобного Даниїла, ні засвідчені чудеса святого князя Андрія не переконали Йону і Гурія. Іона звернувся до преподобного з такими словами:»Преосвященний митрополит нічого не сказав мені про святих мощах і не дав ніякого наказу".
Це означало, що митрополит Іоасаф залишив справу на вирішення самих іони і Гурія, а вони вважали недостатньо ясними свідчення про святість князя Андрія і відмовлялися прославити угодника Божого церковним святкуванням. Преподобний Данило сильно засмутився рішенням митрополита і посланих ним слідчих і передбачив, що за невіру в святість угодника Божого всіх трьох спіткають скорботи: митрополит скоро буде повалений з престолу, Іоне передбачив різні нещастя, Гурію – позбавлення улюбленого сина. Спочатку вони зніяковіли, почувши грізні передбачення подвижника, потім сказали, що від старості він позбувся сенсу (в той час преподобному було 80 років) і говорить неналежне. Однак пророцтво преподобного Даниїла точно збулося.
Турботи подвижника про прославлення святого князя Андрія не пропали марно. З того часу спогад про святого князя знову ожив у Переяславі-Заліському, і пам'ять його почали святкувати місцево. Указом Святійшого Синоду 1749 року місцеве святкування благовірному князю Андрію було затверджено; указом пропонувалося: на всіх службах в церквах міста Переяславля поминати святого князя Андрія поруч з іменами інших угодників Переяславських.
Чудеса при його гробі продовжили відбуватися. Так, під час однієї пожежі дерев'яна Церква святителя Миколая згоріла дотла, але труна святого князя, його образ, що стояв над труною, пелена і ікона Богоматері на гробі залишилися цілі і неушкоджені.
Благовірний князь Андрій був зарахований до лику святих в XVI столітті, але мощі його були залишені під спудом.

У 2000 році з благословення Святійшого Патріарха Алексія II були знайдені мощі святого князя із залишками стародавнього гробу-колоди. Раку з мощами святого постійно перебуває в Нікольському жіночому монастирі.