相傳它是從安徽舒州的延祚寺飛來，據說，軒轅大帝有兩位庶子，一個叫大禺，一個叫仲陽，他們修成正果后，來到清遠這個山清水秀的地方，很想在這里普傳佛教，廣渡眾生，于是就找到了延祚寺的兩個住持貞俊，瑞藹兩位大師商量，請求他們來這里廣結善緣，兩位大師也同意來到清遠，但當時的交通十分不便，從安徽到舒州，只有一條水路，需半年時間，再加上要籌款興建寺廟，要化上好幾年的時間，兩位仙人等不及了，于是到了晚上就運用神力，將整坐寺廟拔地而起，搬往我們清遠來，在他們搬的過程中,途時韶關南雄梅關的時候，突然聽到下面凡間的雞鳴，在這里,我想問一下大家，我們常說神仙神仙，大家知道不知道什么叫神?什么叫仙呢?我來告訴大家吧，神呢?是由玉皇大帝所欽封的，有司職的就叫神，好象灶君呀,土地君呀那些就叫神,一般呢,都是人死以后被敕封的，而仙呢，是靠自身的修練，得道成仙的，有著肉身的，好象八仙呀，什么桃花仙子，荷花仙子的，走正道的就叫仙，走歪道的就叫妖了。換句話說，神是天界上的官，而仙就是平民。仙人到了白天，他們的法力就會消失跟正常人一樣了，所以一聽到雞叫，兩位仙人心一急，加快了腳步，一不小心就將延祚寺的一角撞跌了，落在梅關上，所以梅關又有個寺叫掛角寺，跟我們飛來寺同一朝代所興建，據說就是飛來寺的一個角所變成的。兩位仙人終于在天亮以前將飛來寺搬到了我們清遠凝碧灣的上方，這里依山傍水，環境清幽，大家不防留意一下這里的山，你們看,四周的山上樹木都不多，就只有飛來寺這里樹木蔥郁，更奇怪的是，雖然樹木枝葉繁多，可是據說飛來寺大殿頂上卻終年不積落葉，按佛教來說就叫不惹塵埃。不過呢，現在科技已經解釋出來了，原來呢，這飛來寺位于兩山交界處，也是南北風匯合處，白天這里吹的是南風，到了晚上，風向就變了，變成北風了，所以呢，沒有落葉可以在大殿上停留，貞俊大師當時并不喜歡把大本營搬來這里，他一大早醒來，看到所處的不是舒州，到了晚上就想運用神力搬回去，卻聽到天空傳來一句佛褐："一動不如一靜"，于是飛來寺就從此在清遠扎根了。