全省三大古剎台北龍山寺、台南開元寺及南投縣鹿谷鄉鳳凰山寺，在清嘉慶年間，經嘉慶皇帝遊台灣下旨敕封，而鳳凰山寺歷經四度改造，主祀陰哪山慚愧祖師，祂為什麼叫「慚愧」，到底是怎麼來的，至今縣文獻尚無明確記載，很多人不知其所以然。

根據前鹿谷鄉公所退休課長黃來旺，把故漢文學家張達修，所蒐集的資料公開建廟為200多年，另外，現任該廟主任委員林森斌，邀請台大研究員張簡堯所蒐集的資料，為300年歷史，而引起地方人士相當重要關鍵，希望考史專家深入証實，將這個謎底揭開。

首先就黃來旺把故漢文學家張達修所蒐集的資料，在一本阮通志著作的潮州府志中找到線索，再重新考證後所寫下來，據潮州府志嘉慶三十志方外篇記載，「慚愧」是別號，這個人姓潘，福建沙縣人，唐元和12年3月25日出生，出生時在拳曲，因而名「拳」，彌月時，有一遊僧至，其父抱他出來，僧書「了」字於其拳，立即伸張，遂更名為「了拳」，12歲父母先後亡故，依靠叔母，由於生活困苦，17歲去潮黃砂社車上村，即今大埔縣，依游氏為母。


了拳少時即皈佛，曾在大埔的赤巖嶺，以指甲寫「大生石頭」四字在石，大如拳頭，歷風雨剝落，點畫宛然。祂的由來，係了拳曾語其徒曰：「從前佛祖皆宏演法乘自便以度人，我未能也，心甚愧之，圓寂後，藏我骸于塔，當顏其額日慚愧」。

鳳凰山寺奉祀慚愧祖師，據該廟先前主委林勳及鄉長陳錫梧，就鄉公所資料為二百年，是清嘉慶年間，有莊昧者，由福建率數十人渡海來臺，在昔之頂城，結草為廬，奉慚愧祖師公香火禮拜，也稱頂城祖師公。

同治十三年，日軍以日人在恆春失蹤為由，藉端進剿牡丹社，清廷派欽差大臣沈葆楨辦臺灣防務，至臺奏朝廷開闢橫貫東西之戰徑，以便呼應，中路以福建寧總兵吳光亮為統領，偕其兄吳光忠由竹山東進，開山時紮營於頂城附近，以該地有蕃人騷擾，每日清晨必躬禱於祖師，虔求庇佑，並發願他日開山順利，將重建廟宇，以答神庥，吳光亮贈獻「佑我開山」匾額，至今仍懸廟前門楣之上。

吳光亮以不屈不撓之精神，終將沿八通關秀姑巒隘道貫通，當開工抵鳳凰山麓時，為紀念特大書「萬年亨衢」四大字於巨石，草書遒勁，勒於道上，至今尚存的一級古蹟。

吳光亮由於鑿險有功，光緒三年擢升鎮臺，駐守臺南，以當年許願重建祖師公廟，乃馳書告頂城人士，並派吳維謨地理師扺頂城，與當地林吃來等人會商，勘查新廟地，並繪成圖樣，盤桓數日，一切商討就緒，並擇吉興建，當地推林吃來、黃玉山、黃水秀等專程南下取銀兩、惟當時交通不便、徒步抵達時，吳光亮已先二天奉調回京，重建遂作罷。

台灣光復後，頂城改為鳳凰村，鳳凰山寺因而得名，現之廟貌，是民國43年，第三次募資重建以後四次再整修，建坪200餘坪。

該寺重建後之時，當年之省議長黃朝琴與彰化縣長陳錫卿，分別題贈「光明普照」與「靈昭海甸」匾額，民國68年謝副總統題「福佑生民」匾額乙方，更使鳳凰山寺，聲譽倍增。