碧雲寺在枕頭山半山腰，亦屬白河鎮仙草里，由大仙寺沿環山公路蜿蜒而上可直達。

清乾隆57年，李應祥先生自大陸泉州渡海來台，初卜居阿公店（今岡山鎮），不久即雲遊至大仙寺，並繼鶴齡禪師之後擔任大仙寺第三任住持，即人稱之應祥禪師。嘉慶元年（距今210年），應祥禪師在枕頭山南腰覓得半壁弔燈靈穴，乃結廬迎請大仙寺之觀音神像（俗稱正二媽）來此奉祀，是為本寺創立紀元。縣府文化局委託調查的碧雲寺建廟歷史即是嘉慶元年，並在重建碑記載明，但寺方所記錄之建廟年代為清康熙40年，兩者相差95年，為尊重廟方，最後縣府妥協，將重建碑記之建廟年代刪除，僅說明寺廟特色，而由寺方管理委員會另立有年代之碑記。不過因爭議太大，至今尚未立碑。

隨後番社（東山）、安溪、土庫之儒生林啟邦等八人及一書童，因慕應祥師之名，來此拜為尊師，並於寺旁大岩石頂（今九股仔菜園學地）上設寮攻讀。嘉慶11年渡海赴福州應試，師徒九人均上榜，眾人為報應祥恩，於嘉慶13年集資一千元，購其拓墾之山田（俗謂九股田學地）新建寺宇，寺成稱碧雲寺，是為新巖，有別於大仙寺之舊巖，然隸屬大仙寺，同一住持，同一會計。嘉慶16年，張士輝等鳩資320圓，向六重溪、糞箕湖之大武壟派社番人購地以為寺內經費來源。

道光24年（距今162年）5月，本寺因兵災遭焚毀，東山鄉民乃迎請觀音菩薩至東山，建簡單寺堂安奉。嘉義縣營參府軍官洪志高聞悉，乃發起募建「東山碧軒寺」以安奉觀音菩薩，因此本寺與碧軒寺係同一主佛，162年來，均保持密切關係，每年農曆12月23日碧軒寺觀音均回碧雲寺刈香，至翌年正月初十回鑾，由東山經六重溪，形成一條刈香古道，這東山迎佛祖活動也成為東山鄉民每年的一大盛事。咸豐元年（1858年），洪志高又捐資建清虛宮天壇，民國43年新建清虛宮，即由此天壇重修移建。同治八年吳志高重修一次，日據後發生抗日事件，日軍包圍碧雲寺，損毀頗重。光緒30年，廖炭集資重建碧雲寺，費時六年，陸續完成大雄寶殿、南北平房之客室、寺眾禪房等，自是香火漸盛。民國20年，大仙寺暨碧雲寺管理人均為廖炭，然番社庄長陳按察因憤廖炭只建設大仙寺，而不修復碧雲寺，於是向日法院提出告訴，經白河庄長林占春及地方仕紳調解，廖炭只好將碧雲寺產全部交與番社人管理，自此碧雲寺、大仙寺正式分家，陳按察開始組織管理。同年因原有建築陳舊，在陳按察發起之下，廟宇重新改建，大殿亦改建完工，還有觀音菩薩聖像，善財良女及十八羅漢金身皆此時完成。民國43年，清虛宮（天公廟）完工，先總統  蔣公親臨獻香，並蒙賜匾額「凌霄寶殿」，為本寺帶來無上殊榮。