台東舊稱「埤南覓」,俗稱「後山」,從前是原住民群居的地方,直到清朝康熙年間,漢人才到台東從事貿易和農耕。
光緒元年,清政府在後山設卑南廳,光緒十年,提督張兆連率鎮海後軍營設在今台東市中華路。光緒十三年台灣建省,卑南廳升格為台東直隸州。光緒十四年六月,因水尾墾撫局的委員雷福海征收各地田畝清丈費過苛,大庄客民劉添旺結合附近墾民及平埔族人起事,七月戰火延燒到埤南,呂家望(今卑南鄉利家村)等山胞部落起兵燒毀埤南廳署,圍攻張統領的鎮海後軍,堡壘內沒有水井,官兵們口渴得已經無法忍受,張統領命陳添等人臨時挖井,挖了九仞深,還沒有得到泉水,於是張燒香向媽祖膜拜禱告,說也奇怪,剎那間甘泉立即湧出,軍心大振。苦守半個月後,台灣巡撫劉銘傳派援軍乘輪船趕到,事件因而平定。光緒十五年,張兆連提督為感謝媽祖的救助,捐俸倡議建廟感恩,並發動部屬及地方士紳共襄盛舉。同年秋派員前往前山採辦各類建築材料,歷時一年落成,光緒皇帝賜頒「靈昭誠佑」匾額一幅。