На врху Кајмакчалана постоји мала црква посвећена Светом Илији. Црква као и костурница су саграђене од остатака граната и оружја која су се користила током жестоких борби на овом простору у време Првог светског рата.
У костурници испод капеле почивају кости више од 4600 српских војника који су дали своје животе за пробијање Солунског фронта и за ослобађање Србије. На костурници се налази посвета краља Александра Карађорђевића посвећена јунацима који су дали своје животе за ослобођење отаџбине:
„Мојим див-јунацима неустрашивим и верним, који грудима својим отворише врата слободи и осташе овде као вечни стражари на прагу отаџбине.“
Др. Ачибалд Рајс
У цркви Светог Илије се чува урна са срцем Др. Арчибалда Рајса, швајцарско-немачког научника који је настојао да свету привуче пажњу на страдање српских цивила током Великог рата. Син немачког земљопоседника из Бадена проглашен је капетаном прве класе војске Краљевине Србије, одликован за храброст на Солунском фронту и постао носилац Албансе споменице.
Годинама наком Првог светског рата, Рајс је радио на унапређењу криминалистичке технике МУП-а Србије. Радио је и у Министарству дипломатије бранећи интересе Србије на међународној сцени. Али, веома брзо је доспео у сукоб са члановима владе, пре свега тадашњим премијером Николом Пашићем. Критиковао је однос власти према ветеранима и ратним инвалидима и разочарао се због корупције и сплетки у српској политици. После повлачења из јавног живота преминуо је 1929. Према његовој жељи из тестамента, срце му је однето на Кајмакчалан и положено у Урну на којој пише:
„Овде у овој урни, на врху Кајмакчалана златно срце спава, пријатеља српског из најтежих дана, војника правде истине и права, Швајцарца Рајса.“
На жалост бугарски војници су почетком Другог светског рата сломили урну са посветом а његово срце бацили у камењар.
На стогодишњицу од Кајмакчаланске битке (2016) Србија је обновила капелу и костурницу.
