Na vrhu Kajmakčalana postoji mala crkva posvećena Svetom Iliji. Crkva kao i kosturnica su sagrađene od ostataka granata i oružja koja su se koristila tokom žestokih borbi na ovom prostoru u vreme Prvog svetskog rata.
U kosturnici ispod kapele počivaju kosti više od 4600 srpskih vojnika koji su dali svoje živote za probijanje Solunskog fronta i za oslobađanje Srbije. Na kosturnici se nalazi posveta kralja Aleksandra Karađorđevića posvećena junacima koji su dali svoje živote za oslobođenje otadžbine:
„Mojim div-junacima neustrašivim i vernim, koji grudima svojim otvoriše vrata slobodi i ostaše ovde kao večni stražari na pragu otadžbine.“
Dr. Ačibald Rajs
U crkvi Svetog Ilije se čuva urna sa srcem Dr. Arčibalda Rajsa, švajcarsko-nemačkog naučnika koji je nastojao da svetu privuče pažnju na stradanje srpskih civila tokom Velikog rata. Sin nemačkog zemljoposednika iz Badena proglašen je kapetanom prve klase vojske Kraljevine Srbije, odlikovan za hrabrost na Solunskom frontu i postao nosilac Albanse spomenice.
Godinama nakom Prvog svetskog rata, Rajs je radio na unapređenju kriminalističke tehnike MUP-a Srbije. Radio je i u Ministarstvu diplomatije braneći interese Srbije na međunarodnoj sceni. Ali, veoma brzo je dospeo u sukob sa članovima vlade, pre svega tadašnjim premijerom Nikolom Pašićem. Kritikovao je odnos vlasti prema veteranima i ratnim invalidima i razočarao se zbog korupcije i spletki u srpskoj politici. Posle povlačenja iz javnog života preminuo je 1929. Prema njegovoj želji iz testamenta, srce mu je odneto na Kajmakčalan i položeno u Urnu na kojoj piše:
„Ovde u ovoj urni, na vrhu Kajmakčalana zlatno srce spava, prijatelja srpskog iz najtežih dana, vojnika pravde istine i prava, Švajcarca Rajsa.“
Na žalost bugarski vojnici su početkom Drugog svetskog rata slomili urnu sa posvetom a njegovo srce bacili u kamenjar.
Na stogodišnjicu od Kajmakčalanske bitke (2016) Srbija je obnovila kapelu i kosturnicu.
