Kaspar Schwarze wurde 1830 in Soest als Sohn konfessionsverschiedener Eheleute geboren. Er wuchs in ärmlichen Verhältnissen auf, erlernte das Schneiderhandwerk, wurde später Pferdeknecht und schließlich Gelegenheitsarbeiter. Wegen seiner zu geringen Körpergröße stellte man ihn vom Militärdienst frei. Nach Abbruch seines Elternhauses kam er in einer kleinen Wohnung im nahegelegenen Holtum unter. Hier lebte er zurückgezogen und mied den Kontakt zur Bevölkerung. Sein unvergleichliches Opferleben begann um 1870 nach Einführung der Gottesdienstform der „Ewigen Anbetung“ im Erzbistum Paderborn durch Bischof Konrad Martin. Dieser Ruf traf die Seele Kaspar Schwarzes, der nun in seiner kindlichfrommen Art die Anregung des Bischofs auf einzigartige Weise umsetzte. Er gab seinen erlernten Beruf, das Schneiderhandwerk, auf und widmete sich nur noch dem Gebet und stiller Beschaulichkeit. Von dieser Zeit an begann Kaspar Schwarze mit seinen Betgängen. Er kannte keine andere Lebensaufgabe mehr, als von einem Ort zum andern zu pilgern und überall die „Ewige Anbetung“ mitzufeiern. Bald konnte man sich im Sauerland keine „Ewige Anbetung“ mehr denken ohne Kaspar Schwarze. Gläubige Mitmenschen nannten ihn inzwischen „Bet-Kaspar, der ewige Anbeter“ oder auch in plattdeutsch „das Biärremänneken“. Fast 40 Jahre hindurch besuchte Kaspar Schwarze jährlich etwa 150 Kirchen auf seiner Pilgerschaft durch das Erzbistum Paderborn, um jeweils an der „Ewigen Anbetung“ teilzunehmen und war so im ganzen Land von Paderborn bis Hamm und von Werl bis Siegen als „Betkaspar“ bekannt. So wanderte er das ganze Jahr hindurch von Kirche zu Kirche, von Tabernakel zu Tabernakel, bei Hitze und Kälte, bei Regen und Schnee. An den Kirchen angekommen, begab er sich unverzüglich hinein und verweilte dort oft bis zum frühen Morgen im Gebet. Verpflegt wurde er bei gastfreundlichen Menschen und beim Pfarrer oder dessen Küster.
Im Jahr 1911 starb er im Mariannenhospital in Werl und wurde auf dem Parkfriedhof beigesetzt. Schon bald nach seinem Tod wurde das Grab zum Ziel vieler Pilger. 1933 wurde er auf dem Werler Friedhof in ein Ehrengrab umgebettet. Der Versuch, einen Seligsprechungsprozess einzuleiten, scheiterte jedoch wegen der Umstände in den Zeiten des Nationalsozialismus.