Jest najstarszym istniejącym cmentarzem na terenie miasta. Data jego powstania nie jest dokładnie znana, ale przyjmuje się, że stało się to w okresie między 1801 a 1805 r. Teren, na którym leży cmentarz, należał wcześniej do folwarku biskupiego Psiarnia, który został poddany pod koniec XVIII wieku upaństwowieniu tak samo jak inne dobra, będące w posiadaniu biskupów krakowskich. Sama nekropolia została utworzona na skutek zarządzenia ówczesnych władz austriackich, które ze względów sanitarnych nakazywały grzebanie zmarłych poza granicami miasta. W ciągu swego istnienia cmentarz był poszerzany by pomieścić większą liczbę grobów. W 1818 roku cmentarz został powiększony w kierunku północno-wschodnim. W latach 1860–1862 nastąpiła rozbudowa w kierunku południowym zgodnie z projektem Aleksandra Dunina-Borkowskiego, a w okresie od 1882 do 1884, według projektu Franciszka Ksawerego Kowalskiego, poszerzono go dalej na południe oraz postawiono mur od strony obecnej ulicy ks. Piotra Ściegiennego. Ostateczne zakończenie zwiększania powierzchni cmentarza nastąpiło w 1926 roku. 30 października 1980 roku Cmentarz Stary został wciągnięty decyzją Wojewódzkiego Konserwatora Zabytków do rejestru zabytków nieruchomych.