История парка связана с моментом появления Собора Александра Невского, который был построен в 1824.  Тогда и решено было разбить сквер вокруг святыни. Крестьянин Н. Федовров и купец М.Смирнов вдвоем высадили более 1000 молоденьких лип. Изначально сквер назвали Александровским бульваром, но это название не прижилось. В народе кто-то в шутку назвал парк Липками, и название сохранилось и по сей день.

В начале 20 века парк был доделан окончательно. Липы подросли, вокруг них организовали клумбы с цветами, установили беседки, лавочки и фонтан. Территорию парка оградили разным забором, который был изготовлен на заказ.