Последние годы жизни Я.С. Калишевского пришлись на тяжелейшее время октябрьского переворота 1917 г., гражданской войны, неоднократной смены власти в Киеве, установления режима большевиков. Софийский собор стал на некоторое время центром Украинской автокефальной православной церкви (липковского раскола), и в 1919 г. Я.С. Калишевский прекратил регентскую службу. Несколько месяцев он управлял Государственной хоровой капеллой имени Николая Витальевича Лысенко вместе с композиторами Николаем Дмитриевичем Леонтовичем и Яковом Михайловичем Яциневичем. В концертах капеллы исполнялись оригинальные произведения и аранжировки народных песен Н.В. Лысенко. В 1920 г., во время одного из артиллерийских обстрелов Киева, Я.С. Калишевский был ранен в ногу, которую пришлось ампутировать. Насколько хватало сил, он продолжал управлять хором Малой Софии (прежний хор, который не признал липковского раскола и перешёл в трапезную церковь Рождества Христова). Я.С. Калишевский скончался в бедности и одиночестве; погребён на киевском Байковом кладбище. Традиции хорового исполнительства Я.С. Калишевского продолжали его лучшие воспитанники: П.Д. Толстой стал преподавателем церковного пения в Киевской духовной семинарии, Пётр Григорьевич Гончаров – регентом хора Софийского собора и других церковных хоров, дирижёром Государственной капеллы «Думка», В.Ф. Татаров – регентом хора Софийского собора, А.И. Завадский – регентом рабочего хора типографии С.В. Кульженко, помощником регента в хоре Я.С. Калишевского, преподавателем пения в киевском Институте благородных девиц, учителем пения и руководителем хора первой киевской мужской гимназии (с 1910 г.), Иван Семёнович Козловский – выдающимся оперным певцом, Михаил Петрович Гайдай – дирижёром хора Владимирского собора (с 1949 г.). Выдающийся балетмейстер и танцовщик Серж Лифарь, который в детстве был солистом хора Я.С. Калишевского, оставил о нём воспоминания. Хорошо зная хоровую методику Я.С. Калишевского, Александра Антонович Кошиц, подобно ему, работал в разных коллективах (Академический хор Киевской духовной академии, хор студентов университета, Украинская республиканская капелла и др.). В частных собраниях сохранились рукописные ноты нескольких церковных произведений Я.С. Калишевского: «Слава», Тройная ектения, Великая ектения, Сугубая ектения №3, «Благослови, душе моя, Господа» (103-й псалом), «Господь воцарися», «Хвалите» №1 и 2, «От юности моея», «Во Царствии Твоем», Венчание («Исаие, ликуй»), «Душе моя», Великое славословие киевского распева, «Плотию уснув», «Христос воскресе» №1 и 2.