Исследователи полагают, что духовную музыку О.А. Козловский сочинял по конкретным случаям; оба его хоровых концерта могли быть написаны как для богослужений в ставках Г.А. Потёмкина на юге, так и для домовых церквей в Санкт-Петербурге. Есть версия, что концерты были сочинены для исполнения крепостной капеллой П.Б. Шереметева в Москве. Евгений Михайлович Левашёв датирует эти сочинения 1795–1797 гг., концерт «Плачу и рыдаю» – летом 1795 г., когда композитор работал в подмосковной останкинской усадьбе П.Б. Шереметева над постановкой оперы «Взятие Измаила». Эти произведения долгое время существовали в рукописях, объявление об их продаже в музыкальном магазине Х.Б. Гене в Москве свидетельствует о том, что концерты были популярными и распространялись среди любителей хоровой музыки в виде рукописных копий. В реестре Х.Б. Гене концерты значатся как двухорные. Музыка «Изми мя, Господи» считается утеряной, концерт «Плачу и рыдаю» публиковался на рубеже XIX и XX вв. Петром Ивановичем Юргенсоном и Поликарпом Мироновичем Киреевым для четырёхголосного хора. В ряде рукописных сборников этот концерт ошибочно приписывается Дж. Сарти или Артемию Лукьяновичу Веделю (Российская национальная библиотека). Концерт «Плачу и рыдаю» неоднократно переиздавался в хоровых сборниках, существует большое количество его аудиозаписей. На примере концерта «Плачу и рыдаю» исследователи видят изменения, происходившие в русской духовной музыке в 1790 гг.: строгая соразмерность и уравновешенность мелодики, гармонии и формы, типичные для произведений классицизма, и в частности, для сочинений Дмитрия Степановича Бортнянского, сменяются эмоциональной неуравновешенностью и экспрессивной патетикой, характерными для сентиментализма и раннего романтизма. В ритме первой части концерта исследователи чувствуют связь с ритмами траурного марша, которые проявились в русской музыке в середине 1790 гг. А.М. Соколова назвала этот концерт «русским реквиемом», причислив автора «к группе тех русских мастеров, которые довели жанр хорового концерта до уровня философски значительного, высокого, общечеловеческого в своей художественной ценности искусства». В музыкальных произведениях католической традиции (Реквиеме и «Te Deum») О.А. Козловский опирался на собственный опыт работы в юности в варшавском костёле св. Яна, но, как полагают исследователи, также учитывал традицию исполнения реквиемов и «Te Deum» в России («Реквием» Доменико Чимарозы, 1787 г.; реквиемы Дж. Сарти, 1793 и 1798 гг.; «Te Deum» Дж. Сарти, Джузеппе Анзельми, Фердинанда Антонолини, Джованни Паизиелло). Реквием О.А. Козловского был исполнен 25 феврля 1798 г. на траурной панихиде по последнему польскому королю Станиславу Августу Понятовскому в католическом соборе св. Екатерины Александрийской в Санкт-Петербурге (партитура хранится в Отделе рукописей Санкт-Петербургской государственной консерватории имени Николая Андреевича Римского-Корсакова).