По благословению архиепископа Полтавского и Переяславского Иоанна (Петина) в саду имения граф Капнист построил временную часовню, куда 23 апреля 1881 г. была перенесена икона. Службу перед ней, чередуясь, совершали два священника. 21 мая того же года граф В.И. Капнист получил первое заверенное подписями письмо о чуде от иконы: мещанин М.К. Миргородский из селения Солоница Кременчугского уезда сообщал об исцелении от падучей своего 10-летнего сына. Несколько подобных писем было получено только в течение июня. 4 июля в Козельщину прибыла комиссия для исследования чудес от иконы. Отчёт о результатах дознания был отправлен на рассмотрение епархиального начальства. Всего с июня 1881 г. по июнь 1889 г. было отмечено 48 письменно заверенных случаев исцеления от Козельщанской иконы Божьей Матери. Значительные денежные пожертвования сделали возможной скорую постройку храма. Закладка первого камня церкви в честь Рождества Пресвятой Богородицы была совершена 8 сентября 1881 г., спустя год освятили храм. Однако икона была перенесена из часовни в храм (находился почти в полукилометре от имения) только 3–4 июня 1886 г., после учреждения указом Синода при Богородице-Рождественском храме общины. Впоследствии община была возведена в степень нештатного общежительного Козельщинского в честь Рождества Пресвятой Богородицы монастыря. После закрытия монастыря в 1929 г. Козельщанскую икону Божьей Матери, которую хранили в специальном сейфе в нише, игуменье Олимпиаде II (Вербецкой или Вербицкой) удалось тайно вынести из храма и спрятать в монастырском скиту Обиток близ села Потоки на берегу реки Псёл (в 28 км от Козельщины). До 1932 г. образ находился в скиту, затем сохранялся сёстрами обители в частном доме в Кобеляках, там Козельщанская икона Божьей Матери пребывала и в период, когда сёстрам представилась возможность вернуться в обитель (1941–1949 гг.). В послевоенное время до возобновления монастыря икона хранилась в Киеве на квартире, где жила монахиня Агапита, затем монахиня Анфиса. В конце февраля 1993 г. митрополит Полтавский и Миргородский Филипп (Осадченко, в то время игумен), священник Пётр Дурко, игуменья Ираида (Кравцова) сопровождали Козельщанскую икону Божьей Матери из Киева в родную обитель. На пути следования иконы останавливались для поклонения верующих в Троицком и Успенском храмах в Кременчуге, в Никольском храме в Комсомольске Полтавской области. В каждом храме соборно служили водосвятные молебны с чтением акафиста. Вечером 23 февраля 1993 г. икона прибыла в Козельщинский монастырь. Козельщанская икона Божьей Матери написана маслом на доске небольшого формата (34,5×23,5 см; размер, указанный в Сказании – 8×6 вершков, т.е. 35,5×26,7 см). Первая серебряная массивная риза была возложена на икону, как полагают исследователи, Прасковьей Козельской.