Смертельно заболев, майордом произвёл раздел Франкского государства между сыновьями: Карломану достались Австразия и земли к востоку от Рейна, Пипин III Короткий получил Нейстрию, Бургундию и Прованс. Для того чтобы Пипин мог унаследовать часть родовых владений Пипинидов в Австразии, Карл Мартелл выделил так называемый Мозельский дукат, куда вошли Треверы и Меттис. По настоянию супруги Суннихильды майордом отвёл некоторые земли в центральной части государства младшему сыну Грифону. Согласно «Старшим Мецским анналам», Карл Мартелл, почувствовав приближение смерти, совершил паломничество в монастырь св. Дионисия и щедро одарил обитель. Похоронен в аббатстве св. Дионисия, среди королей из династии Меровингов. В каролингской историографии Карл Мартелл описывался как великий воитель, который восстановил государство франков, которое пришло в упадок при «ничтожных» королях из династии Меровингов. По мнению исследователей, источники отличаются предвзятостью и нередко искажают факты. Около 727 г., скорее всего, как полагают исследователи, в Свессионе (ныне Суасон) была создана «История франков» («Liber Historiae Francorum»), в которой с позиций нейстрийской знати описываются события до победы Карла Мартелла над майордомом Рагамфредом и возведения на престол короля Теодориха IV (721 г.). «История франков» послужила основой для дополнений к «Хронике Фредегария», составленных около 751 г. по указанию Хильдебранда, брата и соратника Карла Мартелла. Эти дополнения фактически являются «семейной хроникой» Пипинидов. Авторы обоих произведений восхваляли Карла Мартелла за твёрдость и мужество, с помощью которых он объединил государство, несмотря на сопротивление врагов и предателей, обосновавшихся на окраинах Франкского королевства. В более поздних каролингских источниках, среди которых наибольшее значение имеют «Старшие Мецские анналы» (составлены в 805/806 г.), деятельность Карла Мартелла описывается в контексте постепенного перехода власти в руки Пипинидов (Каролингов). В историографии IX в. возобладало двойственное отношение к Карлу Мартеллу. С одной стороны, его представляли великим воином и сильным правителем, вернувшим государству былую славу и мощь. С другой стороны, он притеснял церковь, лишал её имущества и назначал на церковные должности своих сторонников, из которых одни были мирянами, а другие вели безнравственный образ жизни. К образу Карла Мартелла неоднократно обращался архиепископ Гинкмар Реймсский в своих выступлениях, направленных против попыток франкских правителей и знати использовать церковные ресурсы для отражения нападений викингов. Приписывая Карлу Мартеллу начало этой порочной, по его мнению, практики, Гинкмар считал его дурным правителем и тяжким грешником. Загробные мучения Карла Мартелла описаны в легенде о видении св. Евхерия, которая вошла в Житие св. Ригоберта и в капитулярий, изданный синодом в Кьерзи (858 г.). В капитулярии утверждается, что майордом был «проклят навечно». По мнению исследователей, деятельность Карла Мартелла сыграла решающую роль в установлении единовластия Пипинидов и послужила причиной окончательного упадка влияния Меровингов, но из-за его церковной политики основателем династии Каролингов обычно изображали его отца, майордома Пипина II Геристальского.