Назва міста є напівкалькою — характерне для топоніміки Російської Півночі явище, коли субстратна балтійсько-фінська назва перекладається на російську мову наполовину. Друга частина слова Каргополь є перекладеним фінським pelda («поле»). Щодо першої частини назви існує кілька версій:
Карго — в північних діалектах «ворона», отже, карго поле — «вороняче поле»;
Перша згадка про Каргополь в письмових джерелах відноситься до 1380 році. У Никонівському літописі є згадка про те, що Каргопольский князь Гліб привів свою дружину під прапори великого московського князя Дмитра Донського і брав участь у Куликовській битві. Саме місто Каргополь (в старовинних актах Карго поле) згадується 1447 року, коли тут знайшов притулок Дмитро Шемяка, рятуючись від переслідувань великого князя Василя Темного.
Каргополь заснований набагато раніше кінця XIV століття. Береги річки Онега, одного з шляхів в Помор'я, були зайняті новгородськими колоністами вже в XII столітті, а в середині XIV століття з'явилися монастирі. Мабуть, спочатку каргопольське поселення залежало від Білозерського князівства, а в подальшому перейшло під владу Новгорода. У Каргополі зберігся земляний вал, що замикав з трьох сторін невеликий, квадратний в плані острог. Це місце мешканці міста називали «Городок», «Вал», «Валушкі». Зараз це міський квартал, обнесений поросла травою насипом, через яку визирають дахи будинків.
Мильчик М. И.Каргополь. Деревянная крепость и остроги по реке Онеге. Документы и графические реконструкции. — СПб., Лики России, 2008. — 168 с. — ISBN 978-5-87417-281-7.
Решетников Н. И.Русского Севера храмы. Древний Каргополь: Очерк-путеводитель. — М., Демиург-Арт, 2006. — 88 с., ил. — ISBN 5-94414-127-1.
Решетников Н. И.Русского Севера храмы. Вып. 2. Каргополье: Очерк-путеводитель. — М., Демиург-Арт, 2009. — 180 с., [32] л. ил. — ISBN 5-94414-136-0.
Каргополье. Фольклорный путеводитель: предания, легенды, рассказы, песни и присловья / Составители: М. Д. Алексеевский, В. А. Комарова, Е. А. Литвин, А. Б. Мороз. — М., ОГИ, 2009. — 616 с. — ISBN 978-5-94282-511-9.