Най-старите следи от живот, открити в землището на Карлово, датират от новокаменната /неолитната/ епоха / VІ хил. пр. Хр./ В местността „Ясъ тепе” западно от Карлово е съществувало неолитно селища.

През средновековието в близост до днешно Карлово са съществували няколко селища, едно от които до местността „Свети Пантелеймон” и вероятно е средновековната българска Сушица. В западната част на града в кв. „Бадемлика” е открит средновековен некропол. До самия балкан се е намирал средновековният манастир „Свети Спас”.

През 70-те години на ХІV век Карловската долина е завладяна от османските турци.

В края на ХV в. султан Баязид ІІ дарява на османския военачалник Карлъ Али бей с. Сушица и принадлежащите му земи като феодално владение.

През 1485 год. Карлъ Али бей построява с материали от разрушения манастир „Свети Спас” Куршун джамия, която е най-старият архитектурен паметник в града.

Името Карлово се налага постепенно в по-късно време и вероятно произлиза от фамилното име на Карлъ бей : Карлъ’ова – земя на Карлъ.