Дата основания города неизвестна. Впервые упоминается при последних Сасанидах. После арабского завоевания был административным и военным центром одной из областей Халифата. В 1220 году взят и разрушен монголами, но затем возродился. Ещё в первой половине XIV века, при Хамдаллахе Казвини, жители города считались суннитами шафиитского толка. К этому времени относится деятельность родившегося в Ардебиле шейха Сефи ад-Дина (1252—1334), основателя тариката Сефевийе. Потомки шейха, принявшие шиизм, создали теократическое государство с центром в Ардебиле, основной силой которого были их мюриды из числа кочевых тюркских племен, носившие тюрбаны с 12 красными полосами и оттого прозванные «кызылбаши» («красноголовые»). В Ардебиле начал свою кампанию по объединению Ирана Исмаил I, там же он скончался и был похоронен. Столицей государства стал Тебриз, но Ардебиль сохранял значение и при потомках Исмаила. Расположение на прохладном плоскогорье, среди виноградников, фруктовых садов и минеральных источников, делало его любимым местом пребывания персидского двора. Путешественники XVII века Адам Олеарий и Жан Шарден описывают Ардебиль как один из значительнейших городов тогдашней Персии. Вследствие обилия орошения путешественники сравнивают Ардебиль с Венецией; по той же причине грязь его улиц уже в X веке вошла в поговорку («Город грязнее Ардебиля» — Макдиси о Кяте, столице Хорезма). Ардебиль тюркизировался в XV—XVI вв., до того в городе говорили на иранском языке азери, являющемся предком современного талышского языка. В XVIII веке был центром одноименного Ардебильского ханства, возникшего на территории Иранского Азербайджана после смерти Надир Шаха и распада его державы в 1747 году. Основателем ханства был знатный представитель рода шахсевен — Бебир хан. Он правил ханством до 1763 года. Ардебильское ханство занимало обширную территорию от реки Аракс и Мугана на севере до реки Кызылузен на юге. Ханство периодически попадало под влияние Карабахского ханства, так же как и ханства Нахичеванское, Гянджинское и Эриванское. Это ханство было образовано на территории Ардабильского округа, наследственного ульке рода шахсевен. В начале XIX века в Ардебиле находился лагерь принца Аббас-Мирзы, который под руководством французского генерала Гарданна (фр.) укрепил город по европейской системе и сделал его оплотом против русских. Во время русско-персидской войны 1826—1828 гг. Ардебиль был взят Паскевичем, но по Туркманчайскому договору снова возвращён Персии. Исключение составила богатая библиотека, в своё время пожертвованная городу в виде вакфа Аббасом Великим (1587—1629). Бо́льшая часть библиотеки, содержащая редкие и ценные рукописи, была отправлена в качестве военной добычи в Петербург и передана в фонды Императорской публичной библиотеки. До революции в городе располагалось Российское консульство. К северу от города расположено селение Берзенд некогда бывшее торговым городом армян. 28 февраля 1997 года в городе произошло сильное землетрясение (Ардебильское землетрясение), жертвами которого стали около 1000 человек.