Hititler'den miras kalan kale, yerden 226 metre yüksekliktedir. Hitit Kralı II. Mürsil tarafından Arzava Krallığı'na düzenlenen sefer sırasında yaptırılmış ve yapıldığı dönem ‘’yüksektepe şehri’’ anlamına gelen Hopanuva olarak anılmıştır. Afyon şehir merkezindeki bu kale dik kaya kütlelerinin üzerine kurulmuş; bölgeye sahip olan her imparator ya da komutan tarafından isim değişikliğine uğramıştır. Örneğin; Bizans İmparatorluğu buraya tam da anlamına yaraşır ‘’yüksek kale’’ manasına gelen Akroenos adını vermiştir. Bölgede afyon yetiştirildiği için II. Selim tarafından adı Afyonkarahisar olarak değiştirilmiştir.
İç ve dış olarak iki bölüme ayrılan kalenin iç bölümünde Selçuklu Sultanı Keykubad tarafından yaptırılan cami, saray, su sarnıçları, mahzenler ve erzak ambarları bulunmaktadır. Geçmişi 3 bin yıla dayanan kale, bugüne miras olarak kalmış; birçok kuşatma ve savaşa şahit olmuştur. Bu kale ile ilgili birçok hikaye anlatılmaktadır; ancak bu hikayelerden en dikkat çekeni Battal Gazi’ye ait olanıdır. Rivayet ki; Battal Gazi bu kaleyi alabilmek için büyük çaba sarf etmiştir. Kaleden Battal Gaziyi gören kralın kızı ona aşık olmuştur ve onun kendisini görüp etkilenmesi için harekete geçmiştir. Uzun uğraşları sonucunda kendisini görmeyen Battal Gazi’ye bir taş fırlatmış ve o taş kulağına gelmesiyle ölümüne neden olmuştur. Bu duruma çok üzülen kralın kızı da kendisini hançerleyerek öldürmüştür. Şuan Battal Gazi’nin mezarı Karahisar Kalesi’nin altında bulunan Ulu Cami’de bulunmaktadır.