El Qarabag nace en la ciudad de Agdam, en el centro de Azerbayán, en el siglo XX y fue el centro económico del sur oeste del país en la era soviética. Sin embargo, ahora sólo quedan las silenciosas ruinas tras la guerra Nagorno Karabaj, el conflicto que durante seis años sacudió este territorio montañoso de mayoría armenia en el Cáucaso Sur.
Agdam fue uno de los objetivos clave de la guerra y cuando cayó bajo dominio de las tropas separatistas en 1993 su población fue forzada a desplazarse hacia el este. Destruida y saqueada, Agdam se transformó en un pueblo fantasma. Diez día después de la captura de Agdam, el Qarabag venció al FK Khazar 1-0 para proclamarse campeón por primera vez en su historia. El partido se celebró en la ciudad de Sumgayit, lo que marcó el inicio de un exilio futbolístico que se mantiene hasta el presente.
La falta de 'domicilio futbolístico' como referencia, hizo que el Qarabag estuviera cerca de desaparecer con la entrada del nuevo milenio, pero fue entonces cuando recibió una fuerte inyección de dinero que cambió radicalmente su fortuna. Se trató de un renacer polémico al principio, impulsado por el expresidente Heyder Aliyev, quien dio luz verde para que un consorcio respaldado por el Estado, pero controlado por los hermanos iraníes Abdolbari y Hasan Gozal, asumiera el control administrativo y financiero del equipo.
Pese a la tregua que se firmó en 1994 y a la creación de un Estado independiente de facto por parte de los armenios de Nagorno Karabaj, no se ha logrado establecer acuerdo de paz permanente. De ahí que, mientras la histórica clasificación del Qarabag a la fase de grupos de la Liga de Campeones tenga un significado especial en Bakú y toda Azerbayán, genere recelo del otro lado de la frontera en Armenia.