Nedostatak dvorane

Rukomet polako prelazi u dvorane, no nju Visoko nije imalo. Treniranje i igranje utakmica u Sarajevu, Vogošći, Zavidovićima i Hadžićima poslije tri prvoligaške godine dovodi do ispadanja iz 1. lige 1976. godine. Poslije četvrtog mjesta 1975., klub završava na kobnom 13 mjestu koje ga odvelo u niži rang. Uprkos nastojanjima kluba da se vrati u prvu ligu Jugoslavije, klub se od 1977. do 1992. takmiči u Prvoj B ligi, i potom u drugoligaškoj konkurenciji. Najznačajniji rezultat iz ovog perioda je bio osvajanje Kupa SRBiH 1982. pobjedom nad Borcem iz Banja Luke, te izgubljeno četvrtfinale Kupa Jugoslavije iste godine.

Krajem 1980-tih u Visokom se počinje graditi nova dvorana, odnosno kulturno sportski centar Mladost. Sportski centar je otvoren 9. aprila 1986. utakmicom između Vitexa i Radničkog iz Šida, dok je zvanična proslava otvorenja održana 28. novembra 1986. u utakmici protiv Borca iz Banja Luke.