Period opadanja

Nakon nekoliko uspješnih sezona klub je u sezoni 2002/2003 doživio veliki finansijski, a samim time i organizacijski raspad koji će završiti sa ostavkom predsjednika kluba, kada klub ostaje i bez uprave. Klub je u ovom razdoblju dva puta zauzeo deseto mjesto (2003. i 2004.), te jednom i deveto mjesto 2005. godine.

Ovaj period će biti karakterističan po čestim smjenama trenera, kao i članova upravnog odbora. Igru su nosili većinom igrači iz omladinskog pogona, sa nekoliko iskusnijih i starijih Bosninih igrača. Iako su seniori bilježili dosta slabe rezultate, ipak je omladinski pogon bilježio i dalje dobre rezultate i osvjetlao obraz visočkog rukometa. U ovom periodu kadeti su prvenstvo države osvojili dva puta, i to 2004. i 2005. godine, dok su juniori bili najbolji 2005. godine.