Iako klub još uvijek nije bio zvanično osnovan, utakmica sa SAŠK-om ostat će upisana kao prva koju je odigrala ekipa sa Grbavice. Utakmica je odigrana na stadionu SAŠK-a u Kovačićima, a Željezničar je igrao u bijelim majicama kupljenim u Zagrebu na kojima je izvezen točak lokomotive sa željezničkim krilima, što je bio i prvi grb Plavih s Grbavice.
Tada najjači bh. klub – SAŠK slavio je s 5:1, a prvi pogodak u dresu Željezničara postigao je Dimitrije Dimitrijević. Plavi su nastupili u sastavu: Stefan Cicvol, Milan Tomić, Vilim Novak, Rudolf Kefer, Milovan Adamović, Stjepan Katalinić, Ludvig Leple, Dragutin Siber, Dimitrije Dimitrijević, Ivan Krajnc i Franjo Cvelfer, dok su u drugom dijelu utakmice priliku još dobili Ivan Dunkl i Milutin Egić.
Željeznički sportski klub Sarajevo morao je međutim odigrati još jednu utakmicu kako bi bio primljen u Savez s obzirom da je to bio uvjet. Već sutradan Plavi su poraženi od sarajevskog ŠK-a. Već u ponedjeljak 19. jula 1921. godine Savez je prihvatio klub s Grbavice i uvrstio ga u takmičarski kalendar Drugog razreda za sezonu 1921/1922.
Prvu zvaničnu pobjedu Plavi su upisali protiv Barkohbe i to u posljednjem kolu svoje prve sezone. Slavio je Željezničar sa 7:0. U sezoni 1925/1926. Željezničar je osvojio prvo mjesto i prvi put se plasirao u viši rang takmičenja. Svoje prvo igralište Plavi su otvorili na Pofalićima u kasnu jesen 1932. godine, ali je do početka Drugog svjetskog rata ekipa s Grbavice ostala bez tog igrališta.
Nakon Drugog svjetskog rata Plavi su u maju 1949. godine u sarajevskom naselju Grbavica počeli izgradnju novog stadiona i dobili su svoj dom. Četiri godine kasnije otvoren je stadion Grbavica, a sa stadiona 6. april na kojem su Plavi igrali utakmice na Marijin Dvoru prebačena je zapadna tribina. Nakon ispadanja 1958. godine, Željezničar se u sezoni 1961/1962. vratio u Prvu saveznu ligu Jugoslavije. Plave su tada predvodile najveće legende kluba Ivica Osim i Mišo Smajlović.
Svoju prvu i jedinu titulu prvaka Jugoslavije Željezničar je osvojio 1972. godine. U sezoni 1971/1972. Plavi su predvođeni Milanom Ribarom postali prvaci.
Slobodan Janjuš, Dragan Kojović, Velija Bećirspahić, Blagoje Bratić, Josip Katalinski, Enver Hadžiabdić, Branimir Jelušić, Božidar Janković, Josip Bukal, Edin Sprečo, Avdija Deraković, ali i Slobodan Kojović, Fahrija Hrvat, Džemaludin Šerbo, Nusret Kadrić, Hajrudin Saračević, Miloš Radović i Željko Rodić bili su igrači koji su donijeli titulu na Grbavicu. Plavi su se 1976. godine vratili na obnovljenu Grbavicu, stadion je dobio betonske tribine i reflektore.
Nakon što je na klupu sjeo Ivica Osim uslijedio je novi fantastičan period u historiji Plavih. U sezoni 1980/1981. igrali su Plavi finale Kupa Jugoslavije, a bolji je na kraju bio Velež rezultatom 3:2. Sezonu 1984/1985. na Grbavici će ipak posebno pamtiti. Željezničar predvođen Osimom došao je do polufinala Kupa UEFA. Redom su padali bugarski Sliven (0:1, 5:1), švicarski Sion (2:1, 1:1), rumunska Universitatea Craiova (0:2, 4:0) i sovjetski Dinamo Minsk (2:0, 1:1), a onda je u polufinalu došao Videoton. Nakon 3:1 u Székesfehérváru za domaće, Željezničar je na Grbavici poveo s 2:0 i to je bilo dovoljno za finale, ali u posljednjim minutama Videoton je pogodio i srušio snove Plavih. Da su Plavi uspjeli sačuvati svoju mrežu izborili bi veliko finale sa slavnim Real Madridom.
Nakon toga uslijedio je rat i fudbal u Bosni i Hercegovini pao je u drugi plan. Navijači Željezničara gledali su stadion Grbavica u plamenu i sanjali povratak na Grbavicu. Stadion je bio na prvoj liniji fronta, a mnogi trofeji su zauvijek nestali. Nakon što je potpisan Dayton došlo je vrijeme za povratak normalnog života u Sarajevo, a samim tim i fudbala. Uspio se Željezničar brzo vratiti na Grbavicu. Stadion je očišćen, a već drugog maja odgrana je i prva utakmica. U gradskom derbiju sa Sarajevom rezultat je bio 1:1, a stadion je bio pun do posljednjeg mjesta.
Drugu titulu klub s Grbavice osvojio je petog juna. Prvak Bosne i Hercegovine dobio se kroz doigravanje, a u finalu na punom stadionu Koševo sastali su se Željezničar i Sarajevo. Sarajevo je dominiralo tokom čitavog susreta, a onda je Željezničar došao do gola u posljednjim minutama. Pehlivanović je na lijevoj strani stigao jednu loptu koja je išla u aut. Izbijena lopta je stigla do Šopovića koji je izvrsno proslijedio u prazan prostor za inače desnokrilnog ofanzivca Hadisa Zubanovića. Zubanović je zaobišao protivničkog golmana i pogodio za neopisivu radost Željinih navijača.
Željezničar je nakon osvajanja druge titule prvaka u historiji uspio doći do još pet titula prvaka BiH (2000/2001, 2001/2002, 2009/2010, 2011/2012, 2012/2013), šest osvojenih Kupova Bosne i Hercegovine (1999/2000, 2000/2001, 2002/2003, 2010/2011, 2011/2012, 2017/2018), kao i tri Super kupa Bosne i Hercegovine (1998, 2000, 2001). Tako su Plavi u svojih 97 godina historije postali najtrofejniji klub Bosne i Hercegovine.
