Željezničar je zvanično osnovan 19. septembra 1921. godine od strane radnika "Željezničke radionice" na inicijativu Dimitrija Dimitrijevića, iako se u današnjem vremenu kao rođendan Željezničara uzima datum odigravanja prve zvanične utakmice - 17. septembra 1921. godine Željezničar je odigrao prvu zvaničnu utakmicu, i to protiv tada dobro dobro poznate ekipe "Sašk Napretka".
Ideju o osnivanju novog fudbalskog kluba, mladi željeznički radnik Dimitrije Dimitrijević predložio je već 1920. godine svom kolegi i prijatelju, Ludvigu Lepleu.
Uz Stjepana Katalinića formirali su inicijativni odbor, iz čijeg jezgra je nastala i prva Uprava kluba.
U osnivanju svog kluba veliki doprinos dali su svi radnici Željeznica: kupljena je lopta, prva sportska oprema, treniralo se na vojnom vježbalištu Egzecirz, izrađena su i obilježja kluba, a djevojke igrača su na majicama izvezle lokomotivu – prvi grb kluba. Tako je počela "plava priča", koja traje i danas.
