Riverside Football Club ble dannet ut fra cricketlaget med samme navn i 1899, ble slått sammen med Riverside Albion i 1902, og ble i 1908 til Cardiff City. Bluebirds ble med i Football League i 1920, 10 år etter at de ble profesjonelle og flyttet til Ninian Park. Klubben havnet på andreplass i andredivisjon og rykket opp på første forsøk. Etter at de kom på fjerdeplass i førstedivisjon på slutten av sin første sesong, ble de nummer to i 1924. I1925 tapte de FA-cupen mot Sheffield United 1-0, men slo deretter Arsenal 1-0 i finalen i 1927.
Cardiff holdt seg i øverste divisjon frem til 1929, da de rykket ned til tross for at de hadde sluppet inn færrest mål i serien den sesongen. Etter to år i andredivisjon rykket laget ned til tredjedivisjon (sør). Fred Stewart, som hadde vært sjef siden 1911, sluttet i 1933 siden laget slet tungt. På slutten av sesongen 1933-1934 havnet klubben nederst på tabellen og måtte søke om nytt opptak i serien. De ble værende i tredjedivisjon (sør) helt til spillet ble gjenopptatt etter andre verdenskrig.
Sesongen 1946-1947, den første etter at spillet ble satt i gang igjen, vant Cardiff serien. De rykket opp til andredivisjon igjen, og ble der til de rykket opp til førstedivisjon i 1952. De rykket ned igjen i 1957 under Trevor Morris, før Bill Jones tok over i september 1958, og rykket opp som nummer to i 1960. Men etter bare to sesonger rykket de ned igjen, og George Swindin kom inn som manager fra oktober 1962 til mai 1964. Han ble etterfulgt av Jimmy Scoular og deretter Frank O’Farrell, før Jimmy Andrews begynte i mai 1974.
John Toschack, en av lagets mest berømte spillere, som senere skulle bli angrepsspiller på Wales, begynte sin karriere i denne perioden, nærmere bestemt i 1965, i en alder av 16 år. Han var en viktig del av laget helt til 1970, da han ble solgt til Liverpool for 110 000 pund. I denne perioden opplevde klubben sitt mest berømte eventyr i europeisk fotball, da de kom til kvartfinalen i cupvinnercupen og slo mektige Real Madrid 1-0 på Ninian Park. Men de tapte den andre kampen 2-0.
Laget til Andrews rykket ned til tredjedivisjon i 1975 før han ledet dem til nytt opprykk fra andreplass i serien etter bare ett år. Han fikk senere sparken, samme skjebne som skulle vente Richie Morgan, som satt i stillingen i bare litt over to år, og deretter Gra ham Williams, som hadde jobben i mindre enn fire måneder.
Len Ashurst, tidligere sjef for Hartlepool, Gillingham, Sheffield Wednesday og Newport County, tok over i mars 1982, da nedrykket til tredjedivisjon allerede var et faktum. Han ledet laget til opprykk på første forsøk, men ble lokket bort i mars 1984 for å bli manager for Sunderland, hans tidligere klubb. Forsvarsspilleren Jimmy Mullen og assisterende manager Jimmy Goodfellow tok over som midlertidige managere, før Alan Durban ble utnevnt i september 1984.
Det fulgte to nedrykk på to sesonger, slik at Cardiff havnet i fjerdedivisjon, og Durban fikk sparken. Det gjorde at jobben med gjenoppbygging ble gitt til Frank Burrows, som var på plass til sesongstart i 1986-1987. Cardiff rykket opp fra andreplass i fjerdedivisjon i 1988, men Burrows sluttet i august 1988 etter uenighet i styret. Ashurst kom tilbake for en ny tørn som førte til at laget rykket ned i 1990. Han sluttet i mai 1991, da Cardiff var tilbake i nederste divisjon.
Eddie May, tidligere forsvarsspiller for Swansea City, overtok noen få måneder senere, og etter bare en sesong rykket laget til tredjedivisjon. De ble værende der i en sesong før de rykket opp på nytt, denne gang som serievinnere.
Deretter strevde laget litt, og May fikk sparken i november 1994, men kom tilbake etter bare tre måneder. Han klarte ikke å unngå et nytt nedrykk til tredjedivisjon. Hans etterfølger Terry Yorath, som tidligere hadde spilt for det walisiske landslaget fikk sparken etter fem måneder, da laget nok en gang var på vei mot nedrykk i 1995. Kenny Hibbitt, Phil Neal og Russel! Osman prøvde seg alle som manager før Frank Burrows kom tilbake til klubben i februar 1998.
Tredjeplass i tredjedivisjon på slutten av sesongen 1998- 1999 gjorde at laget rykket opp igjen, men tiden i andredivisjon varte bare i en sesong før det fulgte et nytt nedrykk. Burrows hadde sluttet rett før laget rykket ned, og ble erstattet av sin assistent Billy Ayre, som, rett før 2000-2001 ledet dem tilbake til andredivisjon fra andreplass i tredjedivisjon – men deretter sluttet.
Bobby Gould kom til sesongen 2000-2001, etter å ha vært manager for Wales og Wimbledon. Gould ble med sin tidligere sjef i Wimbledon,, Sam Hammam, som hadde overtatt som eier av Carditt. og jobbet side om side med tidligere Wimbledon-angrepsspiller Alan Cork.
Cork sparken i februar 2002 for å gjøre plass for den erfarne Lennie Lawrence, som blant annet hadde vært n Charlton igode sesonger. På slutten av sesongen 2002- 2003 rykket City opp til andredivisjon etter seier 1-0 over QPR i sluttspillet. Det eneste målet ble scoret på overtid av innbytteren Campbell. Lawrence sluttet til fordel for Dave Jones, tidligere manager for Southampton og Wolves, i 2005.
Da klubben sto i fare for å bli satt under administrasjon, kom det til enighet om en overtakelse, og eierskapet ble overdratt til en sammenslutning ledet av Peter Ridsdale, tidligere styreformann i Leeds United. Jones gjorde omfattende endringer i spillerstaben, men hentet inn den lovende angrepsspilleren Michael Chopra, og også erfarne spillere som Robbie Fowler, Jimmy Floyd Hasselbaink og Trevor Sinclair.
Cardiff kom til finalen i FA-cupen i 2008, men tapte 1-0 mot Portsmouth. De spilte på Wembley igjen da de kom til finalen i play-off i 2010, men tapte 3-2 mot Blackpool. Da klubben fikk nye malaysiske eiere og økonomisk ryggdekning, samt det nye Cardiff City Stadium, som åpnet 2009, kjøpte de den walisiske angrepsspilleren Craig Bellamy, på lån fra Manchester City midt på året i 2010. Det ga angrepsspilleren en mulighet til å leve ut drømmen om å få spille for hjembyens klubb. Nok en gang kom laget til semifinale play-off, men gikk glipp av Premier League-drømmen nok en gang etter sammenlagt tap mot Reading. Jones fikk sparken på slutten av sesongen 2010-2011, og Malky Mackay, tidligere sjef i Watford, ble utnevnt til begynnelsen av neste sesong. Mackay ledet Cardiff til lagets første ligacupfinale noensinne, der de tapte 3-2 mot Liverpool. Cardiff kom til semifinale i sluttspillet, men ble denne gangen slått sammenlagt av West Ham United.
Sesongen 2012-2013 begynte med ny klubbrekord, ni seiere på de første ni hjemmekampene, og kulminerte med at Cardiff tok Championship-tittelen og rykket opp til Premier League for første gang. Etter en vanskelig start på 2013-2014 ble tidligere Manchester United-legende og Molde-trener Ole Gunnar Solskjær ny manager i januar 2014.
