Az 5. században Róma végleg elvesztette az örök város, az Urbs Aeterna dicsfényét. A főváros sokáig élősködött a provinciák lakosságának befizetésein, de némely provinciában olyan súlyossá vált a gazdasági válság, hogy sem pénzben, sem pedig terményben nem tudta előteremteni az adót, ami természetesen visszahatott Róma helyzetére is. Róma környékén lehetetlen volt megélni egy földbirtok jövedelmét, mert a földterületek nagyon el voltak hanyagolva.
A „kenyérrel és cirkusszal" elkényeztetett római népnek saját lábára kellett állnia és önerőből megélnie, nagy részük azonban nem volt képes erre. Éhen haltak, vagy az elmocsarasodott földterületek miatt megjelent maláriában pusztultak el, amely még Rómában is áldozatokat szedett. A betegséget túlélők több nagyobb csoportja elhagyta a várost, hogy Közép-Itália dombos vidékén telepedjen le valamelyik kisebb mezővárosban. Ennek következtében az 5. században drasztikusan csökkent a lakosság száma. 400 körül még körülbelül nyolcszázezer lakosa volt Rómának; az 5. századra ez a szám ötszázezerre csökkent, 500-ban pedig már csak százezer lakosról tudunk. A város lakosságának nagysága 568 körül, a longobárd fenyegetés idején érte el a harmincezres mélypontot. A 6. században a lélekszám újra növekedni kezdett, és elérte a körülbelül kilencvenezret, de a következő évszázadokban sem ment százezer fölé.

Az 5. és 6. században már csak néhány monumentális építmény emlékeztetett az 1. és 2. század császárkori Rómájának dicsőségére. A gótok és a vandálok, akik 410-ben, illetve 455-ben elfoglalták Rómát, bár nem pusztították el ezeket az épületeket, alaposan kifosztották őket. Cassiodorus meglehetősen nyomasztó képet fest Rómáról: összedőlt gabonatárolókról, talpazatukról elmozdított bronzszobrokról és máshol újrahasznosított, darabokra fűrészelt márványoszlopokról beszél.
Cassiodorus pedig még csak a monumentális klasszikus épületek lebontásának kezdetéról tudósított; ezer évvel később, a középkor végén ennél sokkal nagyobb mértékű volt a pusztítás. Aki akkoriban építőanyagot keresett, tudta, hogy a Forum Romanumon vagy a Colosseumban nagy eséllyel megtalálja a tetszésének megfelelőt. Minden bizonnyal derekasan kivették a részüket a pusztításból a pápák, akik amúgy is legszívesebben teljesen eltörölték volna Róma pogány múltját, hogy helyette keresztény pompába öltöztessék a várost. Az ókori római építmények helyére új templomoknak és palotáknak kellett épülnie.

A gladiátorjátékok eltűnése után nem sokkal üres és lehangoló látványt nyújtó kőhalmazzá vált a Colosseum; az épület karbantartása teljesen elmaradt. A pusztulást a különböző természeti katasztrófák is gyorsították. A középkorban néhány súlyos földrengés könyörtelenül megrongálta a Colosseumot is. Már az 508-as földrengés is súlyos károkat okozott. A legfelső tribün körüli oszlopcsarnok egy része leomlott. A törmelékek a lenti tribünöket hatalmas romhalmazzá változtatták. Hogy a további omlás okozta veszély lehetőségét csökkentsék, a törmelékek nagy részét az aréna alatti termekbe zúdították.
A földalatti rész, a hypogeum, ahol korábban vadállatok és gladiátorok várakoztak arra ketreceikben és celláikban, hogy a felszínre küldjék őket, a vízvezetékrendszer tönkremenetele miatt ismételten víz alá került, és teljesen benőtte a gaz.

A 6. században, amikor már nem rendeztek előadásokat a Colosseumban, lezárták a bejáratokat. De csak kevesen tartották be a belépési tilalmat. A nagyobb és kisebb stílű fosztogatók zavartalanul működhettek. Pásztorok istállóknak rendezték be a tribünök alatti területeket. A társadalom lecsúszott alakjaiban pedig további társakat kaptak. Koldusok, csavargók és útonállók húzták meg magukat éjszakára a folyosókon vagy a külső homlokzat árkádjai alatt. Idővel kovácsok, rézművesek, suszterek, kőművesek, ácsok, mészégetők, házalók is beköltöztek. Saját műhelyeket rendeztek be, ahol árulták is portékáikat.

A középkorban számos legenda és mítosz övezte a Colosseumot. A Mirabilia urbis Romae című, a 11. század élejéről származó, zarándokoknak szóló útikönyvben az áll, hogy a Colosseum a Nap tiszteletére épült pogány templom volt, amelynek tetejét egykor aranyszínű rézkupola borította. A közepén egy Apollo-szobor állt kezében egy gömbbel, ami Róma egész világ feletti uralmát jelképezte. A következő évszázadokban a „templomot" már nemcsak a Naphoz kapcsolták, hanem az összes istenséghez, s így második Pantheonnak tartották.
Sokan hittek abban a legendában, hogy Vergilius, a költő tervezte a Colosseumot, ahol később mágiát űzött. Még a 16. században is fekete mágiáról szóló történetek keringtek a Colosseumról, pedig ekkor már jórészt ismert volt az építmény ókori funkciója. Az egyik ilyen legenda szerint Benvenuto Cellini, a szobrász és író fékezte meg a Colosseumban tanyázó gonosz erőket egy szicíliai pap tanácsára. Egy éjjel egy pappal és egy fiatal legénnyel besurrant a régi arénába. Vonalakat húzott, és az azokon belülre eső területet mágikusnak nyilvánította. Saját elmondása szerint sikeres volt az akció. Az illatos parfümök és az égő fáklyák hatására az ördögi erők visszavonultak.

De még sok minden történt azelőtt, hogy Cellini szabadon látogathatta volna az arénát. Nem sokkal 1048 után a Colosseum önkényes lakóinak el kellett hagyniuk az épületet. Robert Guiscard vezetése alatt a normanok kifosztották és részben elpusztították Rómát. Az arisztokrata családok megerősített menedékhelyek után néztek, ahol biztonságban érezhették magukat. A Savellik családja Marcellus színházába fészkelte be magát, a Colonna család Augustus mauzóleumát vette birtokába, míg a Frangipani család a Colosseumot és környékét sajátította ki. Bő két évszázadon keresztül, 1312-ig tartották magukat, amikor aztán kénytelenek voltak feladni az erődítményt.

Nem sokkal a Frangipanik távozása után, 1332. szeptember 1-jén különleges előadást tartottak a Colosseumban: Bajor Lajos király tiszteletére bikaviadalt rendeztek. Anélkül, hogy a szervezők és a hálás közönség ennek tudatában lett volna, a műsor menete eléggé emlékeztetett a régi állatviadalokra. A harcosok pusztán egy nyárssal felfegyverkezve léptek a küzdőtérre. Ludovico Bonconte Monaldeschi beszámolója alapján tizenegy bikát öltek meg ezen a napon, emellett tizennyolc torreádor is életét vesztette. A halottakat díszes temetésben részesítették a Santa Maria Maggioréban és a San Giovanni in Lateranóban. Az előadás megismétlésére nem került sor, habár volt néhány ilyen jellegű kezdeményezés.
1349-ban újra földrengés rázta meg Rómát. A Colosseumot csupán kisebb kár érte, mivel azonban a környéken hatalmas volt a pusztulás, és számos közeli templom is elnéptelenedett, az építmény meglehetősen izolálttá vált: egy hatalmas kő épületváz egy elhagyatott terület közepén. Visszatértek a koldusok, a házalók és a mágusok, akiket a 15. században a pápa építészei követtek, akik fanatikusabbak voltak, mint valaha: céljuk a pogány Róma emlékének a teljes kiirtása volt.

Úgy tűnik, minden egyes újabb pápa túl akarta szárnyalni elődjét egy még ambiciózusabb építészeti tervvel, természetesen az ókori klasszikus épületek rovására. A Palazzo Venezia, a Palazzo Farnese, a Kancellária és a Szent Péter-bazilika is jórészt a Colosseumból származó márványból és egyéb kőanyagból épült fel. Évente több ezer tonna építési anyagot szállítottak méretes kocsikon az új építkezések helyszínére. Egy 1452-ből származó számításból, melyet V. Miklós pápa alatt állítottak össze, némi képet kaphatunk a szállítmányok méretéről: 1451 szeptembere és 1452 májusa között 2522 tonna márványt és egyéb követ távolítottak el a Colosseumból. Nem sokkal később úgy tűnt, hogy a pápák ezentúl békén hagyják a romokat, mert 1462-ban II. Pius pápa — egyike azon kevés pápának, akik jól ismerték a klasszikusokat — kiadott egy rendeletet, amelyben néhány történelmi épületet, köztük a Colosseumot, védett műemlékké nyilvánított. Az őt követő pápák azonban másként gondolkodtak. Visszatértek a korábbi építéspolitikához, és tovább dolgoztak a keresztény Róma építésén — a pogány Róma műemlékeinek rovására. A gladiátorok Colosseuma feledésbe merült. A vérüket Krisztusért feláldozó mártírok lettek az igazi hősök, akik előkészítették a keresztény Róma felemelkedését.

A pápai propaganda széles körben elterjesztette a keresztény Colosseum hírét. Egyre több hívő zarándokolt el Rómába, hogy felkeresse Ignatiosz és a többi mártír halálának helyszínét. 1749-ben XIV. Benedek pápa hivatalosan is felszentelte a már korábban felállított keresztút stációit, és az arénát jelölte ki a mártírok hivatalos emlékhelyéül. A zarándokok a száznapos búcsú kezdetén megcsókolták az aréna közepén felállított hatalmas keresztet, majd végigjárták az első tribünnél található keresztút stációit, vagy felmásztak az épület ormára, hogy kereszteket állítsanak. Egy remete a régi tribünök alatt rendezkedett be, mintha a hely szentségét akarta volna őrizni. Mindeme keresztény emlékhelyek között pedig pásztorok terelgették birkáikat és kecskéiket.

A 18. és 19. században aztán megérkeztek a művész „Grand Tourist"-ok. Akár üdvözölték, akár fájlalták, hogy a Colosseum klasszikus építménye ki sem látszik a keresztény propaganda alól, mindegyikükre óriási hatást gyakorolt az egész környezet. Prózai műveket és verseket írtak róla, vagy festményekben örökítették meg benyomásaikat. A holdfényben fürdő aréna látványa arra inspirálta őket, hogy regényük vagy novellájuk egy részének az eseményeit a Colosseumba helyezzék. Ezek többnyire valóban csak epizódok, mint a bagoly huhogása Lord Byron Manfred című drámájában, vagy egy az aréna közepén álló keresztnél zajló románc Henry James Daisy Miller című kisregényében, mégis képesek visszaadni azt a hangulatot, amely írójukat hatalmába kerítette a Colosseumban. Némelyiküknek az élmény alkalmat ad a dolgok mulandóságáról való elmélkedésre is, ahogy azt például Francois-René de Chateaubriand egy 1804-ben barátjához írt levelében olvassuk:

„Egy csodálatos júliusi estén elmentem a Colosseumba, és leültem a keresztút egyik stációja előtt álló oltár lépcsőjén. A lenyugvó nap fénye aranyba borította az árkádsorokat, amelyek között egykor az embertömeg hömpölygött; ugyanekkor sötét árnyak emelkedtek ki az alsó árkádsorok és járatok közül, s széles árnycsíkokat vetettek az arénára. A széles falon megvetve lábamat elláthattam a romokon túlra: az építménytől jobbra a császárok palotájának kertjében pálmafa nőtt, melyet mintha célzatosan ültettek volna a romok fölébe a mű-vészek és költők dicsőségére.
Az egykori megvadult tömeg lelkes kiabálása helyett, mely a keresztények oroszlánok és párducok általi szétszaggatásának látványát kísérte, csak az itt élő remetékhez szegődött kutyák csaholását hallhattam. Amikor lebukott a nap, a Szent Péter székesegyház harangjának kongása visszhangzott a Colosseum árkádsorai között. Az összhang, mely a keresztény és pogány Róma két leghatalmasabb emlékműve között hallható hangokból állt össze, mélyen megérintett; arra gondoltam, hogy akárcsak ez az antik építmény, egy napon majd a modern épület is lehanyatlik, s az emlékművek úgy következnek egymásra, mint az őket felépítő emberek nemzedékei.
Felötlött bennem, hogy ugyanazok a zsidók építették e hatalmas körfalat száműzetésük utolsó állomásán, akik Egyiptom és Babilónia monumentális épületeit emelték az első fogság idején, és hogy azt az épületet, amelynek falai a keresztény harang hangját visszhangozták, az a pogány császár építtette, akiről azt jövendölték a próféták, hogy egykor földig rombolja Jeruzsálemet. Drága barátom, ugye te is úgy érzed, hogy e romok által előidézett érzések eléggé emelkedettek ahhoz, hogy elgondolkodjunk rajtuk? Nem érzed azt, hogy egy ilyen várost, mely lépten-nyomon ehhez hasonló magasztos gondolatokat hív elő belőlünk, érdemes felkeresni?"

A botanikus Richard Deakin akaratlanul is különleges módon hívta életre a pogány Colosseum letűnt időszakát. Egyike volt azoknak, akik még lepusztult állapotában vizsgálhatták meg a Colosseumot. Az aréna mindegyik zugában és repedésében, a tribünökön és a folyosórend-szerben is virágok és növények után kutatott. A falakon belül nem kevesebb mint 420 növényfajtát fedezett fel. Néhány ritka növény magja Deakin szerint még a vadállatok bundájával kerülhetett messzi országokból a Colosseumba, ahol aztán virágzásnak indult. Deakin mélyen hívő férfi lehetett, mert közvetlen kapcsolatot teremt a krisztustövis nevezetű fa és „a tüske nélküli örök korona" között, amelyet a mártírok az arénában érdemeltek ki. Kutatásait az 1855-ben kiadott Flora in the Colosseum című könyvében örökítette meg.
Tizenkilenc évvel később, 1847-ben azután átadták a régészeknek a Colosseumot, amely ezzel végleg kikerült az egyház fennhatósága alól. Az arénában található keresztnek, a keresztút stációinak, a fáknak és a növényeknek mind el kellett tűnnie (nem is beszélve a remeté-ról). A klérus felzúdulása és számos, az amfiteátrum körüli tiltakozó felvonulás ellenére az újonnan hatalmon lévő, akik az ókori Róma történelméhez akartak visszanyúlni, megingathatatlannak bizonyultak. A tudósok néhány éven belül feltárták a föld alatti területek egy részét. Eltávolították az aréna földalatti boltozatából a földrengések következtében leomlott falak maradványait, így hosszú idő után eredeti formájában láthatták meg a falakat, cellákat és odúkat. Ekkor döbbentek rá először, hogy milyen zseniális módon alkották meg azt az emelőszerkezetet, amely azért felelt, hogy a vadállatok gyorsan az arénába jussanak.

A 20. század harmincas éveiben az ásatások újabb ösztönzést kaptak. Mussolini, az il Duce a monumentális Colosseumban a római császárok hatalmának cáfolhatatlan bizonyítékát látta, és a közönség számára is meg akarta nyitni ezt a Róma dicső múltjáról és nagyságáról árulkodó műemléket. Mindebben a régészek is hajlandók voltak közreműködni, de abbéli sietségükben, hogy minél előbb feltárják a szerkezetet, elkövettek néhány feltűnő hibát is. Így lépcsőfokokat helyeztek el a tribün legalsó sorain, ahol eredetileg a szenátorok ülései voltak. Mussolininek és követőinek mindez nem számított; az egyetlen fontos szempont az volt, hogy a Colosseum fenséges épület látványát nyújtsa, és dicső királyok emlékét juttassa a néző eszébe. Egész munkásnegyedeket tettek a földdel egyenlővé, hogy Marcellus Színháza, a Forum Romanum és a Colosseum jobb fényben tűnhessen fel. Több ezer házat bontottak le, amelyek a Colosseumtól a Campidoglióig és a Palazzo Veneziáig tartó új széles út, a Via del Impero — a háború utáni neve szerint Via dei Fori Imperiali — útjában álltak. Ekképpen egyesült az új és a régi Róma.

1938-ban Mussolini fogadja Hitlert. A Führernek a Központi Pályaudvartól a Campidoglióig tartó sétakocsikázása alatt a régi műemlékeket 45 000 lámpa világította meg, amelyek összesen 160 kilométer hosszú kábelen függtek. Hitler sajnálatára olyan heves esőzések voltak a látogatása alatt, hogy a program egy részét törölni kellett, köztük egy katonai parádét. Ennek köszönhetően a Führer a tervezettnél valamivel hosszabban elidőzhetett a Colosseumban. Erre az alkalomra mindenhová piros lámpákat függesztettek fel, amelyek a Colosseumnak valószerűtlen, csaknem véres benyomást kölcsönöztek.
A látvány felidézhette Hitlerben a nagy hatalmú császárok tettvágyát, akik ilyen monumentális épületet emeltettek, amelyben lenyűgöző műsorok segítségével érzékeltették hatalmukat. Talán nem a leigázott területekről származó rabszolgák, főként a Kr. u. 70-ben elfoglalt Jeruzsálemből elhurcolt zsidó hadifoglyok építették a Colosseumot, s nem épp így válhatott az a római császárok hatalmának maradandó szimbólumává? Hitler hozzájuk hasonlóvá akart válni, s az ő építéspolitikájukat szerette volna utánozni. Régészeket kérdezett ki a Colosseum tervéről és építési módszereiről, és a fejébe vette, hogy a következő birodalmi gyűlésre egy a Colosseumhoz hasonló monumentális épületet építtet Nürnbergben. Abban az épületben a vas és az acél maradandóbb anyagoknak adja majd át a helyét: a márványnak és a kőnek, amelyek „örök időkre" életben tartják az emlékét. Bár a tervek papíron még elkészültek, a megvalósításukra szerencsére már nem került sor.