Arhiivraamatukogu asutati 14. apr. 1909. a. Eesti Rahva Muuseumi keskraamatukoguna. Alates 1909. a. täidab raamatukogu eesti rahvusliku keskraamatukogu ülesandeid. Arhiivraamatukogu tegevuse algus ulatub 1888. aastasse, kui Eesti Üliõpilaste Seltsi raamatukoguhoidjaks valiti Oskar Kallas, kes seadis raamatukogule rahvusliku raamatukogu sihid: koguda 1) kõiki kodumaal ja väljaspool ilmunud eestikeelseid teoseid,
2) kodumaal ilmunud võõrkeelseid teoseid,
3) väljaspool ilmunud muukeelseid teoseid, mis puudutavad eestlasi ja nende maad ning
4) eestlaste kirjutatud töid. Alates 1919 kannab raamatukogu Rahvusliku Arhiivraamatukogu nime.
1923. aastal anti raamatukogule riiklik tunnustus Eesti Vabariigi Valitsuselt, kes kinnitas Arhiivraamatukogule rahvusraamatukogu ülesanded. Arhiivraamatukogu tegutses rahvusraamatukoguna 1940. aastani, mil nõukogude võim likvideeris Eesti Rahva Muuseumi. 1940. aastal loodi Eesti Rahva Muuseumi osakondade baasil Tartusse kaks uut muuseumi: Kirjandusmuuseum ja Etnograafiamuuseum (praegune Eesti Rahva Muuseum). 1. novembrist 1940. aastast töötab Arhiivraamatukogu rahvusraamatukogu ülesannetes Eesti Kirjandusmuuseumi (vahepealsed nimetused Riiklik Kirjandusmuuseum ja Fr. R. Kreutzwaldi nimeline Kirjandusmuuseum) struktuuriüksusena.
Arhiivraamatukogu koosseisu kuulub alates 1965. aastast bibliograafiaosakond, mille eelkäijaks oli Eesti Bibliograafia Asutis, mis alustas tööd 21. novembril 1921. aastal ning tegutses 1932–1940 Eesti Rahva Muuseumi osakonnana ning 1940–1965 iseseisva osakonnana Kirjandusmuuseumis.
Nõukogude võimu ajal oli Arhiivraamatukogu ka üks neljast ENSV raamatukogust, millel oli oma erifond.
Kogumistööst ja säilitamisest
Eesti Kirjandusmuuseumi Arhiivraamatukogu on ainus raamatukogu Eestis, mis on spetsiaalselt loodud eestikeelse ja eestlastesse puutuva muukeelse kirjanduse kogumiseks, säilitamiseks ja uurijatele kättesaadavaks tegemiseks.
Raamatukogu komplekteerimine algas 19. ja 20. sajandi vahetusel peamiselt ühiskondlikel alustel ning rahva eneseteostuse toel. Tegevuse algaastail saadi trükiseid tsensoriarhiividelt, trükikodadelt, kirjastajatelt, toimetustelt, organisatsioonidelt ning eriti üksikisikutelt. Intensiivse kogumistöö ja annetuste tulemusena on suudetud koguda peaaegu 100%-liselt vanemat eesti trükisõna ja erakordselt rikkalik vanema baltica kirjanduse fond (Arhiivraamatukogu fondid on kõige täielikumad Eestis – Projekt THULE – Kultuuriväärtuste seisund eesti suuremates raamatukogudes. Aruanne. Tallinn-Tartu, 2000). Seega on suuresti tegemist koguga, mis on loodud tänu rahva teadlikkusele ja vastutustundele oma kultuuri säilimise ees.
Sundeksemplare hakati saama alles iseseisvusaastatel (alates 1918) vastavalt valitsuse määrustele. Rahvustrükiste kollektsioneerimine jätkus aastail 1940–1996 vastavalt võimalustele (sundeksemplarid, kontrolleksemplarid, annetused). 1997- 2016. a. saadi kahte tasuta sundeksemplari kõikidest Eestis ilmunud trükistest. Alates 2017.a. saadakse säilituseksemplari seaduse kohaselt ühte tasuta säilituseksemplari kõikidest Eestis välja antavatest trükistest. Eesti Kirjandusmuuseumi Arhiivraamatukogul on üleriiklik kohustus säilitada trükiste säilituseksemplare ja need ka üldsusele kättesaadavaks teha. Lisaks saab digitaalset säilituseksemplari kohapeal täismahus lugeda autoriseeritud töökoha vahendusel. Autoriseeritud töökohal puudub säilituseksemplari seadusest tulenevalt väljatrüki, salvestamise ja väliste andmekandjate ühendamise võimalus.
2008. a. riigikontrolli auditi kohaselt vastas Eesti Kirjandusmuuseumi 90ndatel aastatel valminud hoidlakompleks säilitusnõuetele, kuid probleeme oli vana hooneosa kelderhoidlatega.
2012–2013.a. valmis EL Struktuurifondide toel uus 5-korruseline hoidlakorpus (0, 1 –4 korrus). Uue arhiivihoone üldpindala on 2544 m², sellest hoidlapinda 1534,8 m², riiulipinda 18 215 laudimeetrit. Arhiivihoone on sisustatud lükandriiulitega, toimivad kaasaegsed ventilatsiooni- ja tulekustutussüsteemid. 19. saj. elumaja kelderhoidlatest ja 2. korruse ruumidest on uude arhiivihoonesse välja kolitud kõik arhiiveksemplarid ehk säilituseksemplarid (sh) sundeksemplarid, baltica fond. Uues hoones on vaba riiulipinda ca 14 000 laudimeetrit.
2014.a. täiustati 90-ndate aastate hoidlakorpuse ventilatsioonisüsteemi. 2015. a. uuendati 90-ndate aastate hoidlakorpuse elektrisüsteemi.
