Dopo un primo tentativo animato da Armando Lodolini, alla fine della prima guerra mondiale, solo nel 1949, questa volta sulla base di un'iniziativa presa da Emilio Re, venne costituita un'associazione di archivisti italiani, l'Associazione Nazionale Archivistica Italiana (ANAI) che svolse il suo Primo Congresso a Orvieto nell'ottobre del 1949.

La sua storia può essere articolata in almeno tre grandi periodi che vanno dalle origini al 1963, dal 1963 al 1985, dal 1986 ad oggi.

Nel primo periodo l'ANAI, sotto la presidenza prima di Re, poi di Riccardo Filangeri e di Leopoldo Sandri, comincia a muovere i primi passi e a svolgere un ruolo sempre più importante sia in Italia che all'estero, sino ad organizzare, nel 1956, il III Congresso Internazionale degli Archivi a Firenze.

Il secondo periodo, caratterizzato dalla lunga presidenza di Antonino Lombardo e legato anche all'entrata in vigore della nuova legge archivistica italiana del 1963, è segnato dalla complessa e difficile transizione da una visione burocratica del lavoro archivistico, verso una funzione più specificamente scientifica e culturale. Fu in questi anni che si arrivò alla costituzione di una rivista dell'Associazione, "Archivi e Cultura", che dal 1967 al 1985 è stato l'organo ufficiale dell'ANAI.

Dopo la morte improvvisa di Lombardo nel 1985 e una breve presidenza di Antonio Saladino, il terzo periodo si apre nel 1986 con il Congresso di Piacenza che porterà alla presidenza di Enrica Ormanni, poi sostituita, nel 1996, da Isabella Orefice.

Due appaiono i caratteri essenziali di questi anni: da un lato la progressiva trasformazione dell'ANAI da associazione di archivisti di stato ad associazione di tutti gli archivisti, dall'altro la sua articolazione, avvenuta nel 1988 con l'approvazione del nuovo statuto mediante referendum, in Sezioni Regionali, ognuna delle quali dotata di propri organi di governo e di autonomia organizzativa per quanto concerne le iniziative culturali. E' stata inoltre potenziata l'attività editoriale, con l'uscita di una nuova rivista "Archivi per la storia", che sostituiva "Archivi e Cultura" e che poi ha preso l'attuale nome di "Archivi" e con la pubblicazione, dal 1993 di un più agile notiziario con cadenza trimestrale, "ANAI Notizie", trasformato in pubblicazione on-line, "Il Mondo degli Archivi", con la collaborazione della Direzione Generale per gli Archivi del MiBACT.

Si è voluto dare maggiore risalto alle tematiche relative alla professionalità dell'archivista e sono stati organizzati, sia a livello nazionale che regionale, sempre più numerosi momenti e percorsi di formazione e di aggiornamento professionale.

Notevole impulso, infine, è stato dato allo sviluppo di più intensi rapporti con le associazioni archivistiche straniere e con il Consiglio Internazionale degli Archivi, rapporti che hanno portato all'organizzazione della Conferenza Europea degli Archivi a Firenze nel 2001 e a molte altre iniziative di carattere internazionale, nella quale l'ANAI è stata sempre parte attiva.

Il convegno internazionale Sport invernali e montagna. Una memoria a rischio, svoltosi a Torino nel maggio 2007, era dedicato agli archivi degli sport invernali; precedentemente, nel maggio 2003, era stato organizzato il convegno La memoria del Cinema. Archivisti, bibliotecari e conservatori a confronto, sulle principali problematiche che esistono per la conservazione e la tutela del materiale cinematografico, film e "non film".

Nel 2006  e nel 2007 l'ANAI ha organizzato Archiexpo, la prima iniziativa del genere in Italia, di carattere scientifico ed espositivo al tempo stesso, dedicata al mondo degli archivi. Nel gennaio 2009 è stato presentato il Progetto pluriennale Archivi della Moda del 900, volto al recupero e alla valorizzazione dell'immenso patrimonio della moda italiana contenuto negli archivi del ‘900, che si è articolato in diversi seminari di studio, relativi ai differenti distretti produttivi in varie città d'Italia, in attività di censimento, in convegni nazionali e che si conclude nel 2012 con un convengo internazionale.

Dal maggio 2019 Micaela Procaccia è l’attuale presidente