Nakon osnivanja 1908. godine, Savezni istražni ured je postojao kao malo poznata agencija koja je bila produžena ruka ministarstva pravosuđa u kojoj su posao dobivali bliski prijatelji onih na vlasti.

Tako je bilo sve do 1924. godine, kada je 26-godišnji J. Edgar Hoover došao na čelo ove organizacije. John Fox, službeni povijesničar FBI-ja, kaže da je Hoover očistio agenciju, koja je u tom trenutku bila ogrezla u političku korupciju: “On se s velikim elanom bacio na reformiranje ove agencije i na stvaranje atmosfere u kojoj je primjena zakona u federalnoj državnoj upravi profesionalna, a ne politička funkcija.” Pod Hooverom je FBI, u čiji je naslov dodano ono federalni, odnosno savezni 1935. godine, stvorio reputaciju kakvu nitko drugi nije imao do tada kada su u pitanju forenzička istraživanja, hvatanje bjegunaca poput pljačkaša banke Johna Dillingera, koji je ubijen ispred jednog chicaškog kina 1934 godine. I možda najvažniji od standarda koje je postavila – ova agencija nije bila podložna korupciji. Hoover se trudio popraviti ugled FBI-a u javnosti i medijima, da bi se na koncu organizacija smatrala – mitološkom. Čak i danas, agenti koji nikad nisu radili za njega zovu ga mr. Hoover. U tajnoj i zaštićenoj atmosferi, FBI je vremenom počeo provoditi i neke kontroverzne operacije, uključujući elektronsko prisluškivanje i ometanje aktivističkih grupa 60-ih godina prošlog stoljeća, uključujući i Martina Luthera Kinga. Nakon smrti Hoovera, 1972. godine, FBI je postao otvorenija agencija, koja je Kongresu odgovarala za svoje postupke. Povjesničar FBI-a John Fox kaže da su krivi potezi, koji su bili povučeni u vrijeme J. Edgara Hoovera, dali vrlo jasne smjernice današnjim agentima o opasnoj ravnoteži izmedju zaštite života i sigurnosti s jedne strane, te očuvanja gradjanskih sloboda s druge.