Tarihçe 

İstanbul Üsküdar’da Hacı Selim Ağa tarafından kurulan kütüphane, eski adı “Selamsız” yeni adı ile Selami Ali Caddesi No:17 de bulunmaktadır. Kayıtlarda “Atlama Taşı mevkiinde” diye mevzu edinilen ve padişahların atlarını binerlerken ayaklarını bastıkları bu taş şimdi tarihi Kara Davut Camii önünde bulunmaktadır.
Hacı Selim Ağa: Kütüphanenin bânisi Hacı Selim Ağa, Reisülküttab Mustafa Efendi’nin İran’dan küçük yaşta aldığı kölesi olup, bilâhere azâd edildikten sonra devlet hizmetine girmiş, taşıdığı istida, kabiliyet ve çalışkanlığı sayesinde süratle ilerlemiş ve Darphane Emirliği’ne getirilmiştir.
Edirne Sarayı tamiratındaki başarısı ile dikkat çekmiş ve sırası ile Potin Defterdarı, Başbaki Kulu ve Kapucubaşı olmuştur. Sultan I.Abdülhamit’in cülusundan sonra itibarı daha da artmış ve Darphane, Matbah ve Tersane Eminliğine getirilmiştir.
Sultan III.Selim’in tahta çıkışından sonra, daha şehzadeliğinde başlayan husumet artmış olup eski itibarı sarsılmıştır. Nihayet Sultan III.Selim  donanma işlerini ihmal edip savaş gemilerinin yapımını geciktirdiği, verilen görevleri yerine getirmediği gibi sebeplerden H 1203 (1879) tarihinde idam edilmiştir.  Konu ile alakalı geniş bilgi Ahmet Cevdet Paşa tarihi c.4 sh.269-283 de bulunmaktadır.
Hacı Selim Ağa’nın mezar kitabesinde; Huve’l hallaku’l bâki, Sâhibü’l hayr ve’l vakf Dergâh-ı Âlî Kapucu başlarından Tersane-i Âmire Emini merhum ve mahfur maktul el-hac Selim Ağa ruhuna Fatiha Fî 15 Şaban sene 1203 (11 Mayıs 1789) yazmaktadır. 
Hacı Selim Ağa, Matbah Emin’i iken; ismi ile anılan kütüphaneyi ve bitişiğindeki ilim ve irfan yuvası olan Sıbyan Mektebini de fevkani ( İki katlı ) olarak H 1196 (1782) tarihinde birlikte yaptırmış olduğunu; kütüphanenin avlu giriş kapısının üstündeki  Yesârî  Mehmet Efendi’nin hattı ile yazılmış inşa kitabesinden de öğreniyoruz.