Bugün kütüphanecilik hizmeti verilen medrese binası Sultan II. Bayezid'in emriyle oğlu Şehzade Ahmet tarafından 1485- 91 yılları arasında yaptırılmıştır. İlimizdeki medreselerin en büyüğü anlamına gelen Medrese-i Sultaniye veya Sultaniye Medresesi adı altında uzun yıllar hizmet vermiştir. İlk Müderrisi Şeyhülislam Zembillizade Ali Efendi' dir. Cumhuriyetin ilanından sonra Atatürk'ün emriyle 1925 yılında İlimizde bulunan yazılı ve basılı eserlerle birlikte, arkeolojik ve etnografik eserlerde bu binada toplatılarak, kütüphanecilik ve müzecilik hizmetlerinin temeli atılmıştır. Daha sonra fiziki yetersizlik nedeniyle arkeolojik ve etnografik eserler buradan çıkartılarak, bina tamamen kütüphanecilik hizmetlerine tahsis edilmiştir. Cumhuriyetin ilanından sonra Tevhid-i Tedrisat Kanununun çıkarılması ile birlikte ilimizde bulunan tekke, türbe, zaviye ve medrese gibi yerlerin kapanmasıyla buralarda bulunan eserler Sultan II. Bayezid Külliyesindeki medrese binasında toplanmış ve Cumhuriyet Dönemindeki kütüphanecilik hizmetleri ilk defa bu binada başlamıştır. 18.06.1922 tarihinden itibaren umumi kütüphane olarak hizmet vermekte iken, 1960 yılında Kütüphaneler Genel Müdürlüğü'nün kurulmasıyla birlikte "Halk Kütüphanesi" adını almıştır. Mülkiyeti Vakıflar Genel Müdürlüğüne ait olan bu bina Bakanlar Kurulu kararı ile 1965 yılında 25 yıllığına Kütüphaneye tahsis edilmiştir. O günden beri aynı binada hizmet veren Kütüphanemiz bugün çocuk bölümü, müracaat bölümü ve internet erişim merkezi olarak hizmetlerine devam etmektedir.