Bangunan Kutub Khanah Maktab Perguruan Sultan Idris atau Perpustakaan MPSI ini telah dirasmikan pada 10 Disember 1959 oleh YB Encik Md Khir bin Johari yang mana pada ketika itu merupakan Menteri Pelajaran Malaysia. Peruntukan sebanyak RM18,000.00 digunakan untuk membina bangunan ini dan dijadikan khutub Khanah (perpustakaan) setelah dipindahkan dari sebuah bilik di tingkat atas Bangunan Suluh Budiman. Dua bahagian dalam bangunan ini dikenali sebagai ‘Bilek Dussek’ dan ‘Bilik Khir’ yang menempatkan buku-buku bacaan dan majalah. Pada tahun 1985, perpustakaan berpindah ke bangunan dewan makan SDAR.