Die Gemeindebibliothek war früher mit der Heimatkundlichen Sammlung Richterswil in der von 1891–1987 bestehenden «Pestalozzi-Gesellschaft Richterswil» vereinigt. Nach der Trennung lautete der Name von 1987–1992 «Pestalozzi-Bibliothek». Um eine Verwechslung mit den Zürcher Pestalozzi-Bibliotheken zu vermeiden, wurde der Name geändert. Der Verein «Gemeindebibliothek Richterswil» besteht seit 1992. Seit 1998 ist die Bibliothek in den jetzigen Räumlichkeiten eingemietet. Nach einer ersten Vergrösserung im Jahr 2017 ist 2023 der Eingang von der Friedenstrasse 8 an die Dorfstrasse 7 verlegt worden. Mit der Erweiterung in diesem Zusammenhang verfügt die Bibliothek nun über rund 330 m2 Fläche, die sie ihrer Kundschaft zur Verfügung stellt.