孔子于68岁返回鲁国，开始整理图书典籍。尤其是在晚年，主要精力是用在校勘、整理典籍方面。孔子是中国最早的图书整理者，相传他整理《诗经》《尚书》等文献，并把鲁史官所记《春秋》加以删修，成为中国第一部编年体的历史著作。

孔子在整理文献中，创立了揭示文献“为之作序”“言其作意”的目录学方法。为《诗》《书》作序，或附于书后，或临于书首，或另出单行，这在揭示文献的内容上起重要作用。

孔子整理图书所定的《六艺》，对汉代刘向、刘歆父子在《别录》《七略》书目分类上产生了极大的影响。

孔子通过国家的藏书，了解了虞、夏、商、周四代的典章制度和历史。他所收藏的图书主要有《诗》《书》《礼》《乐》《春秋》等。

《公羊解诂》载孔子“使子夏等十四人救周史记，得百二十国宝书”，说明在编定《六经》时，广泛搜集各国典籍。故后，“所居堂弟子内，后世因庙藏孔子衣冠、琴、车、书”。