1069年(延久元年)後三条天皇の発布した延久の荘園整理令の実施に伴い設置された。反摂関家的な源経長、学者の大江匡房らが起用された。荘園の没収などを行った。後三条の死後には消滅し、1111年(天永2年)、1156年(保元元年)にも設置されたが、後白河法皇によって院庁に吸収される。1187年(文治3年)、訴訟や儀式の遂行に関する業務も含めた形で復興される。この時の記録所は内覧九条兼実の管轄下に置かれて公卿の陣定に匹敵する発言力が与えられた。これも後鳥羽上皇の院政開始とともにその院庁に吸収されていくことになる。後に後嵯峨天皇の時代に再置されてからは常設化され、1293年(正応6年・永仁元年)には伏見天皇が徳政推進の機関として充実化させた。いなど、訴訟の分野ごとに担当する日付や班が定められた(後の建武の新政における雑訴決断所の分離・設置にも影響を与えた)。鎌倉時代の1321年(元亨元年)に後宇多法皇に代わり親政を開始した後醍醐天皇は記録所を再興する。1333年に鎌倉幕府が滅亡すると、後醍醐は建武の新政を開始して8省の外に記録所を設置して建武政権における最高政務機関とし、重要審議を処理させた。