충헌사는 충헌공 양기(忠憲公 楊起) 선생을 주벽으로 양치(楊治), 양희지(楊熙止), 양응춘(楊應春), 양훤(楊？)을 배향한 사당으로 양기 선생의 영정을 안치하고 있으며, 인조 4년(1626)에 건립되었다. 1686년 종손이 살던 송화로부터 노성으로 이주해 오면서 양기 선생의 영정과 위패를 모신 후 수차에 걸쳐 중수한 것으로 정면 3칸 측면 1칸의 전통 한옥 건물이다. 강당을 겸한 경모재(敬慕齋)는 정면 4칸, 측면 2칸의 한식 와가 팔작 건물로 1960년대까지 강학 장소로 이용되었다. 양기 선생은 중국 홍능인으로 고려 말에 노국공주를 모시고 우리나라에 왔다가 당시 조선인의 궁핍한 생활을 보고 돌아가 고려의 조공제도를 폐지케 하였으며, 후일 우리나라에 귀화하여 상당백의 작위와 청주양씨(淸州楊氏)의 시조가 되었다.