Карамышка впервые упоминается в 1763 году, в 3 ревизии за княгиней Кильдишевой Евдокией Семёновной. Последним помещиком был Михаил Николаевич Беклемишев, заложивший знаменитый Карамышский парк.
Карамышка - родина Василия Фроловича Ефимова-Саратовца, члена РСДРП с 1903, большевика, делегата 5-го съезда РСДРП (1907). В селе установлен ему памятник.
В 1929 году крестьяне объединились в коллективное хозяйство носившее название «Большевик». В 1959 году «Большевик» слился с колхозом имени Чапаева. В 1965 году Карамышку и Константиновку вывели в отдельное хозяйство - колхоз имени Ефимова-Саратовца.
