Отбасы – ошақ қасы Абай үш әйел алған. Бәйбішесі Ділдәдан – Ақылбай, Әбдірахман, Күлбадан, Әкімбай, Мағауия мен Райхан, екінші өйелі Әйгерімнен – Тұрағұл, Мекайыл, Ізкайіл мен Кенже, барлығы 7 ұл, 3 қыз сүйген. Ал келіндей алған әйелі Еркежаннан ұрпақ көрген жоқ.
Абай ғылым іздеуді өз басына ғана алмай, балаларын да барынша оқытуға тырысқан. Ең көп оқыған офицер баласы – Әбдірахман. 90-шы жылдары ол құрт ауруынан қайтыс болды. Оның артынан сүйеніші болып жүрген мықты інісі Оспан өледі. Осы екі өлім Абайға бас қайғысының ішіндегі үлкен қаза болып тиеді.
Сол жылдары бас қайғысымен қатар Абай өзінің дос деген адамдарының қиянатын, алдауын, өтірігін де көреді. Бір сайлауда өзінің інісін болыстыққа сайлаймын деп келгенде бұрын ешбір сыр бермейтін достары бір-ақ түнде жат болып шыға келеді. Оның інісін құлатып, өз кісілерін сайлап кетеді. Онымен қоймай, Тобықты ішінде бұрыннан онымен сілкісіп келген басшы жауы Оразбай бір сайлауда Абайды өз кісілеріне сабатып та алады. Осы іспетті соққылармен күресіп келе жатқанда ең жақсы көрген баласы Мағауия өледі.
Абай ешкіммен сөйлеспей, үндемей қалады. Ал 1904 жылы 23 маусымда Мағауияның өлімінен кейін тура 40 күн өткен соң өзі де қайтыс болады. Бір жарым айдан кейін Абайдың ақын баласы Ақылбай Семейде дүние салады.