Ыбырай 1841 жылы қазан айының 20-сында қазіргі Қостанай облысы, Қостанай ауданында дүниеге келеді. Үш-төрт жасында әкесі Алтынсары қайтыс болып, атасы Балғожаның қолында өсіп, тәрбиеленеді. Қыпшақ тайпасының ұзын руынан шыққан. Атасы Балғожа би өз аймағының атақты кісілерінің бірі болған. Ел ішіндегі көп билікті қолында ұстаған би, Орынбор әкімшілігінің алдында да беделді, белгілі кісі болған. Замана бет алысын өзінше болжаған Балғожа табысқа жетудің ендігі жолы – оқу деп біледі. Сөйтіп, немересі кішкентай Ыбырайды Орынборда ашылады деп күтілген орыс-қазақ мектебіне күні бұрын жаздырып қояды.