تفرَّع آل خلدون في إشبيلية، وكانت لهم فيها زعامة ورياسة. ثم رحل جده الحسن عقب فتنة خفقت ريحها في تلك البلاد فنزل سبتة، ثم أرخى زمام مطيته متوجهًا إلى مدينة «عنابة»؛ لصلة كانت بين بعض أسلافه وبين صاحبها الأمير زكرياء، فلقيه الأمير باحتفاء، وأدخله في سلك رجال دولته، وجرى ابنه محمد على سَننه في خدمة الدولة، وأدرك ما ناله والده من وجاهة وإقبال. وانتهى أمر ابنه محمد - الذي هو الجد الأدنى للفيلسوف ابن خلدون - إلى السكنى بمدينة «تونس» والانتظام في هيئة الدولة، وكان السلطان أبو يحيى إذا خرج من مدينة تونس يستعمله عليها، ولكن ابنه محمدًا - وهو والد الفيلسوف المتحدَّث عن حياته - أثر مدارسة العلم ومجالسة الأدباء، فأصبح معدودًا في زمرة العلماء، ومشهودًا له بالتقدُّم في فن الأدب.