عند الحديث عن نشأة الاتحاد كـ نادٍ فيجدر بالذكر أنها لم تكن حدثًا رياضيًا فقط بل كان تأسيسه هو تأسيس لفكرة ومبدأ اجتماعي وهو أن الكل في الرياضة يجب أن يكونوا متساوين وأن من يحاول الإخلال بهذا المبدأ الاتحادي سيجد نفسه خارج التاريخ الاتحادي، وكانت البداية من الفريق الرياضي الحجازي، وكان من أبرز أعضائه، محمد عبدالله علي رضا، محمد صالح محمد سلامة، عبدالعزيز جميل، حسن كامل، حمزة فتيحي، عبدالصمد نجيب، محمد درويش، عبدالله بن زقر، عبدالرزاق محمد عجلان، محمد صالح محمد سلامة وقد اتجه بعض أعضاء الرياضي الحجازي، إلى المطالبة بجعل الفريق محصورًا على أبناء الطبقة الميسورة، وأن يتم استبعاد غيرهم وهو الطلب الذي رفضه الجزء الآخر من الأعضاء رغم أنهم أيضًا من أبناء الأسر الميسورة ماليًا ولكنهم كانوا ينادون بأن الرياضة يجب أن تكون للجميع دون تصنيف أو طبقية، ومع اتساع الخلاف قرر كل من محمد صالح سلامة وعبدالعزيز جميل وشقيقه عبداللطيف جميل وعبدالصمد نجيب وعبدالله بن زقر وعبدالرزاق محمد عجلان وحمزة عبدالله فتيحي وغيرهم أن يأسسوا نادي الاتحاد واجتمعوا في غرفة تابعة لمبنى اللاسلكي وكان ذلك بتاريخ 26 ديسمبر 1927م، فتأسس الاتحاد ليكون ناديًا لجميع أبناء الوطن ومن هنا كانت بذرة شعبية الاتحاد وسر محبة جمهوره له، ذلك أنهم يشعرون أنه لهم ومنهم وإليهم.

ومع الوقت وجد الفريق الرياضي الحجازي نفسه مجبراً لمواجهة هذا المارد الاتحادي الذي ذاع صيته وفعلاً حدث اللقاء المنتظر في مايو 1932م وتواجه الفريقان ونجح الاتحاد بالفوز حيث انتهت المباراة بفوز الاتحاد 3-0 وكانت هذه المباراة بمثابة الضربة القاضية للرياضي الحجازي ومعها انتصر الاتحاد ليس فقط بالملعب، بل انتصر لفكرته ومبدأه الذي بسببه نشأ، ولاحقاً اندثر الفريق الرياضي الحجازي وانضم لاعبيه للاتحاد ليصبح بذلك الاتحاد هو النادي الأقدم والعميد الأوحد للأندية السعودية حتى يومنا هذا.

وبالحديث عن تأسيس الاتحاد فلا بد أن نتحدث عن جمهوره الذي هو الداعم الاول معنوياً لناديه ولطالما كان حضوره الكثيف مضرباً للمثل ولذلك كان الاتحاد هو اول من ادخل نظام التذاكر في عام 1932م عبر إعلان نشر بتاريخ 8 مايو 1932م بصحيفة صوت الحجاز ليتيح بذلك لجمهوره دعمه مادياً ويكون نموذجاً في التنظيم وسابقا لعصره في استحداث الانظمة.

ويتذكر الاتحاديون قصة تأسس ناديهم بمزيج من مشاعر من الفخر والامتنان لجميع مؤسسي ناديهم وكذلك أول رئيس بتاريخهم وتاريخ الأندية السعودية السيد علي هاشم سلطان، وأول مدرب بتاريخ الاتحاد والأندية السعودية الشيخ محمد صالح سلامة، وقائمقام جدة بعهد الملك عبدالعزيز وأول رئيس شرف للاتحاد الشيخ عبدالله علي رضا رحمهم الله جميعاً.