בשנות ה-20 של המאה ה-20 הגיעו לחיפה פועלים שעלו לארץ ישראל בעיקר מרוסיה, אוסטריה, הונגריה, פולין ורומניה עם אידיאולוגיה אחת - להיות פועל בארץ ישראל. בסוף שנת 1922 נפלטו רוב פועלי חיפה מעבודת סלילת הכביש חיפה - נוה שאנן. כאשר לא היתה עבודה רבה החלו חלק מן הפועלים, שרובם היו קשורים לאגודות ספורט בארצות הולדתם, לשחק כדורגל בהשפעת הבריטים, שהפיצו את המשחק ושיחקו בו ברחבי הארץ. באותה תקופה היתה קיימת הסתדרות מכבי, שהייתה הסתדרות הספורט הכללית הגדולה והיחידה בארץ ישראל ובמסגרתה פעלו מספר קטן של קבוצות עבריות כמו מכבי ת״א ומכבי פ״ת.
ב-20 ליוני 1923 הגיעה לחיפה האניה ״קאמפידוליו״ והביאה איתה חלוצים מוינה, ביניהם אנשי ספורט שחלקם היו חברי אגודת מכבי וחלקם באירגוני הספורט של הפועלים. בדרכם לחיפה הם הגו את הרעיון להמשיך ביחד בפעילות ספורטיבית בארץ לישראל. לאחר הגעתם לארץ הם פנו אל נציג ועד הצירים בבקשה להקציב להם סכום כסף לרכישת כדורגל. הנציג נאות לבקשתם והציע להם להצטרף לאגודת מכבי בחיפה. הם לא הצליחו ליצור קשר עם מכבי, אבל רכשו את הכדור והחלו לשחק בינם לבין עצמם על מגרש מלא אבנים בסמוך לפינת הרחובות בלפור ונורדאו. כעבור זמן קצר הצטרפו אליהם פועלי בניין שהועסקו בסלילת רחוב החלוץ. הם לבשו חולצות לבנות עם סרט אדום מנייר קרפ, מתוח באלכסון.
ב-29 לספטמבר 1923 נערך בנהלל המשחק הראשון בין קבוצת הפועלים מחיפה לבין קבוצת השומר הצעיר ממשמר העמק. הספורטאים מחיפה יצאו לנהלל ברגל וחזרו עם ניצחון 1:2. לאחר שבוע החיפאים התמודדו בכפר הילדים שליד גבעת המורה מול קבוצת נוער של יתומי אוקראינה. הפעם הפועלים נוצחו 1:0. בחודש דצמבר הם שיחקו נגד קבוצה של גדוד העבודה העברי בתל יוסף וניצחו 2:3. בינואר 1924 ביקרה בתל אביב קבוצת הכח וינה ומאות חובבי כדורגל יצאו מחיפה ברכבת לתל אביב כדי לצפות במשחקה של קבוצת הפאר היהודית. היתה זו נקודת מפנה בעלת השפעה רבה בהיסטוריה של הפועל חיפה. באותו החודש, שחקני הכדורגל בחיפה פנו למועצת פועלי חיפה והודיעו שברצונם להצטרף לתנועת הפועלים או להשתלב בפעילותה של ועדת התרבות. התגובה הראשונית היתה חיובית ואף הוקצה להם סכום לפרסם מודעה על הרשמה לקלוב (מועדון) ספורטיבי. אבל מפ״ח לא הסכימה לקבל תחת חסותה את המועדון לפני בירור עם ועדת התרבות המרכזית. לבסוף האישור ניתן והמודעה המבשרת על אסיפת היסוד של הקלוב הספורטיבי התנוססה בחדר האוכל של מטבח הפועלים בסמטת רחוב אלנבי.
ב-24 לאפריל 1924 התאספו 36 חברים בצריף קטן במחנה ״אחווה״ שהיה ממוקם בשכונת ״שדליה״, במקום בו נמצאים היום הרחובות סירקין ושפירא. מנהיגי המייסדים היו יהושע שרפשטיין, יאיר אהרוני ויוסף גרוספלד. כמו כן נמנים שמותיהם של מאיר ויינשטיין, מאיר שטראוך, צבי אמיץ-לב, מאיר דגני, יעקב בראואר, חיים דגני, חיים גרוסמן, זלמן כהן, יעקב לוין, לוינסון, דוב ביביצקוב, אליעזר גרוסמן, שבתאי ספיבק, יעקב שרומינגר, אריה אבני, משה שטראוך, דוניה צבי, ציפורה כהנא ובתיה דגני עם מייסדי המועדון. על הפרק עמדו בין היתר קביעת שמו של המועדון. הצעתו של יהושע שרפשטיין לקרוא למועדון ״הפועל״, התקבלה פה אחד.
מייסדי הפועל חיפה
בראשון למאי התקיים המשחק הרשמי הראשון של הפועל חיפה מול קבוצת פועלי הרכבת, שבה שיחקו יהודים, ערבים ואנגלים. מאות צופים הגיעו לאירוע החגיגי, כשהפועל חיפה הזמינה את קרול ובלום ממכבי חיפה כשחקני חיזוק. במשחק זה ניצחה הפועל חיפה בתוצאה 1:3. את השער הראשון לזכותה של הפועל חיפה כבש מאיר ויינשטיין בבעיטה מ-30 מטר. כבר במשחק הראשון אימצה לעצמה הקבוצה את הצבע האדום, אלא שאז שיחקו השחקנים בגופיות וענדו סרטים אדומים לזרועותיהם. לפי כוונת הפועל, הצבע האדום אמור לבטא אומץ-לב, כוח, להט, חופש, מרדנות, מהפכנות, הקרבה עצמית, דם, מלחמה ושוויון.
ב-28 לנובמבר נערכה אסיפה של חברי קלוב הפועל בחיפה בה הוחלט כי יש להצטרף להסתדרות מכבי כאגודה מיוחדת. עובדה זו צוינה במפורש בכרטיסי החבר הראשונים שהוצאו בשנת 1925. בכרטיס החבר הראשון של הפועל, התכבד יהודה גבאי שנבחר באותה העת לראש ק.ס הפועל. אבל ב-26 לינואר התקיימה ישיבה משותפת של נציגי מכבי והפועל בחיפה, בה אנשי מכבי התנגדו לקיומם של שני סניפים בעיר המשתייכים לאותו המרכז. כאשר נוסדה הפועל חיפה היא היתה קבוצת הפועלים היחידה בצפון הארץ. בעקבותיה נוסדו באזור קבוצות פועלים נוספות, בין השאר בקיבוץ השומר-הצעיר וברחבי עמק יזרעאל. בראשון לאוגוסט נערכה פגישה בעפולה ביוזמת הפועל חיפה, בה נעשה ניסיון ראשון להקמת התאגדות ארצית של קבוצות הפועל במסגרת ספורטיבית הסתדרותית. ניסיון זה לא עלה יפה, בעיקר בגלל התערבותה של ההסתדרות הכללית שיזמה הקמת התאגדות ארצית בשליטתה.
ב-10 לאוקטובר נחנך מגרש הפועל בקרית אליהו (בסמוך למושבה הגרמנית, בין קופ״ח לין לתחנת מד״א של היום), שנרכש בעזרת כספי ההסתדרות ומועצת פועלי חיפה. זה היה מגרש הכדורגל החוקי והמסומן הראשון בחיפה, שכלל שערים אמיתיים. במשחק החגיגי שנערך לעיני קהל רב, ניצחה הפועל קבוצה גרמנית (כנראה מהמושבה הגרמנית) בתוצאה 1:5. ב-15 למאי 1926 התקיימה מועצת היסוד של התאגדות הפועל הארצית, בצריף הנוער העובד בתל-אביב. הפועל חיפה שהיתה כמובן אחת מאגודות הפועל המייסדות, יוצגה במועצה ההיסטורית ע״י יהושע שרפשטיין ויאיר אהרוני.