בשנת 1925 הצטרף להפועל חיפה החלוץ המרכזי יעקב ״ינה״ שטרן לאחר שביקר בארץ עם קבוצתו הכח וינה. במהרה הוא הפך לכוכב הראשון והמנהיג של הקבוצה הצעירה.
הפועל חיפה בשנת 1925
במאי 1926 הושג הסכם בין הפועל למכבי ״הגיבור״ חיפה על הסרת החרם של מכבי על הפועל. על פי ההסכם שנקבע לחודשיים, הותר לאגודת הפועל בחיפה להתמודד עם קבוצות מכבי והובע רצון שבמשך שני החודשים האלה על מרכזי הפועל ומכבי למצוא בסיס לעבודה משותפת. כמו כן, נקבעו שני משחקי דרבי בהם יחולקו ההכנסות שווה בשווה בין הקבוצות. ב-22 למאי נערך הדרבי הראשון בהיסטוריה של חיפה שכונה "התחרות השלום". המשחק שהתקיים על מגרש מכבי, הסתיים בניצחונה של הפועל 0:3. ב-5 ליוני נערך הדרבי השני של חיפה על מגרש הפועל, אבל לא הגיע לסיומו. שחקני ״מכבי הגיבור״ סירבו לקבל את שריקת השופט האנגלי לפנדל לחובתם ונטשו את המשחק במצב של 1:2 להפועל. יש לציין שקודם לכן נפסקו שני פנדלים לטובת מכבי. הקהל דרש את כספו בחזרה אבל הגזבר של מכבי לקח ללא רשות מהקופה מחצית מהסכום, בהתאם להסכם שנקבע קודם. על רקע זה הוגשה תביעה של הפועל לבית משפט השלום העברי בחיפה. משפט זה עורר עניין רב ואף זכה לחשיפה רבה בעיתונות התקופה. בית המשפט פסק כי על מכבי להחזיר את הכסף, אבל מכבי לא מילא אחר ההוראה וננזף על ידי בית המשפט. בהמשך מספר שחקני מכבי חיפה ערקו ועברו לשורות הפועל: קליין, אפשטיין, פרידמן וריקלין.
בשנת 1927 הפועל חיפה היתה קבוצת הפועל הראשונה שהשתתפה במשחקי הגביע הארץ ישראלי שאורגנו ע״י הבריטים. בסיבוב הראשון, הפועל חיפה גברה 1:4 על הקבוצה הערבית "כרמל", ולאחר מכן הוגרלה מול מכבי הגיבור חיפה. ב-19 לפברואר נערך הדרבי בין הפועל למכבי הגיבור חיפה בשלב רבע גמר הגביע הארץ ישראלי. המשחק הסתיים ב-0:0. ב-28 לפברואר נערך משחק רבע גמר חוזר על מגרש מכבי, בו נכח קהל רב. כבר אז שיחקה הפועל חיפה באדום-שחור. בדקה ה-20, אפשטיין קבע את תוצאת המחצית 0:1 להפועל. במחצית השניה הפועל השתלטה לגמרי על המשחק. בדקה ב-65 מוניאק העלה את הפועל ליתרון 0:2 בבעיטה חופשית מ-30 מטר. לפני הסיום, מכבי צימקה ל-2:1. לאחר המשחק נשאו אוהדי הפועל חיפה את השחקנים על כפיים עד מלון בריסטול ברחוב יפו. הפועל חיפה העפילה לחצי הגמר — השלב הגבוה ביותר של קבוצה עברית עד אז במשחקים אלה.
לאחר שמכבי הגיבור חיפה יצאה למסע בארה״ב, רבים משחקניה לא חזרו ארצה והקבוצה התפרקה. ב-1928 הפועל נותרה הקבוצה העברית היחידה בחיפה. ב-8 למרץ נערכה ישיבה של באי כוח הקבוצות העבריות והבריטיות כדי לארגן את משחקי "הגביע הארץ-ישראלי לכדורגל", בשונה מהשנים הקודמות בהן אורגנו המשחקים ע״י ״הקלוב הספורטיבי״ האנגלי בירושלים. הגביע עצמו נתרם על ידי חברת "כרמל מזרחי" לאחר שהגביע הקודם נלקח ע"י האנגלים לארצם. בחודש מרץ הפועל חיפה הוזמנה להתמודד עם קבוצת האוניברסיטה האמריקנית בביירות. זאת היתה הקבוצה הראשונה של הפועל שיצאה לשחק מחוץ לגבולות ארץ-ישראל. המשחק עצמו נערך ב-17 למרץ ובו ניצחה הפועל 1:4.
ב-1928 נעשה ניסיון ראשון להקים נבחרת כדורגל שתייצג את ארץ ישראל. היוזמה לכך באה מצידו של סר אלפרד מונד (לורד מלצ'ט) שביקר בא״י והודיע בחודש יוני שהוא מוכן להקצות 2000 ליש״ט לטובת נבחרת עברית שתסע לאנגליה כדי להתחרות עם קבוצות מקומיות. בעקבות כך הוחלט לארגן טורניר בו השתתפו 4 הקבוצות העבריות הבכירות באותה התקופה: הפועל חיפה, הפועל ת״א, מכבי ת״א ומכבי החשמונאי ירושלים. הפועל חיפה סיימה את הטורניר שהתקיים במהלך חודשים יוני-יולי במקום השני עם 4 ניצחונות ו-2 הפסדים. בעיתון ״דואר היום״ שסיקר את הטורניר, נכתב ש״להפועל חיפה ישנם שחקנים שמתאימים לקבוצות חזקות אפילו במרכז אירופה״. הפועל ת״א סיימה ראשונה, אבל הנסיעה לאנגליה לא התקיימה בסופו של דבר. ב-14 לאוגוסט הפועל חיפה הייתה אחת הקבוצות שהיו שותפות להקמת התאחדות הכדורגל הארץ ישראלית, באסיפה המייסדת שנערכה במשרדי מכבי ארץ ישראל בירושלים.
ב-2 למרץ 1929 הפועל חיפה הפסידה 0:2 למכבי החשמונאי ירושלים בחצי גמר הגביע שנערך במגרש מכבי בתל אביב לעיני 5,000 צופים. במשחק זה נפסקו 4 בעיטות עונשין מ-11 מטר, 2 לכל קבוצה אבל כולן הוחטאו!
שחקנים בולטים: יעקב (ינה) שטרן, שמואל אפשטיין, יעקב ריקלין, שלמה פוקס, אמרה יעקבי, אפרים דויטש, מוחמד אבו-יונס, האחים אברהם ויעקב שמש (מזרחי).