בספטמבר 1960 הגיע לארץ מאמנה החדש של הפועל חיפה, פאל יאבור ההונגרי שאימן בעבר את אלופת ארצו. במחזור השמיני של עונת 1960/61 נערך בקרית אליעזר הדרבי החיפאי. באותה תקופה החלה יריבות של ממש בין שני המועדונים החיפאיים. הפועל הייתה מזוהה עם האליטות ומכבי לעומת זאת זוהתה עם השכבות החלשות יותר של העיר. המחצית הראשונה התנהלה בשליטה מוחלטת של מכבי שעלתה ליתרון מבטיח של 3:0. המשחק נראה גמור ובהפסקת המשחק אוהדים אדומים רבים נטשו את האיצטדיון. אבל שחקני הפועל לא הרימו ידיים, פתחו את המחצית השניה בלחץ כבד על שערה של מכבי והצליחו להשוות ל-3:3. בפתיחת הסיבוב השני, הפועל חיפה פגשה את העולה החדשה והמפתיעה שמשון ת״א, הביסה אותה 0:5 ועלתה למקום השני. במחזור ה-19 נערך בקרית אליעזר הדרבי השני של העונה כשמכבי מדורגת בליגה מקום אחד אחרי הפועל. המשחק היה חד-צדדי כשלמה לוי חוגג עם רביעיה לרשת מכבי בניצחון מוחץ 1:4. במחזורים הבאים הפועל חיפה השלימה סדרה של ארבעה ניצחונת רצופים שהביאו אותה למקום השלישי בליגה. בסיום העונה שלמה לוי הוכתר כמלך השערים של הליגה עם 15 כיבושים, כשגינזבורג מסתפק במקום השלישי עם 14.
במחזור התשיעי של עונת 1961/62 הפועל חיפה יצאה למשחק חוץ קשה בשכונת התקווה נגד המוליכה, בני יהודה. זה נגמר ב-0:5 אדום עם שלושער של אמיל סאבו ועוד שערים של שלמה לוי ואורי ויינברג. במחזור הבא הפועל חיפה כבשה חמישיה נוספת מול מכבי ת"א בתוצאה הנדירה 3:5. שלמה לוי כבש רביעיה ורובי יאנג הוסיף עוד אחד בניצחון שהעלה את הקבוצה למקום הראשון. ניצחון נוסף על מכבי נתניה 1:3, הכתיר את הפועל חיפה כאלופת הסיבוב הראשון. במשחק זה כבש מלך שערי הקבוצה בכל הזמנים, אברהם גינזבורג את שער הליגה ה-66 שלו במדי הפועל חיפה לפני שחזר לקבוצת האם שלו, הפועל רחובות. בסיבוב השני חלה נסיגה ביכולתה של הקבוצה. הפועל הגיעה לדרבי במחזור ה-19, כשהיא ללא ניצחון מאז סיום הסיבוב הראשון לפני למעלה משלושה חודשים. במשחק שנערך ב-7 לאפריל, הפועל ניצחה סוף סוף 0:2 מצמד של שלמה לוי, שאיבד את הכרתו בסיום המשחק בשל המאמץ הרב שהשקיע. בסיום העונה שלמה לוי זכה שוב בתואר מלך השערים של הליגה עם 16 כיבושים.
בתחילת חודש יוני 1962 נודע על מינויו של דמיטר אנדונוב דמיטרוב הבולגרי כמאמנה החדש של הפועל חיפה. מלך השערים של הקבוצה, שלמה לוי החליט לעבור למרכז הארץ ושוחרר לפי בקשתו להפועל ר"ג. במחזור החמישי של עונת 1962/63 הפועל חיפה הפתיעה את האלופה והמוליכה הפועל פ"ת, כשניצחה אותה 0:2. זה היה הניצחון הראשון על הפועל פ״ת, אחרי חמישה הפסדי ליגה רצופים. אבל ההמשך היה פחות טוב והקבוצה התדרדרה לתחתית. בסיום המחזור ה-16 הפועל חיפה ירדה למקום העשירי כשבינה לבין הכח ת״א שבמקום האחרון מבדיל רק הפרש שערים. מכבי פ״ת לעומת זאת, ניצחה באופן ״מפתיע״ את מכבי יפו 1:3. למחרת הודיע יו״ר ההתאחדות, יצחק זאבי שיש לפתוח מיד בחקירה כדי לבדוק אם יש אמת בשמועות על קנוניות במשחקי הליגה. כעבור מספר ימים הוקמה ועדה בראשות נשיא ההתאחדות אריה סריג שתפקידה לחקור את ההאשמות על מכירת משחקים.
הפועל חיפה הצליחה לעצור את רצף ההפסדים בליגה במחזור ה-17, כשניצחה את מכבי פ"ת 0:2 עם צמד של זיגי בלום. לאחר המשחק מכבי פ״ת שירדה למקום האחרון, דרשה משחק חוזר בטענה שבלום ניסה לשחד שחקן שלה, והתלוננה שהשחקנים שלה חשו ברע אחרי ששתו תה בהפסקה. בינתיים התפרסמו המסקנות של ועדה אחרת שדנה בניסיון של מכבי פ״ת לשחד את שוער בני יהודה. על פי החלטת הועדה הופחתו ממאזנה של פתח תקווה שתי נקודות, אבל לאחר שמכבי פ״ת ערערה, בית הדין העליון של ההתאחדות החזיר לה את הנקודות. במחזור ה-21 שנערך ב-27 לאפריל הפועל חיפה הפסידה 1:0 למכבי ת"א בקרב תחתית וירדה למקום ה-11. מכבי פ״ת לעומת זאת השיגה שני ניצחונות ליגה וחלפה על פני הפועל חיפה בטבלה, כשנותר מחזור אחד לסיום העונה.
במחזור האחרון הפועל חיפה אירחה את מכבי יפו שכבר איבדה עניין בליגה. יפו לא התחשבה במצבה של הפועל וניצחה 2:1. הפועל חיפה סיימה את הליגה במקום האחרון שמוביל לליגה א', לאחר שצברה חמש נקודות בלבד בסיבוב השני. אבל זה לא היה סוף פסוק וההכרעה עברה לועדת סריג שדנה בכשרות של כמה משחקי ליגה. במקביל נוצר נתק בין מרכז הפועל לגוש מכבי-בית"ר. בעקבות הסכסוך בין המרכזים, מכבי שעריים לא הופיעה למשחק חצי גמר הגביע נגד הפועל חיפה שהיה אמור להערך בנתניה ב-7 למאי 1963. לאחר התערבות שר החינוך אבא אבן, המשבר נפתר ונקבע משחק חוזר ב-14 למאי בו ניצחה הפועל חיפה 0:3 ועלתה לגמר. גם מחזיקת הגביע מכבי חיפה העפילה לגמר ולראשונה בהיסטוריה נקבע דרבי חיפאי בגמר הגביע, שנערך ב-27 למאי בקרית אליעזר. כבר בהתקפה הראשונה של הפועל, שמחה אורן העלה את האדומים ליתרון 0:1. הפועל חיפה שמרה על התוצאה עד הסיום למרות הלחץ של המכבים ורשמה תואר ראשון היסטורי למועדון. הקפטן איציק אשכנזי קיבל את הגביע מידיו של ראש העיר, אבא חושי והניף אותו לקול תשואות האוהדים.
מסקנות ועדת סריג התפרסמו ביום בו הפועל חיפה זכתה בגביע המדינה. הועדה החליטה לבטל את תוצאת המשחק בין מכבי פ"ת ומכבי יפו ולקבוע 0:0 ללא נקודות. כתוצאה מהחלטה זו, שניתנה אחרי סיום העונה, מכבי פ"ת שוב איבדה שתי נקודות וירדה למקום ה- 12 והאחרון בטבלה, עם הפרש שערים רע יותר מהפועל חיפה. כצפוי, מכבי פ"ת עתרה לבית המשפט המחוזי נגד החלטת ההתאחדות. התיק נקבע לדיון אצל נשיא בית המשפט המחוזי, ד"ר יוסף לם. לאחר סדרה ארוכה של דיונים הוחלט על פשרה שלפיה הירידות יוקפאו ותהיה ליגה עם 15 קבוצות.
לקראת עונת 1963/64 התמנה מיודרג (מינדה) יובאנוביץ' היוגוסלבי למאמנה של הפועל חיפה. בעונה זו עלה לבוגרים יצחק (איציק) אנגלנדר, בתחילתה של קריירה מופלאה. במחזור ה-14 הפועל חיפה השיגה ניצחון נדיר בליגה כשהביסה את מכבי שעריים 3:7 בחוץ. במחזור ה-20 הפועל חיפה אירחה את הפועל ירושלים. כבר בדקה התשיעית רובי יאנג נפצע בכתפו ונאלץ לנטוש את המשחק כשהוא סובל מכאבים עזים. והרופא שטיפל בו איבחן שמדובר בשבר. אבל לתדהמת כולם, רובי החליט לחזור למשחק כשידו חבושה והוא לא מסוגל לרוץ מרוב כאבים (לא היו אז חילופים). הוא המשיך לשחק בהליכה אבל נוכחתו על המגרש המריצה את שאר השחקנים שכבשו חמישה שערים לא מענה לרשתה של ירושלים. לאחר המשחק הוא נלקח לבית החולים, שם אובחן אצלו שבר בעצם הבריח.
ב-23 למאי 1964 נערך בקרית אליעזר גמר הגביע לנוער בין הפועל למכבי חיפה. קבוצת הנוער בהדרכתו של עמנואל פריד זכתה לראשונה בגביע עם ניצחון 0:3 מצמד של אנגלנדר ושער של הקפטן ויקטור יאנג. במחזור ה-25 הפועל חיפה פגשה את המוליכה מכבי יפו וגמלה לה על ההפסד שכמעט הוריד אותה ליגה בסיום העונה שעברה. קיוביק קבע 0:1 כבר בדקה החמישית ויפו איבדה את ההזדמנות לזכות באליפות היסטורית. בקיץ 1964, אבה (אבא) גינדין שהגיע מפינלנד כדי להשתתף בחתונת אחותו והרשים את המאמן יובאנוביץ׳ בבעיטותיו החזקות והמדויקות, החל להשתלב בקבוצה. לקבוצה הצטרף גם דב עצמון לאחר מאבק ארוך ומתיש שניהל מול קבוצתו הקודמת, הפועל ירושלים.
הפועל חיפה המשיכה להצליח בגביע והגיעה לגמר בפעם השניה ברציפות, הפעם פגשה שם את מכבי ת״א. משחק הגמר שנערך ב-30 לספטמבר בבלומפילד הסתיים בתיקו 1:1, לאחר 120 דקות ונקבע משחק חוזר. ב-17 לאוקטובר הקבוצה ספגה תבוסה 5:0 מהאלופה הפועל ר"ג. לאחר המשחק רוקמן הואשם שעבד שתי משמרות בנמל בערב שלפני המשחק והודח מההרכב כשאליהו בניש תופס את מקומו בין הקורות. ב-10 לנובמבר נערך בבלומפילד המשחק החוזר בגמר הגביע. למרות שהפועל חיפה שיחקה בעשרה שחקנים כבר מהדקה ה-16, גם המשחק הזה הסתיים ב-1:1 לאחר 120 דקות. לאחר מכן הוחלט שמשחק הגמר השלישי ייערך בקרית חיים. המשחק נערך ב-8 לדצמבר תחת גשם שוטף. דווקא בקרית חיים, מכבי ת״א וניצחה וזכתה בגביע לאחר 330 דקות של הגמר הארוך ביותר בתולדות הכדורגל הישראלי (״הגמר שלא נגמר״).
במחזור ה-23 של עונת 1964/65 הפועל חיפה הביסה את מכבי נתניה 0:7 עם שלושער של אורי ויינברג שכבר היה על סף פרישה, צמד של רובי יאנג ושערים נוספים של ויקטור יאנג וליאון קיוביק. הקבוצה סיימה את העונה במקום החמישי. לקראת העונה הבאה הוחלט לעזוב את האצטדיון העירוני בקרית אליעזר בשל העלויות הגבוהות ולעבור לשחק בקרית חיים. במחזור ה-18 של עונת 1965/66 הפועל חיפה ניצחה בקרית חיים את מכבי פ״ת 0:5 עם שלושער של רובי יאנג ושערים נוספים של ויקטור יאנג וגודי גולדברג. ב-23 למרץ 1965 הפועל חיפה מנעה דאבל מהאלופה המיועדת הפועל ת"א כשניצחה אותה בגביע 1:2 עם בעיטת עונשין אדירה מ-20 מטר של אבה גינדין בן ה-19 בדקות הסיום. בשמינית הגמר, האדומים חגגו מול בית"ר ב"ש מצמרת ליגה ב' עם ניצחון מוחץ 0:7. ניצחון על יפו ברבע הגמר הוביל לדרבי חיפאי בחצי הגמר מול מכבי שסיימה את העונה כאלופת ליגה א' צפון. הדרבי שנערך בבלומפילד ב-4 ליוני היה סוער ונשלפו בו שלושה כרטיסים אדומים. הפועל ניצחה 0:1 ועלתה לגמר מול שמשון ת״א. גמר הגביע נערך בבלומפילד ב-8 ליוני. שמשון עלתה ראשונה ליתרון אבל הפועל הפכה את התוצאה עם שערים של גולדברג וגביסון. בסיום המשחק, הקפטן גביסון הניף את הגביע שבו זכתה הפועל חיפה בפעם השניה בתולדותיה.
הפועל חיפה מחזיקת הגביע 1966
עם פרוץ הקרבות של מלחמת ששת הימים עזבו את הארץ רוב המאמנים הזרים, ביניהם מאמנה היוגוסלבי של הפועל חיפה בארבע השנים האחרונות, מינדה יובאנוביץ'. במקומו מונה לראשונה לאחר כתשע שנים מאמן ישראלי - דוד (דז'ה) פרקש ששיחק ואימן בעבר ביריבה העירונית. הפועל חיפה סיימה את העונה הכפולה 1966/68 במקום השלישי. לקראת עונת 1968/69 הוחתם המאמן ההולנדי מייק דה-יונג. יחיאל המאירי שהיה מחליפו של בניש בנבחרת הנוער, הצטרף לקבוצה. בפברואר 1969 הפועל חיפה הוכתרה כ״אלופת החורף״ כשהיא הקבוצה הראשונה מאז קום המדינה שמסיימת סיבוב שלם ללא הפסד. אבל באותה התקופה השחקנים החלו להתמרמר על הסכומים הנמוכים ששולמו להם על אימונים ומענקי הניצחון. לקראת סוף השנה דה יונג הסביר את רצונו לעזוב בשל קשיי התאקלמות של אשתו בחיפה וחשש מהמצב הביטחוני בארץ. ההנהלה נענתה לבקשתו והחתימה את דב מאליס.
מאליס לא הצליח להביא שינוי והפועל חיפה נשארה בתחתית כשהיא מתקשה מאוד לכבוש שערים. במחזור ה-16 הפועל אירחה את מכבי בדרבי שנערך בקרית חיים. יחסי הכוחות נטו הפעם בבירור לטובת מכבי שהיתה בצמרת ואף הוליכה את הטבלה במשך רוב העונה לעומת הפועל שהשתרכה בתחתית. אבל לדרבי חוקים משלו והפועל ניצחה 1:2. אבל בצורת השערים נמשכה גם במחזורים הבאים והקבוצה כבשה רק שלושה שערים ב-12 משחקי ליגה רצופים. במחזור ה-22 הפועל חיפה שכבשה עד אז עשרה שערים בלבד "התפוצצה" פתאום על מכבי פ"ת והביסה אותה 0:5. איציק אנגלנדר שהיה המצטיין במשחק (ציון 9) והיה מעורב בכל השערים, התכבד בשער האחרון. אבל הפועל חיפה נשארה בסכנת ירידה ורובי יאנג שהיה בחופשה מלימודיו הוזעק ארצה במיוחד מארה"ב. ניצחון 0:1 במחזור הסיום על בית"ר ת"א הבטיח את ההשארות. בעונת 1969/70 נקבע שיא שלילי של 19 שערי זכות בלבד ב-30 משחקים, כאשר 11 משחקים הסתיימו בתיקו אפס.
שחקנים בולטים: ראובן (רובי) יאנג, אורי ויינברג, דוד גביסון, שלמה לוי, דב (דבל'ה) עצמון, גדעון (גודי) גולדברג, ארנון רוקמן, ויקטור יאנג, מרדכי פיקר, אליהו בניש, יצחק (איציק) אנגלנדר, ליאון קיוביק
הישגים: גביע המדינה (1963, 1966), גמר גביע (1964), מקום שלישי (1961, 1968)