Se retiró como futbolista en 1978, para pasar inmediatamente a ser entrenador del club de su vida, el Borussia Mönchengladbach, donde entrenó durante ocho temporadas, hasta que en 1987 le llegaba una de las grandes oportunidades de su vida, entrenar al Bayern Munich. Cuatro años duró su primera etapa en Baviera, en la que ganó dos veces el campeonato alemán.
Entonces daría el salto a la liga española, en un fichaje sorprendente que le llevó a entrenar al Athletic de Bilbao durante dos temporadas, en las que destacó por confiar plenamente en Julen Guerrero, el cual llegó a marcar 18 goles en la temporada 93-94, en la que el Athletic acabó como 5º clasificado. Desde aquellos días, estuvo practicamente una década entrenando fuera de su país (salvo la 94-95 en la que entrenó al Eintracht de Frankfurt donde jugaban entre otros Yeboah y Okocha). Volvió a España, aunque no a la peninsula, sino para entrenar al CD Tenerife, también 2 temporadas (1995-97), donde triunfó en liga sobre todo en su primer año quedando 5º en aquel Tenerife que tenía a Pizzi como máxima estrella y que consiguió el pichichi aquella temporada con 31 goles, en su segundo año en la isla acabó noveno, pero esta vez sus triunfos llegaron en Europa donde consiguió llegar a semifinales de la UEFA.
Después de esas temporadas en Tenerife le llegó otro oportunidad para entrenar a un gran club. Esta vez en España, y al Real Madrid, con el reto de conquistar la Copa de Europa 32 años después, y lo consiguió. Estuvo discutido durante todo el año, para muchos parecía que los jugadores no le hacían mucho caso, pero pasara lo que pasara en aquel vestuario, sin hacer mucho ruido y alejado de las cámaras conquistó la Copa de Europa, eliminando a sus compatriotas, primero del Bayer Leverkusen (su actal club) en cuartos, y luego del Borussia Dortmund en semifinales, con la ida marcada por la caida de la portería del Bernabeu y la vuelta marcada por la exhibición de fútbol que dio Fernando Redondo en Alemania. En la final, en Amsterdam, sacó su once tipo (apostó esa temporada por Fernando Morientes dejando a Suker en el banquillo) y conquistó el título europeo. Con más o menos influencia en el equipo, pero sin levantar la voz, consiguió su objetivo. Pero ni siquiera conseguir lo que nadie había conseguido en 32 años (aunque la temporada en liga fue mala) le sirvió para continuar en el Madrid.
Tras conseguir su mayor título como entrenador y tomarse un año sabático, otro grande de Europa se haría con sus servicios. No tendría que moverse de la Península, pero si de país, su nuevo club era el Benfica, un grande venido a menos, donde no tuvo mucho éxito, de hecho, pasó a la historia por ser el entrenador del Benfica en aquel famoso 7-0 que encajaron ante el Celta en UEFA. Una vez acabada su etapa en Lisboa, volvió a Bilbao, para entrenar de nuevo al Athletic, uno de los clubes de los que mejor recuerdo guarda, y donde se sorprendía de la misa a la que acudía el club antes de empezar la temporada, y donde ya en su primera etapa antes de llegar a Bilbao se había empapado de la cultura vasca leyendo libros sobre ella.
Se tomaría un año sabático, y desde entonces solo ha entrenado en su país, primero en el Schalke 04. Y poco después otro retorno, esta vez al Borussia Mönchengladbach. Pero no acabaría su ronda de retornos aquí, ya que el Bayern Munich volvería a llamar a su puerta, aunque esta vez como solución de emergencia para sustituir a Klinsmann. Esta segunda etapa en Alemania no estaba siendo muy fructífera. Pero esta temporada cambió de club y tambien parece que su suerte.
Poca gente apostaría a que este año el Bayer Leverkusen estaría a estas alturas donde está. Todo el mundo habla de Kroos, de Kießling, de Renato Augusto, de Adler,...pero pocos son los que nombran a el entrenador del que estamos hablando hoy (y que ya sabriáis quién es, aunque aún no lo haya nombrado), que no es otro que Jupp Heynckes. Ha hecho grandes temporadas (y también malas) con diferentes equipos, pero hasta ahora los títulos normalmente se le han resistido, esta temporada tiene una gran oportunidad para que un equipo formado por jugadores jovencísimos como el Leverkusen pueda alzar el título de la Bundesliga. Sin hacer mucho ruido, como siempre, dejando el ruido para los jugadores, de nuevo Jupp Heynckes puede volver a ganar un gran título. Solo han perdido un partido en la Bundesliga, algo al alcance de pocos. A sus 65 años tiene otra oportunidad para volver a hacer historia después de varios años aciagos como ténico. El entrenador silencioso quiere hablar en el campo ganando la Bundesliga.
