Rudy lleva toda su carrera jugando en Alemania. El centrocampista defensivo dio sus primeros pasos en el Stuttgart y fue de menos a más. Llegó al Hoffenheim, donde disfrutó de la etapa más fructífera de su vida futbolística y acabó llamando la atención del Bayern de Múnich.
Fichó por la entidad bávara en el curso 2017-18 y acumuló 35 encuentros de los que fue titular en 21, pero sus oportunidades se redujeron mucho a comienzos del siguiente año. Por ello, se acabó marchando al Schalke 04, que pagó 16 millones de euros por él.
En Gelsenkirchen, jugó 28 enfrentamientos y salió de inicio en 22 de ellos. A pesar de sus buenos números, el diario 'Bild' afirma que está muy cerca de volver al Hoffenheim en calidad de cedido. Tiene contrato con su actual conjunto hasta 2022.
Al quedarle varios años de vinculación, el Schalke 04 tendría la oportunidad de monitorizar su progresión para recuperarle mejorado cuando terminara su préstamo. Eso sí, a sus 29 años, ya goza de una amplia experiencia en la Bundesliga, conque su adaptación sería inmediata.