AI Systems Engineer (m/w/d) - LLM Execution & Infra Optimization

Reference number: 2025-0262

• Heidelberg
• Vollzeit
• IT Core Facility

“Research for a life without cancer" is our mission at the German Cancer Research Center. We investigate how cancer develops, identify cancer risk factors and look for new cancer prevention strategies. We develop new methods with which tumors can be diagnosed more precisely and cancer patients can be treated more successfully. Every contribution counts – whether in research, administration or infrastructure. This is what makes our daily work so meaningful and exciting.

Sie möchten Verantwortung übernehmen, moderne Technologien einführen und bestehende Systeme fit für die Zukunft machen? Dann sind Sie bei uns genau richtig. Wir suchen für unsere Core Facility Informationstechnologie (ITCF) zum nächstmöglichen Zeitpunkt einen

Your Tasks

Sie verantworten die technische Infrastruktur für die Bereitstellung von Large Language Models (LLMs) auf unserer High-End-GPU-Hardware. Ihre Arbeit gewährleistet hochperformante und skalierbare Lösungen für alle Anwender:innen generativer KI am DKFZ.

• Infrastruktur-Architektur & Skalierung: Konzeption, Implementierung und Skalierung der LLM-Infrastruktur (Hardware, Container, Orchestrierung)
• Inferenz-Optimierung: Maximierung der Ressourcenauslastung durch geeignete Techniken wie KV-Caching, Quantisierung und Parallelisierung
• Hardware-Integration: Betrieb und Optimierung von LLMs auf NVIDIA-GPU-Plattformen (CUDA), inklusive hardwarenahen Anpassungen
• API-Integration & Management: Design und Betrieb von RESTful APIs und API Gateways (z. B. Kong, KrakenD) für sichere, skalierbare LLM-Schnittstellen
• LLM-Modellauswahl: Evaluation und selektive Bereitstellung von LLMs nach Anforderungen (z. B. Logik/Sprachverständnis, Code-Generierung)
• RAG-Optimierung: Integration von Embedding- und Reranking-Modellen zur Verbesserung der Suchqualität in RAG-Pipelines
• Anwendungs-Integration: Nahtlose Integration in Frontends (Open WebUI) und Datenpipelines mit KI-Entwicklern
• Automatisierung & Monitoring: Sicherstellung eines stabilen Betriebs durch automatisiertes Konfigurationsmanagement (Ansible) und umfassendes Monitoring (Prometheus/Grafana)
• Kooperation in der Helmholtz-Gemeinschaft Deutscher Forschungszentren: Beitrag zur Standardisierung von LLM-Infrastrukturen im Rahmen der Helmholtz-KI-Initiativ
• Ansprechpartner:in für KI-Demands am DKFZ und Mitarbeit im KI-Kompetenzteam des DKFZ
  
  

Sie arbeiten an spannenden Projekten mit modernen Technologien in einem Umfeld, in dem Ihre Ideen zählen und Sie Verantwortung übernehmen können. Durch Ihren Beitrag unterstützen Sie unsere Mission „Forschen für ein Leben ohne Krebs“ und gestalten die Zukunft unserer IT-Landschaft mit!

Your Profile

• Abgeschlossenes Masterstudium der Informatik oder eines verwandten Fachs
• Praktische Erfahrung mit:
• LLM-Inferenz-Engines (vLLM, Ollama)
• Optimierungstechniken (Quantisierung, KV-Caching, Parallelisierung)
• Aktuellen LLM-Technologien (z. B. Mixture of Experts, Reasoning) sowie Retrieval Augmented Generation (RAG) und MCP (Model Context Protocol)
• Fundierte Kenntnisse in:
• Linux-Systemadministration
• Cloud- und Container-Technologien (OpenStack, Kubernetes, Docker/Podman)
• Teamgeist, Kommunikationsstärke (Deutsch & Englisch) sowie eine proaktive, lösungsorientierte Arbeitsweise
• Ausgeprägte Ausdrucksfähigkeit in Deutsch und Englisch, sowohl mündlich als auch schriftlich (mind. B2)
  

Ihr Profil wird idealerweise abgerundet durch Erfahrung in DevOps-Prozessen, beispielsweise GitLab und CI/CD-Pipelines, automatisiertem Konfigurationsmanagement (Ansible) und Kenntnisse in der Python-Entwicklung.

We Offer

Are you interested?

 Then become part of the DKFZ and join us in contributing to a life without cancer!

 ​Duration: The position is permanent.

Application Deadline: 18.10.2025

Applications by e-mail cannot be accepted.

Please also note that we cannot return applications submitted by post.

 

We are convinced that an innovative research and working environment thrives on the diversity of its employees. Therefore, we welcome applications from talented people, regardless of gender, cultural background, nationality, ethnicity, sexual identity, physical ability, religion and age. People with severe disabilities are given preference if they have the same aptitude.

Notice: We are subject to the regulations of the Infection Protection Act (IfSG). Therefore, all our employees must provide proof of immunity against measles.

Share this job!