AI Researcher - Pre-training (f/m/d)

AlephAlpha
Berlin

Our Mission
Aleph Alpha is one of the few companies in Europe doing serious foundation model pre-training like our recently released Kolibri-1 model . Our customers - in finance, manufacturing, public administration - need models that understand German, meet European regulatory requirements, and work reliably in high-stakes settings. We're building that in Heidelberg.

We are hiring an AI Researcher (f/m/d) to join our Pre-training team and help advance the architecture and training of our next generation of foundation models. If you are excited about how large models learn, want to run experiments that feed directly into production training runs, and want hands-on time on large-scale clusters (thousands of NVIDIA Blackwell GPUs), we would love to hear from you.

Team Culture
We foster a culture built on ownership, autonomy, and empowerment. Teams and individual contributors are trusted to take responsibility for their work and drive meaningful impact. We maintain a flat organizational structure with efficient, supportive management that enables quick decision-making, open communication, and a strong sense of shared purpose. We collaborate closely on complex technical problems, working in pairs or using mob programming to resolve challenging issues. New team members learn through real work: from your first weeks you will pair with experienced researchers on live problems, and take on more ownership as you grow into it.

About the Role
As an AI Researcher in Pre-training (f/m/d) , you will work on the technical levers that determine the success of our next-generation models: architecture, optimization, stability, and scaling.

Working at the intersection of research and engineering, you will learn to translate mathematical reasoning and empirical observations into principled training decisions, from small-scale proxy experiments to multi-thousand-GPU runs. You will start with well-scoped problems alongside senior researchers and progressively take ownership of larger parts of the training recipe.

We are looking for someone with strong fundamentals, sharp experimental instincts, exceptional skills, and the drive to go deep fast. You learn as much from a failed run as from a paper, you write code others can build on, and you want to become an expert in large-scale pre-training.

Your Responsibilities

  • Recipe & Architecture Experiments: Design and run ablations on core elements of the training recipe (optimizers, schedules, initialization), and implement PyTorch-based architectural changes. Evaluate their effect on convergence, stability, and training efficiency.

  • Scaling Experiments: Run and analyze small-scale proxy experiments, and contribute to the hyperparameter scaling laws and scale-up methods we use to predict behavior at multi-thousand-GPU scale.

  • Run Monitoring & Debugging: Help monitor large-scale training runs and investigate convergence issues such as loss spikes and divergence. Work with the team to track down distributed training failures.

  • Research to Practice: Follow the literature, reproduce promising results at small scale, and bring ideas worth testing to the team.

  • Cross-Team Collaboration: Work with the Compute Performance, Data, Evaluation, and Post-Training teams to understand how hardware constraints and the rest of the model lifecycle shape pre-training decisions.

Core Qualifications

  • You are proficient in Python and have hands-on experience with PyTorch.

  • You have a strong foundation in machine learning, shown through research (e.g., a PhD, a strong MS'c thesis, or publications), open-source contributions, or substantial professional or substantial personal projects.

  • You have a solid mathematical background (linear algebra, probability, optimization) and enjoy reasoning formally about why models train the way they do.

  • You understand how transformers work and have pre-trained LLMs from scratch yourself, even at small scale.

  • You design experiments carefully, report noisy and negative results honestly, and can explain clearly what your evidence does and does not show.

  • You have a track record of picking up unfamiliar technical areas quickly and going deep, for example by reimplementing papers, ramping up on a large new codebase, or debugging a problem well outside your comfort zone.

  • You write clean, maintainable code and care about reproducible experiments.

  • You communicate clearly, raise problems early, and actively seek out and act on feedback.

Preferred Qualifications

  • Distributed Training: Experience training models on multi-GPU or multi-node setups, or familiarity with distributed frameworks (e.g., Megatron-LM, DeepSpeed, torchtitan) and parallelism strategies (data, tensor, pipeline, expert).

  • Training Dynamics: Familiarity with scaling laws, hyperparameter transfer (e.g., µP), or recent work on optimizers and training stability.

  • Efficient Architectures: Exposure to Mixture-of-Experts, efficient attention variants, or other inference-efficient designs.

  • Research Output: Publications at top-tier venues (NeurIPS, ICML, ICLR) or contributions to open-source ML training libraries.

  • Systems Curiosity: Low-level kernel optimization is not required, but we highly value a strong curiosity about the hardware and systems constraints that shape scale.

Veröffentlicht am 2026-11-17

Empfohlene Jobs

Projektleiter Kältetechnik (w/m/d) - Technisches Facility Management (Berlin)

Apleona Nordost GmbH
Berlin

Immobilien- & Objektmanagement Unsere Experten im Immobilien- und Objektmanagement übernehmen die ganzheitliche Betreuung von Immobilien – von der Verwaltung über die Instandhaltung bis hin…

Details Anzeigen
Veröffentlicht am 2026-11-18

Busfahrer:in

Deutsche Bahn AG
Berlin

Als Teil der DB Regio AG, und damit auch Teil der Deutschen Bahn, gestalten wir den öffentlichen Personennahverkehr auf der Straße. Unsere Busgesellschaften verbinden täglich Menschen und Regionen un…

Details Anzeigen
Veröffentlicht am 2026-11-13

KIS Anwendungsberater (m/w/d)

MEDIAN Unternehmensgruppe B.V. & Co. KG
Berlin

MEDIAN Deutschland ist Teil der MEDIAN Group, einem der führenden europäischen Anbieter auf dem Gebiet der medizinischen Rehabilitation und der psychischen Gesundheit. Mit mehr als 120 Einrichtungen …

Details Anzeigen
Veröffentlicht am 2026-11-16

Helfer (m/w/d) im Lager - VOLLZEIT

PerZukunft Arbeitsvermittlung GmbH & Co. KG
Berlin

Derzeit [suchen] wir Unterstützung durch einen Lagerhelfer (m/w/d) im Verpackungsbereich. Idealerweise mit sofortigem Beginn. Bewerben Sie sich am besten noch heute telefonisch bei Herr Schulze un…

Details Anzeigen
Veröffentlicht am 2026-11-04

Sozialassistent (m/w/d) - Migrantenarbeit

PerZukunft Arbeitsvermittlung GmbH & Co. KG
Berlin

Eine (Einrichtung) zur Integrationsunterstützung sucht einen Sozialassistenten m/w/d in Teilzeit. Die Einrichtung befindet sich in Berlin-Mitte und ist liegt sehr verkehrsgünstig. Sie helfen de…

Details Anzeigen
Veröffentlicht am 2026-11-07

Kundenbetreuer (m/w/d) in Direktvermittlung

RADAS Jobbörse & Personalvermittlung GmbH
Berlin

+++ DIREKTVERMITTLUNG in Festanstellung (keine Zeitarbeit) / Vermittlungsgutscheine (AVGS) werden akzeptiert +++ Bei Fragen einfach unverbindlich anrufen: 03048479484 oder einen Rückruf vereinbaren…

Details Anzeigen
Veröffentlicht am 2026-11-06

Sales Manager Defense & Aerospace (all genders)

Msg Systems AG
Berlin

Das erwartet dich bei uns ~ Positionierung des Leistungsportfolios, Aufbau und Pflege von professionellen und nachhaltigen Kundenbeziehungen im Bereich Defense & Aerospace ~ Aktive Steuerung von …

Details Anzeigen
Veröffentlicht am 2026-02-09

Ausbildung Friseur*in ab Sommer 2027

HILJEGERDES - Friseur-Kosmetik-Make-up
Berlin

Du suchst die beste Ausbildungsstelle und hast Lust auf den schönsten Beruf der Welt? Oder Du hast Dich kurzfristig entschlossen, Friseur*in zu werden? Wir suchen für das Jahr 2027 noch eine/n Ausz…

Details Anzeigen
Veröffentlicht am 2026-08-24

Senior-Referent*in Agrarwirtschaft (m/w/d)

NABU e.V.
Berlin

Für unser Team Landnutzung im Fachbereich Politik in der NABU-Bundesgeschäftsstelle in Berlin suchen wir zum nächstmöglichen Zeitpunkt eine*n Senior-Referent*in Agrarwirtschaft (m/w/d).   Ziel de…

Details Anzeigen
Veröffentlicht am 2026-11-18

Teamleitung (30h/Woche) für Caritas Senioreneinrichtungen in Berlin (m/w/d)

SSG Senioren Service GmbH, Verwaltungs- und hauswirtschaftliche Dienste
Berlin

Die SSG Senioren Service GmbH ist eine Tochtergesellschaft der Caritas Altenhilfe gGmbH und erbringt hauswirtschaftliche Dienstleistungen für Senioreneinrichtungen in Berlin, Brandenburg und Mecklenb…

Details Anzeigen
Veröffentlicht am 2026-10-30