AI Rubric Reviewer - Fully Remote | Up to $75/hr

Mercor
Berlin

About the job

Mercor connects elite creative and technical talent with leading AI research labs. Headquartered in San Francisco, our investors include Benchmark , General Catalyst , Peter Thiel , Adam D'Angelo , Larry Summers , and Jack Dorsey .

Position: AI Evaluation Rubric Reviewer

Type: Contract

Compensation: $40–$75/hour

Location: Remote

Role Responsibilities

  • Review AI-drafted tasks and evaluate model attempts for fairness and accuracy.
  • Assess if the grading rubric aligns with the prompt and correct any unfair criteria.
  • Flag tasks that cannot be saved and provide concise feedback on each evaluation.
  • Analyze long agent transcripts to identify errors and improve AI model performance .
  • Ensure rubric structures are correct per guidelines and enhance training data quality .

Qualifications

Must-Have

  • Substantial experience writing or reviewing rubrics for LLM evaluations .
  • Ability to read long agent transcripts and identify errors.
  • Precise writing skills and a commitment to data verification.

Application Process (Takes 20–30 mins to complete)

  • Upload resume
  • AI interview based on your resume
  • Submit form

Resources & Support

  • For details about the interview process and platform information, please check:
  • For any help or support, reach out to: [email protected]

PS: Our team reviews applications daily. Please complete your AI interview and application steps to be considered for this opportunity.

Veröffentlicht am 2026-11-18

Empfohlene Jobs

Vorarbeiter Gleisbau (w/m/d)

Spitzke
Berlin

Planen. Steuern. Überwachen. Als Vorarbeiter (m/w/d) bist du die zentrale Schnittstelle zwischen deinem Team und dem Meister bzw. Polier (m/w/d). Du unterstützt die fachgerechte, termingerechte und …

Details Anzeigen
Veröffentlicht am 2026-05-12

KFZ-Mechaniker (m/w/d) | Berlin-Pankow/Blankenfelde

Z-Catering Mitte GmbH
Berlin

KFZ-Mechaniker (m/w/d) | Berlin-Pankow/Blankenfelde Z-Catering GmbH · Am Posseberg, Pankow-Blankenfelde · Vollzeit · Mo–Fr Schrauben mit Sinn – unsere Flotte hält Berlin in Bewegung! Hinter…

Details Anzeigen
Veröffentlicht am 2026-06-30

Elektroniker / Elektriker (m/w/d) für die Wohnungsmodernisierung - Berlin Süd

Berlin

Der Einsatzort befindet sich in einem nahegelegenen Bezirk in Berlin Süd. Wir suchen dich als  Elektroniker / Elektriker für die Wohnungsmodernisierung - Berlin Süd (m/w/d) Deine Vorteil…

Details Anzeigen
Veröffentlicht am 2026-08-27

Senior Product Engineer - iOS/Swift

Qonto
Berlin

[OUR MISSION AND CUSTOMERS] We are creating the freedom for SMEs to succeed by delivering Europe's leading finance workspace with banking at its core, augmented by financial tools. We are proud to be…

Details Anzeigen
Veröffentlicht am 2026-11-09

Mechatroniker (m/w/d) (Berlin)

Randstad Deutschland
Berlin

Auf der Suche nach einer neuen Aufgabe? Werden Sie Elektromechaniker  bei unserem Kunden aus dem Schienenfahrzeugbau in Hennigsdorf . Randstad steht für Erfahrung und Kompetenz bei Ihrer Jobsuche.…

Details Anzeigen
Veröffentlicht am 2026-11-12

Praktikum in einem Mädchen*Treff / offenen Kinder- und Jugendarbeit (intersektionale fem. Soziale Arbeit)

Berlin

Die Mädchen*ZukunftsWerkstatt (M*ZW) im brandenburgischen Teltow nahe dem Berliner Stadtrand ist ein offener Kinder- und Jugend Treff für MINTA: Mädchen, inter, nicht binäre, trans und agender Kinder …

Details Anzeigen
Veröffentlicht am 2026-07-30

Elektriker (m/w/d) - Installation von Solaranlagen in Moabit

Berlin

Zweck und Ziel der Stelle Du bist gelernter Elektriker (m/w/d) und möchtest die Energiewende aktiv mitgestalten? Dann haben wir genau das Richtige für Dich! Für unseren Kunden in  Berlin-Moabit such…

Details Anzeigen
Veröffentlicht am 2026-07-21

Küchenverkäufer / Küchenplaner (w/m/d) - Teilzeit (30 Std./Woche) - Berlin Tempelhof

Ikea Deutschland GmbH & Co KG
Berlin

Wir bieten dir ~ eine tarifgerechte Bezahlung ~13. Gehalt und Urlaubsgeld ~15 % Personalrabatt ~ betriebliche Altersvorsorge ~ ausgewogene Work-Life Balance ~ die Möglichkeit der Beteilig…

Details Anzeigen
Veröffentlicht am 2026-11-12

IT-System-Elektroniker (m/w/d) - Videoüberwachung - Teilzeit

PerZukunft Arbeitsvermittlung GmbH & Co. KG
Berlin

Im (Auftrag) eines Anbieters von Sicherheitssystemen, welcher für die Entwicklung innovativer und zukunftsweisende Sicherheitskonzepte, bestehend aus maßgeschneiderten Videoüberwachungs- sowie Brandm…

Details Anzeigen
Veröffentlicht am 2026-11-01

CNC Dreher - Fräser (m/w/d)

Default
Berlin

Über uns JENATEC Industriemontagen – PERSONAL.DIENST:LEISTUNG – Zeitarbeit mit Herz im gewerblichen und technischen Bereich. Richtig gute Arbeit gibt es bei unseren Kunden, zu denen viele namhafte …

Details Anzeigen
Veröffentlicht am 2026-11-12