AI Rubric Reviewer - Fully Remote | Up to $75/hr
About the job
Mercor connects elite creative and technical talent with leading AI research labs. Headquartered in San Francisco, our investors include Benchmark , General Catalyst , Peter Thiel , Adam D'Angelo , Larry Summers , and Jack Dorsey .
Position: AI Evaluation Rubric Reviewer
Type: Contract
Compensation: $40–$75/hour
Location: Remote
Role Responsibilities
- Review AI-drafted tasks and evaluate model attempts for fairness and accuracy.
- Assess if the grading rubric aligns with the prompt and correct any unfair criteria.
- Flag tasks that cannot be saved and provide concise feedback on each evaluation.
- Analyze long agent transcripts to identify errors and improve AI model performance .
- Ensure rubric structures are correct per guidelines and enhance training data quality .
Qualifications
Must-Have
- Substantial experience writing or reviewing rubrics for LLM evaluations .
- Ability to read long agent transcripts and identify errors.
- Precise writing skills and a commitment to data verification.
Application Process (Takes 20–30 mins to complete)
- Upload resume
- AI interview based on your resume
- Submit form
Resources & Support
- For details about the interview process and platform information, please check:
- For any help or support, reach out to: [email protected]
PS: Our team reviews applications daily. Please complete your AI interview and application steps to be considered for this opportunity.
Empfohlene Jobs
Vorarbeiter Gleisbau (w/m/d)
Planen. Steuern. Überwachen. Als Vorarbeiter (m/w/d) bist du die zentrale Schnittstelle zwischen deinem Team und dem Meister bzw. Polier (m/w/d). Du unterstützt die fachgerechte, termingerechte und …
KFZ-Mechaniker (m/w/d) | Berlin-Pankow/Blankenfelde
KFZ-Mechaniker (m/w/d) | Berlin-Pankow/Blankenfelde Z-Catering GmbH · Am Posseberg, Pankow-Blankenfelde · Vollzeit · Mo–Fr Schrauben mit Sinn – unsere Flotte hält Berlin in Bewegung! Hinter…
Elektroniker / Elektriker (m/w/d) für die Wohnungsmodernisierung - Berlin Süd
Der Einsatzort befindet sich in einem nahegelegenen Bezirk in Berlin Süd. Wir suchen dich als Elektroniker / Elektriker für die Wohnungsmodernisierung - Berlin Süd (m/w/d) Deine Vorteil…
Senior Product Engineer - iOS/Swift
[OUR MISSION AND CUSTOMERS] We are creating the freedom for SMEs to succeed by delivering Europe's leading finance workspace with banking at its core, augmented by financial tools. We are proud to be…
Mechatroniker (m/w/d) (Berlin)
Auf der Suche nach einer neuen Aufgabe? Werden Sie Elektromechaniker bei unserem Kunden aus dem Schienenfahrzeugbau in Hennigsdorf . Randstad steht für Erfahrung und Kompetenz bei Ihrer Jobsuche.…
Praktikum in einem Mädchen*Treff / offenen Kinder- und Jugendarbeit (intersektionale fem. Soziale Arbeit)
Die Mädchen*ZukunftsWerkstatt (M*ZW) im brandenburgischen Teltow nahe dem Berliner Stadtrand ist ein offener Kinder- und Jugend Treff für MINTA: Mädchen, inter, nicht binäre, trans und agender Kinder …
Elektriker (m/w/d) - Installation von Solaranlagen in Moabit
Zweck und Ziel der Stelle Du bist gelernter Elektriker (m/w/d) und möchtest die Energiewende aktiv mitgestalten? Dann haben wir genau das Richtige für Dich! Für unseren Kunden in Berlin-Moabit such…
Küchenverkäufer / Küchenplaner (w/m/d) - Teilzeit (30 Std./Woche) - Berlin Tempelhof
Wir bieten dir ~ eine tarifgerechte Bezahlung ~13. Gehalt und Urlaubsgeld ~15 % Personalrabatt ~ betriebliche Altersvorsorge ~ ausgewogene Work-Life Balance ~ die Möglichkeit der Beteilig…
IT-System-Elektroniker (m/w/d) - Videoüberwachung - Teilzeit
Im (Auftrag) eines Anbieters von Sicherheitssystemen, welcher für die Entwicklung innovativer und zukunftsweisende Sicherheitskonzepte, bestehend aus maßgeschneiderten Videoüberwachungs- sowie Brandm…
CNC Dreher - Fräser (m/w/d)
Über uns JENATEC Industriemontagen – PERSONAL.DIENST:LEISTUNG – Zeitarbeit mit Herz im gewerblichen und technischen Bereich. Richtig gute Arbeit gibt es bei unseren Kunden, zu denen viele namhafte …