AI Evaluation Expert - Remote
AI Evaluation Specialist
Role Type: Contractor
Location: Remote — US, Canada, UK, Ireland, Australia, New Zealand
We are seeking experienced AI Evaluation Specialists to assess and improve the quality of AI assistant outputs for an enterprise AI training project.
You'll evaluate AI-generated responses using defined quality standards, identify issues, and provide clear feedback to help improve AI systems. No prior formal AI experience is required.
Scope of Work
- Evaluate AI-generated outputs against detailed rubrics for accuracy, relevance, quality, and adherence to guidelines.
- Apply consistent and objective judgment across large volumes of examples.
- Identify reasoning gaps, tool-use issues, logical errors, and inconsistencies.
- Provide concise, actionable feedback highlighting strengths and areas for improvement.
- Participate in discussions around rubric interpretation and evolving quality standards.
- Contribute to process improvements and evaluation best practices.
- Maintain accurate documentation of evaluations and recommendations.
Preferred Qualifications
- Experience in grading, quality assurance, editorial review, assessment, annotation, or similar analytical work.
- Advanced, daily use of AI assistants such as ChatGPT, Claude, or similar tools .
- Strong ability to analyze complex information and communicate findings clearly in writing.
- Experience with process improvement, rubric development, or quality assessment.
- Strong critical-thinking skills with a focus on consistency, accuracy, and fairness.
- Comfortable working independently on high-volume evaluation tasks.
- Strong attention to detail and ability to identify subtle quality issues.
- Collaborative approach to resolving ambiguous cases and improving evaluation criteria.
Empfohlene Jobs
Ausbildung zur Chemielaborantin / zum Chemielaborant (w/m/d)
Risiken erkennen – Gesundheit schützen! Werde Teil des BfR und hilf uns, den gesundheitlichen Verbraucherschutz zu stärken. Ausbildung zur/zum Chemielaborant/in (w/m/d) Kennziffer 3801 Beginn …
IT Administrator (m/w/d)
Schön, dass Du hier bist Bei MetaFlow trägst du die volle Verantwortung für unsere IT-Landschaft – von Hardware über Google Workspace bis zum Tool-Stack. Kein fertiges System, das du nur pfl…
Angestellte/r Zahnarzt / Zahnärztin (m/w/d)
Für unsere moderne, akademisch geführte Zahnarztpraxis suchen wir eine/n engagierte/n angestellte/n Zahnarzt/Zahnärztin. Wir verbinden wissenschaftlich fundierte Zahnmedizin mit moderner Technol…
Oberarzt
Oberärztin / Oberarzt – Kinder- und Neugeborenenchirurgie, Kinderurologie (w/m/d) Jetzt bewerben Auf einen Blick Start: 01.01.2027 Arbeitszeit: 40 Wochenstunden, Teilzeit möglich …
Logistiker / Lagermitarbeiter (m/w/d) Pankow
Ein Hersteller von Echtholzmöbeln sucht nach flexiblen Kommissionierern m/w/d oder Lagerhelfern m/w/d in Pankow auf Voll- oder Teilzeit. Sie arbeiten in 2 Schichten. Als Kommissionierer m/w/d oder La…
Experte Controlling Systeme & BI Tools (m/w/d) in Neckarsulm, Lidl
Deine Aufgaben Du gestaltest die digitale Zukunft des internationalen Controllings, verknüpfst komplexe Datenstrukturen in SAP mit intelligenten Reporting-Tools und schaffst so die analytische Ent…
Lackierer Industrie Jetzt Bewerben (m/w/d) *
Wir (([suchen])) noch im Rahmen der privaten Arbeitsvermittlung einen Industrielackierer m/w/d für die Lackierung von Teilen für Windkraftanlagen. Bewerben Sie sich am besten noch heute telefonisc…
Elektroniker / Mechatroniker (w/m/d) - Automatisierungstechnik & Intralogistik
Seit 1991 bringen wir von DPI Bewegung in die Industrie. Egal ob intelligente Materialflusssysteme, moderne Intralogistik oder automatisierter Sondermaschinenbau – wir entwickeln Steuerungen, SPS-Cod…
Leiter*in einer Kindertagesstätte Einrichtungsleiter*in Kindertagesstätte
Sie bringen mit Freude an der Arbeit mit Kindern abgeschlossene Ausbildung oder abgeschlossenes Studium z.B. als Sozialpädagoge/Sozialpädagogin oder als Erzieher*in (m/w/d) mindestens drei Jah…
Hilfskraft - Elektro in Berlin (m/w/d)
Starte jetzt erfolgreich bei uns als Hilfskraft - Elektro (m/w/d) im Rahmen der Arbeitnehmerüberlassung durch! Freue Dich auf eine attraktive Vergütung: 15,33 € pro Stunde ! Dein neuer Job ist…