Haystack
← Back to Jobs
Technology
NG

SDET

Nexylum Global LLCMenlo Park, CA🇺🇸United StatesPosted Oct 13, 2026

Quick Overview

Seniority
Mid Senior
Work mode
Hybrid
Location
Menlo Park, CA, United States
Posted
20 hours ago
MicroservicesAWSSeleniumAzureCircleCICypressJUnitJavaJavaScriptJenkinsPlaywrightPythonRESTTypeScriptpytest

Job Description

Position Summary

We are seeking a highly  experienced Senior Software  Development Engineer in Test ( SDET) with expertise in AI  and machine learning quality  assurance. In this role, you  will design, develop, and  maintain scalable automated  testing frameworks for  software products that  incorporate AI-powered  features and services and you  will work closely with  software engineers, data  scientists, product managers,  and DevOps teams to establish  robust testing strategies  across the entire development  lifecycle. The ideal  candidate has strong software  engineering skills, deep  knowledge of test automation,  and practical experience  validating AI/ML systems for  functionality, performance,  reliability, security, and  fairness.

Key Responsibilities

  • Design and implement scalable,  maintainable test automation  frameworks for web, mobile,  API, and backend systems.
  • Develop comprehensive test  strategies for AI/ML-powered  products and services.
  • Create automated tests for:  Functional and regression  testing, API and integration  testing, End-to-end workflows,  Performance, scalability,  and reliability Data quality  and pipeline validation Model  accuracy and consistency Edge  cases and failure scenarios,  Security, privacy, and  compliance
  • Validate AI model outputs  using appropriate metrics,  benchmarks, test datasets,  and acceptance criteria.
  • Test generative AI systems,  including: Prompt and  response quality,  Hallucination and factuality,  Toxicity, bias, and harmful  content, Prompt injection and  jailbreak resistance
  • Response consistency and  latency, Retrieval-augmented  generation (RAG) workflows  Model and prompt regressions.
  • Build tools and frameworks  for test data generation,  model evaluation, monitoring,  and reporting.
  • Integrate automated tests  into CI/CD pipelines and  enforce quality gates.
  • Collaborate with development  and data science teams to  identify defects early and  improve product quality.
  • Investigate complex issues,  perform root-cause analysis,  and clearly communicate risks  and recommendations.
  • Establish quality metrics,  dashboards, and reporting for  software and AI/ML systems.
  • Mentor junior and mid-level  SDETs and promote engineering  best practices.
  • Contribute to test planning,  code reviews, architecture  discussions, and release  readiness assessments.
  • Stay current with emerging AI  testing tools, methodologies,  and industry standards.

Required Skills

  • Experience in software  development, test automation,  SDET, or quality engineering  roles.
  • Strong programming experience  in one or more languages,  such as Python, Java,  JavaScript, or TypeScript.
  • Proven experience designing  and maintaining automation  frameworks.
  • Strong knowledge of software  testing principles, test  strategy, and defect  management.
  • Experience testing RESTful  APIs, microservices,  databases, and distributed  systems.
  • Hands-on experience with  tools such as Selenium,  Playwright, Cypress, Appium,  REST Assured, PyTest, JUnit,  or equivalent.
  • Experience with CI/CD tools  and practices, such as GitHub  Actions, Jenkins, GitLab CI,  Azure DevOps, or CircleCI.
  • Experience with cloud  platforms such as AWS, Azure,  or Google Cloud.
  • Practical experience testing  AI/ML systems, models, data  pipelines, or AI-powered  applications.
  • Understanding of machine  learning concepts, model  evaluation, data validation,  and statistical testing.
  • Strong analytical,  communication,  troubleshooting, and problem- solving skills.

Similar jobs