Promptfoo는 대규모 언어 모델(LLM) 애플리케이션의 평가, 테스트 및 보안을 위한 오픈 소스 도구를 제공하는 AI 보안 및 테스트 플랫폼입니다. 이 회사는 신뢰할 수 있는 AI 애플리케이션 개발을 위한 체계적인 프레임워크를 제공한다는 사명 아래 2024년 이안 웹스터(Ian Webster)와 마이클 디앤젤로(Michael D'Angelo)에 의해 설립되었습니다. 2026년 3월 9일, OpenAI는 자사 플랫폼에 Promptfoo의 보안 및 평가 기술을 통합하기 위해 Promptfoo를 인수한다고 발표했습니다. ^{[1] [2]}

역사

Promptfoo는 2024년 CEO인 이안 웹스터와 CTO인 마이클 디앤젤로가 공동 설립했습니다. 회사의 초기 사명은 개발자가 AI 애플리케이션을 체계적으로 테스트할 수 있는 사용하기 쉬운 플랫폼을 만드는 것이었습니다. 설립자들은 곧 보안 및 안전을 위한 적대적 테스트가 기업의 AI 도입에 있어 주요 과제임을 확인했고, 이는 해당 분야에 집중하기 위한 전략적 전환으로 이어졌습니다. 회사의 공식 사명은 "취약점이 아닌 에이전트를 배포하라(Ship agents, not vulnerabilities)"가 되었습니다. ^{[2] [3]}

2025년 7월, Promptfoo는 1,840만 달러 규모의 시리즈 A 펀딩 라운드를 완료했습니다. 이 라운드는 Insight Partners가 주도했으며 Andreessen Horowitz(a16z)가 참여했습니다. 투자에 참여한 주요 파트너로는 Insight Partners의 가네쉬 벨(Ganesh Bell)과 a16z의 제인 래키(Zane Lackey)가 있습니다. Pitchbook 데이터에 따르면, 이 라운드를 통해 Promptfoo의 총 조달 자본은 2,268만 달러에 달했으며 투자 후 기업 가치는 8,550만 달러로 책정되었습니다. 또한 이 회사는 다수의 비공개 엔젤 투자자들로부터 지원을 받았습니다. ^{[4] [2]}

인수 시점에 Promptfoo의 도구는 시장에서 상당한 견인력을 얻고 있었습니다. 이 플랫폼은 35만 명 이상의 개발자가 사용했으며, 월간 활성 사용자는 13만 명에 달했습니다. 이 회사의 오픈 소스 도구는 포춘 500대 기업의 25% 이상에 속한 팀들에 의해 채택되었습니다. ^{[2] [5]}

OpenAI의 인수

2026년 3월 9일, OpenAI는 관례적인 종결 조건에 따라 Promptfoo를 인수하기로 합의했다고 발표했습니다. 거래의 재무적 세부 사항은 공개되지 않았습니다. 발표 당시 Promptfoo는 23명의 직원을 보유하고 있었으며, 이들 모두 OpenAI에 합류할 예정이었습니다. ^{[5] [4] [2]}​

이번 인수는 특히 기업 고객을 위한 AI 에이전트 기술의 안전과 보안을 강화하기 위한 OpenAI의 전략적 행보였습니다. Promptfoo의 CEO 이안 웹스터는 OpenAI에 합류하는 목표가 "실제 AI 시스템을 구축하는 팀에 더 강력한 보안, 안전 및 거버넌스 기능을 제공하는 것"이라고 밝혔습니다. Promptfoo 기술의 통합은 고급 AI 시스템에 대한 체계적인 위험 탐지 및 규정 준수를 제공하기 위한 것입니다. ^{[4] [5]}​

Promptfoo의 기술과 팀은 때때로 "AI 동료"라고 불리는 AI 에이전트를 개발하고 배포하기 위한 OpenAI의 기업용 플랫폼인 "OpenAI Frontier"에 통합될 예정입니다. 통합 계획에는 자동화된 보안 테스트, 안전 평가 및 레드팀 활동을 OpenAI Frontier 플랫폼 내의 기본 기능으로 만드는 것이 포함됩니다. 이는 보안 평가를 개발자 워크플로우 깊숙이 내장하여 위험을 조기에 식별하고 해결할 수 있도록 하는 것을 목표로 합니다. 결합된 도구는 또한 조직이 AI 테스트를 문서화하고 거버넌스, 위험 및 규정 준수(GRC) 표준을 충족하는 데 도움이 되는 보고 및 추적 기능을 제공할 것입니다. ^{[1] [5]}​

인수 발표에서 OpenAI와 Promptfoo 팀은 Promptfoo의 오픈 소스 제품을 계속 개발하고 유지 관리하겠다는 의지를 확인했습니다. Promptfoo는 또한 기존 사용자 및 기업 고객에게 계속 서비스를 제공할 것이며, OpenAI가 제공하는 모델 외에도 다양한 AI 제공업체 및 모델 생태계에 대한 지원을 유지할 것이라고 밝혔습니다. ^{[2] [4]}​

기술 및 제품

Promptfoo는 AI 애플리케이션 구축에 흔히 사용되는 시행착오 방식에 대한 구조화되고 데이터 중심적인 대안을 제공하는 "테스트 주도 LLM 개발" 철학을 중심으로 설계되었습니다. 기술의 핵심은 TypeScript로 작성되고 MIT 라이선스에 따라 배포되는 오픈 소스 명령줄 인터페이스(CLI) 및 라이브러리입니다. 이 도구는 개발자 중심적이며 독점적인 프롬프트, 테스트 데이터 및 API 키가 사용자의 머신에서 비공개로 유지되도록 로컬에서 작동합니다. 선언적 YAML 구성 파일(promptfoo.yaml)을 사용하여 프롬프트, 모델 및 테스트 케이스를 정의하므로 테스트 제품군을 버전 관리하고 개발 워크플로우에 통합할 수 있습니다. ^{[6] [7]}

제품군

Promptfoo는 AI 개발 수명 주기 전반에 걸쳐 보안을 통합하도록 설계된 제품군을 제공합니다. ^[3]

• 평가(Evaluations): 프롬프트, 모델 및 검색 증강 생성(RAG) 시스템의 성능, 품질 및 정확성을 테스트하고 평가하기 위한 오픈 소스 구성 요소입니다. 사용자가 맞춤형 벤치마크를 구축하고 결과를 나란히 비교할 수 있게 해줍니다. ^[7]
• 레드팀(Red Teaming): 배포 전 애플리케이션별 취약점을 식별하고 해결하기 위해 적대적인 사용자 행동을 시뮬레이션하는 선제적 보안 도구입니다. 직접 및 간접 프롬프트 인젝션, 탈옥, 데이터 유출, 개인 식별 정보(PII) 노출 및 비즈니스 로직 위반과 같은 위험을 테스트하기 위해 맞춤형 공격을 자동으로 생성합니다. ^{[3] [1]}
• 가드레일(Guardrails): 운영 중인 AI 애플리케이션에 대해 실시간 보호를 제공하는 기능입니다. 런타임 시 탈옥, 프롬프트 인젝션 및 기타 적대적 공격으로부터 방어하도록 설계되었습니다. ^[2]
• 모델 보안(Model Security): AI 모델에 대한 포괄적인 보안 테스트 및 지속적인 모니터링을 위한 서비스입니다. 시간이 지남에 따라 모델이 다양한 위협으로부터 안전하게 유지되도록 돕습니다. ^[3]
• 코드 스캐닝(Code Scanning): 개발자의 통합 개발 환경(IDE) 내에서 직접, 그리고 지속적 통합/지속적 배포(CI/CD) 파이프라인의 일부로서 LLM 관련 보안 취약점을 찾는 통합 도구입니다. ^[3]
• MCP 프록시(MCP Proxy): 모델 컨텍스트 프로토콜(MCP)을 사용하는 통신을 보호하기 위해 설계된 특수 보안 프록시입니다. ^[3]

주요 기능

• 비교 평가: 핵심 기능은 여러 모델(예: GPT-4, Claude, Gemini), 서로 다른 프롬프트 또는 서로 다른 시스템 설정을 동시에 실행하는 기능입니다. 결과는 직접 비교를 위해 나란히 배치된 매트릭스 뷰로 표시됩니다. ^[6]
• 어설션 및 점수 산정: 사용자는 LLM 응답의 품질과 안전성을 자동으로 점수화하기 위해 특정 기준 또는 어설션(assertion)을 정의할 수 있습니다. 여기에는 유효한 JSON 형식 확인, 특정 키워드 플래그 지정 또는 주관적인 품질을 평가하기 위해 다른 LLM을 "심판"으로 사용하는 것이 포함될 수 있습니다. ^[1]
• CI/CD 통합: 이 도구는 LLM 기반 기능에 변경 사항을 배포하기 전에 품질 게이트 및 보안 검사를 자동으로 시행하기 위해 CI/CD 파이프라인 내에서 실행되도록 설계되었습니다. ^[6]
• 제공업체 불가지론(Provider Agnosticism): 이 플랫폼은 특정 제공업체에 종속되지 않으며 OpenAI, Anthropic, Google, Azure, Amazon Bedrock, HuggingFace를 포함한 광범위한 제공업체의 모델을 지원합니다. 또한 Ollama 또는 Llama를 통해 로컬에서 호스팅되는 오픈 소스 모델과 함께 사용할 수 있으며 독점 모델을 위한 맞춤형 API 엔드포인트를 지원합니다. ^[7]
• 개인정보 보호 우선 아키텍처: 기본적으로 모든 평가는 사용자의 로컬 머신에서 처리됩니다. 이 도구는 모델 제공업체 API와 직접 통신하므로 프롬프트 및 모델 출력과 같은 민감한 데이터가 제3자에게 노출되는 것을 방지합니다. ^[6]

도입 및 사용 사례

인수 전, Promptfoo의 도구는 1,000만 명 이상의 사용자에게 서비스를 제공하는 프로덕션 애플리케이션에서 사용된 것으로 보고되었습니다. 이 플랫폼은 글로벌 주요 소매업체, 주요 미국 무선 통신사 및 저명한 의료 기관을 포함하여 포춘 500대 기업 중 127개 기업에서 사용되고 있습니다. Anthropic과 같은 다른 AI 연구소의 팀들도 이 플랫폼을 사용하며, 오픈 소스 프로젝트에는 Google, Microsoft, Amazon의 개발자들이 기여했습니다. ^{[6] [3]}

산업별 솔루션

Promptfoo는 여러 규제 산업을 위해 맞춤형 보안 및 규정 준수 솔루션을 제공합니다. ^[3]

• 의료: 의료용 AI를 위해 미국 의료정보보호법(HIPAA)을 준수하도록 설계된 보안 솔루션입니다.
• 금융 서비스: 금융산업규제기구(FINRA) 규정에 맞춘 보안 테스트입니다.
• 보험: 보호 대상 건강 정보(PHI)를 보호하고 규정 준수를 보장하기 위한 도구입니다.
• 통신: 음성 및 텍스트 기반 AI 에이전트를 위한 보안입니다.
• 부동산: 공정 주거(Fair Housing) 규정을 준수하는 데 도움이 되는 규정 준수 테스트입니다.