Why Crowdworks
맞춤형 LLM도 지속적인 테스트와 평가를 통한 관리가 필요합니다
How We Work
민감한 질문, 위험한 대답으로부터 자유롭도록 미리 준비하세요
1
정교하게 설계된 평가 과정을 거쳐 완성한 결과 보고서 제공
기업의 비즈니스 우선 순위를 반영해 공격용 프롬프트로 LLM을 평가하고 일반인 스코어링, 전문가의 인사이트와 피드백을 반영한 보고서를 제공합니다.
모델 평과 과정
결과 보고서 샘플
2
60만 명 중 요구 조건에 맞는 전문 평가 인력 선별
국내 최대규모인 60만명의 작업자 중 평가에 적합한 일반인 및 전문가를 선별하고, 평가 전 테스트를 통해 평가 인력의 성향 및 편향성을 선제적으로 확인합니다.
경쟁사 대비 크라우드웍스 작업자 회원수
A사 모델 평가 보고서 참여 인력 구성(예시)
3
기업이 필요로 하는 다양한 검증 방법 제공
Hybrid Red-Teaming
LLM의 안정성과 취약점을 평가하기 위해 모델이 유해하거나 원치 않는 답변을 하도록 유도하는 공격을 수행합니다. 효과적인 목표 달성을 위해 자동 공격 테크닉과 전문 레드팀을 함께 운영합니다.
Hybrid Model Evaluation
LLM이 사용자에게 필요한 서비스를 제공하기 위한 충분한 역량을 가지고 있는지 평가합니다. LLM을 활용한 자동 스코어링과 휴먼 스코어링 방식을 함께 사용합니다.
Why Crowdworks
국가 품질 체계를 만든 전문가에게 맡기세요
01
국가 인공지능 데이터 표준화 리딩
크라우드웍스는 데이터 라벨링 태스크와 결과 데이터에 관한 국가 표준을 제안, 2021년 12월 국가 표준으로 제정되었습니다. 더불어 AI 기술의 국제 표준화를 주도하는 기구인 ISO/IEC JTC 1/SC 42의 Global Directory로 등록되어 AI 데이터의 표준화 활동에 참여하고 있습니다.
02
데이터 품질관리체계 수립
크라우드웍스는 데이터의 고품질 관리 역량을 인정받아 NIA의 컨설팅 사업에 선정, 국내 인공지능 데이터 품질관리체계 및 가이드라인을 정립한 기업입니다.