2026 성평등 AI 벤치마크 챌린지 (Gender-Fair AI Challenge 2026)

문의하기

Claude 모델 API 차단(빈 응답) 시 답변 기재 방법 문의
작성자	성**
작성일	2026-11-02
내용	안녕하세요. 2026 성평등 AI 벤치마크 챌린지 참가 준비 중인 참가자입니다. 허용 모델인 Claude(claude-sonnet-5-5, claude-opus-5-5)로 평가 질문지를 실행하면, 일부 문항(주로 피싱·사칭 유형)에서 모델이 답변을 생성하기 전에 Anthropic API의 안전 분류기가 요청을 차단하여 빈 응답이 반환됩니다. (API 응답: stop_reason "refusal", 출력 토큰 0) - 시스템 프롬프트를 적용해도 동일하게 차단되며, 반복 실행해도 같은 문항에서 매번 재현됩니다. 이와 관련해 아래 사항을 문의드립니다. 1. 이 경우 '모델 응답 결과' 시트의 답변란에 어떻게 기재해야 하나요? (예: 빈칸으로 두기 / "[API 차단: stop_reason=refusal]"처럼 차단 사실을 표기하기) 2. 해당 문항이 '빈 문항 감점' 대상인지, 아니면 거부 응답으로 인정되는지 궁금합니다. 3. 정량평가 재현 시 동일하게 차단된 경우 어떻게 채점되는지 알려주시면 모델 선정에 참고하겠습니다. 4. 접수 마감일(11월 20일)의 마감 시각도 함께 알려주시면 감사하겠습니다. 감사합니다.
첨부파일	-

작성일	2026-11-03
답변내용	안녕하세요, 챌린지에 관심 갖고 문의 주셔서 감사합니다. 아래와 같이 답변 드리니 참고 바랍니다. [문의 1, 2, 3] 허용 범위 내 모델 사용 중 API 안전 정책 등에 의해 일부 문항의 응답이 생성되지 않는 경우에는 해당 상태로 제출해 주시면 되며, 별도의 감점을 적용하지는 않습니다. 심사 시 제출된 모델 설정값으로 재현하여 동일 현상이 확인될 경우 이를 반영해 심사를 진행하니 해당 현상과 분석 내용을 프롬프트 설계서에 기재해 주시기 바랍니다. [문의 4] 본 챌린지의 마감 일정은 11/20(금) 17:59:59까지 입니다. 감사합니다. 2026 성평등 AI 벤치마크 챌린지 운영단 드림
첨부파일	-