DREAMBENCH++: A Human-Aligned Benchmark for Personalized Image Generation 리뷰

Abstract

 

• 대규모 텍스트-이미지 모델 발전
  • 텍스트 프롬프트와 레퍼런스 이미지를 활용한 이미지 생성 기술이 주목받음
• 평가 기준의 필요성
  • 이미지가 프롬프트의 핵심 개념과 레퍼런스 이미지의 특성을 정확히 반영해야 함
• 기존 평가 지표의 한계
  • DINO, CLIP: 전체 유사성은 측정하지만, 질감이나 얼굴 특징 등 세부 부분에서 인간 평가와 불일치
• 우리의 아이디어: DREAMBENCH++
  • 인간 평가와 일치하는 평가 지표로 제시됨
  • 멀티모달 GPT 모델(예: GPT-4o)을 활용하여 자세한 평가 지침과 내부 사고 과정을 통해 점수를 산출
  • 개인화된 이미지 생성 평가의 한계를 극복하며, 인간 선호도에 가까운 결과 제공

 

 

Contribution & Method

Figure 2: Qualitative comparison of concept preservation evaluation

 

 

• DINO의 한계점 시각화: 전체적인 형태나 색상은 잘 보존하는 이미지에 높은 점수를 주지만, 질감, 세부 특징, 특히 얼굴 특징과 같은 요소를 간과하여 인간 평가와 불일치함을 보여줌
• DREAMBENCH++의 우수성 입증: 인간이 중요하게 생각하는 다양한 시각적 특징을 종합적으로 고려해, 인간 평가와 훨씬 더 일관된 결과를 나타냄

 

Figure 3: Overall procedure of prompting GPT-4o for automated evaluation

 

이 그림은 DREAMBENCH++에서 GPT-4o를 활용하여 자동화된 평가를 수행하는 과정을 단계별로 보여줌. 

1. Human-written Meta-prompts (인간이 작성한 메타 프롬프트)
   • Task Description: 평가해야 할 작업에 대한 전반적인 설명을 제공.
   • Scoring Criteria: 개념 보존 평가(형태, 색상, 질감, 얼굴 특징 등)나 프롬프트 추종 평가(관련성, 정확성, 완전성, 맥락 등)를 위한 구체적인 기준을 제시.
   • Scoring Range: 가능한 점수 범위를 정의 (예: 0점 ~ 4점).
   • Format Specification: 출력 형식을 지정 (예: “Score: [당신의 점수]”).
2. GPT-4o (As Planner) - Summary & Planning (계획자 역할)
   • Internal Thinking & Self-Alignment: GPT-4o가 메타 프롬프트를 이해했는지 스스로 확인하고, 작업 요약과 상세 계획을 수립하여 자기 정렬(Self-Alignment)을 수행.
   • Task Summary: GPT-4o가 이해한 작업 내용을 간략히 요약.
   • Task Planning: 단계별로 이미지를 어떻게 평가할지 계획을 세움 (예: 1. 형태 2. 색상 3. 질감 4. 얼굴 특징 등).
3. Final Scoring (최종 채점)
   • Image Samples: 레퍼런스 이미지와 생성된 이미지를 GPT-4o에게 입력.
   • Score Generation: GPT-4o는 이전 단계의 지침과 자체 계획을 바탕으로 최종 점수를 산출합니다. 필요하면 Chain-of-Thought (CoT) 추론을 활용할 수 있음.
   • Output Format: “Score: [Your Score]” 형태로 평가 점수를 출력.

네 가지 속성(형태, 색상, 질감, 얼굴 특징)을 종합적으로 평가하여, 전체 이미지 일치도를 0(매우 부족)부터 4(매우 우수)까지의 정수 점수로 부여하는 방식으로 이미지 평가 모델을 구축하였음.

 

실험

Figure 6: Comparison between images of high DINO score and high GPT-4o score.

 

• Dino에서 높은 점수를 받은 이미지와 GPT-4o에서 높은 점수를 받은 이미지. 체크 표시는 인간 선호도이다.
• 높은 확률로 인간선호도에서 GPT Score가 앞서는걸 볼 수 있음.

Table 2: DREAMBENCH++ leaderboard.

 

• 인간 평가와의 높은 일치도:
  DREAMBENCH++는 GPT-4o와 신중하게 설계된 프롬프트를 통해 DINO나 CLIP보다 인간 평가와 훨씬 더 일치하는 결과를 보여줌. 특히, 얼굴 및 질감 평가에서 균형 잡힌 점수를 산출.
• DINO-I와 CLIP-I의 한계:
  DINO-I와 CLIP-I는 전반적인 형태나 스타일은 잘 반영하지만 개념 보존 평가에서는 인간 평가와 상당한 차이를 보이며 Figure 6에서 이러한 경향을 확인할 수 있음.
• CLIP-T의 효과:
  프롬프트 따라가기 평가에서는 기존 CLIP-T 점수가 DREAMBENCH++만큼 효과적이며, 인간 평가와 높은 일치율을 보입니다.

 

 

Table 3: Ablation study of prompt design.

 

 

• 기준선 (Baseline)
  • H-H: 인간 평가자들 간의 일치도
  • G-H: 기본 프롬프트 디자인에서 GPT-4o 평가와 인간 평가의 일치도
• 프롬프트 디자인 요소 제거 영향
  • Internal Thinking 제거: 내부 사고 과정을 제거하면 인간과의 일치도가 크게 감소
  • Scoring Criteria 제거: 구체적 채점 기준 제거 시 일치도가 가장 크게 하락
  • Scoring Range 제거: 점수 범위 정의 제거 시 소폭 감소
• 인간 사전 지식 추가 영향
  • + Human Prior: 시각적 개념 보존 평가 시 인간의 사전 지식을 추가하면 오히려 성능이 저하됨
• 다른 모델 사용 영향
  •  GPT4V: GPT-4o 대신 GPT-4V를 사용하면 전반적으로 인간과의 일치도가 낮아짐
• 모델 확장 가능성
  • 긍정적인 G-H 값과 프롬프트 디자인 요소의 중요성 분석을 통해, 멀티모달 GPT 모델의 발전에 따라 DREAMBENCH++ 평가 성능 향상의 잠재성을 시사

 

 

Limitation

 

• 초기 단계의 평가 시스템:
  인간 친화적인 평가와 벤치마킹은 아직 초기 단계이며, 전반적인 평가 성능과 신뢰성을 높이기 위해 개선이 필요.
• 모델 의존성:
  평가 결과는 GPT-4o와 같은 멀티모달 대규모 언어 모델의 성능에 크게 의존. 기본 모델의 한계나 내재된 편향이 평가 정확성에 영향을 미칠 수 있음.
• 프롬프트 디자인 민감성:
  내부 사고(Internal Thinking) 및 명확한 채점 기준(Scoring Criteria)을 포함한 프롬프트 디자인이 시스템 성능에 필수적이나, 이 부분의 개선은 여전히 중요한 도전 과제.
• 윤리적 문제:
  데이터셋에 NSFW 콘텐츠가 포함될 가능성이 있어, 완벽한 필터링이 어려운 윤리적 문제가 존재.

 

 

---

Prompt

Evaluation Instructions

### Task Definition
You will be provided with an image generated based on reference image.
As an experienced evaluator, your task is to evaluate the semantic consistency between the subject of the generated image and the reference image, according to the scoring criteria.

### Scoring Criteria
It is often compared whether two subjects are consistent based on four basic visual features:
1. Shape: Evaluate whether the main body outline, structure, and proportions of the generated image match those of the reference image. This includes the geometric shape of the main body, clarity of edges, relative sizes, and spatial relationships between various parts composing the main body.
2. Color: Comparing the accuracy and consistency of the main colors generated in the image with those of the reference image. This includes saturation, hue, brightness, and whether the distribution of colors is similar to that of the subject in the reference image.
3. Texture: Focus on the local parts of the RGB image, whether the generated image effectively captures fine details without appearing blurry, and whether it possesses the required realism, clarity, and aesthetic appeal. Please note that unless specifically mentioned in the text prompt, excessive abstraction and formalization of texture are not necessary.
4. Facial Features: If the evaluation is of a person or animal, facial features will greatly affect the judgment of image consistency, and you also need to focus on judging whether the facial area looks very similar visually.

### Scoring Range
You need to give a specific integer score based on the comprehensive performance of the visual features above, ranging from 0 to 4:
- Very Poor (0): No resemblance. The generated image's subject has no relation to the reference.
- Poor (1): Minimal resemblance. The subject falls within the same broad category but differs significantly.
- Fair (2): Moderate resemblance. The subject shows likeness to the reference with notable variances.
- Good (3): Strong resemblance. The subject closely matches the reference with only minor discrepancies.
- Excellent (4): Near-identical. The subject of the generated image is virtually indistinguishable from the reference.

### Input format
Every time you will receive two images, the first image is a reference image, and the second image is the generated image.

Please carefully review each image of the subject.

### Output Format
Score: [Your Score]

You must adhere to the specified output format, which means that only the scores need to be output, excluding your analysis process.

 

 

Summary & Planning

Yes, I understand the task. It involves evaluating the semantic consistency between a reference image and a generated image based on specific criteria. The evaluation focuses on four main aspects: shape, color, texture, and facial features (if applicable). The goal is to determine how closely the generated image matches the reference image in terms of these aspects, disregarding changes in background, lighting, style, posture, expression, and position of the subject. The evaluation should result in a specific score ranging from 0 (no resemblance) to 4 (near-identical resemblance).

To evaluate the images, I plan to follow these steps:

1. **Shape**: Assess if the main body outline, structure, and proportions of the generated image are consistent with the reference image. This includes looking at the geometric shape, clarity of edges, relative sizes, and spatial relationships between various parts.
2. **Color**: Compare the main colors in terms of accuracy and consistency, including saturation, hue, brightness, and the distribution of colors.
3. **Texture**: Examine the details in the local parts of the image to see if the generated image captures fine details without appearing blurry and maintains realism, clarity, and aesthetic appeal.
4. **Facial Features**: If the subject includes a person or animal, closely compare facial features to judge visual similarity.

After analyzing these aspects, I will assign a score based on the overall performance of the generated image in relation to the reference image. The score will reflect how similar the generated image is to the reference, strictly adhering to the evaluation criteria provided.

My output format should be Score: [0-4], and I don't need to write out the specific analysis process.

Please provide me with the samples I need to evaluate.