VisualSwap
Vision-Language Models (VLMs) often produce self-reflective statements like "let me check the figure again" during reasoning. Do such statements trigger genuine visual re-examination, or are they merely learned textual patterns? We investigate this via VisualSwap, an image-swap probing framework: after a model reasons over an image, we replace it with a visually similar but semantically different one and test whether the model notices. We introduce VS-Bench, 800 image pairs curated from MathVista, MathVerse, MathVision, and MMMU-Pro. Experiments on Qwen3-VL, Kimi-VL, and ERNIE-VL reveal a striking failure: models overwhelmingly miss the swap, with accuracy dropping by up to 60%. Counterintuitively, thinking models are nearly 3x more vulnerable than their instructed counterparts, and scaling offers no mitigation. Multi-turn user instructions restore visual grounding, but self-generated reflective statements during continuous generation do not. Attention analysis explains why: user instructions substantially elevate attention to visual tokens, whereas self-reflection does not. Current VLMs tend to say rather than actually see when claiming to perform visual re-examination. Our code and dataset are available at the project page: https://visualswap.github.io/
TL;DR
VLM이 thinking 과정에서 "let me check the figure again"이라고 종종 말하는데, 이게 실제로 이미지를 다시 보는 건지, 아니면 그냥 말만 그렇게 하는 건지를 검증한 연구다.
결론: 거의 안 본다.
Introduction
Does it really trigger genuine re-attention or are merely learned language?
Method
VisualSwap: original image 로 우선 추론해서 얻은 reasoning 를 얻고, 이미지를 로 swap한 후, 와 "let me check the figure again"이라는 프롬포트를 붙여서 새로운 reasoning 를 얻어, 만약 모델이 이미지를 다시 봤으면 에서 답이 바뀌어야 한다는 가정으로 실험을 진행하였다.
또, Swap하는 이미지 와 쌍을 Question Invariance(서로 다른 이미지에서 같은 가 적용 가능함), Visual Similarity(가 에서 얻은 reasoning인 것처럼 superficially plausible해야함), Visual Divergence(서로 비슷하되, 실제 정답은 달라야함)의 조건을 만족하도록 구성하여 VS-Bench를 만들었는데, human-in-the-loop annotation pipeline으로, given 페어에서 Nano Banana Pro를 이용해 를 생성했다고 한다.
Results
Main Results:
Main results on VS-Bench.
- 60% accuracy collapse (모델이 이미지가 바뀌어도 그냥 가 있는 것처럼 reasoning을 이어감)
- Thinking 모델 계열이 약 3배 더 취약 (counterintuitive...)
Attention Patterns: Prove(Self) vs Multiturn(External Intervention):
Visual attention score across decoding steps for Qwen3-VL-8B (layers 18-21). Probe shows lower attention than baseline throughout generation. Multi-turn elevates attention substantially after the user instruction.
- Probe: assistant turn을 유지해서, 와 이어지는 가 연속이 되도록 함. 즉 "let me check the figure again"()가 assistant 자기 발화의 일부가 됨.
- Multiturn: 를
<|im_end|>로 끝낸 후, 새 user turn에 "Check the image again and re-examine" 등의 user intervention을 추가.
→ 결과적으로 self-reflection보다 external instruction이 visual attention을 상승시켰음.
Appx. H: Crucially, none of the four Probe-style interventions approaches Multi-turn performance, which substantially outperforms all variants. This indicates that the effectiveness of user prompts arises from the combination of structural turn boundaries and semantically meaningful content, rather than either factor in isolation.
Discussion
모델의 self-reflection이 잘 안된다면 그냥 항상 user intervention을 추가해주면 되는거 아닌가?
→ 실전에서는 안됨.
- 모델이 틀리게 reasoning하고 있는지 알 방법이 없음
- 만약 user intervention을 주입할 정확한 타이밍을 감지한다면 그냥 문제 전체가 해결되는 꼴 (즉 불가)
- User intervention이라는 것 자체가 근본적 해결이 될 수 없음
- Self-reflection의 존재 의미가 사라짐. "사람의 관여 없이도 알아서 검증한다"가 이들의 큰 아이디어인데, 매번 user를 주입하면 CoT, Agent 같은 아이디어들이 사실 의미가 없어지는 것.
따라서 해법은 user intervention을 넣는게 아니라, 비슷한 효과를 모델 내부에 내재화(attention을 auxiliary reward로 RL/SFT 등) 시키는 것이라 할 수 있다.