서울대병원 LLM2CLIP4CXR: Llama 3로 흉부 X선 판독문을 찾는 AI는 어떻게 만들었나

서울대병원, 흉부 X선 판독문을 의미로 찾는 AI 개발

서울대병원 영상의학과 박창민·이동헌 교수 연구팀은 2026년 8월 26일, 흉부 X선 영상과 임상적으로 가장 가까운 기존 판독문을 찾아주는 AI 연구 성과를 발표했다. 제1저자는 고한빈 연구원이며, 연구 결과는 국제학술지 IEEE Journal of Biomedical and Health Informatics(JBHI)에 게재됐다. 출처: 서울대병원, LLM 기반 흉부 X선 판독 AI 개발, 서울대병원, 흉부 X선 영상·판독문 연결하는 LLM 기반 검색 AI 개발

연구팀이 붙든 문제는 판독문의 서식이 제각각이라는 점이다. 흉부 X선 판독문에는 ‘양측 하폐야(BLLF)’, ‘기흉(PTX)’ 같은 약어가 자주 등장한다. 여기에 더해, 같은 소견이라도 병원과 판독의에 따라 표현 방식과 서술 길이가 달라진다. 어떤 기관은 소견을 길게 서술하고, 어떤 기관은 결론만 짧게 남긴다. 문자열이 다르다는 이유로 같은 의미의 문장을 다른 문장으로 취급하면 판독문 데이터는 쌓여도 쓰기 어려워진다. 학습에는 서울대병원 비식별 임상자료와 MIMIC-CXR·CheXpert-plus·PadChest 공개 데이터셋을 합쳐 약 160만 건의 영상-판독문 쌍이 사용됐다. 출처: 서울대병원, 흉부 X선 영상-텍스트 양방향 검색 AI 모델 개발, Exploring the Capabilities of LLM Encoders for Image-Text Retrieval in Chest X-rays (arXiv:2509.15234)

이 연구의 결과물 이름이 LLM2CLIP4CXR이다. 새로 만든 거대언어모델(LLM, 사람의 언어를 대량으로 학습해 문장을 이해하고 이어 쓰는 모델)의 이름이 아니라, 연구팀이 만든 영상-텍스트 검색 모델의 이름이다. 이 모델 안에는 판독문 전용 텍스트 인코더인 LLM2VEC4CXR이 들어 있고, 여기에 X선 영상을 처리하는 영상 인코더가 결합돼 있다. 두 인코더가 만든 표현을 맞대어 영상과 판독문의 의미를 비교하는 구조다.

그러면 연구팀이 만든 것은 무엇일까. 새로운 LLM을 처음부터 만든 것은 아니다. 이미 공개된 Llama 3.2 계열 모델을 흉부 X선 판독문의 의미를 이해하는 텍스트 인코더로 추가 학습했고, 여기에 별도의 영상 인코더를 붙였다. 그리고 Llama가 X선을 직접 보는 것도, 새로운 판독문을 작성하는 것도 아니다. 모델의 출력은 새로 쓰인 문장이 아니라, 데이터베이스에 이미 있던 판독문 후보와 그 유사도 점수다. 출처: Exploring the Capabilities of LLM Encoders for Image-Text Retrieval in Chest X-rays (arXiv:2509.15234), LLM2CLIP4CXR GitHub 저장소

그렇다면 Llama 3는 이 시스템에서 정확히 어떤 일을 하고, 연구팀은 왜 새로운 판독문을 생성하는 대신 기존 판독문을 검색하는 방식을 선택했을까.

LLM2VEC4CXR과 LLM2CLIP4CXR, 두 층의 관계

두 이름은 같은 것을 가리키지 않는다. LLM2VEC4CXR은 판독문만 다루는 텍스트 인코더이고, LLM2CLIP4CXR은 그 텍스트 인코더에 영상 인코더를 붙인 검색 모델 전체다. 논문이 설명하는 조립 순서는 다음과 같다.

Llama 3.2-1B Instruct 계열 (범용 LLM)
  └▶ 흉부 X선 판독문으로 추가 학습 (양방향 전환 + 대조학습)
       └▶ LLM2VEC4CXR  ← 판독문 전용 텍스트 인코더
            └▶ 영상 인코더(EVA02-CLIP-L/14, 448×448)와 결합
                 └▶ LLM2CLIP4CXR  ← 영상-판독문 검색 모델

여기서 인코더(encoder)는 원본을 컴퓨터가 비교할 수 있는 표현으로 압축하는 모델을 뜻한다. 텍스트 인코더는 문장을, 영상 인코더(Vision Encoder)는 픽셀을 담당한다. 일반적인 Llama 계열 모델은 앞에서 뒤로 다음 단어를 예측하며 문장을 이어 쓰는 구조여서 답변 생성에는 강하지만, 문장 하나를 안정된 좌표로 요약하는 일에는 그대로 쓰기 어렵다. 연구팀은 이를 앞뒤 문맥을 함께 읽는 양방향 구조로 바꾸고, 문장 중간을 가린 뒤 복원하게 하는 빈칸 채우기 학습(masked token prediction)과, 표현이 달라도 임상적으로 같은 판독문끼리 가까워지도록 당기는 대조학습을 함께 적용했다.

이렇게 모델의 용도를 바꾸는 추가 학습을 파인튜닝(fine-tuning)이라고 한다. 이미 언어를 배운 모델에 특정 업무의 보충 수업을 시키는 과정이다. 논문은 이 과정에서 LoRA(Low-Rank Adaptation)도 함께 검증했는데, LoRA는 모델의 모든 가중치를 다시 학습하는 대신 작은 보조 행렬만 얹어 학습해 비용을 줄이는 방식이다. 영상까지 붙여 함께 학습하는 단계에서는 텍스트 인코더를 LoRA로 조정했다.

문장 전체를 하나의 벡터로 만들려면 pooling도 필요하다. 토큰마다 나온 내부 표현을 그대로 두면 문장 하나가 수백 개의 벡터가 되기 때문이다. 공개된 모델 카드는 이 단계로 latent attention pooling을 명시한다. 학습된 질의 벡터들이 토큰 표현에 주의를 기울여 판독문 한 건을 대표하는 벡터 하나를 만들어 내는 방식이다. 공개 모델은 LLM2CLIP-Llama-3.2-1B-Instruct를 기반으로 하며 MIT 라이선스로 배포된다. 출처: lukeingawesome/llm2vec4cxr 모델 카드, Microsoft LLM2CLIP GitHub 저장소

임베딩과 벡터 공간, 그리고 CLIP

임베딩(embedding)은 이미지나 문장의 특징과 의미를, AI가 서로 비교할 수 있도록 여러 개의 숫자로 표현한 것이다. 이 숫자 묶음을 벡터(vector)라고 부른다.

X선 이미지  → 영상 인코더   → [0.234, -0.17, 0.82, ...]
판독문 문장 → 텍스트 인코더 → [0.228, -0.19, 0.79, ...]

주의할 점이 하나 있다. 각 자리의 숫자가 ‘폐렴’, ‘심장 크기’ 같은 항목을 하나씩 맡고 있는 것은 아니다. 사람이 읽을 수 있는 의료 코드가 차원마다 배정돼 있지 않으며, 의미는 벡터 전체의 위치와 방향에 흩어져 담긴다. 벡터 공간(vector space)은 이 좌표들이 놓이는 지도이고, 학습이 잘 됐다면 폐울혈이 보이는 X선의 좌표는 폐울혈을 서술한 판독문 쪽에 가까워진다.

영상과 텍스트를 같은 지도 위에 올려 놓는 방법이 CLIP이다. CLIP은 Contrastive Language-Image Pre-training의 약자로, 이미지를 문장으로 번역하는 기술이 아니라 짝이 맞는 이미지-텍스트는 서로 가깝게, 짝이 아닌 것은 멀어지게 두 인코더를 함께 학습시키는 방식이다. 이때 쓰는 학습법을 대조 학습(contrastive learning)이라고 한다. 학습 배치에 X선 A와 판독문 A, X선 B와 판독문 B가 있다면 A-A의 유사도는 올리고 A-B의 유사도는 낮추는 식이다.

이 구조 덕분에 검색의 방향이 정해진다. 새 X선과 비슷하게 생긴 과거 X선 사진을 찾은 뒤 그 판독문을 보여 주는 영상-영상 검색이 아니다. 새 X선의 이미지 임베딩과 기존 판독문의 텍스트 임베딩을 같은 벡터 공간에서 직접 비교해, 의미가 가까운 판독문을 찾는 image-to-text retrieval이다. 실제 검색은 새 영상을 인코더에 한 번 통과시켜 벡터를 만들고, 미리 벡터로 바꿔 둔 판독문들과 코사인 유사도(두 벡터가 향하는 방향이 얼마나 비슷한지 재는 척도)를 계산해 상위 몇 건을 돌려주는 순서로 진행된다.

새 흉부 X선  ──▶ 영상 인코더 ──────▶ 이미지 임베딩 ─┐
                                                    ├─▶ 코사인 유사도 순위 ─▶ 기존 판독문 Top-k
기존 판독문 DB ─▶ LLM2VEC4CXR ──▶ 텍스트 임베딩 ───┘

여기서 ‘기존 판독문’은 그 환자의 정답을 되돌려 주는 장치가 아니라 검색 말뭉치에 들어 있는 후보다. 무엇을 후보로 둘지는 제품 설계의 문제이고, 환자 단위 분리를 지키지 않으면 오프라인 성능은 실제보다 좋게 나온다.

벡터 검색을 쓴다고 RAG는 아니다

임베딩과 벡터 검색을 설명하고 나면 자연스럽게 드는 질문이 있다. 벡터로 바꿔 검색한다면 요즘 흔히 쓰는 RAG와 같은 방식일까.

RAG는 Retrieval-Augmented Generation, 즉 검색 증강 생성이다. 질문을 임베딩해 문서를 찾고(Retrieval), 찾은 문서를 LLM의 입력에 넣은 뒤, LLM이 그 자료를 읽고 새 답변을 만든다(Generation). 임베딩과 벡터 검색은 RAG에서도 흔히 쓰이지만, 벡터 검색을 한다는 사실만으로 RAG가 되지는 않는다. 마지막 생성 단계가 있어야 RAG다.

LLM2CLIP4CXR에는 그 생성 단계가 없다. 새 X선을 벡터로 바꾸고, 판독문 후보와 비교해 순위를 매겨 보여 주는 데서 끝난다. 그래서 이 모델의 정확한 분류는 image-text retrieval이며, 모델 자체를 RAG라고 부르면 구조와 위험 요소를 함께 흐리게 만든다. 새로운 판독문을 생성하는 구조가 아니므로 생성 과정에서 존재하지 않는 소견을 만들어 내는 환각 위험은 피할 수 있다. 다만 현재 영상과 맞지 않는 기존 판독문을 높은 순위로 검색하는 오류는 여전히 발생할 수 있다.

검색 결과를 다시 생성 모델에 넣어 판독 초안을 만드는 제품은 물론 가능하다. 다만 그 순간부터는 별도의 검색 결합 생성 시스템이며, 검색 모델의 장점만으로 생성 결과의 안전성을 주장할 수 없다.

연구팀은 왜 생성 대신 검색을 택했나

논문은 검색 방식의 출력이 추적 가능하며 영상의학과 의사가 의사결정 보조로 검토할 수 있다는 점을, 제약 없이 진단 텍스트를 만들어 내는 생성 방식과 대비해 설명한다. 박창민 교수도 발표에서 이 방식의 장점으로 결과의 근거를 되짚을 수 있다는 점을 들었다. 출처: Exploring the Capabilities of LLM Encoders for Image-Text Retrieval in Chest X-rays (arXiv:2509.15234), 서울대병원, 흉부 X선 영상-텍스트 양방향 검색 AI 모델 개발

기술적으로 이 구조가 갖는 장점은 세 가지로 정리된다. 첫째, 결과로 표시되는 문장이 실제 데이터베이스에 존재하던 문서다. 둘째, 그 문서가 어떤 영상과 짝지어져 있었고 유사도가 얼마였는지를 함께 보여 줄 수 있어 근거 확인이 쉽다. 셋째, 모델이 없던 문장을 조립하지 않으므로 생성형 LLM의 환각(hallucination) 위험이 줄어든다. 유사 과거 증례를 찾아 주는 용도나 판독 교육, 판독문 표준화 보조처럼 ‘문장을 새로 쓸 필요가 없는’ 업무에 잘 맞는 형태이기도 하다.

이동헌 교수는 정해진 형식이 없는 판독문도 AI 학습에 활용할 수 있는 가능성을 확인했다고 밝히면서, 흉부 CT 등으로 대상을 넓히고 여러 병원에서 실제 진료 활용 가능성을 검증하겠다는 계획을 함께 언급했다. 출처: 약어 달라도 같은 의미 찾아낸다…서울대병원, X선 검색 AI 개발

검색형 구조가 놓치기 쉬운 것들

검색형이라고 해서 안전한 것은 아니다. 잘못된 유사 증례를 높은 순위로 제시하는 것도 진료 현장에서는 위해가 될 수 있고, 과거 판독문 자체에 오류나 누락이 있다면 그 오류도 함께 검색된다.

판독문이 여러 조건의 조합으로 이뤄져 있다는 것도 까다로운 조건이다. “우하엽 침윤이 있고 흉수는 없다”, “경미한 심비대가 있으나 폐부종은 없다” 같은 문장에서 ‘있음’과 ‘없음’이 뒤바뀌면 임상적 판단도 달라진다. 논문은 이 부분을 따로 평가했다. 판독문에 부정 뒤집기, 중증도 변경, 위치 변경 같은 오류를 일부러 심어 놓고 올바른 문장을 골라내게 하는 별도 평가를 두었고, LLM2VEC4CXR은 8B 기준 0.841, 1B 전체 파인튜닝 기준 0.826의 정확도로 대부분 우연 수준에 머문 BERT 계열 인코더를 크게 앞섰다.

그럼에도 단일 임베딩 기반 의료 검색 전반에서는 ‘A는 있지만 B는 없다’처럼 여러 조건과 부정 표현을 동시에 만족해야 하는 검색이 여전히 어려운 과제로 남아 있다. 최근 공개된 CXR-Retrieve는 이런 compositional·negation retrieval 문제를 별도의 연구 과제로 다뤘다. 여기에 병변의 좌우·상하 위치, 과거 검사 대비 변화 여부까지 더하면, 하나의 유사도 점수로 모든 임상적 차이를 담기는 쉽지 않다.

데이터가 옮겨 갈 때의 문제도 있다. 한 병원의 촬영 장비, 환자 구성, 판독 관행으로 만들어진 벡터 공간이 다른 병원에서 그대로 유지된다는 보장은 없다. 논문 스스로도 한계를 밝히고 있다. 평가가 기관별 판독 스타일의 차이를 전부 담지 못했을 수 있고, 전문의 평가에 참여한 흉부영상 전문의가 한 명이어서 판독자 간 견해 차이는 측정되지 않았으며, 대상이 흉부 X선에 한정돼 있다. 출처: Exploring the Capabilities of LLM Encoders for Image-Text Retrieval in Chest X-rays (arXiv:2509.15234)

Top-1 4.9%라는 숫자를 읽는 법

보도된 수치 중 오해를 사기 쉬운 것이 Top-1 검색 정확률이다. 논문에서 이 지표는 ‘질병을 맞혔는가’를 재지 않는다. 데이터셋에서 그 영상과 원래 짝이었던 바로 그 판독문을 1순위로 집어냈는지를 본다. 임상적으로 맞는 내용이라도 문장이 다른 판독문을 골랐다면 오답으로 처리되는 엄격한 지표다. 그래서 외부 데이터인 Open-I에서의 4.9%는 진단 정확도가 4.9%라는 뜻이 아니다. 같은 조건에서 비교 모델의 최고치는 2.9%였다.

그래서 연구팀은 정확히 같은 판독문을 찾았는지만 평가하지 않고, 검색된 판독문이 임상적으로 얼마나 비슷한 내용을 담고 있는지를 보기 위해 GREEN, RadGraph F1, CheXbert F1, RaTEScore 같은 의료 특화 평가 지표도 함께 사용했다.

사람이 직접 본 평가도 있다. 약 15년 경력의 흉부영상 전문의가 Open-I 증례 72건을 검토해 55건(76%)에서 이 모델의 결과를 1순위로 골랐고, 별도로 의대생 3명과 4종의 LLM 심판이 200건을 평가했다. 검색 지표가 높다는 것과 환자 진료에서 안전하다는 것은 여전히 다른 문제이지만, 문자열 기준 지표만으로는 보이지 않던 부분을 함께 보여 주는 설계다. 출처: Exploring the Capabilities of LLM Encoders for Image-Text Retrieval in Chest X-rays (arXiv:2509.15234), 서울대병원, 흉부 X선 영상·판독문 연결하는 LLM 기반 검색 AI 개발

다른 접근들과 나란히 놓고 보면

검색형 의료 AI의 다음 과제를 보여 주는 최근 연구가 CXR-Retrieve다. 2026년 7월 공개된 이 연구는 이스라엘 테크니온공대와 벤구리온대 연구진이 만든 것으로, “무기폐가 있고 폐렴은 없다” 같은 문장 질의로 영상을 찾는 텍스트→영상 검색을 대상으로 삼는다. MIMIC-CXR-JPG 테스트셋 5,159장과 145개 질의로 벤치마크를 구성하고, 라벨을 반영한 대조 학습으로 CXR-CLIP 대비 두 개 질환 조합 질의의 Precision@5를 8.5%포인트, 부정 질의를 22.0%포인트 끌어올렸다. 서울대병원 연구보다 나중에 공개된 후속 연구이므로 “서울대 연구가 이 방법을 쓰지 않았다”고 볼 일은 아니고, 검색형 의료 AI가 향하는 방향을 보여 주는 사례로 읽는 편이 맞다. 출처: CXR-Retrieve: Compositional Text-to-Image Retrieval in Chest Radiography (arXiv:2607.27779)

생성형 쪽에는 CXR-LLaVA와 MAIRA-2가 있다. CXR-LLaVA는 흉부 X선을 입력받아 판독문을 새로 작성하는 다중모달 모델로, 공개 데이터 59만여 장을 모아 영상 인코더를 사전학습한 뒤 언어 모델과 연결했다. 마이크로소프트의 MAIRA-2는 영상 특화 인코더 RAD-DINO-MAIRA-2와 언어 모델을 결합해, 소견이 영상의 어느 위치에 있는지까지 함께 표시하는 근거 연결형(grounded) 판독문 생성을 다룬다. 마이크로소프트는 이런 생성물의 사실성을 재기 위해 RadFact라는 별도 평가 도구를 함께 내놓았는데, 생성 방식이 문장별 검증을 따로 필요로 한다는 점을 보여 준다. 출처: CXR-LLAVA (arXiv:2310.18341), MAIRA-2: Grounded Radiology Report Generation (arXiv:2406.04449)

구글의 MedSigLIP과 MedGemma는 역할에 따라 모델을 나눈 사례다. MedSigLIP은 4억 파라미터 규모의 영상 인코더와 텍스트 인코더로 의료 영상과 텍스트를 공통 임베딩 공간에 올려 분류·검색처럼 생성이 필요 없는 업무를 겨냥하고, MedGemma는 Gemma 3를 기반으로 보고서 초안이나 시각 질의응답처럼 문장 생성이 필요한 업무를 겨냥한다. 한쪽이 다른 쪽보다 항상 낫다기보다, 업무의 출력 형태와 검증 방법에 따라 고르는 문제에 가깝다. 출처: MedSigLIP 모델 카드, MedGemma

더 정확한 시스템은 어떤 조합으로 만들어질까

여기부터는 서울대병원 연구팀이 구현한 내용이 아니라, 최근 연구들이 탐색하고 있는 방향이다. 검색형과 생성형을 양자택일로 두지 않고, 각 단계를 따로 검증할 수 있는 계단식 구조로 묶는 설계가 논의된다.

X선 입력
  └▶ 주요 소견 분류
       └▶ 질환 존재·부재 조건을 반영한 후보 검색
            └▶ 필요할 때만 LLM이 판독 초안 생성
                 └▶ 영상의학과 전문의의 최종 검수

첫 단계의 분류기는 ‘기흉 의심’ 같은 정해진 표적의 경보를 맡는다. 이 신호는 검색 범위를 좁히는 필터이지 최종 진단이 아니다. 두 번째 단계에서 순수 유사도만으로 다루기 어려운 부정 조건과 병변 위치를 검색에 직접 반영하고, 문장이 필요한 업무에서만 생성 모델을 붙인다. 어느 조합이든 마지막에 사람이 검수한다는 조건은 달라지지 않는다.

이 연구를 만든 팀

영상의학과 의사들이 이런 모델을 직접 만든 것인지 궁금해질 수 있는데, 논문에 적힌 소속을 보면 임상의만으로 구성된 팀은 아니다. 제1저자 고한빈 연구원을 비롯한 저자들은 서울대 대학원 협동과정 바이오엔지니어링전공과 혁신의과학 통합전공에 소속돼 있고, 서울대 의과대학 소속 저자들과, 서울대 의대·병원 영상의학과이면서 의공학연구소·방사선의학연구소에도 적을 둔 교신저자 이동헌·박창민 교수가 함께 이름을 올렸다. 저장대 제1부속병원 영상의학과 소속 공동저자도 참여했다. 공학과 의과학, 영상의학, 의료영상정보학의 배경이 섞인 다학제 구성이다.

한 가지 덧붙이면, 논문에는 저자별 학위 표기나 세부 개발 역할이 명시돼 있지 않다. 참고로 PhD는 연구 중심의 박사학위를 뜻하며, 의사 면허를 뜻하는 MD와는 다른 개념이다. 누가 어떤 코드를 짰고 어느 부분을 구현했는지는 공개된 자료만으로는 알 수 없다. 출처: Exploring the Capabilities of LLM Encoders for Image-Text Retrieval in Chest X-rays (arXiv:2509.15234)

마무리: 모델의 마지막 동작을 보라

LLM2CLIP4CXR에서 확인할 수 있는 것은 Llama 3가 X선을 직접 판독한다는 사실이 아니다. 기존 LLM의 언어 이해 능력을 의료 판독문 전용 텍스트 인코더로 바꿔 쓰고, 그것을 영상 인코더와 같은 벡터 공간에 연결했다는 데 있다. 약어와 서식이 제각각인 판독문을 버리지 않고 학습 자료로 쓸 수 있게 만든 것이 이 설계의 실질적인 성과다.

여기서 남는 판단은 세 가지다. 첫째, LLM의 쓰임새는 챗봇이나 생성형 에이전트에 한정되지 않는다. 전문 문서의 의미를 좌표로 바꾸는 인코더 역할도 LLM이 잘하는 일 중 하나다. 둘째, 검색형 모델은 생성형보다 기능이 단순하지만 근거 확인과 오류 통제라는 뚜렷한 장점이 있다. 셋째, 의료처럼 오류 비용이 높은 영역에서는 무엇을 생성할 것인가만이 아니라, 어느 단계에서는 생성하지 않는 편이 나은가도 설계상의 결정이다.

동시에 남는 조건도 분명하다. 검색 성능은 진단 정확도가 아니고, 부정·복합 소견·위치·시간 변화에서의 오류율과 기관 간 일반화는 별도로 확인해야 하며, 최종 판단과 서명은 자격 있는 의료진의 몫이다.

참고 출처

• 서울대병원, LLM 기반 흉부 X선 판독 AI 개발
• 서울대병원, 흉부 X선 영상·판독문 연결하는 LLM 기반 검색 AI 개발
• 서울대병원, 흉부 X선 영상-텍스트 양방향 검색 AI 모델 개발
• 약어 달라도 같은 의미 찾아낸다…서울대병원, X선 검색 AI 개발
• Exploring the Capabilities of LLM Encoders for Image-Text Retrieval in Chest X-rays (arXiv:2509.15234)
• lukeingawesome/llm2vec4cxr 모델 카드
• LLM2CLIP4CXR GitHub 저장소
• Microsoft LLM2CLIP GitHub 저장소
• CXR-Retrieve: Compositional Text-to-Image Retrieval in Chest Radiography (arXiv:2607.27779)
• CXR-LLAVA (arXiv:2310.18341)
• MAIRA-2: Grounded Radiology Report Generation (arXiv:2406.04449)
• MedSigLIP 모델 카드
• MedGemma