학회 등급이라는 개념을 짚어본 노트

옛 검색 도구의 rating 자리는 학회를 등급 순으로 정렬해 보여주던 곳이다. A와 A급, B, C의 구분이 그 자리의 축이었고 사용자는 이 등급을 참고해 학회를 골랐다. 이 편지는 그 자리에 놓이는 리서치 편지로 학회 등급이라는 개념 자체를 짚는다. 등급이 어떻게 매겨지고 어떤 한계를 갖는지, 그리고 등급을 학회 선택에 어떻게 활용할 수 있는지가 이 편지의 주된 주제다.

호주 CORE 랭킹의 방식

가장 잘 알려진 학회 등급 체계는 호주 CORE 랭킹이다. 이 랭킹은 호주 컴퓨터 과학계에서 시작됐으며 A와 A급, B, C의 네 단계로 학회를 구분한다. 등급의 결정은 위원회의 검토를 통해 이뤄지며 학회의 채택률, 프로그램 위원회의 명성, 논문의 인용 지수 같은 여러 축이 함께 고려된다. 이 랭킹은 몇 년마다 갱신되며 갱신 때마다 특정 학회의 등급이 오르내리는 조정이 일어난다.

CORE 랭킹의 강점은 여러 축을 함께 반영한 종합 판단이라는 점이다. 단순히 인용 지수만으로 학회를 평가하는 방식보다 결이 두텁다. 단점은 갱신 주기가 길어서 최근 몇 년 사이의 학회 변화가 반영되기까지 시간이 걸린다는 것이다. 신생 학회는 등급을 받기까지 몇 년을 기다려야 하고 새로 등장한 분야의 학회들이 랭킹의 사각지대에 놓이기도 한다.

중국 CCF 랭킹의 방식

중국 컴퓨터 과학계에서 널리 쓰이는 랭킹은 CCF 등급이다. 이 랭킹도 A, B, C의 세 단계로 학회를 구분한다. 중국의 대학 평가 체계와 연동돼 있어서 학생과 연구자에게 실질적 영향을 미친다. 특정 학회에 논문을 게재하는 것이 승진과 학위 심사에 직접 반영되는 구조가 있다. 이 구조는 랭킹의 실질적 영향력을 키우고 동시에 랭킹의 공정성에 대한 논쟁을 만든다.

CORE와 CCF의 두 랭킹을 비교해보면 최상위 학회의 목록은 대체로 겹치지만 중간 등급의 세부에서는 차이가 있다. 어떤 학회는 한쪽에서 높은 등급을 받고 다른 쪽에서 낮은 등급을 받는다. 이 차이는 각 랭킹이 반영하는 학술 커뮤니티의 결이 조금씩 다르기 때문이다. 두 랭킹을 함께 참고하는 사용자가 학회의 실제 결을 더 입체적으로 잡을 수 있다.

등급의 함정

학회 등급을 참고할 때 조심해야 할 함정이 몇 가지 있다. 첫 번째 함정은 등급의 절대성을 믿는 것이다. 등급은 여러 축의 종합이며 그 축의 선택 자체가 판단이다. 등급이 A라는 사실이 그 학회의 결이 자기 논문과 잘 맞는다는 뜻은 아니다. 두 번째 함정은 등급이 낮은 학회를 지나치게 배제하는 것이다. 어떤 분야는 아직 랭킹의 사각지대에 있고 그 분야의 신생 학회가 실제로는 매우 활발한 커뮤니티를 형성하기도 한다.

세 번째 함정은 등급을 유일한 판단 기준으로 삼는 것이다. 학회 선택은 등급 외에도 개최지, 마감의 여유, 리뷰 관행, 자기 논문의 완성도 같은 여러 축을 함께 고려해야 한다. 등급이 그중 하나의 축일 뿐이며 다른 축이 훨씬 중요한 경우도 있다. 특히 학생 시기에는 등급이 낮더라도 리뷰의 결이 좋은 학회에서 첫 논문을 시도하는 편이 성장에 도움이 되기도 한다.

등급이 실제 참관 인상과 어긋나는 경우

등급이 높은 학회의 실제 참관 인상이 기대보다 낮은 경우가 있다. 논문의 결이 좋더라도 발표의 밀도가 지나치게 높거나 커뮤니티의 대화가 폐쇄적으로 느껴지거나 학회장의 이동이 복잡한 경우다. 반대로 등급이 중간인 학회의 참관 인상이 매우 좋은 경우도 자주 있다. 발표의 결이 담담하고 커뮤니티의 대화가 열려 있고 학회장 주변의 도시가 친절한 경우다. 이런 어긋남은 학회 참관을 몇 번 경험한 뒤에야 몸에 붙는 감각이다.

이 아카이브의 참관 편지에는 이 어긋남이 종종 담긴다. 등급의 감각과 실제 참관의 감각이 어떻게 다른지가 편지의 문장 안에 자연스럽게 배어들도록 쓴다. 이 결의 차이를 읽어내는 방문자가 있다면 그 방문자는 이 아카이브의 편지가 데이터베이스와 다른 자리라는 사실을 자연스럽게 받아들일 것이다.

등급 갱신의 흐름

학회 등급은 정기적으로 갱신되는데 그 갱신의 흐름은 학술 커뮤니티 내부에서 상당한 논의를 만든다. 특정 학회의 등급이 오르거나 내리는 결정은 그 학회의 프로그램 위원회에게 직접적 영향을 주고 그 학회에 논문을 제출한 연구자의 이력에도 영향을 준다. 갱신 위원회는 이 영향을 인지하고 있고 그래서 갱신의 결정에 신중을 기한다. 갱신의 결과 발표 후 한동안 학술 커뮤니티의 뉴스레터가 갱신 관련 논평으로 채워지기도 한다.

갱신 위원회의 구성도 논쟁의 대상이 된다. 위원회에 특정 학회의 프로그램 위원장이 포함돼 있으면 그 학회에 유리한 판단이 이뤄질 수 있다는 우려가 있다. 이 우려를 완화하기 위해 위원회의 구성은 여러 학회의 이해관계자가 균형 있게 배치되도록 조정된다. 이 조정의 과정도 시간과 노력이 필요한 실무다. 학술 커뮤니티의 자율적 운영이 이런 실무의 축적으로 유지된다.

신생 분야의 학회와 등급

신생 분야의 학회는 등급 체계 안에서 자리를 잡기까지 몇 년이 걸린다. 이 시기의 학회는 공식 등급이 없거나 임시 등급을 부여받는다. 그 학회에 논문을 제출하는 연구자는 등급 외의 다른 축으로 학회의 신뢰도를 판단해야 한다. 프로그램 위원회의 명성, 학회 조직 위원회의 이력, 첫 몇 회차의 채택 논문의 결이 판단의 재료가 된다.

신생 학회에 논문을 제출하는 것은 위험과 기회를 동시에 갖는다. 위험은 그 학회의 채택이 학술 이력에 얼마나 인정될지 알 수 없다는 점이다. 기회는 그 학회의 커뮤니티가 형성되는 시기에 자신의 이름을 함께 새길 수 있다는 점이다. 학생 시기에는 위험이 크게 느껴지고 실무 연구자로 자리 잡은 뒤에는 기회가 커 보이기도 한다. 이 판단은 개인의 학술 이력의 단계에 따라 크게 달라진다.

랭킹 없이 학회를 고르는 방식

일부 연구자는 학회 등급을 참고하지 않고 학회를 고른다. 이 방식은 등급에 의존하지 않는 대신 자기 분야의 커뮤니티에 대한 깊은 지식을 요구한다. 어떤 학회의 프로그램 위원회에 누가 있는지, 지난 몇 회의 초록 스타일이 어떻게 바뀌었는지, 자기 지도교수가 어느 학회를 자주 언급하는지 같은 세부 정보를 몸으로 익힌 사람만이 랭킹 없이 학회를 골라도 실패하지 않는다.

이 방식은 학생 시기에는 어렵고 실무 연구자로 몇 년을 보낸 뒤에야 가능해진다. 학생 시기의 판단은 랭킹의 도움을 받는 편이 안전하다. CFP 실전 노트 편지에서 학회 선택의 실무적 단계를 조금 더 다룬다. 그 편지는 CFP를 읽는 요령과 학회 선택에서 판단이 흔들릴 때의 대처를 정리한다.

지역별 등급의 차이

학회 등급은 지역마다 조금씩 다른 결로 사용된다. 북미의 연구자는 CORE 랭킹을 참고하고 중국과 동아시아의 연구자는 CCF 랭킹을 자주 사용한다. 유럽의 연구자는 두 랭킹을 모두 참고하면서 자기 분야의 커뮤니티가 특별히 신뢰하는 학회 목록을 별도로 갖고 있는 경우가 많다. 이 지역별 차이는 학회의 국제성에도 영향을 준다. 특정 지역에서 등급이 높은 학회에 다른 지역의 연구자가 상대적으로 덜 참여하는 흐름이 자연스럽게 형성된다.

한국의 학술 커뮤니티는 두 랭킹을 모두 참고하는 편이다. 대학의 승진 심사에서 CORE 랭킹의 A와 A급 학회에 게재된 논문이 기본으로 인정되고 CCF 랭킹의 A 학회도 함께 인정되는 경우가 많다. 이 이중 참고는 한국 연구자에게 학회 선택의 폭을 넓혀주는 요인이 되기도 한다. 다만 두 랭킹의 최상위 목록이 대체로 겹치기 때문에 실무적 차이는 크지 않다.

등급과 개최지의 상관관계

학회 등급과 개최지의 상관관계에 대한 관찰도 흥미롭다. 최상위 등급의 학회는 매년 개최지를 바꾸는 경우가 많고 그 개최지의 선택이 학회 조직 위원회의 정치적 결정이기도 하다. 특정 대륙에 개최지가 편중되지 않도록 순환하는 관행이 있고 그 관행이 학회의 국제성을 유지한다. 중간 등급의 학회는 특정 지역에 오래 머무는 경우가 있으며 그 지역의 커뮤니티에 두터운 관계를 형성한다.

개최지가 참관 결정에 미치는 영향은 사람마다 다르다. 어떤 사람은 학회의 결만 보고 참관을 결정하고 어떤 사람은 개최지의 도시가 자기 여행 계획과 맞물릴 때만 참관한다. 이 아카이브의 참관 편지에는 두 관점이 모두 담긴다. 개최지 도시의 인상이 학회의 인상을 어떻게 물들이는지가 편지의 흐름 안에서 관찰된다. 분산 컴퓨팅 학회 계보 편지에서 취리히 그룹의 자리와 유럽 학회의 결을 짧게 다뤘고 그 편지가 이 편지와 나란히 읽힐 수 있다.

등급의 미래

학회 등급이라는 개념이 앞으로도 계속 유지될지에 대한 논의는 학술 커뮤니티 안에서 오래 이어져 왔다. 논문의 인용 지표가 점점 세밀해지고 개별 논문의 영향력이 실시간으로 측정되는 시대에 학회 단위의 등급이 얼마나 의미가 있는지에 대한 회의가 있다. 반면 학회의 결이 논문의 인용만으로 잡히지 않는다는 반론도 있다. 학회의 커뮤니티가 형성하는 네트워크의 두께와 학회 참관을 통해 쌓이는 학술적 연결은 인용 지표로 측정되지 않는 자원이다. 등급이라는 개념이 이 자원의 두께를 부분적으로나마 반영한다고 보는 입장이 학술 커뮤니티 안에서 유지되고 있다.

이 논의의 결말이 어느 방향으로 향할지는 아직 알 수 없다. 등급 체계가 다른 형태의 학회 평가로 서서히 대체될 가능성도 있고 지금의 등급 체계가 앞으로도 오래 유지될 가능성도 있다. 이 편지는 그 결말을 예측하지 않는다. 다만 지금의 등급 체계를 어떻게 참고할지에 대한 감각을 정리해두는 것이 이 편지의 목적이다. 미래의 학술 커뮤니티가 어떤 평가 체계를 택하든 학회 선택의 본질은 크게 달라지지 않을 것이다. 학회의 결과 자기 논문의 결이 얼마나 잘 맞는지, 그 결의 판단을 자기가 담담히 내릴 수 있는지가 결국 학회 선택의 중심이 된다. 이 담담함이 오래 유지되는 태도가 학회 참관자의 자기 자원이 된다.