AI가 과학 저널에 논문을 넘치게 하고 있다 — 지금까지 좋은 점은 거의 없다

학술지 <Organization Science>의 편집팀은 2021년 1월부터 2026년 2월까지 접수된 6,957건의 논문과 10,389건의 리뷰를 분석했습니다. 2022년 말 챗GPT(ChatGPT)의 등장은 논문 접수 급증과 질 저하와 맞물렸습니다. 챗GPT 확산 이후 논문 접수는 42% 증가했으며, 2026년 2월까지 대부분의 제출 논문에서 어떤 형태로든 AI가 사용된 것으로 추정됩니다. 판그램(Pangram) 3.1 알고리즘을 사용하여 기계 텍스트를 탐지한 결과, 2021년 1월 대비 2026년 1월 평균 가독성(플레시 지수, Flesch index)이 1.28 표준편차 감소했습니다. AI 참여 지수가 70% 이상인 논문은 동료 검토 전 70%가 기각된 반면, AI 사용이 미미한 논문은 43.7%만 기각되었습니다. AI 사용이 많은 논문의 수정 요청 확률은 11.9%에서 3.2%로 떨어졌습니다. 통계 모델은 문체가 다듬어진 텍스트에서도 높은 기각률이 지속됨을 보여주며, 이는 과학적 내용이 부실함을 시사합니다. AI 생성 리뷰는 다양성이 부족했으며, 이론적 프레임워크에 더 집중하고 데이터, 방법, 결과에는 덜 집중했습니다. 저자들은 알고리즘이 AI 영향을 신뢰성 있게 식별할 수 없으므로 일반적인 추세만 논의한다고 밝혔습니다. 그러나 제임스 에반스(James Evans)의 대규모 실험에서 연구자들이 언어 모델이 생성한 아이디어를 평가하게 했습니다: 6,749명의 과학자가 참신성, 실용적 가치, 타당성에 대해 25,000개 이상의 평점을 제공했습니다. 인기 모델은 종종 유사한 아이디어를 제안한 반면, 더 발전된 모델은 참신함으로 놀라움을 줄 수 있었습니다. AI 리뷰어는 인간 전문가와 의견이 일치하지 않는 경우가 많았습니다. 과학자 작성 리뷰로 특별 훈련된 큐웬3-14B(Qwen3-14B) 모델은 범용 모델보다 최대 27% 뛰어난 성능을 보였습니다. 연구자들은 AI가 이미 데이터 검색, 프로그래밍, 텍스트 준비에 도움을 주고 있지만, 인간의 검증과 평가 시스템의 변화 없이는 새로운 지식의 증가가 아닌 출판물의 통제되지 않은 성장으로 이어질 수 있다고 결론지었습니다.