구직자 희망지역 상관 없이 일자리 추천 등 시스템 부실…알고리즘 고도화 등 대안 마련 권고
고용노동부가 128억원을 들여 구축한 구인·구직정보 공공 플랫폼인 '워크넷'에 도입한 머신러닝(AI) 기반 일자리매칭 시스템이 기존 시스템 대비 성과가 저조한 것으로 나타났다.
추천 구인정보에 구직자가 실제로 입사를 지원한 비율이 AI 도입 이후 오히려 더 떨어진 것이다.
12일 감사원이 공개한 '취업알선정보망 구축 및 관리 실태' 감사보고서에 따르면 한국고용정보원은 매칭 효율성을 극대화하겠다며 워크넷에 AI 매칭 시스템을 도입하는 사업을 추진했지만 실제 입사지원율과 시스템이 예측한 입사지원율 간에 상당한 차이가 있었다.
AI 매칭 시스템은 구직자의 이력서와 기업의 구인정보를 변수로 매칭 알고리즘에 따라 최대 50개 구인정보를 추천해주는 서비스로 고용노동부가 128억원을 들여 고용정보원에 위탁해 구축·운영해왔다.
AI 매칭 시스템의 입사지원율은 1차 사업(2020년 7월∼2021년 7월) 9.45%, 2차 사업(2021년 7월∼2021년 10월) 12.99%로 나타났다.
당초 예측한 입사지원율인 59%, 70.2%에 크게 미치지 못하는 것이다.
또 같은 기간 워크넷의 기존 서비스인 '빅데이터 일자리 추천 서비스'의 입사지원율 15.22%, 18.36%보다도 낮았다.
AI 매칭 시스템의 추천 구인정보를 조회한 33만여명 중 약 72%인 23만9000여명이 실제로 입사지원을 하지 않아 AI 매칭 시스템이 추천한 정보 활용도가 낮은 실정이었다.
감사원은 AI 매칭 시스템의 추천수를 늘린다는 이유로 구직자에게 추천하는 일자리 매칭점수 기준을 낮게 설정해 연관성 없는 구직정보를 추천했고, 구직자의 희망지역과 상관 없이 일자리를 추천한 것을 원인으로 판단했다.
감사원이 AI 매칭시스템이 추천한 구인정보 중 구직자가 조회한 167만여건, 입사지원내역 20만여건을 분석한 결과 매칭점수와 입사지원간 상관관계가 1차에서는 0.0061로, 관계가 거의 없는 것으로 나타났다.
2차의 경우도 0.0768로 상관관계가 낮았다.
상관관계 분석은 0∼1로 측정되며 0.1까지는 거의 관계가 없는 것으로 본다.
또 성능평가 당시 일자리 추천 문턱값(threshold)을 0.5점으로 설정했던 것과 달리 일자리 추천 수를 늘리기 위해 0.25점만 넘으면 추천하도록 설정한 것도 AI 매칭의 효율성을 떨어트린 원인으로 지목됐다.
감사원이 조회건수가 가장 많은 경기도 수원시를 표본 삼아 추천 구인정보 6977건을 분석한 결과 구직자의 희망지역과 AI가 추천한 일자리가 일치하지 않는 경우가 1020건으로 확인됐다.
심지어 희망지역을 수원으로 설정한 구직자에게 강원도 횡성군·태백시의 일자리를 추천하기도 했다.
감사 결과 워크넷이 외부 일자리 정보망의 연계 과정에서 허위 구인이나 상습체불사업장을 거르기 위해 운영하는 '연계 제한' 제도가 제대로 관리되지 않고 있는 것으로 나타났다.
사업자번호 1개에 업체명이 여러 개라는 이유로 구인 정보가 게시되지 않거나 임금체불 사업장의 구인정보가 게시되는 등의 사례가 발견됐다.
또 외부 일자리정보망에서 수신된 구인정보 8만7000여건 중 98.6%가 워크넷에 연계되지 않는 등 문제가 있었다.
감사원은 고용노동부 장관과 한국고용정보원장에게 일자리 추천 기준과 추천 대상 지역 등의 적정성을 점검하는 등 알고리즘을 고도화하는 개선 방안을 마련하도록 권고했다.
또 외부 일자리 정보망의 구인정보 수신 여부와 오류율 등을 주기적으로 점검하는 등 개선방안을 마련하라고 통보했다.
