새소식 본문

GM소식

실험실 보고서 - 실력 기반 등급 시스템 1차

작성자
운영자
작성일
2020.02.11 PM 04:08
추천수
3


안녕하세요.

카카오 배틀그라운드입니다.


본 내용은 펍지주식회사로부터 공유 받아 작성된 내용이며, 

자세한 사항은 아래 상세 내용을 참고해주시기 바랍니다.

───────────────────────────────────────────────────────



여러분의 도움으로 실험실(PUBG Labs)의 첫 실력 기반 등급 시스템 테스트를 성공적으로 마무리 하였습니다. 

관심을 가지고 참여해주신 많은 분들께 진심으로 감사의 말씀을 드립니다.


앞서 진행된 테스트를 통해 여러분이 제공해주신 피드백을 최대한 반영하여

더욱 개선된 실력 기반 등급 시스템을 마련하기 위해 노력하고 있습니다.


■ 실험실(PUBG Labs)를 통해 테스트를 진행한 이유

먼저 몇몇 플레이어 여러분께서 문의해주신 '실험실을 통해 실력 기반 등급 시스템을 테스트한 이유'에 대해

자세한 말씀을 드리고자 합니다.


◇ 많은 양의 실제 데이터 확보

실력 기반 등급 시스템을 보다 의미있는 시스템으로 만들기 위해

마스터리 시스템 개발 당시와 유사하게 '다크 런칭'을 진행하였습니다.

이를 통해 레이팅 알고리즘을 조정하고 시스템 기반 구축을 위한 초기 데이터들을 확보하였습니다.


하지만 곧 충분한 양의 초기 데이터 확보의 어려움에 직면하였습니다.

또한 플레이어 여러분의 게임플레이를 몰래 관찰한 결과,

여러분이 실제 상황에서 펼치는 플레이와 전혀 다른 결과를 얻게 된다는 것을 알게 되었습니다.


다음 단계로 나아가기 위해 저희에게 필요했던 것은

여러분의 실제 플레이에 대한 장기간의 관찰과 그로부터 도출되는 데이터였습니다. 


◇ 시스템에 대한 여러분의 피드백

아무리 시스템의 설계와 수치들이 올바르게 기획되었더라도

결국 받아들이는 여러분의 입장에서 시스템이 어떻게 느껴지는지가 중요하다고 생각했습니다.


저희는 조금 더 플레이어 여러분의 의견과 함께 실력 기반 등급 시스템을 개발해 나가고자 했고

이를 위해 실험실에 시스템이 제공한 레이팅에 대한 여러분의 만족 여부를

직접적으로 표출할 수 있도록 하였습니다. 


실험실은 실력 기반 등급 시스템의 개발 상황을 여러분에게 공유함과 동시에,

시스템이 여러분께서 바라보는 방향을 향해 나아갈 수 있는 초석을 제공하였습니다.


◇ 대화를 통한 커뮤니티와의 소통

커뮤니티에서도 실력 기반 등급 시스템을 매우 진지하게 생각하고 있으며,

여러분께서 PUBG에 바라는 등급 시스템에 대한 확실한 이해 없이

개발을 진행하는 것은 의미가 없다고 생각하였습니다.


실력 기반 등급 시스템 출시와 함께 커뮤니티 전반에 걸쳐 활발하게 이루어진 토론들이 

시스템 개발에 매우 유용한 도움을 주었습니다.

또한 테스트 기간 동안 많은 플레이어 여러분께서 다양하고 번뜩이는 아이디어를 제공해주셨습니다. 

일부 진취적인 플레이어 분들은 직접 제작한 실력 기반 등급 시스템을 제안을 주시기도 했습니다! 


저희는 여러분께서 커뮤니티에 남겨 주시는 소중한 댓글과 아이디어들을 자세히 확인하고 있으며,

모두 만족할 수 있는 실력 기반 등급 시스템을 제공해 드릴 수 있도록 앞으로도 최선을 다하겠습니다. 


■ 테스트 주기 개요

실력 기반 등급 시스템은 실험실에서 11월 말 처음 선을 보인 후 약 6주간 진행되었으며,

테스트 기간동안 관찰한 데이터를 바탕으로 일부 알고리즘을 수정하였습니다.


실력 기반 등급 시스템의 기반구조 덕분에 서버 점검없이 변경 사항을 즉각적으로 게임 서버에 적용할 수 있었으며,

이는 저희가 여러분의 게임 경험을 개선시킬 수 있는 기회를 크게 넓혀주었습니다.


여러분의 설문 결과와 실제 데이터 분석, 그리고 다양한 소셜 채널 등을 통해 수집된 피드백을 바탕으로,

2월 내로 1차 테스트에서 발견된 알고리즘 구성 문제 개선을 위한 

2차 테스트를 진행하기로 결정하였습니다.


■ 흥미로운 관찰 결과

다음으로 실험실 실력 기반 등급 시스템에서 도출된 일부 재미있고 흥미로운 데이터와 피드백을 여러분께 공유하며,

다가올 2차 테스트에 대한 저희의 계획을 함께 논해볼까 합니다.


플레이어 여러분 중 18.8%가 경쟁적인 게임 플레이를 위해 옵트인* 했습니다.

(*옵트인: 플레이어의 실력이 평가에 반영되고 실력 기반 등급 시스템에 기록으로 사용)


실력 기반 등급 시스템 테스트는 별도의 게임 대기열 없이 플레이어의 실력을 측정하기 위해 제공되었습니다. 

때문에 플레이어가 실험실 페이지에서 옵트인하여 테스트에 합류를 할 것인지,

아니면 합류를 거절할 것인지 선택권을 제공하도록 하기로 결정하였는데요. 

위의 말씀드린 수치가 바로 실력 기반 등급 테스트에 참여하기로 결정해주신 플레이어 비율입니다. 


앞서 진행한 연구와 타 게임에서의 경험을 바탕으로 저희는 10% 이하의 옵트인 비율을 보일 것으로 예상하였으나,

이를 크게 상회하는 높은 참여도로 인해 기쁜 마음과 흥분을 감출 수 없었습니다!

어떤 경우에는 거의 삼분의 일에 달하는 플레이어분들께서 테스트에 참여할 만큼 

플레이어 여러분이 얼마나 본인의 실력을 측정하는데 열정적인지 다시 한번 확인할 수 있었습니다.


◇ 등급 분포

티어

분포도

브론즈

2.85%

실버

37.47%

골드

30.16%

플레티넘

24.15%

다이아몬드

5.24%

마스터

1.05%

*스쿼드 3인칭


위의 도표는 실력 기반 등급 시스템의 알고리즘인 등급 분포도 조정 시 중점적으로 다루는

주요 지표의 현재 상태를 보여주는 자료입니다.

각 등급의 분포도는 현재 플레이어들이 RP와 티어 별로 어떻게 분류되는 보여줍니다. 


이 데이터는 매우 다양하게 분석해 볼 수 있겠지만,

간단히 PC의 실력 기반 등급 시스템에서 최소 50경기 이상의 매치를 

스쿼드 모드 3인칭으로 진행한 플레이어들의 분포표를 통해 말씀드리겠습니다.

해당 결과를 살펴보면 개선이 필요한 부분들이 보다 분명하게 보입니다.


브론즈와 마스터 티어의 분포도가 이상적인 수치보다 조금 더 크고 

다이아몬드 티어도 조금 부족한 측면을 보이는 것을 단편적인 예로 말씀드릴 수 있겠네요.

전반적으로 각 티어를 달성하기 더욱 어렵게 하고 난이도 조정을 진행할 예정입니다.


◇ 피드백

마지막으로, 테스트 기간동안 가장 화제가 되었던 피드백 몇 가지를 이야기해 보겠습니다.


"인게임 딜량의 경우도 점수 산정에 반영되어야 합니다.  

RP 획득 위해 같은 팀원과 킬 경쟁을 해야 한다는 사실에 기분이 좋지 않습니다"


시스템 테스트가 시작되고 처음 받은 피드백 중 하나였고, 

게임플레이 경험 개선을 위해 우선적으로 조정해야 할 과제라는 것을 알고 있었습니다.


인게임 딜량 수치를 점수 산정법에 직접적으로 포함시키는 안을 진지하게 고려하였습니다만,

오랜 검토 끝에 플레이어가 얻는 긍정적인 측면보다 부정적인 측면이 더 큰 것으로 밝혀졌습니다.

단순히 딜량 수치를 반영한다면 이를 악용할 수 있는 극단적인 방법들이 너무 많기 때문이었습니다.


하지만 여전히 여러분들의 팀플레이를 해친다는 피드백은 해결해야 하는 중요한 과제였습니다.

이에 저희는 '어시스트'라는 새로운 컨셉을 도입하기로 하였습니다.


어시스트 기능의 도입으로 적을 제압하면서 충분한 양의 딜을 같이 넣어준 플레이어들의 경우

알고리즘 상 킬과 동등한 가치를 부여 받게 되어, 더 이상 팀원들 사이에 킬 경쟁을 할 필요성이 없도록 하였습니다.


"프로그레션 시스템처럼, RP 점수를 잃는 것보다 얻는 것이 비교적 너무 쉬운 것 같습니다. 

마스터 티어 플레이어들도 무한하게 점수를 얻을 수 있습니다"


맙소사.. 실력 기반 등급 시스템에서 저희가 가장 우려하던 일이 발생했습니다.


이 시스템은 프로그레션 시스템처럼 그저 많은 게임을 통해 계단을 올라갈 수 있는 것이 아니라

플레이어들의 실력을 정확하게 측정하는 것이 본 목적이었습니다.

저희의 최우선 목표는 여러분께 최적의 게임 플레이 경험을 제공하는 것이며, 

이를 위해 최대한 공정하고 정확한 실력 기반 등급 시스템을 제작해야 한다는 것을 인지하고 있습니다.


시스템이 아직 불완전하다는 여러분의 피드백이 있었고, 저희가 수집한 데이터도 동일한 결과를 말해주고 있습니다. 

사실 단순히 게임 플레이 시간이 아닌 플레이어의 실력을 바탕으로 티어 분포가 진행되고 있지만,

앞서 언급했던 등급 분포와 같이 개선이 이루어져야 하는 부분이 확실히 존재합니다.


두 번째 테스트에서는 좀 더 실력을 바탕으로 한 엄격한 등급 산정을 통해

모든 등급의 난이도가 전체적으로 상승하게 될 것입니다. 

높은 티어의 플레이어들은 게임 당 얻을 수 있는 RP 양이 낮은 티어의 플레이어보다 줄어들 것이며,

마스터 티어에 위치한 플레이어의 경우 3500점 이상 부터 매 100 RP당 난이도가 상승하는 소프트 캡과 

5000 RP에서 등장하는 하드 캡으로 더 이상 무한하게 점수를 모을 수 없게 될 것입니다.


■ 마무리하며

실력 기반 등급 시스템은 아직 개발 중인 기능으로,

앞으로도 지속적인 소통을 통해 커뮤니티와 함께 올바른 방향으로 나아갈 수 있도록 노력할 것입니다.


높은 퀄리티와 재미를 가진 실력 기반 등급 시스템이 되기 위해서는

여러분과 저희 개발진 모두의 지속적인 관심이 필요합니다. 마치 살아있는 생명체처럼 말이죠 :)


실력 기반 등급 시스템의 두 번째 테스트를 시작하며, 그리고 앞으로도 계속하여, 

시스템의 개발 방향성이 여러분께서 원하는 방향으로 나아갈 수 있도록 최선을 다하겠습니다.


앞으로도 저희가 올바른 방향으로 나아갈 수 있도록 지속적인 관심을 부탁드리며,

지난 1차 테스트에 참여해주신 여러분께 깊은 감사의 말씀을 드립니다.


플레이어 여러분의 더 많은 치킨 디너를 기원하며, 2차 테스트를 마치고 다시 찾아뵙겠습니다.


고맙습니다. 


PUBG 실력 기반 등급 시스템 개발팀

추천3
PC 등록 서비스

확인을 누르시면
지정 PC 등록 서비스 이용을 위한 PC 정보를 수집합니다.

  • · 확인 후 DaumGameStarterProtocol 실행 메시지 노출 시 “실행” 버튼을 클릭해 주세요.
  • · 최대 7초 정도 소요될 수 있습니다.
  • · 크롬 브라우저 정책에 따라 시크릿 모드는 지원이 되지 않습니다.
본인 인증 성공

본인인증이 완료되었습니다.

확인
게임 스타트 보안

안전한 게임 이용을 위해 게임 스타트 보안 절차를 진행해주세요.

도움말 게임 스타트 IP 보안이란?

계정 도용 및 탈취로 인한 피해를 예방하기 위한 보안 서비스입니다.
접속 IP나 PC방 정보가 다를 경우 또는 게임 접속 30일이 경과된 경우
추가 인증(본인인증 또는 SMS 간편 인증)을 통해 게임 접속이 가능합니다.

  • 수집·이용목적: 게임 스타트 IP 보안
  • 수집하는 개인정보 항목: 게임을 이용하는 PC의 IP
  • 보유·이용기간: 신규IP 갱신 및 회원 탈퇴 시 즉시 삭제
  • 본 동의를 거부할 권리가 있으며, 거부할 경우 게임 서비스 이용이 불가능합니다.

위 개인정보 수집 및 이용 동의를 거부할 권리가 있습니다.
동의를 거부하는 경우 게임 스타트 보안 서비스를 제공받을 수 없습니다.

자세한 내용은 카카오게임즈 개인정보처리방침을 확인해 주세요.

간편 SMS 인증 등록

개인정보 수집 및 이용 동의 후 게임 스타트 보안 인증 시 SMS 간편 인증 자동 가입!
접속 위치 변경으로 재 인증 시 SMS 인증만으로 게임 시작이 가능합니다.

SMS 간편 인증 서비스 이용 시 회원정보에 등록하신 휴대전화 번호가 업데이트됩니다.
게임 스타트 보안 인증을 위한 SMS 인증 문자 발송용으로 사용됩니다.
(게임 스타트 보안 서비스 종료 시 자동 해제됩니다.)

휴대전화 본인인증
임시 보안 인증

게임 시작을 위한 1회성 본인 인증으로 접속 위치가 변경되면 재 인증이 필요합니다.

보안 서비스 가입

아래 보안 서비스 중 한 가지 이상을 가입 시 게임 스타트 보안 인증을 받지 않으셔도 됩니다.

※ 본인인증에 문제가 있는 경우 고객센터로 문의해주세요.

개인정보 수집 이용에 동의 해 주세요.
게임 스타트 보안

안전한 게임 이용을 위해 게임 스타트 보안 절차를 진행해주세요.

도움말 게임 스타트 IP 보안이란?

계정 도용 및 탈취로 인한 피해를 예방하기 위한 보안 서비스입니다.
접속 IP나 PC방 정보가 다를 경우 또는 게임 접속 30일이 경과된 경우
추가 인증(본인인증 또는 SMS 간편 인증)을 통해 게임 접속이 가능합니다.

  • 수집·이용목적: 게임 스타트 IP 보안
  • 수집하는 개인정보 항목: 게임을 이용하는 PC의 IP
  • 보유·이용기간: 신규IP 갱신 및 회원 탈퇴 시 즉시 삭제
  • 본 동의를 거부할 권리가 있으며, 거부할 경우 게임 서비스 이용이 불가능합니다.

위 개인정보 수집 및 이용 동의를 거부할 권리가 있습니다.
동의를 거부하는 경우 게임 스타트 보안 서비스를 제공받을 수 없습니다.

자세한 내용은 카카오게임즈 개인정보처리방침을 확인해 주세요.

SMS 간편 인증 서비스를 이용중입니다.
게임 접속을 위해 인증 번호 받기 후 전송되는 인증번호를 입력 후 확인을 눌러 주세요.
(인증번호는 회원정보에 등록된 휴대전화 번호로 발송됩니다.)

확인
기존에 등록하신 SMS 간편 인증 휴대전화 번호 사용이 불가할 경우

휴대전화 본인인증을 다시 진행해 주시면 SMS 간편 인증 휴대전화 번호가 새로운 번호로
업데이트 됩니다.

휴대전화 본인인증
일시적으로 SMS 간편 인증이 불가할 경우 아래의 인증 수단 중 한 가지로 본인인증

게임 시작을 위한 1회성 본인 인증으로 접속 위치가 변경되면 재 인증이 필요합니다.

게임 스타트 보안

SMS 간편인증 서비스 등록이 완료 되었습니다.

도움말 게임 스타트 IP 보안이란?

계정 도용 및 탈취로 인한 피해를 예방하기 위한 보안 서비스입니다.
접속 IP나 PC방 정보가 다를 경우 또는 게임 접속 30일이 경과된 경우
추가 인증(본인인증 또는 SMS 간편 인증)을 통해 게임 접속이 가능합니다.

마지막 접속 IP나 PC방 정보가 다를 경우 또는 게임 접속 30일이 경과된 경우
등록 된 휴대전화 번호로 SMS 간편 인증이 가능합니다.

  •  등록일
  • 등록 휴대전화 번호
확인
기존에 등록하신 SMS 간편 인증 휴대전화 번호 사용이 불가할 경우

다음 게임 스타트 보안 인증 시 휴대전화 본인인증을 다시 진행해 주시면 SMS 간편 인증 휴대전화
번호가 새로운 번호로 업데이트 됩니다.