이 논문에서는 두 가지 인간 연구를 수행했습니다. 첫 번째 연구는 참가자들이 입력에 응답할 때 인지된 난이도와 실제 난이도가 얼마나 일치하는지 조사하여, difficulty concordance가 difficulty proxies와 상관관계가 있는지 확인했습니다. 두 번째 연구는 참가자들이 모델의 출력을 감독하거나 검증하여, 인간이 잘못된 응답을 올바른 것으로 받아들이는지를 조사했습니다. Difficulty concordance를 최대화하고 인간 검증 과정에서 발생할 수 있는 incorrect-to-correct errors를 줄이기 위해서는 모델을 훈련하고 shaping up할 때 이를 손실 함수에 반영해야 합니다. 이를 위해 인간의 난이도 기대치와 출력 감독에 대한 더 큰 데이터셋을 구축하는 집단적인 노력이 필요합니다. 이러한 데이터는 기존의 인간 피드백보다 더 정교한 AI를 사용하여 감독자를 훈련시키는 데 활용될 수 있습니다. 특히, 의료 등 중요한 분야의 shaped-up 모델은 거부 옵션을 포함하거나 외부 AI 감독자와 결합하여 task avoidance를 촉진할 수 있습니다. 이러한 개입은 LLM이 신뢰성을 보장하는 인간과 유사한 특성을 갖추도록 해야 합니다. 그러나 이러한 작업이 완료되지 않은 상태에서 LLM의 사용이 일반 대중에게 널리 퍼져 있는 점을 감안할 때, 특히 진실이 중요한 분야에서는 인간의 감독 행위에 의존하는 것은 위험하다는 점을 경고하고자 합니다.

해당 분석에는 몇 가지 한계가 있습니다. 첫 번째는 대부분 비전문가 참가자를 모집했다는 점으로, 일부 벤치마크에서 높은 난이도 점수가 일반 대중이 해결할 수 없는 질문이 많기 때문입니다. 두 번째는 ‘자연스러운’ prompts 샘플을 다양한 출처에서 수집했지만, 실제 시나리오에서 특정 prompt가 얼마나 자주 사용되는지 알 수 없었습니다. 마지막으로, 특정 궤적을 가진 모델군만을 다루어, 외부 도구를 사용하거나 정교한 추론 기법을 사용하는 LLM은 제외했습니다. 

GPT 계열은 최근 몇 년간 성능에서 선두를 달리며 OpenAI가 다른 언어 모델 개발에 큰 영향을 미쳤습니다. 반면, LLaMA와 BLOOM은 보다 개방적이고 체계적인 모델 라인업을 통해 scaling과 shaping up을 분리할 수 있으며, 우리의 방법론과 코드를 사용한 점진적 분석의 길을 열어줍니다. 이러한 모델들의 신뢰성 문제를 강조하고 새로운 분석 도구를 도입하는 것은 매우 중요하며, 다른 연구자들이 향후 scaled-up, shaped-up 모델을 탐구할 수 있도록 도와줍니다.