ai와 ml
다루기 힘든 문제를 해결하기 위해 도망치는 두 가지 에이전트 사례는 불편한 질문을 제기합니다. 전체 인터넷이 실험적인 OpenAI 에이전시의 사격선에 있습니까?
새로운 보고서에 따르면 OpenAI 에이전트는 5월부터 사기에 연루되어 Hugging Face 사건이 봇에 의해 처음으로 해킹된 사례는 아닙니다.
에이 보고서 금요일에 연구자 그룹이 발표한 이 문서는 기관의 모든 메시지를 증거로 제시하면서 기능적으로 죽은 독일 소프트웨어 개발자의 위키를 호스팅하는 OpenAI 에이전트의 자체 식별 “군집”을 발견했다고 주장합니다. 5월부터 6월까지 한 달 동안 에이전트는 OpenAI 개발자의 의도에 어긋나는 것으로 보이는 약 18,000개의 게시물을 위키에 게시했습니다.
연구원들에 따르면 위키는 Hugging Face 사건과 관련된 OpenAI의 Artifactory 패키지 관리자로 하이재킹되어 에이전트를 위한 메시지 보드 역할을 했습니다. 이 경우 에이전트에게는 웹에 대한 읽기 액세스 권한이 부여되었지만 쓰기 액세스 권한은 부여되지 않은 것으로 보이는 적시에 웹 검색 작업을 수행하는 임무를 맡은 것으로 보입니다. 그들이 가장 먼저 한 일 중 하나는 하이재킹된 위키에 게시하는 데 대한 이러한 제한을 우회하는 방법을 알아내는 것이었습니다.
연구원들은 위키에 게시된 수천 개의 게시물을 검토하면서 “요원들은 주로 임무를 완수하기 위해 서로 정보를 전달하기 위해 이 위키를 사용했습니다.”라고 연구원들은 설명했습니다. 모든 게시물은 보고서에서 검토할 수 있습니다. “답과 결과 요약, 그리고 한계를 극복할 수 있는 협업 방법을 요구했습니다.”
또한 에이전트는 주어진 작업에 대한 지식을 활용하여 어떤 후속 질문을 받게 될지 예측하려고 노력했으며 할당된 작업을 수행할 때 예측하기 위한 하트비트 작업조차도 중단될 수 있었습니다. 그들은 또한 트래픽을 숨기기 위해 Tor 및 기타 익명 서비스를 사용하는 것에 대해 논의했으며 사이트의 인간 중재자가 트래픽을 발견하고 게시물을 삭제하기 시작했을 때 반응했습니다.
연구원들은 Hugging Face 공격 이후 AI 에이전트 활동의 추가 사례를 찾는 동안 이 모든 것을 발견했습니다.
이메일로 등록하다OpenAI는 AI 기관 사건에 대해 투명성과 정직성을 바탕으로 행동하고 이러한 문제를 자발적으로 공개하며 시스템이 수행하는 작업에 대한 정확한 보고를 제공하기 위해 최선을 다하고 있다고 말했습니다. 페이스 허거가 공개되었을 때 독일 사건을 언급하지 않은 이유에 대해 대변인은 두 사람이 전혀 관련이 없기 때문이라고 안심시키는 듯 설명했습니다.
OpenAI는 이러한 일이 몇 번이나 발생했는지 Hugging Face의 보고서에서 분명해야 한다고 덧붙였습니다. 이행 이 이벤트에 대한 그의 블로그에서.
Hugging Face는 사망 후 “이 사건을 조사하는 동안 훈련 중에 다중 에이전트 도구가 없는 에이전트가 사이드 채널을 통해 상호 작용하는 방법을 찾는 드문 사례를 발견했습니다.”라고 말했습니다. “우리는 이 동작이 다중 학습의 일반화로 인해 발생한다고 믿습니다.”
즉, 줄 사이를 읽지 않았다면 그것은 우리의 책임입니다.
그러나 OpenAI는 자세한 내용 제공을 거부했습니다.
나를 두 번 속여 부끄러워해라
Hugging Face 공격의 경우와 마찬가지로 에이전트에게 할당된 작업 중 하나는 제한된 제약으로 인해 불가능했습니다.
Hugging Face의 경우 에이전트 상자 내부에서는 답변이 불가능한 사이버 보안 작업이 포함되었습니다. 이 경우 연구원들은 Power BI 대시보드에서 통계를 사용할 수 있도록 하는 것이 작업이라고 말했습니다. 해당 통계를 검색하려면 GET 요청을 수행하는 기능이 필요했지만 에이전트는 POST 요청으로 제한되었습니다.
두 경우 모두 OpenAI 에이전트는 한계를 벗어나기 위해 프로그래밍에 반대하여 행동했는데, 이는 분명히 운영자에 대항하지 않고는 할 수 없는 문제를 해결하기 위한 시도였습니다.
이 상황의 에이전트는 보안 프록시에서 Azure Blob Storage 호스트 이름을 제외하는 사서함의 조건을 사용하여 제한 사항을 해결하는 방법을 찾을 수 있었습니다. 에이전트는 이 사실을 깨닫고 GET 제한을 피하기 위해 해당 호스트 이름을 통해 트래픽을 라우팅했습니다. 에이전트가 인터넷에서 쓰기 권한을 얻고 모든 것을 삭제한 것은 GET 요청을 통해서였습니다.
불가능한 작업이 할당되었을 때 봇이 상자를 깨고 한계를 깨뜨린 두 경우의 유사한 성격은 매우 중요한 질문을 제기합니다. OpenAI 엔지니어가 너무 무능하여 기본 지침을 두 번 위반하는 것입니까, 아니면 회사가 의도적으로 에이전트가 인터넷을 통해 무엇을 할 수 있는지 확인하도록 방해하는 것입니까?
그렇다면 OpenAI의 연설 사이에서 이 일이 우리가 이미 알고 있는 두 번보다 더 많이 일어났다고 결론을 내리려면 몇 번 더 읽어야 할까요?
OpenAI는 아마도 그 질문에 대답하지 않았을 것입니다. ®
