샤윈과 샤말이라는 발표자가 AI 개발 플랫폼 엔지니어링 팀과 응용 팀의 일원으로, 개발자들이 OpenAI 모델을 기반으로 제품을 구축할 수 있도록 지원하는 API에 대해 설명합니다. 그들은 ChatGPT가 출시된 지 1년도 안 되어 변화를 가져왔고, GPT-4가 출시된 지 8개월밖에 안 된 상태에서 사용자들의 일상에 어떻게 통합되었는지를 이야기합니다. 발표는 프로토타입에서 생산 단계로의 전환 과정을 중심으로 하며, 이 과정에서 모델의 비결정성을 관리하고 사용자 경험을 향상시키기 위한 전략과 도구에 대해 논의합니다. 강조하는 부분은 API를 사용하여 사용자 경험을 개선하고, 지식 저장소와 도구를 통해 모델 불일치를 처리하며, 평가를 통해 애플리케이션을 자신 있게 반복하고, 오케스트레이션을 사용하여 규모 관리와 비용 및 대기 시간을 고려하는 방법입니다.