Openai Cua Browser

OpenAI Computer-Using Agent (CUA) - 브라우저 자동화

이 프로젝트는 OpenAI의 Computer-Using Agent(CUA) API를 사용하여 웹 브라우저 작업을 자동화하는 간단한 예제입니다. 사용자의 자연어 명령을 받아 브라우저에서 실행하는 AI 에이전트를 구현합니다.


특징

• 자연어로 브라우저 작업 요청 가능
• Google 검색, 날씨 확인, 뉴스 검색 등 다양한 작업 수행
• 브라우저 화면을 실시간으로 확인하며 작업 진행
• 안전 검사 기능으로 위험한 작업 방지
• 키보드/마우스 동작 실시간 모니터링
• OpenAI Agents SDK 기반 학습 도우미 시스템 (터미널 및 웹 인터페이스)
• 내장 WebSearchTool을 사용한 웹 검색 기능 지원

필수 사항

• Python 3.8 이상
• OpenAI API 키 (.env 파일에 설정)
• Playwright 브라우저 드라이버
• Gradio (웹 인터페이스 사용 시)

설치 방법

1. 저장소 클론:

git clone https://github.com/yourusername/openai-cua-browser.git
cd openai-cua-browser

1. 필요한 의존성 설치:

pip install -r requirements.txt

1. Playwright 브라우저 드라이버 설치:

python setup_playwright.py

또는 직접:

playwright install chromium

1. OpenAI API 키 설정: .env 파일을 생성하고 다음 내용을 추가:

OPENAI_API_KEY=your_api_key_here

1. OpenAI Agents SDK 설치 (학습 도우미 시스템 사용 시):

pip install openai-agents

1. Gradio 설치 (웹 인터페이스 사용 시):

pip install gradio

사용 방법

브라우저 자동화 에이전트

다음 명령어로 프로그램 실행:

python cua_browser.py

실행하면:

1. Chrome 브라우저 창이 열립니다
2. 프로그램이 수행할 작업을 입력하라는 메시지가 표시됩니다
3. 자연어로 작업을 지시합니다 (예: "서울 날씨 확인해줘", "파이썬 튜토리얼 검색해줘")
4. AI 에이전트가 실시간으로 작업을 수행합니다
5. 작업 완료 후 다음 작업을 입력하거나 종료할 수 있습니다

학습 도우미 시스템 (터미널 버전)

OpenAI Agents SDK를 활용한 학습 도우미 시스템을 터미널에서 실행:

python learning_assistant_agents.py

이 시스템은 다음 전문 분야에 대한 질문을 처리합니다:

• 프로그래밍 관련 질문 (Python, JavaScript, Java 등)
• 언어 학습 관련 질문 (영어, 일본어, 중국어 등)
• 역사 관련 질문 (세계사, 한국사)
• 웹 검색 관련 질문 (최신 뉴스, 날씨, 실시간 정보)

학습 도우미 시스템 (웹 인터페이스)

Gradio 웹 인터페이스를 사용하여 학습 도우미 시스템을 실행:

python learning_assistant_gradio.py

실행 후 브라우저에서 `http://127.0.0.1:7860`으로 접속하여 웹 인터페이스를 통해 질문을 입력할 수 있습니다.

작업 예시

브라우저 자동화

• "네이버에서 오늘 날씨 확인해줘"
• "OpenAI에 대한 최신 뉴스 찾아줘"
• "유튜브에서 파이썬 강의 검색해줘"
• "서울에서 뉴욕까지 항공권 검색해줘"

학습 도우미 시스템

• "Python에서 리스트