사용자 API 요청 제한 방식에 대한 의견을 여쭙고 싶습니다.

[HuttTheJAVA]

한번 API 요청에 따라 금액이 발생하는 서비스 특성 상 API 요청에 제한을 두려고 합니다.
제한 방식으로는 Bucket4J의 버킷을 사용할 예정이며,
버킷은 글로벌 버킷, 유저 버킷, 게스트 버킷 총 3종류를 생각하고 있습니다.

각각에 대해 설명 드리면

• 글로벌 버킷은 하루 총 요청 제한을 관리합니다.
• 유저 버킷은 특정 회원의 요청 제한을 관리합니다.
• 게스트 버킷은 비회원의 요청 제한을 관리합니다.

이 버킷들을 Redis에 캐싱할 예정입니다. Value는 버킷이고, Key는 user_id(회원)또는 UUID(비회원) 입니다.
이때 비회원 버킷에 대해서만 캐시 만료 시점을(TTL) 설정할 생각이며, UUID는 서버측에서 쿠키에 넣어 클라이언트에게 응답할 생각입니다.

API 처리 흐름

1. 사용자(회원,비회원)의 API 요청
2. 글로벌 버킷과 사용자 버킷에 둘 다 토큰 존재여부 확인
3. 2번 결과에 따라 처리 유무 결정

사용자 API 요청을 제한하는 이 방식에 대한 제프의 의견을 여쭙고 싶습니다!

[ej31]

오전중에 답변 드릴께요!

[ej31]

는 저녁에 해버렸군요 이런

[ej31]

답변

• 글로벌 버킷의 용도는 이미지 생성기에 대한 Quota 를 적용한 걸까요?

  • 만약 그렇다고 하면 토큰의 소진을 글로벌과 유저 개인 둘 다 제한할 필요는 없어 보입니다.

• 이미지 생성에 대한 횟수를 제한하려면 어차피 예산 한도 내에서 하드캡 걸어놓은 범위까지 사용이 가능할텐데..? 라는 생각이 들기 때문입니다.

  • billing_hard_limit_reached 으로 검색하셔서 OpenAI 의 응답이 해당 내용으로 왔을 때 이미지 생성 서비스를 중단하는게 맞을 것 같습니다.
  • 유저에게 "서비스 전체에서 하루에 100건"을 걸어 놓으나 "예산 다 떨어질때까지"로 조건을 걸어놓으나.. 차이가 있을까? 라고 생각해보면 별 차이가 없을 것 같습니다.
  • 어차피 카카오로 로그인한 유저가 하루에 3건씩 밖에 이미지를 생성하지 못하기 때문이지요.
  • 그럼에도 불구하고 서비스 전체에서 하루에 100건만 만들수 있도록 조건을 걸어야 한다면.. 🤔 말씀하신대로 구현해도 문제는 없을 것 같습니다.

• 만약 저라면.. OpenAI 의 API 를 통해 현재 Rate Limit 을 확인하는게 맞아 보입니다.

  • 외려 너무 빠른 생성으로 인해 잘못 API 가 막혀버릴 수도 있으니 이 부분에 대한 예외처리를 해두는게 맞아보입니다. OpenAI Rate Limit
  • 예산 소진에 대비해서! openai_status 테이블을 하나 만들어서 is_possible 컬럼을 하나 만든 뒤 OpenAI 에서 billing_hard_limit_reached 응답이 내려오면 해당 컬럼을 false 처리 할 것 같습니다.

기타

• 이미지 생성과 관련해서 아래 두 가지 토픽을 읽어보시길 권장드립니다.
• 뭔가.. 토큰 리밋 없이 무제한급으로 이미지 생성하시는 것 같아 걱정되서..
  • https://community.openai.com/t/super-high-token-usage-with-gpt-4o-mini-and-image/873480/6
  • https://community.openai.com/t/dall-e-2-api-issue-billing-hard-limit-has-been-reached/22738/2

[HuttTheJAVA]

답변 감사합니다! 말씀해주신대로 하드캡이 있기 때문에 무한정 돈이 나가는 일은 없겠지만, 비회원이 악의적으로 API 요청을 독점하여 다른 사용자들이 서비스를 제대로 사용하지 못할까하는 우려에서 시작한 고민이였습니다.
모두의 요청을 허용하는 이미지 생성 API 특성 상, 비회원을 서버 측에서 식별하고 제재할 확실한 방법이 없다는 것이 아쉽습니다.. 주신 의견과 자료를 정리해서 팀원들과 논의 후 추후 질문이 생길 경우 다시 드리겠습니다. 감사합니다! 😊

[HuttTheJAVA]

공유해주신 자료를 읽어보니 제 등급으로는 1분에 5개의 이미지를 만들수 있는 것으로 보입니다. 또 실제로 테스트해보니 그렇더군요!
말씀해주신대로 버킷 요청 제한보다 billing_hard_limit_reached또는 Too Many Request 에러에 대한 적절한 응답 처리가 우선인 것 같네요 😂
인사이트 주셔서 감사합니다!