[FEATURE] Make Crawler module to gRPC

[siwonpada]

Description

현재 crawler controller가 비슷한 요청을 여러면 받는 상황이라서 실제 오류가 일어난다. 이를 예방하기 위해서 gRPC를 사용하여, 오류를 막는 것이 좋을 것 같다.
다른 방법이 있다면 더 좋은 방법을 사용하는 것이 더 좋을 것 같다.

[siwonpada]

gsainfoteam/ziggle-crawl#3 와 같이 진행되어야 함에 주의

[chungjung-d]

혹시 이건 어떤 이슈인건가요..? 단순 요청을 여러번 받으면 캐싱같은 해결책이 있거나, 호환성 생각하면 grpc보다는 trpc가 더 적합할수도.. @siwonpada

[siwonpada]

현재 학사공지 크롤러를 이 repo에서 떼어내서 관리를 하고 있는 상황입니다. 따라서 kuber상에서 크롤링이 구현되어있는데, 그 크롤러와 통신을 하면서 계속

위와 같은 오류를 내보내는 것을 보아하니 그냥 REST로 통신하는 것이 좋지 아니한 것 같기도 하고,
내부 서비스이다보니까 굳이 REST를 쓸 필요없이 조금 더 효율적인 방법을 사용하는 것이 좋을 것 같아서 만든 이슈입니다.

[siwonpada]

따라서 굳이 gRPC가 아니라 tRPC를 사용해도 무방합니다.

[siwonpada]

11월 26일 기점 생각
굳이 gRPC를 사용할 필요가 있는가?
그냥 ziggle-be를 monorepo로 만들고, prisma.schema파일을 공유하고, bull을 사용해서 알람을 보내면 되지 않을까?

[siwonpada]

그냥 crawler가 ziggle-be에게 가지는 의존성을 아예없애버리는 것도 나쁘지 않을 것 같다.

[siwonpada]

https://docs.nestjs.com/recipes/nest-commander
를 이용해서 사용해도 되고

[siwonpada]

저거 사용하면 nestjs module다 사용가능.
프레임워크 안에서 사용가능.
로거 사용 가능.
근데 오버헤드가 조금 더 있을 수 있음.

[siwonpada]

https://docs.nestjs.com/faq/serverless
여기서 나온 raw node js와 같은 방법을 사용하는 것도 나쁘지 않을 듯