메모리 문제 질문드립니다.

[UantumBear]

안녕하세요. 챗봇 오픈소스를 이용해서 개발 공부를 하고 있는데요!
약 5천개의 문장까지는 인텐트를 학습시키는 것이 가능했는데,
(1. 제가 선택한 문장의 길이는 한 문장당 20바이트 내의 비교적 짧은 문장들이며,
2. kochat_config에서 설정한 단어배치사이즈=128, (미니)배치사이즈=128 입니다.
3. 또한 GPU가 없어서 CPU로 학습합니다.)

그 이상 (7천개..) 를 시도하자
process finished with exit code 0xC000005 가 뜨며
에러로그 없이 프로그램이 계속 종료되었습니다.

이게 저는 문장수를 늘리자 발생했기 때문에 메모리 문제로 추측중인데요..
메모리 사용량을 줄이기 위해
단어벡터사이즈, 미니배치사이즈를 줄여도
문장 수가 많으면 여전히 에러가 나는 상황입니다.

(5천개 문장 학습시
작업관리자에서 확인한 메모리 사용량이 최대 80-90퍼까지올라갔고 약 210GB 였습니다.)

제가 kochat오픈소스를 그대로 사용하지는 않았고,
csv에서 데이터를 불러오는 부분을
db에서 불러오는 것으로 교체했는데요(dataset 데이터 형식은 그대로 유지..)

이게 보통의 챗봇들은 몇문장정도를 학습시키는 건지,
약 몇 문장 학습을 시킬때 어느 정도 메모리가 보통 소요되는지,
이게 제가 소스를 건드려서 (메모리 관리를 못해서) 문제가 발생하는 것인지
아니면 보통 이렇게 많이 소요되는건지 전혀 가늠이 가질 않아서 문의드립니다ㅠㅠ

아시는 부분에 대해 답변을 주시면 정말 감사합니다!