[Infra] load.sh 고정 S3 경로 → 최신 graph_gold_csvs 배치 자동 선택

[likell1]

문제

load.sh가 특정 배치 경로를 하드코딩한다:

S3_BATCH=s3://oliveyoung-crawl-data/graph_gold_csvs/batch_job=20260511_174455
S3_PRODUCT=.../oliveyoung_neo4j_20260510_063644/part-00000.csv
S3_CONTAINS=.../oliveyoung_neo4j_20260512_133725/part-00000.csv

새 gold(예: 적격성 v5 재생성, GraphRAG #25)를 적재하려면 매번 스크립트를 수동 수정해야 한다.

제안

• graph_gold_csvs/batch_job=* 중 최신 배치 자동 선택(aws s3 ls | sort | tail), 또는 BATCH_JOB 인자/환경변수로 지정.
• product/contains 경로도 동일하게 최신 자동 선택 또는 인자화.
• --overwrite-destination 적재 전 validate.py 통과 필수(현 흐름 유지) + 적재 전 노드/엣지 카운트 로그.

완료 기준

• 인자 한 줄로 임의 배치를 안전하게 적재 가능, 하드코딩 제거.