[postgreSQL] 대용량 테스트 데이터 만들기 (Dummy Data)

Postgresql 테스트를 위하여 충분한 운영 데이터가 있다면 좋겠지만 데이터가 많지 않을수도 있고 데이터 접근이 어려울 수도 있고 실제로 데이터 보안상 마음대로 가져다 테스트 해볼 수 없는 부분이기에 테스트는 테스트 데이터를 활용하여 하는 것이 맞다고 본다.

 

지극히 개인 경험으로 100만 건부터 1억건 이상의 테이블 모두 만나봤지만, 확실히 100만에서 1000만으로 뛸때, 1000만에서 1억으로 뛸때 확실히 성능상 이슈가 생긴다. 또, 1개의 테이블이 인덱스 튜닝으로 적절하게 유지되는 수준은 1000만 이내가 적정한 것으로 보인다. 더 데이터가 많아진다면 인덱스 튜닝 뿐만 아니라 좀 더 샤딩(Sharding), 파티셔닝(Partitioning)과 같은 고급 기술이 필요해보인다.

 

여튼, 최소 100만건은 있어야 테스트가 가능하다고 보이기에 다음과 같이 손쉽게 만들어 테스트 해보면 좋을 것 같다.

 

CREATE TABLE dummy_test AS
SELECT
	dummy as idx1,
	(dummy%5) as idx2,
	(dummy%10) as idx3,
	'테스트' || dummy AS test_string1,
	'테스트' || (dummy%5) AS test_string2,
	'테스트' || (dummy%10) AS test_string3,
	'테스트 테스트 테스트' || dummy AS test_string4,
	'테스트 테스트 테스트' || (dummy%5) AS test_string5,
	'테스트 테스트 테스트' || (dummy%10) AS test_string6,
	md5(random()::text) AS random_string
FROM
	generate_series(1, 1000000) AS dummy;
    
SELECT * FROM dummy_test;