소표본은 거짓말한다 — 종목 수를 늘릴 때마다 결론이 바뀌었다
소표본은 거짓말한다 — 종목 수를 늘릴 때마다 결론이 바뀌었다
백테스트를 처음 돌리면 감동한다. 숫자가 나오고, 승률이 찍히고, 기대값이 플러스면 규칙을 찾은 것 같다.
그 감동은 표본을 늘리면 대부분 사라진다.
미국에서 세 번
같은 규칙, 같은 기간, 종목 수만 바꿔가며 돌렸다.
```
10종 → 결론 A
36종 → 결론 B (뒤집힘)
113종 → 결론 C (또 뒤집힘)
```
10종으로 봤을 때 가장 좋았던 변형이 36종에서 밀렸고, 36종에서 이겼던 게 113종에서 졌다. 매번 "이번엔 찾았다" 싶었고 매번 틀렸다.
특히 두 가지가 소표본에서 가짜 양성이었다.
- 진입 조건을 더 빡빡하게 강제한 버전 — 신호가 적어 우연히 좋아 보였다
- 고정 3R 목표 — 몇 개의 큰 수익이 우연히 걸렸다
한국에서 또 세 번
같은 일이 한국에서 반복됐다. 이번엔 더 극적이었다.
| 유니버스 | 코스닥 기대값R | 판정 |
|---|---|---|
| 80종 | +0.124 | 통과 |
| 473종 | +0.147 | 통과 |
| 2,632종 (전체) | −0.074 | 실패 |
80종과 473종에서 두 번 연속 "통과"가 나왔다. 두 번 다 OOS 검증까지 했다. 그런데 전체를 넣자 부호가 바뀌었다.
왜 소표본이 거짓말을 하나
이유 1 — 우연이 결론을 만든다.
기대값이 진짜 +0.05R인 규칙이 있다고 하자. 100번 매매하면 결과가 −0.2에서 +0.3 사이 어디서든 나올 수 있다. 승률이 30%대인 전략은 편차가 특히 크다. 수익의 대부분이 소수의 큰 수익에서 나오기 때문에, 그 몇 개가 표본에 들어왔느냐 아니냐로 결론이 뒤집힌다.
이유 2 — 종목을 고르는 순간 편향이 들어간다.
"대형주 위주로 80종"이라고 하면 공정해 보인다. 그런데 그 80종은 오늘 시점에서 고른 것이다. 지금 대형주라는 건 지난 10년을 잘 버텼다는 뜻이다. 그 사이 망하거나 쪼그라든 종목은 애초에 후보에 없었다.
이유 3 — 구간이 치우친다.
한국 1차 검증은 train 97건 대 test 477건으로 5대 1이었다. 그 97건은 전부 2021~22년 하락장에 몰려 있었다. 정배열 눌림목 조건은 상승장에서 많이 걸리고 하락장에서 거의 안 걸리니까. 표본이 작으면 특정 국면만 담긴다.
판별법
매번 다 돌려볼 수는 없다. 대신 신호를 알아두면 된다.
표본을 늘렸을 때 성적이 나빠지면, 원래 성적이 가짜였을 가능성이 크다.
>
표본을 좁힐수록 성적이 좋아지면, 엣지가 아니라 편향을 보고 있는 것이다.
건강한 규칙은 표본을 늘려도 크게 안 변한다. 미국 S&P500 규칙은 113종에서 503종으로, 10년에서 20년으로 늘려도 기대값이 0.145~0.171 범위에 머물렀다. 반면 한국은 80 → 473 → 2,632으로 갈 때마다 뒤집혔다.
그럼 몇 개면 충분한가
정해진 숫자는 없지만, 겪어본 바로는 이렇다.
- 트레이드 수가 아니라 종목 수와 구간 수를 세라. 트레이드 8,000건이어도 종목이 80개면 소표본이다
- train·test 각 구간에 최소 수백 건은 있어야 세그먼트별 판정을 믿을 만하다
- 국면 필터처럼 "사건"을 세는 검증은 더 조심해야 한다. 10년 데이터에 약세장이 세 번뿐이면 트레이드가 만 건이어도 사건 표본은 3이다
가장 중요한 것
숫자보다 뒤집힌 이력을 기록해두는 것이 중요하다.
한국 검증에서 1차·2차 결과를 어디에도 남기지 않았다. 코드에는 "코스닥은 검증됨"이라는 주석 한 줄만 있었다. 몇 주 뒤 다시 봤을 때, 그 판단의 근거가 무엇이었는지 확인할 방법이 없었다.
"통과"라는 두 글자만 남기면 나중에 자기 자신에게 속는다. 몇 종목으로, 몇 년치로, 어떤 분할로 쟀는지를 숫자와 함께 남겨야 한다. 그래야 표본을 늘렸을 때 무엇이 바뀌었는지 비교할 수 있다.
핵심 요약
1. 미국에서 10종→36종→113종으로 늘릴 때마다 결론이 뒤집혔다.
2. 한국에서도 80종→473종→2,632종에서 같은 일이 반복됐다. 마지막엔 부호까지 바뀌었다.
3. 소표본이 거짓말하는 이유는 셋이다. 우연, 종목 선택 편향, 구간 치우침.
4. 표본을 좁힐수록 좋아지면 편향을 보고 있는 것이다.
5. 트레이드 수가 아니라 종목 수와 사건 수를 세야 한다.
자주 묻는 질문
*이 글의 수치는 실제 백테스트 실행 결과다. 과거 성과가 미래를 보장하지 않으며, 투자 판단과 책임은 본인에게 있다.*