Dalším pravidlem robustnosti je stabilita parametrů (inputů), jako například různé délky exponenciálních průměrů v logickém intervalu apod. Těchto parametrů by pak mělo být co nejméně, aby se co nejvíce zabránilo přeoptimalizaci (data snooping). Příklad stress testu variability parametrů délky lineární regrese u intradenní Nasdaq strategie:
Zde je vidět, že změny hodnot inputů v logickém intervalu výrazně nemění statistiky očekávaného zisku a drawdownu. Dále je vhodné vytvářet algoritmus metodou walk-forward, kdy vytváříme trading algoritmus na posuvném in-sample tréninkovém souboru dat a část dat použijeme jako out-of-sample testovací vzorek. Pakliže máme systém vytvořen, obvykle nastává otázka, kdy lze říci, že nastala situace, kdy je nutno optimalizovat parametry, případně strategii vypnout. Zde se budou hodit testy Monte Carlo a inkubační analýzy.
Jako příklad z praxe lze uvést intradenní micro Nasdaq systém:
Systém po nasazení do reálu velmi přesně kopíroval výkonnost z hypotetického backtestu a vydělal pár tisíc v daném roce po započítání všech nákladů. V tomto roce však po třech ztrátových měsících developer systém pozastavil a nahradil jinou strategií na svém účtu (kde obchoduje desítky algoritmů jako portfolio, tudíž se bere v potaz převážně portfolio analýza). Bylo zapotřebí samotný algoritmus přerušit? Zdá se, že nikoliv, jak naznačuje backtest prodloužený do současnosti:
Jak už to někdy bohužel bývá, ve vynechaných měsících byly realizovány důležité zisky (květen, červen). Systém byl znovu spuštěn v reálu tento měsíc. Nicméně i tak má systém tento rok doposud nižší výkonnost, než ukazují předchozí roky v backtestech. Empiricky to není nic neobvyklého, jelikož v reálu mohou být i slabší roky a je to spíše vždy běh na delší trať, kdy se má zhodnotit průměrný roční zisk za období ideálně 5 a více let. Samozřejmě však je nutno monitorovat, zda se systém vyvíjí v rámci historických stress testů. Dle Monte Carlo (MC) analýzy se strategie nevychýlila z pásma vývoje equity 90procentní statistické významnosti (zelená křivka):
MC analýza rovněž naznačuje, že pokud se budeme snažit eliminovat risk of ruin na nulu, pak je dobré mít počáteční kapitál dvojnásobný (10 tisíc versus 5 tisíc nastavených nyní):
V neposlední řadě je dobré se podívat na statistiky inkubační analýzy, která definuje, zjednodušeně řečeno, blízkost shody reálu s výsledky backtestu a může definovat exaktní čísla a finální doporučení:
V tomto případě jsou statistiky jako Return Attachment a Drawdown Stress blízko hodnotě 1, což potvrzuje silnou shodu s backtestem. Následně Normalized RMSE (root mean square error), měřící normalizovanou průměrnou vzdálenost mezi modelovanou a reálnou hodnotou, je menší než 1, což je ideální stav. Taktéž „míra chaotického pohybu“ equity křivky vůči vzorovým teoretickým hodnotám, Path Wander Ratio, je menší než 0,5 a také ukazuje na vývoj dle předpokladů.
Po započetí obchodování systému v reálu je dobré dále monitorovat výkonnost na základě Monte Carlo analýzy a statistik inkubační analýzy.
Přeji úspěšné obchody!
Martin Lembák
Striker Securities
Lembros Commodity Advisors LLC
