وقتی نتیجه یک آزمایش خوب است، پرسش مهم بعدی این است: این نتیجه دقیقاً چه چیزی را اثبات می‌کند؟ یک بک‌تست، رفتار راهبرد را در چارچوب داده‌ها و فرض‌های همان آزمون نشان می‌دهد. برای تصمیم درباره استفاده واقعی، باید محدودیت آن چارچوب نیز روشن باشد.
آزمون تاریخی، آغاز بررسی است
متاتریدر ۵ امکان آزمایش روی داده تاریخی، استفاده از تیک‌های واقعی موجود و شبیه‌سازی برخی تأخیرهای اجرا را فراهم می‌کند. همچنین بخش Forward برای بررسی پارامترها در دوره‌ای جدا از دوره تنظیم در نظر گرفته شده است. ۱
این ابزارها مفیدند، اما گزارش باید تنظیمات به‌کاررفته را هم نشان دهد. پیشنهاد ما این است که نسخه راهبرد، محدوده زمانی، کیفیت داده و فرض‌های هزینه کنار نتیجه ثبت شوند. نموداری که این زمینه را ندارد، برای مقایسه کافی نیست.
فقط سود خالص را نبینیم
گزارش آزمون متاتریدر شاخص‌هایی مانند افت سرمایه و ضریب سود را نیز ارائه می‌کند. ۲ برای ارزیابی سارا تریدر، پیشنهاد ما بررسی مجموعه‌ای از شواهد است: سود و زیان، افت سرمایه، توزیع نتایج و رفتار سامانه هنگام داده ناقص یا خطای اجرا.
برای مثال، دو نتیجه با سود نهایی مشابه ممکن است مسیرهای بسیار متفاوتی طی کرده باشند. دانستن اینکه حساب در طول مسیر چه افتی تجربه کرده، تصویری متفاوت از مشاهده عدد نهایی به دست می‌دهد. این مثال توضیح روش ارزیابی است، نه گزارش عملکرد واقعی محصول.
اجرای سایه چه نقشی دارد؟
در این برنامه ارزیابی، اجرای سایه به حالتی گفته می‌شود که سامانه تصمیم‌های خود را ثبت می‌کند، اما سفارش واقعی ارسال نمی‌کند. هدف پیشنهادی، بررسی پیوستگی داده، سلامت زنجیره و علت تصمیم‌ها در شرایط جاری است. این مرحله نیز جای مشاهده اجرای واقعی را نمی‌گیرد.
گذر از هر مرحله باید به معیارهایی از پیش نوشته‌شده وابسته باشد، نه صرفاً گذشت چند روز یا جذابیت یک نتیجه. همچنین سالم‌بودن مهندسی سامانه با اثبات اعتبار راهبرد مالی یکی نیست؛ این دو باید جداگانه بررسی شوند.
رویکرد ما برای معرفی سارا تریدر، ارائه روش ارزیابی و گزارش شفاف است. عملکرد گذشته و نتایج شبیه‌سازی، تضمین‌کننده نتیجه آینده نیستند و معامله‌گری همواره احتمال زیان دارد.
