Что Такое Backtesting?

Backtesting - это выполнение стратегии или сигнала на исторических данных. Вы «делаете вид» что исторические цены происходят «прямо сейчас» и смотрите, как бы работала стратегия при таком рынке. Чтобы провести backtest, необходимо выбрать стратегию и исторический диапазон, на котором вы хотите проверить эту стратегию. Обычно интересно протестировать стратегию на длительном периоде времени (месяцы, а иногда и годы).

Например, ниже приводится кривые баланса и плавающего баланса (equity) стандартной стратегии MA_ADVISOR (Пересечение Скользящих Средних), выполненной на истории за 2010 год EUR/CHF (3,5 миллиона тиков, 8 тиков в минуту), примененной на 15-минутном интервале, с количеством периодов для быстрого скользящего среднего 15 интервалов, для медленного 55, без стопов и лимитов, на 1-часовой диаграмме. Вы можете увидеть все «классические» проблемы стратегий на основе пересечения скользящих средних: она теряет на вялом рынке и хорошо работает только на выраженном тренде.

Вкладки, относящиеся к таблицам и оптимизатору, пустые.

Особое Предупреждение о Результатах Backtesting

Гипотетические или имитированные результаты производительности имеют определенные ограничения. В отличие от реальных финансовых результатов результаты имитации не представляют фактической торговли. Кроме того, поскольку торговые операции не выполнялись, результаты могут быть как завышенными, так и заниженными, так как в реальности существует влияние определенных рыночных факторов, например, таких, как недостаток ликвидности. Программы, имитирующие торговлю, в целом разработаны с задней мыслью о получении выгоды. Не утверждается, что какой-то счет получит прибыли или убытки, аналогичные показанным.

Ранее мы уже рассматривали вопрос об обязательных этапах разработки торговой стратегии для работы на фондовом рынке. Одной из наиболее важных стадий является тестирование производительности стратегии на исторических данных - бэктестинг. Сегодня мы поговорим именно о нем.

Что это

Говоря простым языком, бэктестинг заключается в запуске алгоритма торговой стратегии с использованием исторических финансовых данных. Алгоритм, обнаружив те или иные биржевые события («сигналы»), будет генерировать приказы на покупку или продажу финансовых инструментов - эти операции будут иметь связанный доход или убыток.

Общая величина дохода или убытка (profit and loss, P&L, PnL) за заданное в торговой стратегии время будет являться показателем успешности или неуспешности алгоритма.

Существует несколько целей, которых добиваются разработчики торговых программ, с помощью бэктестинга:

• Фильтрация - каждая стратегия имеет определенные показатели по призводительноси и эффективности работы, которые заложены в нее разработчиком. Соответственно, всякая стратегия, не позволяющая добиться поставленных целей, должна быть «отфильтрована».
• Моделирование - с помощью бэктестинга разработчики могут тестировать различные рыночные модели (изменение условий ликвидности, транзакционных издержек, скорости обработки приказов, задержки каналов и т.д.) без риска потери реальных денег.
• Оптимизация - с помощью «прогона» стратегии на исторических данных можно улучшить ее производительность в конкретных рыночных ситуациях.
• Проверка работоспособности - с помощью тестирования разработчик может понять, не были ли допущены ошибки при описании стратегии в программном коде.

Как видно, бэктестинг является полезным инструментом для разработчиков финансовых систем, однако корректно провести тестирование на исторических данных можно не всегда. Чем более высокочастотная стратегия должна быть реализована, тем сложнее корректно смоделировать воздействие тех или иных рыночных ситуаций и параметров конкретной биржевой площадки на общую производительность системы.

Заблуждения о бэктестинге

Известный эксперт по биржевой торговли, квант и разработчик биржевых роботов Майкл Халлс-Мур, убежден, что начинающие разработчики биржевых систем часто допускают ошибки при их создании из-за определенных заблуждений. В частности, эксперт приводит четыре таких заблуждения:

Ожидание столь же высоких результатов в будущем

Часто разработчик сталкивается с искушением внести изменения в параметры тестирования для получения более убедительных результатов.

При этом, если в случае исторических данных есть возможность изменить что-либо и точно спрогнозировать результат, то в «боевом» режиме робот может работать совсем не так эффективно. Необходимо замерять производительность стратегии при разных значениях входных параметров.

Использование «будущих» данных

В некоторых случаях создатели торговых стратегий включают в набор данных предположения о будущем положении дел на рынке. В случае ошибок в коде, неверном вычислении оптимальных параметров для стратегии или некорректном использовании экстремальных значений цен (максимумов и минимумов), запуск такой стратегии на реальном рынке может оказаться неудачным (это одна из самых частых причин того, почему на исторических данных стратегии работают эффективнее, чем в режиме реального времени).

Неверная оценка своей психологической устойчивости

При проведении тестов разработчик видит конечную производительность своего алгоритма. Если на определенном временном отрезке (скажем, год или пять лет) система приносит прибыль, то велик соблазн не обращать внимание на просадки депозита (полученные убытки), которые случались по ходу этого пути к успеху. Людям кажется, что они легко смогут пережить потерю 25% своих денег (ведь потом робот должен отыграться).

На практике далеко не всем хватает стойкости для того, чтобы пережить подобные моменты не совершив необдуманных действий (а если алгоритм допускает потерю 25% денег на истории, то и в реальности такая ситуация весьма вероятна), которые часто приводят к еще большим убыткам.

Какие параметры нужно учитывать

Разработчикам торговых систем необходимо учитывать множество самых разных параметров, которые могут оказать воздействие на конечную финансовую состоятельность той или иной стратегии.

Транзакционные издержки

Начинающие трейдеры часто обращают внимание только на производительность своего алгоритма непосредственно на рынке, но забывают учитывать сопутствующие расходы, которые могут нивелировать весь полученный доход. Наиболее очевидными затратами в данном случае будут являться комиссии за транзакции, взимаемые биржей и брокером (у ITinvest на некоторых тарифах сборы примерно соответствуют биржевым).

Проскальзывание и задержки

Проскальзыванием называют разницу в цене между той, по которой торговый робот намеревался осуществить сделку, и той, по которой она реально прошла. Для «доставки» приказа в ядро биржевой торговой системы требуется время. В случае высокоскоростных торговых роботов (HFT) на счету каждая миллисекунда, за которую цена может незначительно измениться, сделав сделку не столь выгодной (или невыгодной вообще).

Некоторые финансовые инструменты обладают большой волатильностью (их цена меняется часто), поэтому при работе с ними необходимо делать скидку на возможное проскальзывание.

Влияние ликвидности

При работе с относительно неликвидными инструментами торговец должен держать в голове возможное влияние, которое действия его торговой системы окажут на рынок. Если определенную акцию покупают и продают не так много людей, то приказ на покупку значительного числа таких акций может сильно изменить их цену. Во избежание подобной ситуации необходимо научить робота разбивать сделки на большое число небольших приказов, которые не могут сильно повлиять на рынок.

Типы торговых приказов

На работу торговой стратегии оказывают влияние и то, какие торговые приказы ее разработчик планирует использовать для совершения сделок. Чаще всего трейдеры прибегают к market-приказам и limit-приказам.

Приказ market («по рынку») выполняется немедленно по сформировавшейся на рынке в текущей момент цене финансового инструмента (акции, фьючерса , опциона и т.д.) Соответственно, при необходимостьи совершения крупной сделки, например, покупки большого числа акций, приказ market приведет к тому, что произойдет несколько сделок по разным ценам - на рынке может не быть нужное количество желающих продать акции по одной цене, тогда купив все их акции, робот перейдет к следующей предлагаемой цене и так далее.

Рыночные приказы являются агрессивным инструментом - они всегда будут исполнены, при этом конечная цена сделки остается неизвестной для торговца.

Приказы типа Limit позволяют роботу определять худшую цену, по которой имеет смысл проводить сделку. Такой приказ может остаться неисполненным (если на рынке не нашлось желающих продавать или покупать по указанной цене) или исполненным частично (не нашлось достаточного количества желающих), вследствие чего считается более пассивным средством совершения сделок.

Их плюсом, несомненно, является тот факт, что цена сделки заранее определена. Список текущих выставленных приказов типа Limit называется очередью заявок (Order book) и выводится в торговых терминалах отдельным окном.

При тестировании стратегии важно уделить внимание ее поведению при использовании рыночных и лимитных приказов. В том случае, если очередь заявок смоделирована неверно, торговая стратегия может показывать худшие результаты при работе в режиме реального времени, в сравнении с запуском на исторических данных.

Инструменты для бэктестинга

Существует довольно большое количество общедоступных систем, которые могут быть использованы для тестирования финансовых стратегий:

• MS Excel - знакомый всем и каждому Microsoft Excel может быть использован и для написания механических торговых систем. Большинство брокеров позволяют связывать этот инструмент со своими программными продуктами (выгрузка данных и генерация торговых сигналов с помощью VBA). Минусом подобного решения будет невысокая скорость работ, а плюсом бесплатность и быстрота реализации простых стратегий. Альтернатива - Open Office
• Matlab - программная среда, предназначенная для осуществления сложных вычислений. Существуют плагины для использования в биржевой торговле. С ее помощью можно создавать небольшие скрипты, которые тем не менее описывают довольно сложные стратегии. Минус - система платная и недешевая. Альтернативы для российского рынка TSlab и StockSharp . Также трейдеры используют для создания механических торговых систем продукты MetaStock , Wealth-Lab и Omega.
• C++/C# - языки программирования, которые широко распространены в финансовом мире. Постепенно популярность набирают Java и Scala.
• Встроенные инструменты торговых терминало в - в некоторых торговых терминалах есть встроенные средства для создания торговых роботов и бэктестинга стратегий. Соответствующий плагин можно установить в терминал SmartX . Для написания роботов используется скриптовый язык TradeScript .

Окно для бэк-тестинга плагина для создания роботов на TradeScript в терминале SmartX

Заключение

Бэктестинг является важнейшим этапом разработки торговой стратегии, без которого трудно рассчитывать на адекватную работу торгового робота в «боевых» условиях реального рынка. При этом важно понимать, что успешная работа стратегии на исторических данных не гарантирует столь же хороший результат при использовании в реальной торговле в режиме реального времени.

В дополнение к тестированию на исторических данных разработчикам стоит проверять работу программы в режиме реального времени - сделать это можно с помощью специальных тестовых торговых систем, которые предоставляют биржи и брокеры. С помощью таких безрисковых систем с виртуальными деньгами можно отладить реакцию робота на изменение условий на рынке - обычно данные в таких случаях предоставляют биржевые площадки (с задержкой или «прореженные»).

На сегодня все, спасибо за внимание. Будем рады ответить на вопросы в комментариях.

P.S. Если вы заметили опечатку или ошибку - напишите личным сообщением, и мы оперативно все исправим.

3 back-testing

4 back-to-back testing

5 back-to-back testing

методология тестирования программных продуктов, предусматривающая подачу одних и тех же входных данных на два или более экземпляров модуля или системы, сравнение получаемых выходных данных (результатов) и анализ несовпадений, если таковые обнаружатся. Аналогичный подход применяется и при тестировании аппаратных продуктов

6 back-to-back testing

7 back-to-back test

8 back-to-back testing

9 back-to-back testing

10 back-to-back testing

11 back-cross testing

12 back-cross testing

Тестирование методом обратного скрещивания, тестирование методом «бэк-кросс»

См. также в других словарях:

back-testing - In general, the process of comparing predictions from a forecasting model to observable data. A model may be run using historical inputs after which the mode s forecast is compared to the actual outcomes observed for the forecasted period. In… … Financial and business terms

VaR back-testing - rizikos vertės nustatymas atliekant grįžtamąjį patikrinimą statusas Aprobuotas sritis kolektyvinio investavimo subjektų veikla apibrėžtis Rizikos vertės metodo tikslumo ir kokybės tikrinimo procedūra, kai lyginamas pagal metodą gaunamos rizikos… … Lithuanian dictionary (lietuvių žodynas)

Testing cosmetics on animals - is a form of animal testing, intended to ensure the safety and hypoallergenic properties of the products for use by humans. Because of the harm done to the animal subjects, this testing is opposed by animal rights activists and others, and is… … Wikipedia

Back injury - Back injuries often occur as a result in unfavourable pressures to the spine during day to day activity. Common thoughts on back injuries conclude that these are a result of incorrect lifting methods and posture. Both of these are correct,… … Wikipedia

Back-To-Back-Test - Dynamische Software Testverfahren sind bestimmte Prüfmethoden um beim Softwaretest Fehler in Software aufzudecken. Während bei statischen Verfahren die zu testende Software nicht ausgeführt wird, setzen dynamische Verfahren die Ausführbarkeit der … Deutsch Wikipedia

Back-to-back connection - Telecommunications= In telecommunications, a back to back connection is a directref 1 connection between either:#the output of a transmitting device and the input of an associated receiving device. When used for equipment measurements or testing… … Wikipedia

Animal testing - A white Wistar lab rat Description Around 50–100 million vertebrate animals are used in experiments annually. Subjects Animal testing, scien … Wikipedia

Animal testing on non-human primates - Image taken inside Covance Experiments involving non human primates (NHPs) include toxicity testing for medical and non medical substances; studies of infectious disease, such as HIV and hepatitis; neurological studies; behavior and cognition;… … Wikipedia

Ultrasonic testing - Step 1: The UT probe is placed on the root of the blades to be inspected with the help of a special borescope tool (video probe). Step 2: Instrument settings are input. Step 3: The probe is scanned over the blade root. In this case, an… … Wikipedia

Flexible Architecture for Simulation and Testing - The FAST Project is a new hybrid hardware prototyping platform enabled by integrating a variety of hardware components on a printed circuit board (PCB) to implement Chip Multiprocessor (CMP) or Multiprocessor (MP) systems. The Flexible… … Wikipedia

Databases are the inevitable part of such software products as online stores, banking system applications and so on. These can the databases of different types, for example, DB2, SQL, and others

In order to verify the correct work of database, it is performed server side testing which actually is backend testing.

Performing database testing, the specialists do not work with the graphical user interface (GUI), they proceed directly to analyzing the processes of execution of the request with specified parameters and receiving the correspondent answer from the server. With this purpose, JSON and XML can be used.

There are several phases of backend tests:

1. the delivery of SQL server specification;
2. the testing of design specification;
3. the implementation of the tests into the design with the help of SQL code.

Backend testing is the process of validation such database aspects as schemas, tables, indexes and keys, data storage procedure, the process of data duplication, server validation, etc. The tests are launched with the aim of preventing data corruption, deadlock, data loss and others. To check the work of databases, several types of tests are executed.

What are the types of databases testing?

• Non-functional testing
• Functional testing
• Structural testing

The special testing tools will help to simplify the verification procedure of the proper operation of databases. This can be TurboData, Data Factory, AETG, Data Generation and others.

What are the advantages of backend testing?

• Such a software testing ensures the full control over the test coverage.
• Backend checking promotes the detection of a bigger number of potential bugs even at the early stages of the development.
• With the help of backend testing, the specialists execute more detailed checking of the system, as the applying of black bow method is not allowed for this testing type.

Я расскажу вам о том, как можно приобрести практический опыт торговли, для этого необходимо лишь свободное время.

Кроме объективной оценки результатов, полученных при тестировании вашей торговой стратегии, Вы приблизитесь к процессу непосредственного принятия торговых решений. В этом Вам очень поможет Бэк-тестинг торговой стратегии . Кстати, тестирование стратегии возможно и в автоматическом режиме, но я считаю, что трейдерам, не имеющим серьезного опыта торговли, проводить разработку торговой стратегии, и ее тестирование будет полезно в ручном режиме.

Давайте рассмотрим пример тестирования торговой стратегии в сжатые сроки за конкретный торговый период. Для проведения бэк-тестинга нам необходимы:

Программа технического анализа

Программа учета сделок и обработки статистики

Алгоритм работы, стратегия, план принятия торговых решений.

Программа технического анализа

Существует огромное число программ технического анализа, но мне лично привычна программа MultiCharts . Она простая и доступная. Существует масса массу более продвинутых программ, таких как Omega, ТС2000, TradeStation, которые можно найти в сети, но я привык работать с MultiCharts. Кроме того, вы можете найти её в сети бесплатно или скачать условно бесплатную версию, без какого-либо ограничения сроков ее использования.

Скачиваем и устанавливаем программу, нам потребуется непосредственно только MultiCharts.

После установки программы для отслеживания котировок, нам необходимы сами котировки. Их можно скачать на сайте брокера Финам в разделе «Экспорт котировок».

Затем, скачиваем в формате TIME, DATE, HIGH, OPEN, CLOSE, VOL, LOW, котировки выбранного вами актива. В нашем примере нам требуются котировки на фьючерс индекса РТС за последний квартал, на временном промежутке в 5 минут (см. Рынки на фондовой бирже России - РТС). Имеется возможность скачивать котировки на Ваш выбор всех доступных инструментов, и для всех доступных временных периодов. Остальные поля остаются без каких-либо изменений. Выбираем параметры и кликаем на кнопку, которая носит название - «получить файл».

Получаем текстовый файл с необходимыми вам котировками (рис.ниже):

Чтобы котировки залить в программу MultiCarts необходимо открыть программу QuoteManeger, которая выступает для нашего MultiCharts в роли источника котировок исторических данных. Затем требуется добавить биржу, или ее выбрать из существующего списка. При этом следует указать параметры торгов. С этой целью переходим в меню “Tools”, затем “Exchanges & ECNs”

Теперь добавим контракт. Пункт по следующей схеме Symbol - >AddSymbol - >Manually.

Кликаем ОК. Далее редактируем название инструмента. Рекомендую путаницы писать название инструмента, принятое на бирже, чтобы избежать путаницы. Проверяем соответствие на всех закладках Settingsи Session, Stock, PriceScale. Если все в порядке, жмем ОК!

Немного непосредственно об процессе импорта исторических данных. В окне QuoteManager правой кнопкой мыши выбираем наш инструмент и выбираем пункт ImportData ->ASCII

При ее запуске появится новое окно DataServerMode, вам необходимо выбрать Offline. Затем добавляем новый график по такому пути File -> New -> Chart Window