Backtesting forex data mining

Backtesting Data Mining Backtesting Data Mining Neste artigo, considere duas práticas relacionadas que são amplamente utilizadas pelos comerciantes chamado Backtesting e Data Mining. Estas são técnicas que são poderosas e valiosas se as usarmos corretamente, no entanto, os comerciantes costumam abusá-las. Portanto, também, explore duas armadilhas comuns dessas técnicas, conhecidas como o problema da hipótese múltipla e sobreposição e como superar essas armadilhas. Backtesting é apenas o processo de utilização de dados históricos para testar o desempenho de alguma estratégia comercial. Backtest geralmente começa com uma estratégia que gostaríamos de testar, por exemplo comprando GBPUSD quando ele cruza acima da média móvel de 20 dias e vendendo quando ele cruza abaixo dessa média. Agora, poderíamos testar essa estratégia observando o que o mercado avança, mas isso levaria muito tempo. É por isso que usamos dados históricos que já estão disponíveis. Mas espere, aguarde, eu ouço você dizer. Você não poderia trapacear ou, pelo menos, ser tendencioso porque você já sabe o que aconteceu no passado. Isso é definitivamente uma preocupação, então um backtest válido será aquele em que não estamos familiarizados com os dados históricos. Podemos realizar isso escolhendo períodos de tempo aleatórios ou escolhendo muitos períodos de tempo diferentes para realizar o teste. Agora eu posso ouvir outro grupo de vocês dizendo: Mas todos esses dados históricos, sentados lá, esperando para serem analisados, são tentadores. Talvez não haja segredos profundos naquele dado, esperando apenas geeks como nós para descobri-lo. Seria tão errado para nós examinar esses dados históricos primeiro, analisá-lo e ver se podemos encontrar padrões escondidos dentro dele. Este argumento também é válido, mas nos leva a uma área cheia de perigo. O mundo da Mineração de Dados Mineração de Dados envolve a pesquisa de dados para localizar padrões e encontrar correlações possíveis entre variáveis. No exemplo acima, envolvendo a estratégia de média móvel de 20 dias, acabamos de apresentar esse indicador particular, mas suponha que não tivéssemos idéia do tipo de estratégia que queríamos testar, quando a mineração de dados é útil. Poderíamos pesquisar através de nossos dados históricos sobre GBPUSD para ver como o preço se comportou depois que cruzou muitas médias móveis diferentes. Poderíamos também controlar os movimentos de preços em relação a muitos outros tipos de indicadores e ver quais correspondem a grandes movimentos de preços. O assunto da mineração de dados pode ser controverso porque, como eu discuti acima, parece um pouco como trapacear ou olhar para frente nos dados. A mineração de dados é uma técnica científica válida. Por um lado, o método científico diz que deveria fazer uma hipótese primeiro e, em seguida, testá-la contra os nossos dados, mas, por outro lado, parece apropriado fazer alguma exploração dos dados primeiro para Sugerir uma hipótese. Então, o que é certo. Podemos observar as etapas do Método Científico para obter uma pista sobre a origem da confusão. O processo em geral parece assim: Observação (dados) Experiência de predição de hipóteses (dados) Observe que podemos lidar com dados durante as etapas de Observação e Experiência. Então, ambas as visualizações estão corretas. Devemos usar dados para criar uma hipótese sensata, mas também testamos essa hipótese usando dados. O truque é simplesmente garantir que os dois conjuntos de dados não sejam os mesmos. Nunca devemos testar nossa hipótese usando o mesmo conjunto de dados que usamos para sugerir nossa hipótese. Em outras palavras, se você usar a mineração de dados para criar idéias de estratégia, certifique-se de usar um conjunto diferente de dados para testar essas idéias. Agora, bem, volte a atenção para as principais dificuldades de usar a mineração de dados e backtesting incorretamente. O problema geral é conhecido como sobre otimização e eu prefiro quebrar esse problema em dois tipos distintos. Estes são o problema da hipótese múltipla e a superposição. De certo modo, são formas opostas de fazer o mesmo erro. O problema da hipótese múltipla envolve a escolha de muitas hipóteses simples, enquanto a superposição envolve a criação de uma hipótese muito complexa. O Problema de Hipóteses Múltiplas Para ver como esse problema surge, vamos voltar ao nosso exemplo em que testámos a estratégia da média móvel de 20 dias. Suponhamos que backtest a estratégia contra dez anos de dados do mercado histórico e eis que adivinhe o que os resultados não são muito encorajadores. No entanto, sendo negociadores bruscos e caídos como estamos, decidimos não desistir tão facilmente. E quanto a uma média móvel de dez dias. Isso pode resultar um pouco melhor, então vamos fazer o teste. Executamos outro backtest e achamos que os resultados ainda não são estelares, mas eles são um pouco melhores do que os resultados de 20 dias. Nós decidimos explorar um pouco e executar testes semelhantes com médias móveis de 5 dias e 30 dias. Finalmente, ocorre-nos que, na verdade, poderíamos testar todas as médias móveis até certo ponto e ver como elas funcionam. Então, testamos os 2 dias, 3 dias, 4 dias, e assim por diante, até a média móvel de 50 dias. Agora, certamente, algumas dessas médias irão funcionar mal e outras irão funcionar bastante bem, mas terá que haver um deles, o que é o melhor absoluto. Por exemplo, podemos achar que a média móvel de 32 dias mostrou ser o melhor desempenho durante este período particular de dez anos. Isso significa que há algo especial sobre a média de 32 dias e que devemos estar confiantes de que ele vai funcionar bem no futuro. Infelizmente, muitos comerciantes assumem que isso é o caso, e eles simplesmente param sua análise neste momento, pensando que Eles descobriram algo profundo. Eles caíram na armadilha do Problema de Hipóteses Múltiplas. O problema é que não há nada incomum ou significativo sobre o fato de que alguma média acabou por ser a melhor. Afinal, testámos quase cinquenta deles contra os mesmos dados, então espere encontrar alguns bons artistas, apenas por acaso. Isso não significa que há nada de especial sobre a média móvel em particular que ganhou neste caso. O problema surge porque testámos múltiplas hipóteses até encontrarmos uma que funcionou, em vez de escolher uma única hipótese e testá-la. Existe uma boa analogia clássica. Poderíamos apresentar uma única hipótese, como Scott, é ótimo em virar cabeças para uma moeda. A partir disso, podemos criar uma previsão que diz: Se a hipótese for verdadeira, Scott poderá virar 10 cabeças seguidas. Então, podemos realizar um experimento simples para testar essa hipótese. Se eu puder virar 10 cabeças seguidas, na verdade não provará a hipótese. No entanto, se eu não conseguir cumprir essa façanha, definitivamente refutará a hipótese. Como fazemos experimentos repetidos que não conseguem refutar a hipótese, nossa confiança em sua verdade cresce. Essa é a maneira certa de fazê-lo. No entanto, e se tivéssemos inventado 1.000 hipóteses, em vez de que o único sobre mim fosse um bom flipper de moeda. Poderíamos fazer a mesma hipótese sobre 1.000 pessoas diferentes. Eu Ed, Cindy, Bill, Sam, etc. Ok, agora vamos testar nossas múltiplas hipóteses. Pedimos todas as 1000 pessoas para virar uma moeda. Provavelmente haverá cerca de 500 pessoas que viraram as cabeças. Todos os outros podem ir para casa. Agora, pedimos a essas 500 pessoas que voltem novamente, e desta vez cerca de 250 virarão as cabeças. Na terceira vez, cerca de 125 pessoas viraram as cabeças, no quarto, cerca de 63 pessoas ficaram, e no quinto flip há cerca de 32. Essas 32 pessoas são bastante incríveis. Não. Eles todos viraram cinco cabeças seguidas. Se nós virar cinco Mais vezes e elimina a metade das pessoas em média, vamos acabar com 16, depois com 8, depois com 4, depois com 2 e, finalmente, com uma pessoa que virou dez cabeças seguidas. Seu Bill Bill é uma flange fantabulous de moedas. Ou ele? Bem, nós realmente não sabemos, e esse é o ponto. Bill pode ter ganhado nosso concurso por pura chance, ou ele pode muito bem ser o melhor flipper de cabeças neste lado da galáxia Andrómeda. Do mesmo jeito, não sabemos se a média móvel de 32 dias do nosso exemplo acima apenas funcionou bem em nosso teste por pura chance, ou se realmente há algo especial sobre isso. Mas tudo o que foi feito até agora é encontrar uma hipótese, a saber, que a estratégia de média móvel de 32 dias é lucrativa (ou que Bill é uma grande moeda). Nós ainda não experimentamos essa hipótese ainda. Então, agora que entendemos que nós realmente não descobrimos nada significativo ainda sobre a média móvel de 32 dias ou sobre a habilidade de Bill para virar moedas, a questão natural a perguntar é o que devemos fazer em seguida. Como eu mencionei acima, muitos comerciantes nunca percebem que lá É um próximo passo necessário. Bem, no caso de Bill, você provavelmente pergunta, Aha, mas ele pode virar dez cabeças seguidas novamente. No caso da média móvel de 32 dias, queremos testá-lo novamente, mas certamente não contra a mesma amostra de dados que Costumávamos escolher essa hipótese. Nós escolheríamos outro período de dez anos e veremos se a estratégia funcionou também. Poderíamos continuar a fazer esse experimento quantas vezes quisermos até que o nosso fornecimento de novos períodos de dez anos estivesse vazado. Nós nos referimos a isso como fora do teste da amostra, e é a maneira de evitar essa armadilha. Existem vários métodos de teste, um dos quais é validação cruzada, mas nós não entraremos nesses muitos detalhes aqui. A superposição é realmente uma espécie de reversão do problema acima. No exemplo de hipóteses múltiplas acima, analisamos muitas hipóteses simples e escolhemos o que melhor se apresentou no passado. Na superposição, primeiro olhamos para o passado e então construímos uma única hipótese complexa que se encaixa bem com o que aconteceu. Por exemplo, se eu olhar para a taxa USDJPY nos últimos 10 dias, talvez eu vejo que o fechamento diário fez isso: para cima, para cima, para baixo, para cima, para cima, para cima, para baixo, para baixo, para baixo, para cima. Tenho isso Veja o padrão Sim, eu também não. Mas se eu quisesse usar esses dados para sugerir uma hipótese, eu poderia surgir. Minha incrível hipótese: se o preço de fechamento subir duas vezes seguidas, em seguida, por um dia, ou se cair por três dias seguidos, devemos comprar, mas se o preço de fechamento subir três dias seguidos devemos vender , Mas se ele sobe três dias seguidos e depois três dias seguidos, devemos comprar. Huh Soa como uma hipótese espalhafatosa. Mas se tivéssemos usado essa estratégia nos últimos 10 dias, teríamos tido razão em cada comércio que fizemos. O Overfitter usa backtesting e mineração de dados de forma diferente do que os fabricantes de hipóteses múltiplas. O overfitter não apresenta 400 estratégias diferentes para testar. De jeito nenhum O Overfitter usa ferramentas de mineração de dados para descobrir apenas uma estratégia, não importa o quão complexo, que teria tido o melhor desempenho durante o período de backtesting. Isso funcionará no futuro. Não é provável, mas sempre podemos manter o ajuste do modelo e testar a estratégia em diferentes amostras (fora do teste de amostra novamente) para ver se o nosso desempenho melhora. Quando nós deixamos de melhorar o desempenho e a única coisa que está aumentando é a complexidade do nosso modelo, então sabemos que nós cruzamos a linha para superação. Então, em resumo, vimos que a mineração de dados é uma maneira de usar nossos dados de preços históricos para sugerir uma estratégia de negociação viável, mas que devemos estar conscientes das dificuldades do problema de hipóteses múltiplas e da superposição. A maneira de garantir que não caímos nessas armadilhas é testar nossa estratégia usando um conjunto de dados diferente do que usamos durante a exploração de mineração de dados. Nós geralmente nos referimos a isso como fora dos testes de amostra. Um problema com a mineração de dados é que os comerciantes tendem a usar diferentes tipos de filtros para procurar um padrão. O problema com isso é que qualquer sinal é composto a partir dos diferentes sinais sinusoidais, então, ao aplicar filtros diferentes em um sinal, com certeza, acabaremos com um padrão. Muitos estudos foram feitos com base no padrão de preços, principalmente com base na mineração de dados, a questão será a suposição de que o futuro reflete o passado, a resposta é talvez. Temos 5050 chances. A porcentagem pode ser aumentada ao estudar esse padrão em diferentes dados. Se quisermos aumentar essa porcentagem, precisamos saber qual é a causa desse padrão, ao saber a causa desse padrão, teríamos uma vantagem na negociação. Por exemplo, eu vou fazer essa suposição, let8217s dizem que a primeira sexta-feira de cada mês, devido aos lotes de notícias de comerciantes, tendem a sair de suas negociações pela manhã antes da notícia e entram novamente após a notícia, então existe um padrão de venda e Comprando em determinado momento. Nós poderíamos usar essa informação para nosso benefício, aplicando algum tipo de comércio de hedge, então entramos com compra e venda antes da notícia. Depois, depois da notícia, só vendemos para quem quer comprar e não queremos manter uma posição durante as novidades e nós deixamos a compra até o preço voltar, isso pode ser aplicado à taxa de juros do sawp ou a outra instalação 8230 bla bla. Esta é apenas uma teoria. Estou usando isso para dizer que o medo e a ganância têm um tempo no mercado. Então, o que cria os padrões de preços é o medo e a ganância, agora se isolarmos o padrão e conhecemos a causa por trás desse padrão, como no exemplo anterior, temem as notícias ou estabelecemos a conta no final do mês. coisas assim. Então poderíamos, em teoria, prever o futuro, as duas primeiras postagens são copiadas deste site, todos os artigos de Scott Percival valem a pena ler Excelente Thread MiniMe Junte-se a nós, faça o download do MetaTrader 5 Copyright 2000-2016, MQL5 Ltd. Manual backtest v Teste de EA Depende do Tipo de sistema. Eu suponho que sua abordagem não é sistemática (quant) e você está interessado em testar um sistema que deseja negociar manualmente. O backtesting automatizado é igual a negociação automatizada, pelo menos até certo ponto. Toda estratégia de negociação tem um conjunto de regras, mas quase todos exigem uma grande quantidade de discrição ao lado dos comerciantes, incluindo os mais mecânicos, como os métodos DIBS, Vegas ou TheRealThings. Esse critério é a parte mais difícil de quebrar, não é completamente impossível, mas é muito difícil quantificar e algoritmizar todas as essências apoiando uma boa decisão. É fácil codificar uma negociação de EA sobre dados de indicadores e alguns níveis de preços. Mas tome noções básicas de ação de preço (com valores reais, não calculados artificialmente) e tente alcançar uma fração da eficiência dos olhos com uma EA. Não é tão fácil Btw: quantos EAs de negociação automática lucrativos de longo prazo estão sendo executados com uma proporção de risco saudável razoável você vê em torno de não muitos, eu acho. E quantos segmentos de ensino de sistemas manuais bem-sucedidos conseguiram criar uma EA para esse sistema. Nem um único. Eu também estou no campo de testes manual. Fora de escolha. Algumas sugestões: é bom testar o sistema em dados que você nunca viu antes. Isso é difícil de fazer se você olhar as cartas o tempo todo, uma vez que até mesmo uma consciência subliminar de quot o que aconteceu aqui e aí tenderá a torná-lo tendencioso. E, é claro, você NÃO DEVE ver o lado direito do gráfico Se você acha que pode perseverar na objetividade, dê uma olhada na Análise Técnica Baseada na Identidade por David Aronson (um imo de livro realmente bom). Após testes manuais abrangentes, eu tentaria isolar os poucos (se houver) 100 elementos mecânicos desse método e tentar automatizá-los para fornecer orientação na negociação manual. Mas nenhum backtest pode vencer um teste para frente em uma pequena conta real. Desejo-lhe o melhor do sucesso Juntado em setembro de 2008 Status: Membro 134 Posts Meu sistema é 100 mecânicos e é assim que vou testá-lo, tomando todos os negócios. Assim, os resultados finais de um teste manual e o teste EA seriam idênticos. Eu vejo o teste manual como sendo superior à ea (além das muitas horas que realizam o teste). Apenas uma das coisas que vejo como um problema quando você realmente começa a negociar o sistema é quando você atingiu uma série de perdas. Testes você terá um winloss em seus resultados finais, mas o que acontece quando você atingiu uma série que é muito maior do que a perda média de seus resultados finais. Se você só teve os resultados do e você pode parar de comercializar com medo de que o sistema tenha Parou de funcionar, bem como você pode ter visto o mesmo tipo de raia antes, várias vezes (mercados variados etc, etc.). Claro, eu não conheço nada disso com certeza. Eu tenho mais perguntas do que respostas no momento. Obrigado pela resposta Os sistemas mecânicos são propensos a grandes reduções, isso é um fato. Como já vi, a maioria dos sistemas mecânicos bem-sucedidos perdem (os realmente bons, partem) a maior parte do tempo e compensam suas perdas com relativamente poucos vencedores HUGE. Primeiro você tem que fazer uma prova de um grande número de dados. A contagem de negócios é mais importante do que o tempo, eu diria que 200 negócios são mínimos, 500 são melhores, 1000 são realmente bons. Uma vez que você mede as características de retirada e a distribuição de winloss, você pode tentar encontrar algumas medidas de gerenciamento de dinheiro (ajuste de risco) para melhorar o desempenho do sistema durante a perda e ganhando riscas. Testes completos ajudam você a vê-los no futuro. Existe uma grande vantagem para testes manuais que você aprende o comportamento vivo do sistema. Talvez você encontre uma chave sobre como classificar 100 períodos de não negociação e fazer parte das regras. EA irá mostrar-lhe as curvas e números finais, mas isso é apenas dados simples mortos. Inscrito em maio de 2015 Status: Awesome Person 214 Posts O backtesting manual pode falhar devido a um avanço na frente, onde, como os únicos EAs de polarização, é o viés de mineração de dados (ou seja, 10 negociações aleatórias testadas 1024 devem produzir 1 backtest perfeito, supondo que não se espalhe) Quant Trader - Meu Blog: quantstop. blogspot (dot) com Os membros devem ter pelo menos 0 vouchers para postar neste tópico. 0 traders visualizando agora Forex Factoryreg é uma marca registada.