Também preciso de um aviso de que sou muito tendencioso para o R e mal toquei no Matlab. Minha impressão - que parece ser confirmada pelas pessoas que você usa os dois - é:

• O Matlab é mais fácil de aprender porque o idioma é mais simples (ou talvez mais simplificado - dependendo do seu ponto de vista)
• R é mais fácil quando você precisa de estruturas de dados complexas

Você pode fazer tudo em cada idioma, a questão é qual é mais fácil e, finalmente, produz melhores resultados.

Eu acho que R tem vantagem. O Quant Finance é realmente uma análise de dados e R foi especialmente projetado para análise de dados.