J'ai mis un stérilet et j'ai commencé la prière, il y a eu une petite trace marron en dehors du cycle menstruel, puis-je continuer la prière ou dois-je faire les grandes ablutions ?

Louange à Allah et que la paix et la bénédiction soient sur Son Prophète et Messager, Mohammed, ainsi que sur sa famille et ses Compagnons :

Ces pertes marrons apparaissant après la constatation de la pureté rituelle ne sont pas considérées comme des menstrues. Il te suffit donc de faire les ablutions mineures (wudû’) et de continuer à accomplir la prière et les autres actes permis aux femmes en état de pureté. Il n’est pas obligatoire pour toi de refaire le ghusl, car, dans la situation décrite, tu n’es pas en état de menstrues.

Et Allah sait mieux.