Teori sistem dinamik adalah bidang matematika terapan yang digunakan untuk memerikan kelakuan sistem dinamikkompleks, biasanya dengan menggunakan persamaan diferensial ataupun persamaan beda. Bila digunakan persamaan diferensial, teori tersebut dinamakan sistem dinamik kontinu. Bila digunakan persamaan beda, teori tersebut dinamakan sistem dinamik diskret. Bila variabel waktu berjalan dalam himpunan yang diskret pada beberapa selang dan kontinu pada selang lain, atau himpunan-waktu lain seperti himpunan Cantor, maka kita mendapatkan persamaan dinamik pada skala waktu. Beberapa keadaan juga mungkin dimodelkan oleh operator campuran seperti persamaan diferensial-beda.
Bidang studi ini juga dinamakan sistem dinamik atau teori sistem saja, atau juga dengan nama yang lebih panjang: teori sistem dinamik matematika dan teori matematika sistem dinamik.