En ortogonal matrix er en kvadratisk matrix med reelle elementer, hvis resultat af multiplikation med den transponerede matrix er lig med identitetsmatrixen [1] :
eller tilsvarende er dens inverse matrix (som nødvendigvis eksisterer) lig med den transponerede matrix:
Den komplekse analog af en ortogonal matrix er enhedsmatrixen .
En ortogonal matrix med en determinant kaldes speciel ortogonal .
Med andre ord er prikproduktet af en række med sig selv 1, og med enhver anden række er 0. Det samme gælder for kolonner.