Die Wahrheit liegt, wie so oft, in der Mitte. Der "Orientation"-Tag wurde erst mit einer späteren EXIF-Spezifikation eingeführt, vermutlich mit EXIF 2.32. Das erklärt dann auch recht gut, warum manche Browser das Bild aufrecht und andere auf dem Kopf anzeigen.
Nee, das erklärt es nicht. Chrome hat es ja mal richtig gemacht und die Unterstützung offenbar in einem der letzten Updates entfernt. Da muss bei Google also jemand bewusst die Unterstützung rausgenommen haben.