En effet ce format est lu via le lecteur flash de mediaelement et le "streaming" ne fonctionne parfois pas du tout.
Il semble que ce problème soit lié à un mauvais en-tête du fichier .mp4 (le MOOV atom certainement cf : http://www.adobe.com/devnet/video/articles/mp4_movie_atom.html)
Heureusement pour nous il existe un outil adobe air qui permet de réécrite l'index des fichiers mp4 :
http://renaun.com/blog/code/qtindexswapper/
Le fichier .air s'installe comme un package linux une fois que adobe air est installé sur un poste, il faut ensuite choisir les vidéos à modifier.
Et c'est merveilleux, la nouvelle vidéo va se charger et se lire en "streaming" partout grâce à l'excellent mediaelement.js.