Videoplayer, speziell ältere/günstige Geräte sind sehr häufig zickig, wenn es um die Kodierungen geht.
Wenn Du das Thema schnell und gründlich erschlagen willst, nimm die die Software Handbrake zur Hand und erstelle eine Reihe von Testclips.
Hauptverdächtiger ist (bei mir, Erfahrungswert) immer variable Bitrate bei Video- und Audiostreams. Ob H264 allerdings noch wirklich fixe Raten kann, wage ich zu bezweifeln. MPEG2 kann so was und da hatten wir gerne Ärger, selbst mit Playern aus der Profi-Liga.
Danach kommen dann die verschiedenen "Level", die die Encoder als definierte Presets haben.
Es gibt einige Hardware, die nicht jede Auflösung kann, sehr gerne müssen X und Y durch 2, 4, 8 oder 16 teilbar sein und jedes Gerät hat natürlich ein Maximum. Ich würde mal mit Standard-Auflösungen, beginnend von unten, starten. Erst mal PAL, also 720x576, H264 suggeriert aber, dass z.B. auch 1280x720 gehen sollte und evtl. auch 1920x1080.
Probier doch mal:
(1) Irgend einen Preset, der H264 Main 4.0 macht, abgespeichert im Format .mp4. Audio dazu MP3 Stereo mit fix eingestellter Rate.
Wenn das nicht geht, probier's mal mit Profile "Baseline" 3.0. Wenn das auch nicht geht, ist die Kiste wirklich Mist. Wenn dann was geht, kannst Du Dich von hieraus hochhangeln, also schrittweise die Profile erhöhen.
Ob sich das dann aber noch lohnt, mit dem Stress der Umkodiererei jeder Datei?