Vielleicht ist der 5A Regulator etwas ueberdimensioniert, und die Spannung steigt zu langsam auf 5V an.
Was passiert, wenn Du mal kurzzeitig einen Reset an MCLR# (PIC Pin #1) ausloest? Dazu braucht es keinen Taster, Du koenntest das mit einem Kabel nach Masse ausprobieren.
Conrad & Co. sind bekannt dafür, dass Sie bei Leistungsangaben gerne etwas übertreiben…
Falls der Reset Erfolg hat, könntest Du tatsächlich mit einem sekundären Schalter das Problem lösen.
Ich würde noch einen 2200uF Elko und einen 100nF Kondensator nach dem Schalter setzen um die Stabilisierung etwas zu unterstützen.
Welches Netzteil von Conrad ist es. Hast Du vielleicht eine Bestellnummer?
Falls es ein Schaltnetzteil ist, solltest Du mal versuchen eine 6V Glühlampe (max ca. 100mA) an den Ausgang des Netzteiles zu setzen. Damit hast Du schon beim Einschalten eine ordentliche Grundlast.