Yo solamente tengo una E-PL1, pero me vengo interesando por el tema desde que estoy en el club m4/3, así que te dejo mi opinión, que viene de experiencia propia + lecturas de todo.
Lo más importante es el tema de estabilizador en la cámara. Si usas objetivos del sistema, los compras estabilizados y ya está, pero en el caso de tener la Oly, te valen estabilizados y no estabilizados, mientras que con la Pana, no tienes esa opción. También, en general, parece que hay más objetivos Panasonic que superen a los equivalentes de Oly, pero es un mix. Si vas a usar manuales, a partir de cierta focal, el estabilizador es muy muy conveniente y solamente con la Oly lo tienes en la propia cámara. Esto no es importante para los 24, 28, 30 y 35mm, pero por ejemplo para un 135 ya se notaría.
Por otra parte, dicen que para vídeo es mejor la Pana.
Sobre lo de admitir muchos sistemas de lentes, vale obviamente para las dos. Quizá las nuevas evil de Nikon, con un sensor aún más pequeño, sean las únicas que las superen un poco en ese sentido.
Mi conclusión es que lo más importante es el feeling que te da la cámara, creo que las pequeñas diferencias técnicas son asumibles en función de lo a gusto que subjetivamente te sientas.