iOS 8.4の「ミュージック」アプリでは、画面下部の「ミニプレーヤー」をタップするか上にスワイプすると、「再生中」画面になります。
Apple MusicやMy Musicにアクセスするには、再生中画面を閉じる（ミニプレーヤーに戻す）必要があります。
（▲ 再生中画面）
再生中画面の左上にある「V」アイコンをタップすると、ミニプレーヤーに戻せます。
もっと簡単な方法として、アートワーク（アルバムジャケット）部分を下にスワイプしても、再生中画面を閉じられます。
iPadの再生中画面なら、アートワーク部分だけではなく、画面のどこでも下にスワイプできます。
My Musicの再生中のほかに、Beats 1などのラジオの再生中も、この方法が使えます。
（情報はiOS 8.4時点のものです）
【関連する豆知識】