言葉通りのあとは頼みますの意味は、「残りの作業や進行を相手にお願いする」という依頼の意です。語尾に丁寧語の「ます」が付いているため一見すると丁寧な表現に思えますが、本質的には「頼む」という対等もしくは上位から下位への働きかけが含まれています。
そのため、上司や先輩、クライアントに対して「あとは頼みます」と伝えると、「上から目線で仕事を押し付けられた」「投げやりで無責任な印象を受ける」と受け取られるリスクが極めて高くなります。ビジネス敬語マナーの観点から見ても、目上の相手に対してそのまま使うのは避けるべきフレーズです。
同僚や気心の知れた後輩に対してであれば円滑な合言葉として機能しますが、職位や立場に差がある相手へ後を託す場面では、より謙虚で敬意を込めた言い回しを選択する必要があります。