1938年ニューヨーク生まれ。
大学を卒業した59年ころからフォーク・ミュージック復興運動に傾注しグリニッチ・ヴィレッジのコーヒー・ハウスで歌い始める。61年、ボブ・ディランのマネージャー、アルバート・グロスマンの勧めでポール・ストゥーキー（37年生まれ）、マリー・トラヴァス（36年生まれ・2009年没）を誘いフォーク・トリオ、ピーター、ポール＆マリー（PP＆M）を結成、翌年センセーショナルなデビューをする。

以降世界中で最も愛されたフォーク・トリオとなりヤーロウの自作「パフ／Puff, The Magic Dragon」（63年2位）を筆頭に「風に吹かれて／Blowin' In The Wind」（63年2位）、「天使のハンマー／If I Had A Hammer」（62年10位）、「悲しみのジェット・プレーン／Leaving On A Jet Plane」（69年1位）ほか多数のヒット曲を放つ。

PP＆Mはすぐれたアルバム、楽曲を次々と発表する傍らベトナム反戦、公民権運動の活動を積極的に行い、コンサートで世界各国を回った。日本公演も64年初来日以降たびたび行い、その演奏する姿を目の当たりにした若者によって日本全国に “PP＆Mバンド” が生まれた。

現在ピーター・ヤーロウはNPO「オペレーション・リスペクト」という子供のいじめ、虐待をなくす運動にエネルギーを注いでいて、アメリカは勿論、ウクライナ、香港、ベトナム、イスラエル他世界各国に出向き運動を実施している。