1944年フィラデルフィアに生まれ、父の影響で音楽に興味を持ち、12歳でギターを始め、15歳ではプロとして活動を始めた。 初期の活動やレコーディングには ウィリス・ジャクソン（sax） やエリック・クロス（sax）、ほか多くのジャズ・オルガン奏者（ジャック・マクダフ等）との共演がある。 リーダー作もジャズ名門レーベル、プレステッジ、ブルーノート、ミューズ等より多数リリースされ日本でも根強い人気がある。

マルティーノは76年に脳動静脈奇形（AVM）による致命的な脳動脈瘤で倒れ、1980年に手術を受けた結果、ギターとこれまでの音楽的キャリアの記憶を無くしてしまった。 その後、親族の支えやコンピュータによる補助、さらには彼自身のこれまでのレコーディングを聞くことで、以前の記憶を回復する。

1987年にレコーディングされた『ザ・リターン』でマルティーノは活動を再開。
2004年にはダウンビート誌のGuitar Player of the Yearを獲得、2007年にはワールド・ツアーを実施した。
2000年以降、日本へも度々来日している。