ペリーは来春再び日本に来ると言い残して香港に引き上げましたが、日本開国の一番乗りをロシアとフランスに先を越されるのではないかと心配して、出発を早める決心をしました。

　ペリーは冬の日本近海は海が荒れて危険であることを充分承知していましたが、1854年1月14日（嘉永6年12月16日）に香港を出港し、第1次航の時と同じく那覇経由で日本に向かいました。艦隊の隻数は第1次航の時の倍以上で全部で9隻の大艦隊でした。この内蒸気艦は第1次航の時の“サスケハナ”と“ミシシッピ”の他に新たに“ポーハタン”が加わりました。後は帆走スループが3隻、帆走補給艦が3隻でした。最初予定していた蒸気艦“プリンストン”II、“アレゲニー”、“サン・ジャシント”の3隻は海軍当局からペリーに宛てた手紙によって結局修理が間に合わなくて参加できないことが明らかになりました。また大型の帆装艦“ヴァーモント”は経費がかかりすぎることで除外されました。

　1854年2月13日（嘉永7年1月16日）の午後、艦隊は再び江戸湾に姿を現し、小柴沖の通称アメリカ錨地に投錨しました。小柴沖に停泊したのは、浦賀沖では狭くて大艦隊の停泊が難しいためです。ペリーはここで旗艦を“サスケハナ”から“ポーハタン”に変更しました。

　ペリーと日本側との交渉場所が神奈川に決まり、3月8日（旧暦2月10日）にペリーは初めて神奈川に上陸し、日本側使節と条約締結交渉を開始しました。

　3週間に及ぶ交渉の結果、両者の合意が得られたので、3月31日（旧暦3月3日）に「日米和親条約」が調印され、ペリーの目的は達成されました。この条約は全部で12ヶ条の条文から成っていますが、下田、箱館（はこだて）（現在の函館）2港の開港、アメリカ艦船への物資の補給、漂流民の救助、外交官の下田駐在等が含まれています。しかし通商に関しては除外されています。アメリカと「日米修好通商（しゅうこうつうしょう）条約」が結ばれるのは4年後の1858年（安政5）になってからのことでした。

　4月18日（旧暦3月21日）にペリーは艦隊を率いて神奈川を出港し、開港が予定されている下田、箱館を視察し、その後清国の沿岸を巡航して7月23日に香港に到着しました。

　ペリーはこの任務が終わったらアメリカに帰国するため辞任したいという希望を以前から海軍当局に願い出ていましたが、承認されたので、軍艦でなく定期船を乗り継いで帰国することになりました。香港からイギリスのP&O汽船会社の定期船に乗ってヨーロッパに渡り11月20日にオランダのハーグに到着しました。この地で娘婿（むすめむこ）のオランダ駐在アメリカ公使ベルモント氏の家にしばらく滞在しました。この後イギリスに立ち寄ってイギリス海軍の軍艦数隻を視察してアメリカに向かい、1855年1月12日にニューヨークに到着しました。ノーフォークを出港してから2年2ヶ月ぶりの帰国でした。

　4月23日に“ミシシッピ”がニューヨークのブルックリン海軍工廠（こうしょう）に到着しました。帰りは1854年9日12日に香港を出港し、下田に寄港した後太平洋を横断し南米のホーン岬を回ってニューヨークに到着するという航路で、途中ホノルルとブラジルのリオデジャネイロに寄港しました。

　往航と異なり寄港地が少ないので、主に帆走によって航行したと考えられます。“ミシシッピが到着した次の日、ペリー立会いの下に提督旗（ていとくき）が降ろされ、これで彼の日本遠征の全ての任務が終了しました。