当時、幕府はロシア軍艦の南下に伴って、しばしば砲撃や襲撃を受けたので、カラフトに600名、千島のエトロフに1400名の仙台藩兵を送り込み、宗谷には会津藩兵900名が配備につくという物々しさだった。その翌年、間宮林蔵はカラフトから黒竜江下流へと調査旅行を試みて、カラフトが半島ではなく島であることを突き止めた。そのため「間宮海峡」と世界の地図にその名前と功績の跡を残すことになった。
　文化９年（1812）8月、ロシアの軍艦ディアナ号のリコールド副長はエトロフのシベフ漁場付近で、日本船を見つけて拿捕した。この650石積みの観世丸は高田屋の手船で、嘉兵衛が乗っていてエトロフで獲れた魚類を、箱館へ運ぶ途中だった。船員４人とともに嘉兵衛はカムチャッカへ護送された。彼らは極寒のシベリアでの越冬を余儀なくされ２人の船員を死なせたが、翌文化10年９月、２年余り前の文化８年（1811）６月千島沿岸で捕えたディアナ号艦長ゴローニン少佐との人質交換でようやく解決した。翌年幕府は再び蝦夷地定御雇船頭に命じた。
　しかし、カムチャッカの囚人生活ですっかり体調を崩していた嘉兵衛は、久方ぶりに兵庫の邸へ帰った。ここで療養し、50歳になったのを機に隠居を宣言して、故郷の淡路島に引き籠もった。幕府は彼の功績を賞して、年間70俵の知行を贈っている。これまで無理を続けてきた体にガタがきて病床に臥すことが多くなり、家業全盛がせめてもの慰めだったが、文政10年（1827）４月５日、都志本村の自邸で永眠した。59歳だった。そして、全盛を誇った高田屋も嘉兵衛の没後４年にして、ロシア船と密貿易をしたという疑いをかけられ没落。持ち船のすべてを没収されたうえ、金兵衛は箱館から追放された。
（参考資料）司馬遼太郎「菜の花の沖」、邦光史郎「豪商物語」、邦光史郎「物語 海の日本史」