渡辺郷右衛門家は渡辺新左衛門秀綱の子、郷右衛門有綱が徳川義直に召出されて三百石を賜ったことに始まる。『家中いろは』によると、渡辺号右衛門(又は渡辺新助)家の菩提寺は情妙寺前、自然院だった。
渡辺郷右衛門家人物伝