動作クラス間の関係予測の論文がPattern Recognition Lettersに採録されました

Yuya Yoshikawa, Yutaro Shigeto, Masashi Shimbo, Akikazu Takeuchi, “Action class relation detection and classification across multiple video datasets,” Pattern Recognition Letters, Volume 173, Pages 93-100, Sep. 2023. [paper, preprint]

以前の研究で、複数の動作認識データセットを用いた動作認識モデルの学習に活用することを目的として、Kinetics-700やActivityNet等の動作認識データセットの間で、動作クラス間の関係性を人手でアノテーションしたメタデータセットMetaVDを構築しました。 MetaVDを用いるとデータセット拡張により動作認識の汎化性能を上げられる可能性があるのですが、MetaVDでまだ考慮されていないデータセットに関してはその恩恵が受けられない状態でした。 そこで本研究では、動作クラスに紐づく言語情報と動画情報から動作クラス間の関係性予測の方法を提案し、MetaVD外の動作認識データセットをMetaVDに自動的に取り込める可能性を示しました。