The downside of the job is the long hours.

この仕事のデメリットは長時間労働だ。

The only downside to the plan is its cost.

この計画の唯一のデメリットはその費用だ。