다 작성하셨네요?
단일 작업이라면 에러 후 롤백은 필요 없구요.
커밋만 잘 적어주면 될 듯 하네요.
insert 와 update 두군데 모두 commit 하시면 됩니다.
개선할 점은 bigin ~ end 블럭을 중첩으로 사용하는 게 좋을 듯?

BEGIN
    BEGIN
        INSERT INTO t (mykey, mystuff)
        VALUES ('X', 123)
        ;
    EXCEPTION
        WHEN dup_val_on_index THEN
            UPDATE t
               SET mystuff = 123
             WHERE mykey   = 'X'
            ;
    END;
    COMMIT;
EXCEPTION
    WHEN OTHERS THEN
        ROLLBACK;
END;
/