string

SetConsoleCP(1251); //изменяет кодировку используемую на кириллицу при вводе
    SetConsoleOutputCP(1251); // изменяет кодировку используему на кириллицу при выводе
    string s, s1;
    int len;
    s = "12-[pow(85,2)*3-1]+16";
    //моя правка
    string strResult;
    int pos1, pos2, kol;
    pos1 = s.find("["); //запомнили позицию первого символа
    pos2 = s.find("]", pos1);// запомнили позицию второго сивола
    kol = pos2 - pos1 -1; // нашли количество символов, которое мы должны вывести, если не отнять минус один, то будет один лишний символ, а именно "]", можешь проверить сама пронумеровав индексы и посчитав ручками
    strResult = s.substr(pos1+1, kol); //в strResult вернули с pos1 + 1(+ 1 нужно чтобы первая квадратная скобка не захватилась) количество символом, которое нашли в прошлой строке
    //
    cout << "Начальное выражение " << s << endl;
    len = s.find("[");
    s.replace(len, 1, "((");
    len = s.find("]");
    s.replace(len, 1, "))");
    len = s.size();
    cout << s << endl << strResult << endl;