Как заставить SpecFlow ожидать исключения?

Отличный вопрос. Я не эксперт по bdd или specflow, однако мой первый совет — сделать шаг назад и оценить ваш сценарий.

Вы действительно хотите использовать термины «бросок» и «исключение» в этой спецификации? Имейте в виду, что идея с bdd состоит в том, чтобы использовать вездесущий язык с бизнесом. В идеале они должны уметь читать эти сценарии и интерпретировать их.

Попробуйте изменить фразу «тогда», включив в нее что-то вроде этого:

Scenario: Pressing add with an empty stack displays an error
    Given I have entered nothing into the calculator
    When I press add
    Then the user is presented with an error message

Исключение по-прежнему выдается в фоновом режиме, но конечным результатом является простое сообщение об ошибке.

Скотт Беллвер затрагивает эту концепцию в подкасте Herding Code: http://herdingcode.com/?p=176

Как новичок в SpecFlow, я не скажу вам, что это самый способ сделать это, но один из способов сделать это — использовать ScenarioContext для хранения исключения, созданного в When ;

try
{
    calculator.Add(1,1);
}
catch (Exception e)
{
    ScenarioContext.Current.Add("Exception_CalculatorAdd", e);
}

В вашем Then вы можете проверить выброшенное исключение и выполнить для него утверждения;

var exception = ScenarioContext.Current["Exception_CalculatorAdd"];
Assert.That(exception, Is.Not.Null);

С учетом сказанного; Я согласен с scoarescoare, когда он говорит, что вы должны сформулировать сценарий в несколько более «дружественных для бизнеса» формулировках. Тем не менее, использование SpecFlow для управления реализацией вашей модели предметной области, перехват исключений и выполнение над ними утверждений может оказаться полезным.

Кстати: посмотрите скринкаст Роба Конери на TekPub, где вы найдете несколько действительно полезных советов по использованию SpecFlow: http://tekpub.com/view/concepts/5

BDD можно практиковать на поведении на уровне функций и/или на уровне единиц.

SpecFlow — это инструмент BDD, который фокусируется на поведении на уровне функций. Исключения — это не то, что вы должны указывать/наблюдать за поведением на уровне функций. Исключения должны указываться/наблюдаться в поведении на уровне модуля.

Воспринимайте сценарии SpecFlow как живую спецификацию для нетехнических заинтересованных сторон. Вы бы еще написали в спецификации не то, что выбрасывается исключение, а то, как система ведет себя в таком случае.

Если у вас нет заинтересованных лиц, не являющихся техническими специалистами, то SpecFlow вам не подходит! Не тратьте энергию на создание бизнес-читаемых спецификаций, если никто не заинтересован в их чтении!

Существуют инструменты BDD, ориентированные на поведение на уровне юнитов. В .NET наиболее популярным является MSpec (http://github.com/machine/machine.specifications). BDD на уровне модулей также можно легко использовать со стандартными средами модульного тестирования.

При этом вы по-прежнему можете проверить наличие исключения в SpecFlow.

Вот еще несколько обсуждений bdd на уровне модуля и bdd на уровне функций: SpecFlow/BDD и модульное тестирование BDD для приемочных тестов и BDD для Модульные тесты (или: ATDD против TDD)

Также посмотрите этот пост в блоге: Классификация инструментов BDD (Unit-Test-Driven vs. Acceptance Test Driven) и немного истории BDD

Изменение сценария таким образом, чтобы не было исключений, вероятно, является хорошим способом сделать сценарий более ориентированным на пользователя. Однако, если вам все еще нужно, чтобы он работал, учтите следующее:

1. Перехватите исключение (я действительно рекомендую перехватывать определенные исключения, если вам действительно не нужно перехватывать все) на шаге, который вызывает операцию, и передает его в контекст сценария.

   [When("I press add")]
   public void WhenIPressAdd()
   {
      try
      {
        _calc.Add();
      }
      catch (Exception err)
      {
         ScenarioContext.Current[("Error")] = err;
      }
   }
   

2. Убедитесь, что исключение хранится в контексте сценария

   [Then(@"it should throw an exception")]
   public void ThenItShouldThrowAnException()
   {
         Assert.IsTrue(ScenarioContext.Current.ContainsKey("Error"));
   }
   

P.S. Это очень близко к одному из существующих ответов. Однако, если вы попытаетесь получить значение из ScenarioContext, используя синтаксис, как показано ниже:

var err = ScenarioContext.Current["Error"]

это вызовет другое исключение в случае, если ключ «Ошибка» не существует (и это приведет к сбою всех сценариев, которые выполняют вычисления с правильными параметрами). Так что ScenarioContext.Current.ContainsKey может быть просто более подходящим

Мое решение включает в себя пару пунктов для реализации, но в самом конце оно будет выглядеть намного элегантнее:

@CatchException
Scenario: Faulty operation throws exception
    Given Some Context
    When Some faulty operation invoked
    Then Exception thrown with type 'ValidationException' and message 'Validation failed'

Чтобы это сработало, выполните следующие 3 шага:

Шаг 1

Отметьте сценарии, в которых вы ожидаете исключения, с помощью некоторого тега, например. @CatchException:

@CatchException
Scenario: ...

Шаг 2

Определите обработчик AfterStep, чтобы изменить ScenarioContext.TestStatus на OK. Вы можете захотеть игнорировать ошибки только для шагов Когда, чтобы вы все равно могли провалить тест в Затем, проверяя исключение. Пришлось сделать это через отражение, так как свойство TestStatus является внутренним:

[AfterStep("CatchException")]
public void CatchException()
{
    if (ScenarioContext.Current.StepContext.StepInfo.StepDefinitionType == StepDefinitionType.When)
    {
        PropertyInfo testStatusProperty = typeof(ScenarioContext).GetProperty("TestStatus", BindingFlags.NonPublic | BindingFlags.Instance);
        testStatusProperty.SetValue(ScenarioContext.Current, TestStatus.OK);
    }
}

Шаг 3

Подтвердите TestError так же, как вы бы проверили что-либо в пределах ScenarioContext.

[Then(@"Exception thrown with type '(.*)' and message '(.*)'")]
public void ThenExceptionThrown(string type, string message)
{
    Assert.AreEqual(type, ScenarioContext.Current.TestError.GetType().Name);
    Assert.AreEqual(message, ScenarioContext.Current.TestError.Message);
}

В случае, если вы тестируете взаимодействие с пользователем, я только посоветую то, что уже было сказано о сосредоточении внимания на пользовательском опыте: «Затем пользователю предоставляется сообщение об ошибке». Но, если вы тестируете уровень ниже пользовательского интерфейса, я хотел бы поделиться своим опытом:

Я использую SpecFlow для разработки бизнес-уровня. В моем случае меня не волнуют взаимодействия с пользовательским интерфейсом, но я все же нахожу чрезвычайно полезным подход BDD и SpecFlow.

На бизнес-уровне мне не нужны спецификации, которые говорят: «Затем пользователю предоставляется сообщение об ошибке», но на самом деле проверяют, правильно ли служба реагирует на неправильный ввод. Я некоторое время делал то, что уже было сказано о перехвате исключения в «Когда» и проверке его в «Тогда», но я считаю этот вариант не оптимальным, потому что, если вы повторно используете шаг «Когда», вы можете проглотить исключение, когда вы этого не ожидали.

В настоящее время я использую явные предложения «Тогда», иногда без «Когда», таким образом:

Scenario: Adding with an empty stack causes an error
     Given I have entered nothing into the calculator
     Then adding causes an error X

Это позволяет мне специально кодировать действие и обнаружение исключений за один шаг. Я могу повторно использовать его для проверки любого количества случаев ошибок, и это не заставляет меня добавлять несвязанный код к безотказным шагам «Когда».

ScenarioContext.Current устарел в последней версии SpecFlow, теперь рекомендуется добавить POCO в тестовый класс шагов в конструкторе для хранения/получения контекста между шагами, т.е.

public class ExceptionContext
{
    public Exception Exception { get; set; }
}

private ExceptionContext _context;

public TestSteps(ExceptionContext context)
{
    _context = context;
}

И в вашей [Когда] привязке....

try
{
   // do something
}
catch (MyException ex)
{
    _context.Exception = ex;
}

В вашей привязке [Then] подтвердите, что _context.Exception установлен и имеет тип исключения, который вы ожидали.