본 글은 Microsoft Press의 How to Test Software at Microsoft와  'An Evaluation of Combination Strategies for Test Case Selection' (Mats Grindal et al) paper를 참조했음을 미리 밝힙니다.



어떤 한 Test case의 parameter가 여러개 일 때, 이들을 어떻게 조합시킬 수 있을까요? 일반적으로 2가지 방법이 있습니다. 

첫째는 Random 혹은 ad-hoc 방식으로 조합하는 것입니다. 이 것은 tester의 능력과 경험에 따라 다른 결과가 나올 수 있으며 운에 따라 결과가 영향을 받을 수도 있습니다. 이 부분은 논외로 하겠습니다 ^^;

두번쨰는 좀더 제어를 가능하게 하여 시스템적인 접근을 하는 것입니다. 이러한 방법 중에는 EC (Each Choice), BC (Base Choice), OA (Orthogonal Array), 그리고 Exhaustive Test 등이 있습니다. EC부터 살펴보겠습니다. 

EC는 가장 단순한 Test case combination technique입니다. 1-wise test로 볼 수도 있습니다. 예를 들어 설명하는 것이 가장 이해가 빠를 것 같네요 

  1. p1 = {v1, v2, v3}
  2. p2 = {v4, v5, v6}
  3. p3 = {v7, v8}

위와 같이 각각의 parameter는 다른 값과 다른 갯수를 가지고 있다고 가정합니다. 물론 각각의 parameter는 다른 parameter에 대해 독립적입니다. (영향을 받지 않습니다. 영향을 받는 다면 그것은 하나의 parameter로 묶어야 합니다). 

tc(n) = f(p1, p2, p3)라 표현한다고 가정하면, EC의 경우에는 다음과 같이 조합될 수 있습니다.
  1. tc(0) = f(v1, v4, v7)
  2. tc(1) = f(v2, v5, v8)
  3. tc(2) = f(v3, v6, v7)

위와 같이 조합할 수 있습니다. 위의 parameter를 분석해보면, p1이 가질 수 있는 3개의 값을 모두 한번 씩 이용했고 (coverage를 확보했고), p2, p3역시 모두 마찬가지 입니다. 단, tc(2)를 보면 이미 위에 나와있던 v7이 다시 나왔습니다. 이는 p3가 갖는 value의 갯수가 하나 적으므로, 중복되게 들어간 것입니다. 위의 값을 보면 알 수 있듯이, 모든 값이 각각 한번씩 선택되었습니다. (Each Choice). EC의 경우 test case의 갯수는 가장 많은 value를 가진 parameter의 value 갯수가 됩니다. 

2번째로 BC (Base Choice)를 알아보겠습니다. BC역시 1-wise test이지만, BC의 coverage는 n-wise test에 뒤지지 않는다는 연구결과가 있다고 합니다. 어쨌든 한번 조합을 만들어보겠습니다. 
BC의 Key point는 'Base Case'가 있어야 한다는 것입니다. 이 base case는 사용자의 관점에서 가장 선택될 빈도가 높고, 단순하며, 일반적으로는 정상동작할 수 있는 것을 선택하는 것이 좋습니다. (Most common, Most normal)

Assume that base case is [v1, v4, v7] 

위처럼 가정하면, 다음과 같은 parameter의 조합이 나오게 됩니다.
  1. tc(0) = f(v1, v4, v7)
  2. tc(1) = f(v2, v4, v7)
  3. tc(2) = f(v3, v4, v7)
  4. tc(3) = f(v1, v5, v7)
  5. tc(4) = f(v1, v6, v7)
  6. tc(5) = f(v1, v4, v8)

위에 주황색으로 표시한 부분을 제외하면 모두 base case의 값을 유지하고 있습니다. 즉, base case에서 하나의 parameter에만 변경을 주어 해당 variation에 대한 동작의 추이를 볼 수 있는 조합법 입니다.  BC의 coverage를 모두 만족하는 test case의 최소 갯수는 1 + (각 parameter의 value 갯수 - 1)입니다.  즉, 위의 예를 들면, 1 + (3 - 1) + (3 - 1) + (2 - 1) = 6 입니다. (사실 ∑를 써서 표현해야 하는데, 잘 못쓰겠네요 -_-;;)

다음은 OA (Orthogonal Array, 직교배열) 입니다. 이 것은 다음 post에....

'Software Testing > Knowledge Base' 카테고리의 다른 글

Combinational Analysis #3  (4) 2009.03.05
Combinational Analysis #2  (3) 2009.03.01
Combinational Analysis #1  (0) 2009.02.05
결함 정보는 Test case로 관리해라!!  (1) 2009.01.02
Issue Tracker (Bug Tracker)적용의 어려움  (1) 2009.01.02
Posted by yunseong
어느새 2009년의 1월이 끝나갑니다.

한달쯤 전에 (잊지 않아요 12월 30일) 퇴근버스에서 회사 선배님께 이런 저런 이야기를 들었습니다.

한 30분쯤 이야기를 듣고, 지난 2년을 반성했습니다.

선배는 그저 자신의 이야기를 해주었지만, 저에게는 왜 너는 그렇게 살고 있냐라고 꾸짖는 듯 했습니다.

왜이렇게 아무생각 없이 살았나, 이것밖에 안되는 것이었나 하는 생각에

가슴이 터져버리는줄 알았습니다.

나는 주변에 불만에 가득차있으면서 정작 스스로에게는 한없이 관대하고, 현실에 만족해버린

오만하고 불손한 사람이 되어있었습니다.

그런 자신에 대한 후회와 실망과 함께, 또 기쁨이 가득 찼습니다.

여태까지 아무 노력도 하지 않았지만, 이젠 의지와 목표라는 것이 생겼습니다.

목표한 바를 이루기 위해서는 정말 많은 노력이 필요할 것 같습니다.


그렇게 한달이 지났습니다.

이 전과 다른 생각과 조금 더 강한 의지를 가지게 되었다는 것에

스스로를 대견스럽게 생각하게 하기도 하지만...

아직 멀었습니다.

갈 길은 너무나도 멉니다. 목표에 대해 알면 알수록 더 자신이 없어집니다.

또, 저의 짧고 부족한 능력에 실망도 많이 합니다.

그래도 이젠 어쩔 수 없습니다. 아무리 늦은 걸음으로 가더라도 가지 않으면 견딜 수 없을 것 같습니다.


선택한 길과 방법이 맞는 건지에 대한 확신은 없습니다.

그렇지만 여태까지 확신을 가지고 선택한 길은 없었습니다. 그럴 능력이 저에겐 없습니다.

대신, 어떤 길이든 선택한 길을 최선을 다해서 가다보면 좋은 결과가 있을 것이라고 믿습니다.


2009년 한달이 지난 지금, 한 달전의 의지를 다시 가슴에 되새기기 위해, 한 달 늦은 다짐을 블로그에 적습니다.


2009년 1월 30일 23시 59분

'About me' 카테고리의 다른 글

1달 늦은 2009년 다짐  (2) 2009.01.31
Season 2 START!!  (2) 2007.03.05
Posted by yunseong
아래 포스팅한 글에서 Risk based Testing에 대해서 잠시 언급했었습니다. 
책을 읽다 보니 이 부분에 대한 어느정도 자세한 언급이 나오더군요. Risk based testing에서 가장 중요한 risk를 측정하는 방법에 대한 설명이 있었습니다.
아래 적은 내용 중 일부 내용은 wikipedia에서 참고한 내용도 있습니다.

FMEA는 시스템에서 발생할 수 있는 잠재적인 실패 (Failure Mode)를 분석하여 도출하고, 이에 대한 위험도를 정량화하는 분석작업 중 하나입니다. FMEA는 최종적으로  정량화된 RPN (Risk Priority Number)를 산출하게 됩니다. 

RPN은 높은게 risky하다 혹은 낮은게 risky하다라는 정의는 없습니다. 측정하는 주최가 정하면 됩니다. 즉, 1점이 가장 risky할 수도 있고 만점이 가장 risky할 수도 있습니다. (wikipedia의 점수매김과 제 책의 점수매김이 반대더군요 ^^;)

이 RPN을 결정하는 요소는 다음과 같습니다 (이 부분은 책과 wikipedia에서 말하는 내용이 약간 다릅니다만, 어느정도 일치합니다)
  • Severity - 말그대로 심각도입니다. 이 failure가 발생했을 때, 사용자가 당하게(?) 되는 impact에 따라 분류합니다.
    ex) 1 - Critical, 2 - Major, 3 - Average, 4 - Minor, 5 - Enhancement. (어디서 많이 보던 것이지요 ^^)
  • Priority - Bug의 fix 우선순위 입니다. '반드시 ASAP로 수정해야 함'에서 부터, '다음번 release에 수정해도 됨' 정도로 분류합니다.
    ex) 1 - Urgent, 2 - Essential, 3 - Valuable, 4 - Desirable, 5 - Discretionary
  • Likelihood - 발생 확률입니다. '모든 사용자, 연산시 항상 발생함' 에서 '거의 발생하지 않음' 까지 단계 정도로 분류합니다.
    ex) 1 - Very Likely, 2 - Likely, 3 - Possible, 4 - Unlikely, 5 - Very Unlikely

RPN은 위의 각 요소의 점수를 곱해서 계산합니다. 만약 각 요소가 5단계까지 있다면 RPN은  1점에서 5 x 5 x 5 = 125점의 범위를 갖게 됩니다. 이 때 점수가 낮은 것을 risky하다고 한다면,  1점 (Severity - Critical, Priority - Urgent, Likelihood - Very Likely) 이 가장 risky한 failure mode가 되어 집중적으로 test해야 할 대상이 되는 것입니다. 

이 산출된 RPN의 점수 대역을 분류하여, 얼마나 집중적으로 이 failure mode에 대해서 테스트 할지를 전략적으로 정하게 됩니다. 
예를 들어 RPN 1 ~ 15점까지에 testing resource의 몇 %를 할당함, 머 이런 식으로 하게 됩니다.

이렇게 Risk based Testing에서 risk를 정량화 하는 기법은 FMEA말고도 COE (Cost Of Exposure), ANSI/ISO 9126 등이 있습니다. 참고하세요 ;-)
Posted by yunseong
요새 읽고 있는 Critical Testing Process란 책의 일부를 발췌하여 생각을 적은 글입니다.

이 책에서는 Quality Risk Analysis Process란 과정을 제시했습니다. 
총 6단계로 나누었으며, 내용은 다음과 같습니다. 

  1. 핵심 테스팅 포인트와 품질에 대한 이해관계자를 선별합니다. 이 이해관계자는 품질분석활동에 참여해야 합니다. 
  2. 핵심관계자들과 품질분석활동의 기술과 방법에 대해 조사합니다. 조사가 충분히 되면, 기술을 제시하고, 일치를 이끌어냅니다.
  3. 품질위험에 대해 아이디어를 모으고, 그 위험에 따라 실패했을 때의 상황, 품질의 손상, 그리고 그러한 위험들의 우선순위에 대해 논의합니다.
  4. 분석단계에서 발생했던 놓친 요구사항, 설계문제 등등 다른 문서에서 발생한 초기 버그에 대해 보고합니다.
  5. 기술적으로 도출된 품질위험에 대해 문서화 하고, 이해관계자들에게 그 문서를 배포합니다. 3,4,5 단계를 반복적으로 수행합니다.
  6. 품질위험분석 문서를 프로젝트 문서로 추가하고 변경관리를 합니다. 

대략 위와 같은 내용입니다. 

왜 이런 품질 분석활동을 하는 것일까요? 사실 위의 내용이 나온 chapter 에 잘 설명되어 있습니다. -_-;;, 아니 사실 이 책의 제목을 보면 이미 알 수도 있겠네요. 

"Critical"한 Testing을 하기 위해서 입니다. 중요하고 risk가 큰 부분에 "집중" 하고 많은 resource를 투입하여 Quality의 risk를 낮추자 (mitigate) 라는 것입니다. 결국 "risk 기반 testing"으로 귀결되겠군요. 

"risk기반 testing"에서 risk를 어떻게 측정해야 할까요? 위험도의 기준은 무엇일까요? 흔히 S/W의 목적에 따라 다르다고 합니다. 
당연히 그렇겠죠. 그런 뜬구릅 잡는 대답은 말고 (퍽)

Quality의 위험도를 결정하는 중요한 지표는 빈도가 있을 수 있을 것 같네요. 또... 복구 가능 여부 혹은 대체 가능 여부가 있을 듯 하구요. (지극히 제 개인적인 생각입니다. 이견이나 덧붙이고 싶으신 분은 대환영입니다 ^^)
아, 얼마전에 세미나가서 들은 내용인데 (권원일 님이 발표하신 내용입니다) Business risk와 Technical risk(잘 기억 안남 -_-)로 나눌 수 있다고 하셨었던게 기억이 나네요. 

어찌되었든 이 Quality Risk Analysis Process라는 것은 결국 Risk based testing을 잘 하기 위한 단계로 보이는 군요. 실제 업무에적용가능하다면 적용해보고 그 결과를 이 posting에 덧붙여보아야 겠습니다 ㅋ
Posted by yunseong
Software testing의 대가 Rex Black의 Critical Testing Processes라는 책을 올 1월부터 보고 있습니다.

근데 너무 어렵습니다.  매 문장마다 모르는 단어는 수두룩 하고, 

원래 주어 / 동사 이런 문법 따져가며 읽는 편은 아닌데, 이건 머 도통 이해가 안가는 문장이 한둘이 아니네요 ㅠㅠ

그래도 요약을 굳이 하자면, 1장의 Title은 큰 그림 먼저 보기 입니다.

Test 팀의 프로젝트 전체에서의 위치, 임무, 태도, 팀 내부 관리의 중점, mind 머 그런 내용에 대해 설명하고 있습니다. 

뒤를 쭈욱 훑어봤는데 답답하네요 -_-;;

인내력이 다하면 잠시 이 책을 덮고 다른 책을 봐야 할지도 모르겠습니다. 

벌써 "Metrics and Model in Software Quality Engineering"도 쉬고 있는데... 그 책은 영어도 영어지만

통계 머 이런 내용 (6 sigma, 등등) 이 많다 보니 도통 이해가 안가더군요...

쉬운게 없습니다 ㅠㅠ


I've read the "Critical Testing Process" written by Rex Black, who is most famous in software testing. 
But... it goes over my head!!! I know my english is poor...  but it is too difficult. 
There are so many delicate words in a sentence. 
Actually, i'm not acquainted with strict grammar like which is subject, and verb, but, some sentences are too complicated to me. 
But, positively, to say summary, the title of first chapter is "Start with Big Picture". 
It explains test team's context, task, attitude, management internal team member (testing team). 
i go over beyond this chapter, it make me feel heavy. 
If my patient is gone, i may replace to another book (i already bought a new book named "Host we test software at microsoft" ).
Already i gave up to read "Metric and Models in software Quality Engineering". ;-(. i'm not acquainted with statistics, but it deals with it, like 6 sigma, probability distribution... 

There is nothing to get easily.. T.T


Posted by yunseong

 
TODO List
  • Call test method dynamically. 
  • Call 'setUp' before calling test method
  • Call 'tearDown' after calling test method
  • Call 'teatDown' whether test is passed or  not
  • Execute multiple test cases
  • Print collected test case result

I think that i accomplished first step. but how about follows test code?

- (void) testRunning

{

WasRun* test = [[WasRun allocinitWithName@"NotExistedMethod"];

NSAssert([test wasRun] == NO@"wasRun Failed");

[test Run]; // Run with invalid method name.

NSAssert([test wasRun] == YES@"wasRun Failed");

}


In objective-C, if receiver receives unrecognized message by selector, it throws InvalidArgumentException. Hence, TestCase class has no try-catch statement, it crashed. Actually, the reason of this situation is from we cannot force that TestCase class has only one constructor. TestCase class can be instanced with "init" method, not only "initWithMethodName" method. What is more, there is no routine to validate given method name. So, before we go over next step, i'll make it more stable with add some TODO item. 

TODO List
  • Call test method dynamically. 
  • Handling exception caused by method name
  • Call 'setUp' before calling test method
  • Call 'tearDown' after calling test method
  • Call 'teatDown' whether test is passed or not
  • Execute multiple test cases
  • Print collected test case result
 

For our new requirement, i wrote 2 new TestCaseTest class method. 

- (void) testRunningWithInvalidMethodName

{

NSString* assertErrMsg = [[NSString allocinitWithString@"Assertion failed"];

WasRun* test = [[WasRun allocinitWithMethodName@"NotExistedMethod"];

NSAssert([test wasRun] == NO, assertErrMsg);

[test Run];

NSAssert([test wasRun] == NO, assertErrMsg);

NSLog(@"%s is finished\n", __FUNCTION__);

}


- (void) testRunningWithNoMethodName

{

NSString* assertErrMsg = [[NSString allocinitWithString@"Assertion failed"];

WasRun* test = [[WasRun allocinit];

NSAssert([test wasRun] == NO, assertErrMsg);

[test Run];

NSAssert([test wasRun] == NO, assertErrMsg);

NSLog(@"%s is finished\n", __FUNCTION__);

}


First is for when given not existed method name, and second is for with no name.

Above codes are compiled successfully. 

Okay, let's check first. 

For handle invalid test method name, we can use RTTI (Real-Time Type Information). Of course, Objective-C supports RTTI well. (In fact, Cocoa framework supports it). I modified "Run" method in TestCase class. 

- (void) Run

{

SEL exeMethod = NSSelectorFromString(name);


if ([self respondsToSelector: exeMethod] == YES)

{

[self performSelector: exeMethod];

}

else

{

NSLog(@"Given method named %@ cannot be resolved.", name);

}

}


Its result is



Okay. First issue (given invalid method name) is resolved. Let's check second issue, which is when receives no name. 


- (void) Run

{

    if (name != nil)

    {

        SEL exeMethod = NSSelectorFromString(name);

        if ([self respondsToSelector: exeMethod] == YES)

        {

       [self performSelector: exeMethod];

    }

else

{

    NSLog(@"[ERR]Given method named \"%@\" cannot be resolved.", name);

}

    }

    else

    {

NSLog(@"[ERR]TestCase class should be initiated with \"initWithMethodName\".\n");

    }

}



and test case execution code, here it is.

int main (int argc, const char * argv[]) {

    NSAutoreleasePool * pool = [[NSAutoreleasePool alloc] init];


TestCaseTest* testCaseTest = [[TestCaseTest alloc] initWithMethodName: @"testRunning"];

[testCaseTest Run];

[testCaseTest release];

TestCaseTest* testCaseTest1 = [[TestCaseTest alloc] initWithMethodName: @"testRunningWithInvalidMethodName"];

[testCaseTest1 Run];

[testCaseTest1 release];

TestCaseTest* testCaseTest2 = [[TestCaseTest alloc] initWithMethodName: @"testRunningWithNoMethodName"];

[testCaseTest2 Run];

[testCaseTest2 release];

 

    [pool drain];

    return 0;

}



Finally, i completed second step!!


Actually, i read some chapters more far from rate of current progress. There is exception handling chapter after a few chapters, but i did it more earlier, because i don't think i have to follow that book. Of course, this exception handling is too simple. It can handle only caused by method name. If there is another runtime exception on executing test, this framework will be crashed. I know that i have to use careful try-catch statement, but i'll add it when i need it ;-). It is not now. 
Posted by yunseong
TAG TDD, xUnit
Actually, our "WasRun" class has multiple functionality.
first is Check test function is called or not, and second is calling test function in really. 

We need  to make it separate. WasRun is still check function is called or not, and new class will call test function. New class's name is "TestCase".


TestCase.h / TestCase.m


#import <Cocoa/Cocoa.h>



@interface TestCase : NSObject {

NSString* name;

}


- (id) initWithMethodName: (NSString*) methodName;

- (void) Run;


@end



#import "TestCase.h"



@implementation TestCase

- (id) initWithMethodName: (NSString*) methodName

{

[super init];

name = [[NSString alloc] initWithString: methodName];

return self;

}


- (void) Run

{

SEL exeMethod = NSSelectorFromString(name);

[self performSelector: exeMethod];

}


@end



WasRun.h / WasRun.m


#import <Cocoa/Cocoa.h>

#import "TestCase.h"


@interface WasRun : TestCase {

bool wasRun;

}


- (id) initWithName: (NSString*) methodName;

- (void) testMethod;

- (bool) wasRun;

@end



#import "WasRun.h"


@implementation WasRun


- (id) initWithName: (NSString*) methodName 

{

[super initWithMethodName: methodName];

wasRun = NO;

return self;

}


-(void) testMethod

{

wasRun = YES;

}


- (bool) wasRun

{

return wasRun;

}

@end



as you can show, WasRun class is only for check method is executed or not, and TestCase class is execution trigger. 

And of course, its execution result is...


Perfect!! ;-)


I have one more thing to tell. Actually, i don't be acquainted with Cocoa framework, so i cannot find how can i bind proper method by method's name. So i ask to 'Mac bu gi' club in portal site Naver, they reply to me in a hour!! Thanks ;)

 


Posted by yunseong
TAG TDD, xUnit
Our progress was too slow like a snail's pace, but, today, we'll go far from yesterday. 
We already made compilable source code, but it does not work as our wish. 
Constructor should store specified method name to be tested, and method which is selected, should call method in class. 
So, i'll change one item to TODO list as follows.

TODO List
  • Call test method --> Call test method dynamically. 
  • Call 'setUp' before calling test method
  • Call 'tearDown' after calling test method
  • Call 'teatDown' whether test is passed or  not
  • Execute multiple test cases
  • Print collected test case result

and, here is its source code

WasRun.h

@interface WasRun : NSObject {

bool wasRun;

NSString* name; // <-- newly added for store method name to be called. 

}


- (id) initWithName: (NSString*) methodName;

- (void) testMethod;

- (bool) wasRun;

@end




WasRun.m

#import "WasRun.h"


@implementation WasRun


- (id) initWithName: (NSString*) methodName 

{

[super init];

wasRun = NO;

name = [[NSString alloc] initWithString: methodName];

return self;

}


- (void) testMethod

{

SEL exeMethod = NSSelectorFromString(name);

[self performSelector: exeMethod];

}


- (bool) wasRun

{

return wasRun;

}

@end



Okay, it looks finished. Let's check we can complete this step.... Build and RUN!!! gogogo!!
...
What the hell -_-;; Critical runtime error is happen. maybe, there is some exceptional case...


Stack frame is loading.... it looks there is stack overflow... (actually, i'm very beginner at XCode...)


Debugger displays that what is problem. in my main function, i called test function which is named "testMethod". 
But, in WasRun class, "testMethod" is the name that test function's own name, and it called itself recursively!!!

So, i changed method name "testMethod" to "Run".  (Actually, in my text book, it is already changed -_-)

Rebuild it and run... Okay!! it works well ;-) 







Posted by yunseong
TAG TDD

There were some errors on our code, because 'WasRun' class is missed. Here is 'WasRun' class implementation. 
As mentioned in TDD, this class is only for compile successfully. 


WasRun.h

#import <Cocoa/Cocoa.h>


@interface WasRun : NSObject {

bool wasRun;

}


- (id) initWithName: (NSString*) name;

- (void) testMethod;

- (bool) wasRun;

@end


WasRun.m


#import "WasRun.h"


@implementation WasRun


- (id) initWithName: (NSString*) name 

{

[super init];

wasRun = NO;

return self;

}


- (void) testMethod

{

}


- (bool) wasRun

{

return wasRun;

}

@end


After add above class, compile is successful!!, but output is...


what is this -_-;;  (Actually, there is no wonder for this result... I'm satisfied with successful compilation -_-)



Posted by yunseong
TAG TDD
TODO List
  • Call test method
  • Call 'setUp' before calling test method
  • Call 'tearDown' after calling test method
  • Call 'teatDown' whether test is passed or  not
  • Execute multiple test cases
  • Print collected test case result


First, we have to write test code in the TDD premise. I wrote these codes on main function in TDD_Practice.m file

WasRun* test = [[WasRun alloc] initWithName: @"testMethod"];

NSLog(@"%@", [test wasRun]);

[test testMethod];

NSLog(@"%@", [test wasRun]);


of course, there is no definition about 'WasRun', this routine is failed. We need to make WasRun class... at tommorrow -_-;;
Posted by yunseong
TAG TDD
이전버튼 1 2 3 4 이전버튼