SECTION 3 : WRITIEN PAPERS

1 . M u l t i p l e c h o i c e q u e s t i o n (M CQ) p a p e r
Pa u l L e w i s , M A, FRCGP, M RCP, M RCPs y c h .
SUM M ARY: Th i s p a p e r o f f e r s a d e f e n c e o f t h e M CQ p a p e r , w i t h a n a c c o u n t o f t h e w a y s i n w h i c h
t h e e x a m i n e r s t r y t o e n s u r e i t s r e l i a b i l i t y a n d v a l i d i t y i n t e s t i n g t h e k n o w l e d g e b a s e o f M RCGP
c a n d i d a t e s . Th e M CQ g r o u p t r i e s t o e n s u r e t h a t t h e k n o w l e d g e t e s t e d i s t h a t a p p r o p r i a t e t o a w e l l
t r a i n e d a n d w e l l i n f o r m e d y o u n g g e n e r a l p r a c t i t i o n e r .
THE M CQ p a p e r i s t h e m a i n t e s t o f f a c t u a l k n o w -
l e d g e w i t h i n t h e M RCGP e x a m i n a t i o n . M a n y o f
t h o s e w h o h a t e d c r a m m i n g f o r 2 n d M B a t t h e i r m e d i c a l
s c h o o l a l s o h a t e M CQ e x a m i n a t i o n s , w h i c h a r e s e e n a s
d e h u m a n i z i n g a n d p e t t y m i n d e d . Th e r e i s , h o w e v e r , n o
d o u b t t h a t a h i g h l e v e l o f i n f o r m a t i o n i s e x p e c t e d o f
g e n e r a l p r a c t i t i o n e r s , n o t l e a s t b y t h e i r p a t i e n t s w h o
e x p e c t e x a m i n i n g b o d i e s t o p r o t e c t t h e m f r o m i g n o r a n t
d o c t o r s . A d e l i b e r a t e a t t e m p t i s m a d e i n a l l o t h e r
s e c t i o n s o f t h e e x a m i n a t i o n t o e n c o u r a g e e x a m i n e r s t o
l o o k f o r q u a l i t i e s l i k e f l e x i b i l i t y , s e n s i t i v i t y , i m a g i n a -
t i o n a n d c l a r i t y , a n d t o a s s u m e t h a t a r e a s o n a b l e l e v e l
o f k n o w l e d g e h a s b e e n t e s t e d i n t h e M CQ. Do t h o s e
w h o s e t t h e M CQ p a p e r r e a l l y t e s t f o r k n o w l e d g e
a p p r o p r i a t e t o a g e n e r a l p r a c t i t i o n e r , a n d d o t h e y t e s t i t
r e l i a b l y a n d c o m p r e h e n s i v e l y ?
Th e M CQ p a p e r i s a 6 0 - q u e s t i o n , f i v e - i t e m m u l t i p l e
t r u e / f a l s e t e s t . Th i s b a l d s t a t e m e n t i m p l i e s t h a t 3 0 0
d i s c r e t e i t e m s o f k n o w l e d g e a r e b e i n g t e s t e d i n e a c h
d i e t o f t h e e x a m i n a t i o n . Th e g e n e r a l a r e a s o f p r a c t i c e
c o v e r e d a r e t h o s e l i s t e d i n t h e i n s t r u c t i o n s s e n t t o
c a n d i d a t e s a n d w i l l n o t b e r e p e a t e d h e r e . In r e c e n t
y e a r s t h e M CQ g r o u p h a s t e n d e d t o u s e a b r i e f s t e m t o
s e t t h e s u b j e c t a r e a , f o r e x a m p l e ' p s o r i a s i s ' o r ' t a r g e t
p a y m e n t s ' , a n d t h e n t o h a v e f i v e i t e m s c o n s i s t i n g o f
s t a t e m e n t s a b o u t v a r i o u s a s p e c t s o f t h e s t e m . Th i s
a v o i d s t h e c o n t o r t i o n a n d c l u m s y s y n t a x o f t e n n e c e s -
s a r y i f a l o n g o p e n i n g s t e m i s t o b e c o m p l e t e d s a t i s f a c -
t o r i l y i n f i v e i t e m s , a n d a l s o a l l o w s t h e o p p o r t u n i t y o f
i n v e s t i g a t i n g k n o w l e d g e o v e r d i f f e r e n t a r e a s w i t h i n a
p a r t i c u l a r s u b j e c t f i e l d .
Ne g a t i v e m a r k i n g s y s t e m
Ca n d i d a t e s c a n a n s w e r ' t r u e ' , ' f a l s e ' , o r ' d o n ' t k n o w ' t o
e a c h i t e m . Th e a n s w e r s a r e m a r k e d b y a n o p t i c a l
s c a n n e r ; a c o r r e c t a n s w e r s c o r e s o n e m a r k , a w r o n g
a n s w e r s c o r e s m i n u s o n e m a r k a n d a ' d o n ' t k n o w '
s c o r e s z e r o . We e n c o u r a g e a l l c a n d i d a t e s t o c o m m i t
t h e m s e l v e s t o a d e f i n i t e r e s p o n s e i f a t a l l p o s s i b l e . It
h a s b e e n s h o w n r e p e a t e d l y t h a t m o s t c a n d i d a t e s i m -
p r o v e t h e i r s c o r e s i f t h e y a r e f o r c e d t o c o m m i t t h e m -
s e l v e s o n a l l t h e i t e m s t h e y h a v e p r e v i o u s l y m a r k e d a s
' d o n ' t k n o w ' . Th o s e w h o f a i l t o a n s w e r a l a r g e n u m b e r
o f i t e m s a l s o t e n d t o m a k e a n a b o v e a v e r a g e n u m b e r o f
m i s t a k e s i n t h e i t e m s t h e y d o a n s w e r . M o s t m e m b e r s o f
t h e M CQ n u c l e a r g r o u p a r e k e e n t o a b a n d o n n e g a t i v e
m a r k i n g , a s t h i s a d d s a n o t h e r v a r i a b l e t o t h e q u a l i t i e s
b e i n g t e s t e d , n a m e l y t h e a b i l i t y t o g u e s s b o l d l y . Ne g a -
t i v e m a r k i n g i s s a i d t o d i s c o u r a g e g u e s s i n g , a n d g u e s -
s i n g (o r i n v e n t i n g e x p l a n a t i o n s f o r p a t i e n t s o f f t h e t o p
o f o n e ' s h e a d ) i s t h o u g h t b y s o m e t o b e a n u n d e s i r a b l e
a t t r i b u t e i n a g e n e r a l p r a c t i t i o n e r . Ot h e r e x a m i n i n g
b o a r d s p e n a l i z e i n c o r r e c t a n s w e r s t o a l e s s e r e x t e n t ,
d e d u c t i n g o n l y o n e t h i r d o r a q u a r t e r o f a m a r k . Th e
Ex a m i n a t i o n Bo a r d i s a t p r e s e n t w a i t i n g t o s e e w h a t
h a p p e n s i f c a n d i d a t e s a r e a l l g i v e n s t r o n g e n c o u r a g e -
m e n t t o a n s w e r a s m a n y i t e m s a s p o s s i b l e , b e f o r e g o i n g
t o t h e c o n s i d e r a b l e e x p e n s e a n d u p h e a v a l o f a l t e r i n g
t h e p r e s e n t c o m p u t e r s c h e d u l e s .
St a t i s t i c s
Af t e r e a c h d i e t o f t h e e x a m i n a t i o n a l a r g e n u m b e r o f
s t a t i s t i c s a r e g e n e r a t e d f o r e a c h q u e s t i o n a n d e a c h
i t e m . Th e s e a r e t h e n a n a l y s e d b y t h e M CQ n u c l e a r
g r o u p a n d t h e c o n s u l t a n t s t o t h e e x a m i n a t i o n . Th o s e t o
w h i c h t h e g r o u p p a y s m o s t a t t e n t i o n r e l a t e t o i n d i v i d u a l
i t e m s a n d t o t h e p e r f o r m a n c e o f t h e p a p e r a s a w h o l e .
Pa r t i c u l a r l y s i g n i f i c a n t f o r i n d i v i d u a l i t e m s a r e :
(a ) t h e p e r c e n t a g e o f c a n d i d a t e s a n s w e r i n g c o r r e c t l y
(b ) t h e p e r c e n t a g e n o t a t t e m p t i n g t h e i t e m
(c ) t h e b i s e r i a l c o r r e l a t i o n c o e f f i c i e n t , w h i c h m e a s u r e s
t h e r e l a t i o n s h i p b e t w e e n s c o r e s o n t h e p a r t i c u l a r
i t e m a n d s c o r e s o n t h e w h o l e o f t h e M CQ; t h i s
g i v e s a n i n d i c a t i o n o f w h e t h e r a p a r t i c u l a r i t e m i s ,
i n g e n e r a l , a n s w e r e d c o r r e c t l y b y ' g o o d ' c a n d i d a t e s
a n d i n c o r r e c t l y b y ' b a d ' c a n d i d a t e s
(d ) t h e e f f e c t o n c o e f f i c i e n t a l p h a i f t h e i t e m i s r e -
m o v e d . Th i s i s m o r e d i f f i c u l t t o c a l c u l a t e b u t i s
t h o u g h t t o b e a m o r e a c c u r a t e i n d i c a t i o n o f t h e
r e l i a b i l i t y o f a p a r t i c u l a r i t e m a s a n e f f e c t i v e d i s c r i -
m i n a t o r . If a n i t e m i s n o t a g o o d d i s c r i m i n a t o r ,
r e m o v i n g i t f r o m t h e e x a m i n a t i o n i m p r o v e s t h e
1 6
c o e f f i c i e n t a l p h a . Th e c o e f f i c i e n t a l p h a i s a n i n t e r -
n a l r e l i a b i l i t y c o e f f i c i e n t . Al p h a i s t h e e x p e c t e d
c o r r e l a t i o n o f o n e t e s t w i t h a n a l t e r n a t e f o r m
c o n t a i n i n g t h e s a m e n u m b e r o f i t e m s .
If a n i t e m i s a n s w e r e d c o r r e c t l y b y 95% o f c a n d i d a t e s
t h e i t e m i s r e m o v e d f r o m f u t u r e e x a m i n a t i o n s , a s i t i s
f a i l i n g t o d i f f e r e n t i a t e c a n d i d a t e s . Th i s i s t h e c o m -
m o n e s t r e a s o n f o r r e m o v i n g i t e m s f r o m t h e M CQ
b a n k . It e m s t h a t f a l l b e l o w c e r t a i n v a l u e s o f (b ), (c ) a n d
(d ) a r e l o o k e d a t c a r e f u l l y b y t h e M CQ g r o u p . Th e
r e f e r e n c e s m a y n e e d t o b e c h e c k e d ; t h e w o r k i n g m a y
b e a m b i v a l e n t ; a f a l s e s t a t e m e n t m a y b e t o o p l a u s i b l e
a n d t h u s m i s l e a d e v e n v e r y a b l e c a n d i d a t e s ; t h e a n s w e r
m a y b e c o d e d i n c o r r e c t l y ; o r i t m a y d e m a n d k n o w l e d g e
t o o o b s c u r e f o r a l l b u t a s m a l l n u m b e r o f o b s e s s i v e s .
Oc c a s i o n a l l y t h e g r o u p m a y d e c i d e t h a t t h e i t e m i s
s u f f i c i e n t l y i m p o r t a n t t o r u n i t a g a i n i n a f u t u r e e x -
a m i n a t i o n .
Re l i a b i l i t y
Th e M CQ p a p e r a s a w h o l e i s b y s o m e c o n s i d e r a b l e
w a y t h e m o s t r e l i a b l e s e c t i o n o f t h e M RCGP e x a m i n a -
t i o n . Th i s m e a n s t h a t i f c a n d i d a t e s w e r e t o t a k e t h e
s a m e e x a m i n a t i o n a t a l a t e r t i m e o r t o t a k e a s i m i l a r
e x a m i n a t i o n i m m e d i a t e l y , t h e y w o u l d t e n d t o b e r a n k -
e d i n t h e s a m e o r d e r . Th e m e a s u r e u s e d t o a s s e s s
t h e r e l i a b i l i t y o f t h e e x a m i n a t i o n i s t h e c o e f f i c i e n t
a l p h a a n d t h i s i s c o n s i s t e n t l y j u s t u n d e r 0 . 8 . Th e
m e a n p e r c e n t a g e s c o r e f o r t h e M CQ e x a m i n a t i o n
i n t h e s u m m e r o f 1 98 9 w a s 50 . 52 w i t h a s t a n d a r d d e v i -
a t i o n o f 8 . 1 5. Th e m i n i m u m m a r k w a s 1 1 % a n d t h e
m a x i m u m 7 0 %.
Th e M CQ n u c l e a r g r o u p c o n s i s t s o f s i x e x a m i n e r s ,
d e l i b e r a t e l y c h o s e n s o t h a t t h e m a j o r i t y o f t h e m c o m e
f r o m n o n - a c a d e m i c p r a c t i c e s , a l t h o u g h a l l o f t h e m h a v e
e x p e r i e n c e o f t e a c h i n g t r a i n e e s . It i s o n t h e j u d g e m e n t
o f t h i s g r o u p t h a t t h e v a l i d i t y o f t h e p a p e r d e p e n d s .
Ea c h m e m b e r o f t h e g r o u p h a s r e s p o n s i b i l i t y f o r t w o o r
t h r e e s e c t i o n s o f t h e M CQ b a n k . M e m b e r s a r e e x -
p e c t e d t o c o n s t r u c t n e w q u e s t i o n s w i t h i n t h e i r s e c t i o n s
a n d s u b m i t t h e s e t o t h e w h o l e g r o u p f o r a n a l y s i s a n d
m o d i f i c a t i o n . Ap p r o x i m a t e l y 3 0 % o f q u e s t i o n s w i l l b e
n e w i n e a c h p a p e r ; s o m e s e c t i o n s , e s p e c i a l l y t h o s e
r e l a t i n g t o t h e r a p e u t i c s a n d p r a c t i c e o r g a n i z a t i o n , w i l l
h a v e a h i g h e r p r o p o r t i o n t h a n t h i s . Ol d q u e s t i o n s a r e
c h o s e n t o c o v e r a s w i d e a r a n g e a s p o s s i b l e w i t h i n a
p a r t i c u l a r s u b j e c t a r e a , a n d a l s o b e c a u s e t h e y h a v e
p e r f o r m e d w e l l o n p r e v i o u s o c c a s i o n s .
A g o o d M CQ q u e s t i o n s h o u l d n o t j u s t t e s t r e c a l l o f
f a c t s a n d l a w s , b u t s h o u l d a l s o t e s t a c a n d i d a t e ' s
u n d e r s t a n d i n g o f c o n c e p t s a n d t h e a p p l i c a t i o n o f t h e s e
f a c t s . In a r e c e n t p a p e r t h e r e w a s a q u e s t i o n i n t h e
t h e r a p e u t i c s s e c t i o n w h i c h w a s m u c h c r i t i c i z e d b y s o m e
c a n d i d a t e s . Th e q u e s t i o n a s k e d i f a c o m p e t i t o r w o u l d
1 7
b e d i s q u a l i f i e d f r o m a n i n t e r n a t i o n a l a t h l e t i c c o m p e t i -
t i o n i f h e w a s f o u n d t o h a v e t a k e n c e r t a i n d r u g s .
Ca n d i d a t e s c o m p l a i n e d t h a t t h e y h a d n e v e r m e t a n y o n e
i n t h e i r p r a c t i c e w h o w a s a n i n t e r n a t i o n a l a t h l e t e , b u t
t h e a n s w e r s w e r e f a i r l y e a s i l y g u e s s e d i f t h e c a n d i d a t e
k n e w a b o u t t h e a c t i o n o f t h e d r u g s a n d t h e i r l i k e l y
e f f e c t o n a t h l e t i c p e r f o r m a n c e . Th e w h o l e q u e s t i o n
p e r f o r m e d p a r t i c u l a r l y w e l l o n a l l t h e v a r i o u s s t a t i s t i c a l
m e a s u r e s a n d w a s a v e r y g o o d d i s c r i m i n a t o r .
To s o m e e x t e n t t h e m o r e r e l i a b l e a t e s t t h e l e s s v a l i d .
Th e M CQ p a p e r s w i t h t h e h i g h e s t r e l i a b i l i t y h a v e b e e n
t h o s e w h i c h c o n t a i n e d a h i g h p r o p o r t i o n o f s t r a i g h t f o r -
w a r d Fi n a l M B t y p e q u e s t i o n s i n m e d i c i n e , s u r g e r y a n d
g y n a e c o l o g y , b u t t h i s i s n o t t e s t i n g i n f o r m a t i o n w h i c h
s h o u l d h a v e b e e n a c q u i r e d o r c o n s o l i d a t e d o v e r t h e
p e r i o d o f g e n e r a l p r a c t i c e t r a i n i n g . In c r e a s i n g l y , t h e
m a i n e f f o r t o f t h e M CQ g r o u p i s t o d e v i s e q u e s t i o n s
s p e c i f i c a l l y r e l a t e d t o p o s t g r a d u a t e l e a r n i n g ; t h i s i s
o b v i o u s l y m u c h e a s i e r i n s o m e s u b j e c t a r e a s r a t h e r t h a n
o t h e r s . M CQ q u e s t i o n s w i t h i n p s y c h i a t r y , f o r e x a m p l e ,
a r e p a r t i c u l a r l y d i f f i c u l t t o d e v i s e ; o n e c a n e a s i l y d e v i s e
q u e s t i o n s i n n e u r o b i o c h e m i s t r y o r p h a r m a c o l o g y , b u t
q u e s t i o n s o n c l i n i c a l p s y c h i a t r y a r e o f t e n t o o f a t u o u s l y
e a s y . Qu e s t i o n s o n t h e b r o a d e r p r i n c i p l e s o f p r a c t i c e
o r g a n i z a t i o n a r e d i f f i c u l t t o d e v i s e f o r t h e s a m e r e a s o n
b u t m o r e d e t a i l e d q u e s t i o n s a b o u t t h e f i n a n c e s o f a
p r a c t i c e o r t h e i n t r i c a c i e s o f t h e c o s t - r e n t s c h e m e h a v e
t o b e r e l a t e d t o i n d i v i d u a l c a n d i d a t e s ' b a c k g o u n d a n d
e x p e r i e n c e , a n d t h i s m a y m o r e u s e f u l l y b e a s k e d a b o u t
i n t h e f i r s t o r a l e x a m i n a t i o n .
In f l u e n c e o n v o c a t i o n a l t r a i n i n g
Th e e x a m i n e r s s e e t h e M RCGP e x a m i n a t i o n a s a
p o w e r f u l i n f l u e n c e o n t h e d i r e c t i o n g e n e r a l p r a c t i c e
t r a i n i n g s h o u l d t a k e , a n d t h e M CQ i s n o e x c e p t i o n .
Ne w q u e s t i o n s a r e f r e q u e n t l y d e v i s e d f r o m m a j o r
r e v i e w a r t i c l e s i n t h e l e a d i n g g e n e r a l p r a c t i t i o n e r m a g a -
z i n e s . A d e l i b e r a t e a t t e m p t i s m a d e t o i n t r o d u c e c u r -
r e n t c o n c e r n s i n t o a f e w o f t h e q u e s t i o n s . Th e M CO
b a n k r e c e n t l y i n c l u d e d a n u m b e r o f n e w s u b j e c t a r e a s
w h i c h w e r e f e l t t o b e u n d e r - r e p r e s e n t e d i n t h e p a s t ;
t h e y a r e : c a r e o f t h e e l d e r l y , p h y s i c a l m e d i c i n e a n d
t r a u m a , i n f e c t i o u s d i s e a s e s , a n d e t h i c a l i s s u e s .
We h a v e i n c r e a s e d t h e n u m b e r o f q u e s t i o n s o n
p r a c t i c e o r g a n i z a t i o n a n d h o p e t o d o s o a g a i n i n t h e
f u t u r e . We a r e a l s o h o p i n g t o i n t r o d u c e f u r t h e r q u e s -
t i o n s w h i c h a i m t o t e s t m o r e t h a n s i m p l e f a c t u a l r e c a l l .
A m a j o r i t y o f t h e e x a m i n e r s w o u l d l i k e t h e M CQ t o
h a v e a c u t - o f f p o i n t
- a m i n i m u m m a r k w h i c h w o u l d
h a v e t o b e a t t a i n e d b y a l l c a n d i d a t e s w h o a r e i n v i t e d t o
t h e o r a l s . Th i s w o u l d p o t e n t i a l l y h a v e a d r a m a t i c e f f e c t
o n t h e w a y c a n d i d a t e s a p p r o a c h e d t h e e x a m i n a t i o n , a s
a m i n i m u m l e v e l o f f a c t u a l k n o w l e d g e w o u l d b e e s s e n -
t i a l t o p a s s i t ; a r e t h e t r a i n i n g s c h e m e s r e a d y f o r t h i s ?
A s e l e c t i o n o f 1 0 q u e s t i o n s t a k e n f r o m a r e c e n t M CO
p a p e r i s g i v e n , w i t h a n n o t a t e d a n s w e r s , i n Ap p e n d i x 1 .