You are on page 1of 11

Summary Technical Documentation: 

Panbio Leptospira IgM ELISA  
02PE10 / 02PE11
 

 
 
 
Part 6. Analytical Performance 
 
1. Specimen type  
2. Trueness of measurement 
3. Precision of measurement 
  ‐Repeatability 
  ‐Reproducibility 
4. Analytical sensitivity 
5. Analytical specificity 
6. Traceability of calibrator and controls 
7. Measuring range of assay 
8. Determination of assay cut‐off 

31/55 
Summary Technical Documentation: 
Panbio Leptospira IgM ELISA  
02PE10 / 02PE11
1. Specimen Type
The Panbio Leptospira IgM ELISA is intended to be used with serum only.
As indicated in the IFU, serum should be prepared according to standard procedures.
Blood obtained by venipuncture should be left to clot at room temperature (20‐25ºC)
and  then  centrifuged  according  to  the  Clinical  and  Laboratory  Standards  Institute
(CLSI)  (Approved  Standard  ‐  Procedures  for  the  Collection  of  Diagnostic  Blood
Specimens by Venipuncture, H3‐A5, 2003).
Also, the IFU contain instructions on the storage of serum once it has been obtained.
No specific studies have been conducted to validate the specimen type. Instead, all of
the  clinical  and  other  studies  have  been  performed  using  serum  that  has  been
prepared and stored according to the instructions in the IFU.
In  this  manner,  the  specimen  type  has  been  validated  through  clinical  and
performance studies.

2. Trueness of Measurement
Not applicable.
There  are  no  reference  standards  or  methods  for  the  detection  of  IgM  antibodies
against Leptospira serotypes.
Accuracy  of  the  assay  has  been  determined  by  clinical  Performance  evaluation  of
sensitivity and specificity

3. Precision of Measurement
3.1 Repeatability
The repeatability and reproducibility of the Panbio Leptospira IgM ELISA kit was 
determined by testing 8 sera with a range of reactivities, three times each, using 
three different batches, on three different days. 

32/55 
Summary Technical Documentation: 
Panbio Leptospira IgM ELISA  
02PE10 / 02PE11
Based on this study, within‐run (intra‐assay precision or repeatability), between‐
day (inter‐assay precision or reproducibility), between batch, and total precision 
were estimated and are presented in the table below. 
 

Repeatability and Reproducibility Panbio Leptospira IgM ELISA 
      Within  Between Day  Between Batch  Total 
Sample  n  *Mean  *SD  CV  *SD  CV  *SD  CV  *SD  CV 
Positive  27  2.42  0.14  5.7%  0.07  3.0%  0.09  3.8%  0.17  6.9% 
Cut‐off  27  1.00  0.03  3.4%  0.00  0.0%  0.00  0.0%  0.03  3.2% 
Negative  27  0.09  0.01  10.3%  0.00  3.2%  0.00  0.0%  0.01  10.6% 
#1  27  3.31  0.19  5.6%  0.19  5.7%  0.67  20.1%  0.60  18.3% 
#2  27  3.33  0.16  4.9%  0.13  3.8%  0.63  18.9%  0.56  16.8% 
#3  27  2.91  0.22  7.6%  0.16  5.5%  0.76  26.3%  0.69  23.6% 
#4  27  1.53  0.10  6.6%  0.00  0.0%  0.31  20.0%  0.27  17.8% 
#5  27  1.03  0.05  4.5%  0.03  3.3%  0.19  18.9%  0.17  16.6% 
#6  27  1.36  0.11  8.2%  0.06  4.2%  0.18  13.1%  0.19  14.1% 
#7  27  0.95  0.08  7.9%  0.04  4.6%  0.06  6.2%  0.10  10.2% 
#8  27  0.77  0.05  6.5%  0.00  0.0%  0.04  5.2%  0.06  7.8% 
SD   Standard Deviation 
CV  Coefficient of Variation 
*Index  value  is  calculated  by  dividing  the  sample  absorbance  by  the  cut‐off  value.  All values are
calculated from Index values (Cut-off using OD)
 
Based on the results of the study, it was concluded that the repeatability (intra‐
assay variation) of the assay is acceptable.  
 
 
3.2 Reproducibility 
Reproducibility  was  assessed  in  the  same  study  as  repeatability.  See  above  for 
details.  
Based  on  the  results  of  the  study,  it  was  concluded  that  the  reproducibility 
(inter‐assay variation) of the assay is acceptable. 

33/55 
Summary Technical Documentation: 
Panbio Leptospira IgM ELISA  
02PE10 / 02PE11
4. Analytical Sensitivity 
Analytical sensitivity was assessed using clinical samples.  
See Performance evaluation for more details. 
 
5. Analytical Specificity 
Serological specificity was assessed using clinical samples, see performance evaluation 
for more details. 
Potential  cross‐reactivity  for  antibodies  against  related  infectious  diseases  was 
assessed.  
A  panel  of  60  serum  specimens  from  patients  with  confirmed  diseases  other  than 
Leptospira infection that have the potential for cross‐reactivity was tested.  
Disease status of these samples was characterised by serology. 
The results from the cross‐reactivity study are summarised in the table below.  

Cross‐reactivity Data: Panbio Leptospira IgM ELISA 
Disease Type  Total Specimens  Positive Result 
Epstein‐Barr virus  10  0/10 
Ross River virus  10  0/10 
Brucella  10  0/10 
Influenza A  7  0/7 
Influenza B  7  1/7 
Q fever  6  1/6 
Scrub typhus  10  2/10 
Total  60  4/60 
 
Overall the results indicated that potential for cross‐reactivity was low.  
 
 

34/55 
Summary Technical Documentation: 
Panbio Leptospira IgM ELISA  
02PE10 / 02PE11
6. Traceability of Calibrator and Controls 
A reactive control is provided with the product.  
The  reactive  control  is  manufactured  from  human  serum  that  is  reactive  for  anti‐
Leptospira IgM antibodies. 
The  manufacturer  is  not  aware  of  any  generally  recognized  standard  or  reference 
material for the positive control, as such it is calibrated using internal procedures.  
 
7. Measuring Range of Assay 
Not applicable.  
The  assay  is  intended  to  be  used  as  a  qualitative  aid  for  the  detection  of  anti‐
Leptospira IgM antibodies.  
Performance  of  the  assay  has  been  tested  by  clinical  performance  evaluations  of 
sensitivity and specificity. 
 
8. Determination of Assay Cut‐Off 
The  diagnostic  cut‐off  for  the Panbio  Leptospira  IgM  ELISA  was  based  on  performing 
the assay using population samples that have been characterised as either positive or 
negative Leptospira infection.  
Characterisation  of the population samples was performed by reference laboratories 
using  a  combination  of  serological  assays,  where  possible  on  paired  samples  and 
sometimes antigen testing such as PCR. 
A statistically significant number of samples was assayed.  
A  Receiver  Operator  Curve  (ROC)  analysis  is  performed  on  the  population  samples 
Based  on  this  analysis  an  analytical  cut‐off  with  an  optimal  F  value  (sensitivity  and 
specificity) was chosen. 
 

35/55 
Summary Technical Documentation: 
Panbio Leptospira IgM ELISA  
02PE10 / 02PE11
 
 
 
 
 
Part 7. Clinical Performance 
 
1. Clinical utility 
2. Equivalence evaluation between SD and PANBIO product 
3. Performance evaluation  

36/55 
Summary Technical Documentation: 
Panbio Leptospira IgM ELISA  
02PE10 / 02PE11
1. Clinical Utility  
The clinical utility of detecting anti‐Leptospira IgM antibodies as an aid to the clinical 
diagnosis of patients with symptoms consistent with leptospirosis is well established.  
 
2. Equivalence Evaluation between SD and PANBIO product 
2.1 Clinical Sensitivity & Specificity
A  total  of  80  endemic  population  sera  collected  from  Sri  Lanka  and  S&N 
pathology  laboratory  (SNP)  were  tested  on  both  Leptospira  IgM  ELISA  Kit 
manufactured at IMIA (Australia) and Leptospira IgM ELISA Kit manufactured at 
Standard Diagnostics (Korea). 
The  endemic  population  sera  were  characterized  with  MAT  for  detecting  the 
antibody  in  the    human  serum  from  Leptospirosis.  The  results  were  used  to 
determine  the  relative  serological  sensitivity,  specificity  and  agreement  (Kappa 
value) of the assay. The data is summarized in the table as below. 
 
Table ‐ Serological Sensitivity & Specificity of Panbio Leptospira IgM ELISA KIT  
manufactured at Standard Diagnostics in Korea
Panbio Leptospira IgM ELISA KIT(IMIA) Lot #12065 
Classification  (Expiry: 2013‐06) 
Positive  Negative  Total 
Panbio Leptospira IgM  Positive  27  0  27 
ELISA KIT(SD) 
Negative  0  53  53 
Lot #261001 
(Expiry: 2013. 10. 13.)  Total  27  53  80 

 
Above  results  have  been  analyzed  to  justify  the  equivalency  between  Panbio 
manufactured  kit  and  SD  manufactured  kit  using  the  SPSS  for  achieving  the 
kappa co‐efficient value. The kappa co‐efficient value was acceptable as per 1.00 
refer to the method (SDT‐E‐P029) for statistical technique for comparison of kits. 
The range for passing the kappa co‐efficient value has been described as per 0.85 

37/55 
Summary Technical Documentation: 
Panbio Leptospira IgM ELISA  
02PE10 / 02PE11
≤ kappa co‐efficient ≤ 1.00 in the method for SDT‐E‐P029. 

In  conclusion,  SD  manufactured  Leptospira  IgM  ELISA  kit  for  validation  batch  1 
was equivalent with Panbio manufactured kit in regards to the testing results for 
equivalency. 
 
3. Performance Evaluation  
3.1 Introduction to Clinical Diagnosis of Leptospirosis 
Human leptospirosis is a zoonotic disease of global importance and is caused by 
a spirochaete bacterium called Leptospira spp. 
Pathogenic  leptospires  are  endemic  among  most  feral  and  domestic  animals, 
especially  rodents.  The  leptospiral  infections  that  occur  in  humans  result  from 
direct  or  indirect  contact  with  infected  soil,  water,  vegetation  or  body  fluids 
(especially urine) from infected animals. The organism enters the body through 
cuts  or  abrasions  of  the  skin,  or  through  mucosal  membranes.  Infections  may 
therefore be related to occupational or recreational activities. Person to person 
transmission is rare. 
Infection may range in presentation from subclinical to severe. Onset is usually 
sudden,  with  symptoms  including  headache,  fever,  muscle  pains,  conjunctival 
infection, meningitis and abdominal pains. Severe complications such as hepato‐
renal  failure  and  central  nervous  system  involvement  may  arise,  particularly  if 
diagnosis and treatment is delayed. 
The acute or leptospiraemic phase of the disease lasts approximately 7 days and 
is  followed  by  the  immune  phase  in  which  immunoglobulins  are  produced  to 
eliminate the organisms from blood and tissues. 
Acute‐phase  diagnosis  has  traditionally  been  performed  using  one  or  more  of 
the following techniques: 
 Leptospira‐specific IgM‐ELISA 
 Leptospira‐specific IgM‐ELISA lateral flow enzyme immunosorbent 

38/55 
Summary Technical Documentation: 
Panbio Leptospira IgM ELISA  
02PE10 / 02PE11
 The  direct  culture  of  blood,  cerebrospinal  fluid  or  urine,  although  this 
requires specialised facilities to culture the pathogenic bacteria 
 
Increasingly molecular methods such as standard or real‐time PCR are also used 
to aid in the diagnosis of acute phase infections.  
Diagnosis  during  the  immune  phase  is  typically  performed  using  a  microscopic 
agglutination test (MAT). The MAT detects the presence of antibodies specific to 
leptospires, using a panel of antigens in the form of inactivated or live organisms.  
In some cases IgM antibodies persist for extended periods so a combination of 
IgM ELISA and MAT can be used as complementary diagnostic techniques.  
 

39/55 
Summary Technical Documentation: 
Panbio Leptospira IgM ELISA  
02PE10 / 02PE11
3.2 Performance Evaluation: Sensitivity and Specificity using Serum 
Samples 
As part of an in‐house study, 252 characterised sera were tested on the PANBIO 
Leptospira IgM ELISA. The serological status of these samples was characterised 
using MAT and included: 
 57 seropositive samples 
 195 leptospira samples 
It  should  be  noted  that  this  study  only  attempted  to  define  “Serological” 
sensitivity and specificity in comparison to the MAT test which is commonly used 
to diagnose leptospirosis.  
There was not an attempt to correlate the assay’s results with disease presence 
or absence. No judgement can be made on the comparison’s accuracy to predict 
disease.  Since  the  above  studies  were  performed  on  a  pre‐selected, 
retrospective,  population,  no  calculations  for  the  assay’s  positive  and  negative 
predictive value may be done or inferred. 
The results from the evaluation study are presented in the table below.  
 
Serological Sensitivity and Specificity of the Panbio Leptospira IgM ELISA 
Sera  Panbio Leptospira IgM ELISA 
Characterisation  Positive  Negative  Total 
Seronepositive  55  2  57 
Seronegative  3  192  195 
Total  58  194  252 
 
Summary of Performance 
         95% CI 
Serological Sensitivity  = 55/57      = 96.5%      87.9 ‐ 99.6% 
Serological Specificity    = 192/195    = 98.5%      95.6 ‐ 99.7% 
Serological Agreement   = 247/252    = 98.0%      95.4 – 99.3% 

40/55 
Summary Technical Documentation: 
Panbio Leptospira IgM ELISA  
02PE10 / 02PE11
3.3 Performance Evaluation: Summary 
Overall the clinical performance of the Panbio Leptospira IgM ELISA is considered 
to be acceptable. 
Based on the performance evaluation, agreement on serological status between 
MAT and the product is considered to be good (98%).  
It is acknowledged that in some cases there is not a strong correlation between 
serological  status  and  disease  status.  Also,  in  endemic  regions  anti‐Leptospira 
antibodies may persist for extended periods and another disease may actually be 
the cause of clinical symptoms. Both of these limitations are broadly understood. 
In this context, the Panbio Leptospira IgM ELISA is considered to be a useful aid 
in the diagnosis of patients with symptoms consistent with leptospirosis. 
 
 

41/55 

You might also like