235

Psychology and Psychotherapy: Theory, Research and Practice (2016), 89, 235–238
Published 2015. This article is a U.S. Government work and is in the public domain in the USA

www.wileyonlinelibrary.com

Brief report
Does using cognitive-behavioural therapy skills
predict improvements in depression?
Natalie E. Hundt1,2,3*, Jessica Sepulveda Calleo2,4
Wright Williams2,4 and Jeffrey A. Cully1,2,3
1
Houston VA HSR&D Center for Innovations in Quality, Effectiveness and
Safety, Michael E. DeBakey VA Medical Center, Houston, Texas, USA
2
Menninger Department of Psychiatry and Behavioral Sciences, Baylor
College of Medicine, Houston, Texas, USA
3
VA South Central Mental Illness Research, Education and Clinical Center
(a virtual center), Houston, Texas, USA
4
Michael E. DeBakey VAMC, Mental Health Service Line, Houston, Texas, USA

We examined symptoms and use of cognitive-behavioural therapy (CBT) skills

during treatment for 60 outpatients receiving group CBT for depression.
Depression symptoms decreased significantly and frequency of skills use
increased significantly during treatment, and increases in skills use from pre-
treatment to mid-treatment predicted changes in depression at post-treatment.

Practitioner points
Patients who report infrequent use of skills may be at risk for treatment non-response,
which can provide an early warning sign for clinicians.
Potential interventions include more psychoeducation about the treatment rationale to
increase ‘buy-in’ or motivational interviewing to increase skills use.

Cognitive-behavioural theory suggests that skills learned in treatment, such as

cognitive restructuring, are one active ingredient in treatment that may affect
cognitive content and depression. Preliminary evidence indicates that patients’
frequency of skill use predicts improvement in depression symptoms (Jacob,
Christopher, & Neuhaus, 2011; Jarrett, Clark, Vittengl, & Thase, 2011; Neuhaus,
Christopher, Jacob, Guillamot, & Burns, 2007); however, conclusions about the role
of CBT skills remain preliminary (Hundt, Mignogna, Underhill, & Cully, 2013). The
purpose of the current study was to examine whether CBT skills use predicted
treatment outcome in a naturalistic outpatient setting. We examined symptoms and
skills use and predicted that (1) CBT skills use would increase and depression
symptoms decrease during treatment and (2) increases in use of CBT skills would
predict treatment outcome.

*Correspondence should be addressed to Natalie E. Hundt, VA HSR&D Houston Center of Innovation,

MEDVAMC 152, 2002 Holcombe Blvd., Houston, TX 77030, USA (email: Natalie.Hundt@va.gov).

DOI:10.1111/papt.12065
236 Natalie E. Hundt et al.

Method
Participants
All patients were referred by their primary mental health provider at a Veterans Affairs (VA)
outpatient clinic to address depression. Included were 60 patients with a depressive disorder
or dysthymia, as determined by a review of patients’ medical records. Patients joined one of
eight CBT groups and continued to receive other services as recommended by their mental
health providers; no patient received concurrent individual CBT. Patients averaged 58.5 years
of age (SD = 9.4) were predominantly male (91%), African American (58%) or White (35%),
an expected demographic distribution for US Veterans. Most patients had comorbid
diagnoses, including post-traumatic stress disorder (PTSD) (62%), another anxiety disorder
(28%) and substance abuse (39%). Pre-treatment Beck Depression Inventory (BDI) scores
reflected severe depression (see Table 1), and 87% were on antidepressant medications.

Intervention
Patients received ten 75-min or twelve 60-min sessions of group CBT for depression,
based upon therapist schedule/availability, which addressed behavioural activation,
cognitive restructuring and interpersonal skills. Groups were led by two therapists with at
least 5 years of CBT training, including a licensed clinical psychologist and a postdoctoral
fellow supervised by a licensed psychologist.

Measures
The BDI (Beck, Steer, & Brown, 1996) is a widely used 21-item depression inventory with good
internal consistency (a = .93 in the current sample) and validity (Beck et al., 1996).
The Cognitive-Behavioural Therapy Skills Questionnaire (CBTSQ; Jacob et al., 2011) is a
16-item client-report questionnaire assessing frequency of CBT skills use on a 5-point scale,
with subscales for behavioural activation and cognitive restructuring skills. The CBTSQ has
good reliability (a = .83 and .90 in the current sample) and validity (Jacob et al., 2011).

Procedure
Clinicians administered the measures at the beginning, middle and end of treatment.
Research approvals were obtained to extract this data by chart review.

Results
Patients attended 77% of the scheduled sessions. Eight patients (13%) attended less
than half of the sessions and were categorized as non-completers. Patients who did not

Table 1. Means and standard deviations for BDI and CBTSQ scores across time

Measure Pre-treatment Mid-treatment Post-treatment Repeated-measures ANOVA

BDI 35.66 (10.28) 31.51 (11.93) 28.19 (11.31) F(1.96, 101.91) = 22.98, p < .01
CBTSQ total 34.63 (10.46) 39.02 (10.42) 40.71 (11.33) F(1.71, 85.73) = 12.71, p < .01
BA subscale 13.55 (4.89) 15.76 (5.13) 16.43 (5.03) F(1.80, 92.99) = 13.09, p < .01
CR subscale 21.08 (6.82) 23.25 (6.45) 24.27 (7.15) F(1.77, 85.62) = 6.98, p < .01

Note. BDI = Beck Depression Inventory; CBTSQ = Cognitive-Behavioural Therapy Skills

Question-naire; BA = behavioural activation; CR = cognitive restructuring.
 CBT skills in group therapy for depression
237

complete treatment were significantly older (65.5 vs. 57.6, p = .023) and less
depressed (BDI score 24.5 vs. 35.7, p = .014).
Multiple imputations were used to account for missing data, although results were
identical with listwise deletion. Repeated-measures ANOVAs (Table 1) indicated that BDI
scores changed over time. Polynomial contrasts indicated a significant linear trend
corresponding to a moderate treatment effect size (Cohen’s d = .60); 35% of patients
experienced a BDI decrease that met criteria for a reliable change (10 points; Jacobson
& Truax, 1991). Similarly, CBTSQ scores were significantly different over time, with
polynomial contrasts indicating a significant linear trend indicating that skills increased
over time and corresponding to a moderate effect size (d = .57). Use of behavioural
activation skills and cognitive restructuring skills both increased over time (Table 1).
Next, linear regressions examined the relationship between skills use and depression
severity. Increases in skills use from pre- to mid-treatment predicted overall change in
depression (pooled B = .285, SE = 0.114, p = .013), such that patients who used more than
the mean number of skills experienced an average BDI score decrease of 9.8 points, whereas
patients who used fewer than the mean number of skills experienced an average BDI decrease
of 4.0 points. Behavioural activation and cognitive restructuring skills were highly correlated (r
= .60 to .74), and neither skill type individually predicted change in BDI scores when included
in the same regression (Table 2).
Finally, we examined potential confounds. Change in skills remained a significant
predictor of change in depression over and above the effect of increasing or starting
antidepressants (pooled B = .218, SE = 0.104, p = .037), number of these CBT group
sessions attended (pooled B = .225, SE = 0.104, p = .032), concurrent engagement
in other therapy (pooled B = .234, SE = 0.103, p = .029) or PTSD diagnosis (pooled
B = .239, SE = 0.103, p = .021).

Discussion
Depression symptoms decreased and skills use increased during treatment. Increases in
skills use predicted outcome, a finding consistent with hypotheses and previous research
(e.g., Jarrett et al., 2011; Neuhaus et al., 2007). Only total skills, rather than behavioural
activation or cognitive restructuring skills alone, predicted outcome. Statistical
multicollinearity between skill types may have prevented detection of individual effects,
suggesting that patients who are more adherent to using one type of skill learned during
treatment may also be more adherent to using another type of skill. Patients in the current
study were severely depressed, and although severe depression may hamper patients’
ability to engage in skills use, these results indicate that even very severely depressed
patients can increase their use of adaptive skills. Although the

Table 2. Hierarchical linear regressions predicting pre-/postchange in BDI scores

b SE p DR2 B SE p DR2
Predictor Predictors
Pre- to .285 0.114 .013 .09 Pre- to mid-change .238 0.304 .435 .09
mid-treatment in BA
total skills Pre- to mid-change .190 0.195 .330
change in CR

Note. BDI = Beck Depression Inventory; BA = behavioural activation; CR = cognitive restructuring.

238 Natalie E. Hundt et al.

treatment effect in this study was moderate, it was greater than the established minimally
clinically significant change on the BDI (Hiroe et al., 2005) and is consistent with previous
studies of CBT in US Veterans (Mohr, Carmody, Erickson, Jin, & Leader, 2011).
Limitations include only patient-report data, restriction of the sample to US
Veterans and lack of assessment of therapist adherence/competence. Future studies
should examine weekly changes in skills to further establish directionality of effects
and examine quality of the skills used. These results suggest that patients who report
infrequent use of skills may be at risk for treatment non-response, which can provide
an early warning sign for clinicians about the need for intervention.

Acknowledgements
This research was supported by the Office of Academic Affiliations VA Advanced Fellowship
Program in Mental Illness Research and Treatment, and the Department of Veterans Affairs
South Central Mental Illness Research Education and Clinical Center (MIRECC), VA HSR&D
Grant 09-088 (PI: J. Cully), and partly supported by the VA HSR&D Houston Center for
Innovations in Quality, Effectiveness and Safety (#CIN 13-413). The views expressed reflect
those of the authors and not necessarily the policy or position of the Department of Veterans
Affairs, the US government or Baylor College of Medicine. None of these bodies played a role
in study design, in the collection, analysis and interpretation of data, in the writing of the report
or in the decision to submit the article for publication.

References
Beck, A. T., Steer, R. A., & Brown, G. K. (1996). The Beck Depression Inventory (2nd ed.).
San Antonio, TX: The Psychological Corporation.
Hiroe, T., Kojima, M., Yamamoto, I., Nojima, S., Kinoshita, Y., Hashimoto, N., . . . Furukawa,
T. A. (2005). Gradations of clinical severity and sensitivity to change assessed with the
Beck Depression Inventory-II in Japanese patients with depression. Psychiatry Research,
135(3), 229–235. doi:10.1016/j.psychres.2004.03.014
Hundt, N. E., Mignogna, J., Underhill, C., & Cully, J. A. (2013). The relationship between use
of CBT skills and depression treatment outcome: A theoretical and methodological review
of the literature. Behavior Therapy, 44(1), 12–26. doi:10.1016/j.beth.2012.10.001
Jacob, K. L., Christopher, M. S., & Neuhaus, E. C. (2011). Development and validation of the
Cognitive-Behavioral Therapy Skills Questionnaire. Behavior Modification, 35(6), 595–618.
doi:10.1177/0145445511419254
Jacobson, N. S., & Truax, P. (1991). Clinical significance: A statistical approach to defining
meaningful change in psychotherapy research. Journal of Consulting and Clinical
Psychology, 59(1), 12–19. doi:10.1037/0022-006X.59.1.12
Jarrett, R. B., Clark, L. A., Vittengl, J. R., & Thase, M. E. (2011). Skills of Cognitive Therapy
(SoCT): A new measure of patients’ comprehension and use. Psychological Assessment,
23(3), 578–586. doi:10.1037/a0022485
Mohr, D. C., Carmody, T., Erickson, L., Jin, L., & Leader, J. (2011). Telephone-administered
cognitive behavioral therapy for veterans served by community-based outpatient clinics.
Journal of Consulting and Clinical Psychology, 79(2), 261–265. doi:10.1037/a0022395
Neuhaus, E. C., Christopher, M., Jacob, K., Guillamot, J., & Burns, J. P. (2007). Short-term
cognitive behavioral partial hospital treatment: A pilot study. Journal of Psychiatric Practice,
13(5), 298–307. doi:10.1097/01.pra.0000290668.10107.f3

Received 3 January 2014; revised version received 11 May 2015

¿El uso de habilidades de terapia cognitivo-conductual predice mejoras en la depresión?

Examinamos los síntomas y el uso de las habilidades de terapia cognitivo-conductual (TCC) durante el
tratamiento para 60 pacientes ambulatorios que reciben TCC grupal para la depresión. Los síntomas de
depresión disminuyeron significativamente y la frecuencia de uso de habilidades aumentó significativamente
durante el tratamiento, y los aumentos en el uso de habilidades desde el pretratamiento hasta los cambios
predichos a mitad del tratamiento en la depresión en el post-tratamiento.

Puntos de practicantes

Los pacientes que informan el uso poco frecuente de las habilidades pueden estar en riesgo de no respuesta
al tratamiento, lo que puede proporcionar un signo de advertencia temprana para los médicos.

Las posibles intervenciones incluyen más psicoeducación sobre el fundamento del tratamiento para aumentar
el "buy-in" o entrevistas motivacionales para aumentar el uso de habilidades.

La teoría del comportamiento cognitivo sugiere que las habilidades aprendidas en el tratamiento, como la
reestructuración cognitiva, son un ingrediente activo en el tratamiento que puede afectar el contenido cognitivo
y la depresión. La evidencia preliminar indica que la frecuencia de uso de habilidades de los pacientes predice
una mejoría en los síntomas de depresión (Jacob, Christopher, y Neuhaus, 2011; Jarrett, Clark, Vittengl, y
Thase, 2011; Neuhaus, Christopher, Jacob, Guillamot y Burns, 2007); sin embargo, las conclusiones sobre el
papel de las habilidades de TCC siguen siendo preliminares (Hundt, Mignogna, Underhill y Cully, 2013). El
propósito del presente estudio fue examinar si las habilidades de CBT utilizan el resultado del tratamiento
predicho en un entorno ambulatorio naturalista. Examinamos los síntomas y el uso de habilidades y predijeron
que (1) el uso de habilidades de CBT aumentaría y los síntomas de depresión disminuirían durante el
tratamiento y (2) los aumentos en el uso de habilidades de CBT predecirían el resultado del tratamiento.

Método

Participantes
Todos los pacientes fueron remitidos por su proveedor primario de salud mental a una clínica ambulatoria de
Veterans Affairs (VA) para tratar la depresión. Se incluyeron 60 pacientes con un trastorno depresivo o
distimia, según lo determinado por una revisión de los registros médicos de los pacientes. Los pacientes se
unieron a uno de los ocho grupos de TCC y continuaron recibiendo otros servicios según lo recomendado por
sus proveedores de salud mental; ningún paciente recibió CBT individual concurrente. Los pacientes con un
promedio de 58.5 años de edad (DE = 9.4) eran predominantemente varones (91%), afroamericanos (58%) o
blancos (35%), una distribución demográfica esperada para los veteranos de EE. UU. La mayoría de los
pacientes tenían diagnósticos comórbidos, incluidos el trastorno de estrés postraumático (TEPT) (62%), otro
trastorno de ansiedad (28%) y el abuso de sustancias (39%). Las puntuaciones del Inventario de Depresión
Beck (BDI) pretratamiento reflejaban depresión severa (ver Tabla 1), y el 87% tomaban medicamentos
antidepresivos.

Intervención

Los pacientes recibieron diez sesiones de 75 minutos o doce sesiones de 60 minutos de CBT grupal para la
depresión, según el programa / disponibilidad del terapeuta, que abordaba la activación del comportamiento, la
reestructuración cognitiva y las habilidades interpersonales. Los grupos fueron dirigidos por dos terapeutas con
al menos 5 años de capacitación CBT, incluyendo un psicólogo clínico con licencia y un becario postdoctoral
supervisado por un psicólogo con licencia.

Medidas

El BDI (Beck, Steer y Brown, 1996) es un inventario de depresión de 21 ítems ampliamente utilizado con
buena consistencia interna (a = 0,93 en la muestra actual) y validez (Beck et al., 1996).

El Cuestionario de Habilidades de Terapia Cognitivo-Conductual (CBTSQ, Jacob et al., 2011) es un

cuestionario de informe de clientes de 16 ítems que evalúa la frecuencia del uso de habilidades CBT en una
escala de 5 puntos, con subescalas para activación conductual y habilidades de reestructuración cognitiva. El
CBTSQ tiene buena confiabilidad (a = .83 y .90 en la muestra actual) y validez (Jacob et al., 2011).

Procedimiento

Los médicos administraron las medidas al comienzo, en el medio y al final del tratamiento.
Se obtuvieron aprobaciones de investigación para extraer estos datos mediante una revisión de gráficos.

Resultados
Los pacientes asistieron al 77% de las sesiones programadas. Ocho pacientes (13%) asistieron a menos de la
mitad de las sesiones y se clasificaron como no completados. Pacientes que no lo hicieron

Tabla 1. Medias y desviaciones estándar para las puntuaciones BDI y CBTSQ a lo largo del tiempo

el tratamiento completo fue significativamente más antiguo (65.5 frente a 57.6, p = .023) y menos deprimido
(índice de BDI de 24.5 frente a 35.7, p = .014).

Se usaron múltiples imputaciones para dar cuenta de los datos faltantes, aunque los resultados fueron
idénticos a la supresión de la lista. ANOVA de medidas repetidas (Tabla 1) indicó que los puntajes de BDI
cambiaron con el tiempo. Los contrastes polinómicos indicaron una tendencia lineal significativa que
corresponde a un tamaño de efecto de tratamiento moderado (d de Cohen = .60); El 35% de los pacientes
experimentó una disminución del BDI que cumplió los criterios para un cambio confiable (10 puntos, Jacobson
y Truax, 1991). De manera similar, los puntajes de CBTSQ fueron significativamente diferentes a lo largo del
tiempo, con contrastes polinomiales que indican una tendencia lineal significativa que indica que las
habilidades aumentaron con el tiempo y correspondieron a un tamaño de efecto moderado (d = .57). El uso de
las habilidades de activación del comportamiento y las habilidades de reestructuración cognitiva aumentaron
con el tiempo (Tabla 1).

A continuación, las regresiones lineales examinaron la relación entre el uso de habilidades y la severidad de la
depresión. Los aumentos en el uso de habilidades del precompromedio a medio tratamiento predijeron
cambios generales en la depresión (B = .285 agrupado, SE = 0.114, p = .013), de modo que los pacientes que
usaron más que el número medio de habilidades experimentaron un puntaje promedio de BDI disminución de
9.8 puntos, mientras que los pacientes que usaron menos que el número medio de habilidades experimentaron
una disminución promedio de BDI de 4.0 puntos. La activación del comportamiento y las habilidades de
reestructuración cognitiva estaban altamente correlacionadas (r = .60 a .74), y ninguno de los tipos de
habilidades individualmente predijo el cambio en las puntuaciones de BDI cuando se incluyeron en la misma
regresión (Tabla 2).

Finalmente, examinamos los posibles factores de confusión. El cambio en las habilidades siguió siendo un
predictor significativo del cambio en la depresión más allá del efecto del aumento o el inicio de antidepresivos
(B = .218 combinado, SE = 0.104, p = .037), el número de sesiones de este grupo asistió (B =. 225, SE =
0.104, p = .032), compromiso concurrente en otra terapia (conjunto B = .234, SE = 0.103, p = .029) o
diagnóstico de TEPT (conjunto B = .239, SE = 0.103, p =. 021).

Discusión

Los síntomas de depresión disminuyeron y el uso de habilidades aumentó durante el tratamiento. Los
aumentos en las habilidades usan el resultado previsto, un hallazgo consistente con las hipótesis y la
investigación previa (por ejemplo, Jarrett et al., 2011; Neuhaus et al., 2007). Solo las habilidades totales, más
que la activación conductual o las habilidades de reestructuración cognitiva por sí solas, pronostican el
resultado. La multicolinealidad estadística entre los tipos de habilidades puede haber impedido la detección de
efectos individuales, lo que sugiere que los pacientes que son más adherentes al uso de un tipo de habilidad
aprendida durante el tratamiento también pueden ser más adherentes al uso de otro tipo de habilidad. Los
pacientes en el estudio actual estaban severamente deprimidos, y aunque la depresión severa puede
obstaculizar la capacidad de los pacientes para participar en el uso de habilidades, estos resultados indican
que incluso los pacientes muy deprimidos pueden aumentar su uso de habilidades adaptativas. Aunque el el
efecto del tratamiento en este estudio fue moderado, fue mayor que el cambio mínimo clínicamente
significativo establecido en el BDI (Hiroe et al., 2005) y es consistente con estudios previos de CBT en
veteranos de EE. UU. (Mohr, Carmody, Erickson, Jin, & Líder, 2011).

Las limitaciones incluyen solo los datos del informe del paciente, la restricción de la muestra a los veteranos de
EE. UU. Y la falta de evaluación de la adherencia / competencia del terapeuta. Los estudios futuros deberían
examinar los cambios semanales en las habilidades para establecer aún más la direccionalidad de los efectos
y examinar la calidad de las habilidades utilizadas. Estos resultados sugieren que los pacientes que informan
el uso poco frecuente de las habilidades pueden estar en riesgo de no respuesta al tratamiento, lo que puede
proporcionar un signo de advertencia temprana para los médicos sobre la necesidad de intervención.

Expresiones de gratitud
Esta investigación fue apoyada por la Oficina de Afiliaciones Académicas VA Advanced Fellowship Program en
Investigación y Tratamiento de Enfermedades Mentales, y el Departamento de Asuntos de Veteranos Centro
de Educación y Centro Clínico de Investigación de Enfermedades Mentales del Sur (MIRECC), VA HSR & D
Grant 09-088 (PI: J . Cully), y parcialmente respaldado por el VA HSR & D Houston Center for Innovations in
Quality, Effectiveness and Safety (# CIN 13-413). Las opiniones expresadas reflejan las de los autores y no
necesariamente la política o la posición del Departamento de Asuntos de Veteranos, el gobierno de EE. UU. O
la Facultad de Medicina de Baylor. Ninguno de estos organismos desempeñó un papel en el diseño del
estudio, en la recopilación, análisis e interpretación de datos, en la redacción del informe o en la decisión de
enviar el artículo para su publicación.