
Nous savons que:

\[
\prodscal{BD}{BA} = BD \times BA \times \cos\angle{DBA}.
\]

Notons $\alpha=\angle{CBA}$.

Dans le triangle $ABC$ rectangle en $A$, on a :
\[
\cos(\alpha)=\dfrac{AB}{BC}=\dfrac{5}{\sqrt{}34}
\qquad \text{et}\qquad
\sin(\alpha) = \dfrac{AC}{BC}=\dfrac{3}{\sqrt{34}}.
\]
D'après la formule donnée dans l'énoncé (qui, soit-dit en passant, n'a rien de magique!),
\begin{align*}
\cos\angle{DBA} & = \cos\big(30^\circ + \alpha\big)\\
& = \cos(30^\circ)\cos(\alpha) - \sin(30^\circ)\sin(\alpha)\\
& = \dfrac{\sqrt3}{2}\times\dfrac{5}{\sqrt{34}} - \dfrac{1}{2}\times\dfrac{3}{\sqrt{34}}\\
& = \dfrac{5\sqrt3-3}{2\sqrt{34}}.
\end{align*}
De plus, dans le triangle $BDC$ rectangle en $D$,
\[
\underbrace{\cos(30^\circ)}_{=\frac{1}{2}} = \dfrac{BD}{BC}=\dfrac{BD}{\sqrt{34}} \iff BD = \dfrac{\sqrt{34}}{2}.
\]
Ainsi,
\begin{align*}
\prodscal{BD}{BA} = \dfrac{\sqrt{34}}{2} \times 5 \times \dfrac{5\sqrt3-3}{2\sqrt{34}}\\[8pt]
\Aboxed{\prodscal{BD}{BA} = \dfrac{25\sqrt3-15}{4}}.
\end{align*}
