chart.jsのデータラベル色変更について

現在chart.jsを用いて横棒グラフを作成しています。
その際にデータラベルをデータごとに異なる色に変更したいのですが、
やり方が分かりません。
実現可能なのか、もしくは機能的に不可能なのか、
実現可能な場合、どのようなやり方で出来るのか分かる方いらっしゃいましたら
教えて頂きたいです。

やりたいことを簡単にデータで書くと、
labels = ["red", "yellow", "blue"]
data = [1, 2, 3]

通常labelsはすべて同じ色で表示され、optionのyAxesでfontcolorを設定すれば
色自体は変わるのですが、全て同じ色になってしまいます。
やりたいこととしては、"red"ラベルは赤に、"yellow"ラベルは黄色に、
"blue"ラベルは青に変化させたいです。