Построить алгоритм Маркова

[Валерьянка]

Доброго времени суток, дали задачу по алгоритму Маркова, пытаюсь понять ее уже неделю. Прошу помочь:

х-26, в А{1,2,....9}