Ну, вот, одна из самых больших фирм:
http://www.campo.laivas.lv/en/mar/2988/Поезд Питер — Рига сейчас идёт таким маршрутом, что ближайший к Гауе пункт — собственно Рига. Сколько места байдарка занимает в сложенном виде? Если не очень много, я бы тогда искал по сайту объявлений (ss.lv) машину с шофёром и договаривался о забросе к началу маршрута.
Если же байдарку реально засунуть в багажное отделение автобуса, то можно просто выйти в Валмиере и начинать сплав оттуда.
Ещё есть вариант — скооперироваться с кем-то на подходящего размера машине, кто по пути в Ригу высадил бы вас в местечке Виреши на Псковском шоссе.
Гауя вся протекает по территории Латвии (и немножко по границе с Эстонией), поэтому границу вы будете пересекать на въезде в страну по ж/д или автодороге, порядок пересечения обыкновенный.