В том случае, который каждая конкретная страна посчитает нарушением условий выдачи визы.
Захочет считать смену отеля нарушением - имеет право. Не захочет - тоже имеет.
Я бы считал логичным аннулировать визу, если изменение маршрута превратило его в такой, на какой виза заведомо не дается.
Получил визу под поездку в Италию, а поехал во Францию и почти все время провел там - безусловное нарушение, требующее наказания.
Получил визу в Италию с маршрутом чисто по Италии и заехал на пару дней во Францию - нет нарушения, не за что наказывать.
Написал в маршрутном листе 3 дня во Флоренции, 7 дней в Риме, а реально провел 7 дней во Флоренции, 3 в Риме - тем более не за что наказывать.
Поскольку случаев таких изменений много, а про наказания за них неизвестно ничего (по крайней мере в Италии, Франции, Испании), то логично считать, что не наказывали не потому, что не отследили, а потому, что не считают это нарушением.