Во-первых, виджеты ограничены по жестам, которые они могут обрабатывать. Доступны только touch и вертикальный swipe. Горизонтальный swipe доставляется приложению-хосту, например домашнему экрану.

Во-вторых, виджеты поддерживают только следующие лэйауты: FrameLayout, LinearLayout, RelativeLayout, GridLayout. Набор view тоже ограничен (полный список в документации).
Причина этого в том, что лэйауты виджетов основаны на RemoteViews.