なんかちょっと書き方違うな・・・。

検索しようにもわかりません
マウスのボタンが押されてる間動くになってるか。

Public Class Form1

    Dim PictureBox1の上でマウスのボタンが押された状態 As Boolean = False
    Dim PictureBox1の上でマウスのボタンが押された時の座標 As Point

    Private Sub PictureBox1_MouseDown(ByVal sender As ObjectByVal e As System.Windows.Forms.MouseEventArgs) _
    Handles PictureBox1.MouseDown

        Me.PictureBox1の上でマウスのボタンが押された状態 = True

        PictureBox1の上でマウスのボタンが押された時の座標 = e.Location


    End Sub

    Private Sub PictureBox1_MouseMove(ByVal sender As ObjectByVal e As System.Windows.Forms.MouseEventArgs) _
    Handles PictureBox1.MouseMove

        If Not PictureBox1の上でマウスのボタンが押された状態 Then

            Exit Sub

        End If

        Me.PictureBox1.Location = New Point _
        ( _
        Me.PictureBox1.Location.X + (e.Location.X - PictureBox1の上でマウスのボタンが押された時の座標.X), _
        Me.PictureBox1.Location.Y + (e.Location.Y - PictureBox1の上でマウスのボタンが押された時の座標.Y) _
        )

    End Sub

    Private Sub PictureBox1_MouseUp(ByVal sender As ObjectByVal e As System.Windows.Forms.MouseEventArgs) _
    Handles PictureBox1.MouseUp

        PictureBox1の上でマウスのボタンが押された状態 = False

    End Sub

End Class

ごみが入っていた・・・。