#

 

Q

u

i

c

k

t

o

u

r







T

h

e

r

e

 

a

r

e

 

m

a

n

y

 

w

a

y

s

 

t

o

 

l

a

u

n

c

h

 

a

n

d

 

r

u

n

 

y

o

u

r

 

c

o

d

e

 

d

e

p

e

n

d

i

n

g

 

o

n

 

y

o

u

r

 

t

r

a

i

n

i

n

g

 

e

n

v

i

r

o

n

m

e

n

t

 

(

[

t

o

r

c

h

r

u

n

]

(

h

t

t

p

s

:

/

/

p

y

t

o

r

c

h

.

o

r

g

/

d

o

c

s

/

s

t

a

b

l

e

/

e

l

a

s

t

i

c

/

r

u

n

.

h

t

m

l

)

,

 

[

D

e

e

p

S

p

e

e

d

]

(

h

t

t

p

s

:

/

/

w

w

w

.

d

e

e

p

s

p

e

e

d

.

a

i

/

)

,

 

e

t

c

.

)

 

a

n

d

 

a

v

a

i

l

a

b

l

e

 

h

a

r

d

w

a

r

e

.

 

A

c

c

e

l

e

r

a

t

e

 

o

f

f

e

r

s

 

a

 

u

n

i

f

i

e

d

 

i

n

t

e

r

f

a

c

e

 

f

o

r

 

l

a

u

n

c

h

i

n

g

 

a

n

d

 

t

r

a

i

n

i

n

g

 

o

n

 

d

i

f

f

e

r

e

n

t

 

d

i

s

t

r

i

b

u

t

e

d

 

s

e

t

u

p

s

,

 

a

l

l

o

w

i

n

g

 

y

o

u

 

t

o

 

f

o

c

u

s

 

o

n

 

y

o

u

r

 

P

y

T

o

r

c

h

 

t

r

a

i

n

i

n

g

 

c

o

d

e

 

i

n

s

t

e

a

d

 

o

f

 

t

h

e

 

i

n

t

r

i

c

a

c

i

e

s

 

o

f

 

a

d

a

p

t

i

n

g

 

y

o

u

r

 

c

o

d

e

 

t

o

 

t

h

e

s

e

 

d

i

f

f

e

r

e

n

t

 

s

e

t

u

p

s

.

 

T

h

i

s

 

a

l

l

o

w

s

 

y

o

u

 

t

o

 

e

a

s

i

l

y

 

s

c

a

l

e

 

y

o

u

r

 

P

y

T

o

r

c

h

 

c

o

d

e

 

f

o

r

 

t

r

a

i

n

i

n

g

 

a

n

d

 

i

n

f

e

r

e

n

c

e

 

o

n

 

d

i

s

t

r

i

b

u

t

e

d

 

s

e

t

u

p

s

 

w

i

t

h

 

h

a

r

d

w

a

r

e

 

l

i

k

e

 

G

P

U

s

 

a

n

d

 

T

P

U

s

.

 

A

c

c

e

l

e

r

a

t

e

 

a

l

s

o

 

p

r

o

v

i

d

e

s

 

B

i

g

 

M

o

d

e

l

 

I

n

f

e

r

e

n

c

e

 

t

o

 

m

a

k

e

 

l

o

a

d

i

n

g

 

a

n

d

 

r

u

n

n

i

n

g

 

i

n

f

e

r

e

n

c

e

 

w

i

t

h

 

r

e

a

l

l

y

 

l

a

r

g

e

 

m

o

d

e

l

s

 

t

h

a

t

 

u

s

u

a

l

l

y

 

d

o

n

'

t

 

f

i

t

 

i

n

 

m

e

m

o

r

y

 

m

o

r

e

 

a

c

c

e

s

s

i

b

l

e

.







T

h

i

s

 

q

u

i

c

k

t

o

u

r

 

i

n

t

r

o

d

u

c

e

s

 

t

h

e

 

t

h

r

e

e

 

m

a

i

n

 

f

e

a

t

u

r

e

s

 

o

f

 

A

c

c

e

l

e

r

a

t

e

:







*

 

a

 

u

n

i

f

i

e

d

 

c

o

m

m

a

n

d

 

l

i

n

e

 

l

a

u

n

c

h

i

n

g

 

i

n

t

e

r

f

a

c

e

 

f

o

r

 

d

i

s

t

r

i

b

u

t

e

d

 

t

r

a

i

n

i

n

g

 

s

c

r

i

p

t

s




*

 

a

 

t

r

a

i

n

i

n

g

 

l

i

b

r

a

r

y

 

f

o

r

 

a

d

a

p

t

i

n

g

 

P

y

T

o

r

c

h

 

t

r

a

i

n

i

n

g

 

c

o

d

e

 

t

o

 

r

u

n

 

o

n

 

d

i

f

f

e

r

e

n

t

 

d

i

s

t

r

i

b

u

t

e

d

 

s

e

t

u

p

s




*

 

B

i

g

 

M

o

d

e

l

 

I

n

f

e

r

e

n

c

e







#

#

 

U

n

i

f

i

e

d

 

l

a

u

n

c

h

 

i

n

t

e

r

f

a

c

e







A

c

c

e

l

e

r

a

t

e

 

a

u

t

o

m

a

t

i

c

a

l

l

y

 

s

e

l

e

c

t

s

 

t

h

e

 

a

p

p

r

o

p

r

i

a

t

e

 

c

o

n

f

i

g

u

r

a

t

i

o

n

 

v

a

l

u

e

s

 

f

o

r

 

a

n

y

 

g

i

v

e

n

 

d

i

s

t

r

i

b

u

t

e

d

 

t

r

a

i

n

i

n

g

 

f

r

a

m

e

w

o

r

k

 

(

D

e

e

p

S

p

e

e

d

,

 

F

S

D

P

,

 

e

t

c

.

)

 

t

h

r

o

u

g

h

 

a

 

u

n

i

f

i

e

d

 

c

o

n

f

i

g

u

r

a

t

i

o

n

 

f

i

l

e

 

g

e

n

e

r

a

t

e

d

 

f

r

o

m

 

t

h

e

 

[

`

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

`

]

(

p

a

c

k

a

g

e

_

r

e

f

e

r

e

n

c

e

/

c

l

i

#

a

c

c

e

l

e

r

a

t

e

-

c

o

n

f

i

g

)

 

c

o

m

m

a

n

d

.

 

Y

o

u

 

c

o

u

l

d

 

a

l

s

o

 

p

a

s

s

 

t

h

e

 

c

o

n

f

i

g

u

r

a

t

i

o

n

 

v

a

l

u

e

s

 

e

x

p

l

i

c

i

t

l

y

 

t

o

 

t

h

e

 

c

o

m

m

a

n

d

 

l

i

n

e

 

w

h

i

c

h

 

i

s

 

h

e

l

p

f

u

l

 

i

n

 

c

e

r

t

a

i

n

 

s

i

t

u

a

t

i

o

n

s

 

l

i

k

e

 

i

f

 

y

o

u

'

r

e

 

u

s

i

n

g

 

S

L

U

R

M

.










B

u

t

 

i

n

 

m

o

s

t

 

c

a

s

e

s

,

 

y

o

u

 

s

h

o

u

l

d

 

a

l

w

a

y

s

 

r

u

n

 

[

`

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

`

]

(

p

a

c

k

a

g

e

_

r

e

f

e

r

e

n

c

e

/

c

l

i

#

a

c

c

e

l

e

r

a

t

e

-

c

o

n

f

i

g

)

 

f

i

r

s

t

 

t

o

 

h

e

l

p

 

A

c

c

e

l

e

r

a

t

e

 

l

e

a

r

n

 

a

b

o

u

t

 

y

o

u

r

 

t

r

a

i

n

i

n

g

 

s

e

t

u

p

.







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g




`

`

`







T

h

e

 

[

`

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

`

]

(

p

a

c

k

a

g

e

_

r

e

f

e

r

e

n

c

e

/

c

l

i

#

a

c

c

e

l

e

r

a

t

e

-

c

o

n

f

i

g

)

 

c

o

m

m

a

n

d

 

c

r

e

a

t

e

s

 

a

n

d

 

s

a

v

e

s

 

a

 

d

e

f

a

u

l

t

_

c

o

n

f

i

g

.

y

a

m

l

 

f

i

l

e

 

i

n

 

A

c

c

e

l

e

r

a

t

e

s

 

c

a

c

h

e

 

f

o

l

d

e

r

.

 

T

h

i

s

 

f

i

l

e

 

s

t

o

r

e

s

 

t

h

e

 

c

o

n

f

i

g

u

r

a

t

i

o

n

 

f

o

r

 

y

o

u

r

 

t

r

a

i

n

i

n

g

 

e

n

v

i

r

o

n

m

e

n

t

,

 

w

h

i

c

h

 

h

e

l

p

s

 

A

c

c

e

l

e

r

a

t

e

 

c

o

r

r

e

c

t

l

y

 

l

a

u

n

c

h

 

y

o

u

r

 

t

r

a

i

n

i

n

g

 

s

c

r

i

p

t

 

b

a

s

e

d

 

o

n

 

y

o

u

r

 

m

a

c

h

i

n

e

.







A

f

t

e

r

 

y

o

u

'

v

e

 

c

o

n

f

i

g

u

r

e

d

 

y

o

u

r

 

e

n

v

i

r

o

n

m

e

n

t

,

 

y

o

u

 

c

a

n

 

t

e

s

t

 

y

o

u

r

 

s

e

t

u

p

 

w

i

t

h

 

[

`

a

c

c

e

l

e

r

a

t

e

 

t

e

s

t

`

]

(

p

a

c

k

a

g

e

_

r

e

f

e

r

e

n

c

e

/

c

l

i

#

a

c

c

e

l

e

r

a

t

e

-

t

e

s

t

)

,

 

w

h

i

c

h

 

l

a

u

n

c

h

e

s

 

a

 

s

h

o

r

t

 

s

c

r

i

p

t

 

t

o

 

t

e

s

t

 

t

h

e

 

d

i

s

t

r

i

b

u

t

e

d

 

e

n

v

i

r

o

n

m

e

n

t

.







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

t

e

s

t




`

`

`







>

 

[

!

T

I

P

]




>

 

A

d

d

 

`

-

-

c

o

n

f

i

g

_

f

i

l

e

`

 

t

o

 

t

h

e

 

`

a

c

c

e

l

e

r

a

t

e

 

t

e

s

t

`

 

o

r

 

`

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

`

 

c

o

m

m

a

n

d

 

t

o

 

s

p

e

c

i

f

y

 

t

h

e

 

l

o

c

a

t

i

o

n

 

o

f

 

t

h

e

 

c

o

n

f

i

g

u

r

a

t

i

o

n

 

f

i

l

e

 

i

f

 

i

t

 

i

s

 

s

a

v

e

d

 

i

n

 

a

 

n

o

n

-

d

e

f

a

u

l

t

 

l

o

c

a

t

i

o

n

 

l

i

k

e

 

t

h

e

 

c

a

c

h

e

.







O

n

c

e

 

y

o

u

r

 

e

n

v

i

r

o

n

m

e

n

t

 

i

s

 

s

e

t

u

p

,

 

l

a

u

n

c

h

 

y

o

u

r

 

t

r

a

i

n

i

n

g

 

s

c

r

i

p

t

 

w

i

t

h

 

[

`

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

`

]

(

p

a

c

k

a

g

e

_

r

e

f

e

r

e

n

c

e

/

c

l

i

#

a

c

c

e

l

e

r

a

t

e

-

l

a

u

n

c

h

)

!







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

p

a

t

h

_

t

o

_

s

c

r

i

p

t

.

p

y

 

-

-

a

r

g

s

_

f

o

r

_

t

h

e

_

s

c

r

i

p

t




`

`

`







T

o

 

l

e

a

r

n

 

m

o

r

e

,

 

c

h

e

c

k

 

o

u

t

 

t

h

e

 

[

L

a

u

n

c

h

 

d

i

s

t

r

i

b

u

t

e

d

 

c

o

d

e

]

(

b

a

s

i

c

_

t

u

t

o

r

i

a

l

s

/

l

a

u

n

c

h

)

 

t

u

t

o

r

i

a

l

 

f

o

r

 

m

o

r

e

 

i

n

f

o

r

m

a

t

i

o

n

 

a

b

o

u

t

 

l

a

u

n

c

h

i

n

g

 

y

o

u

r

 

s

c

r

i

p

t

s

.







W

e

 

a

l

s

o

 

h

a

v

e

 

a

 

[

c

o

n

f

i

g

u

r

a

t

i

o

n

 

z

o

o

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

a

c

c

e

l

e

r

a

t

e

/

b

l

o

b

/

m

a

i

n

/

e

x

a

m

p

l

e

s

/

c

o

n

f

i

g

_

y

a

m

l

_

t

e

m

p

l

a

t

e

s

)

 

w

h

i

c

h

 

s

h

o

w

c

a

s

e

s

 

a

 

n

u

m

b

e

r

 

o

f

 

p

r

e

m

a

d

e

 

*

*

m

i

n

i

m

a

l

*

*

 

e

x

a

m

p

l

e

 

c

o

n

f

i

g

u

r

a

t

i

o

n

s

 

f

o

r

 

a

 

v

a

r

i

e

t

y

 

o

f

 

s

e

t

u

p

s

 

y

o

u

 

c

a

n

 

r

u

n

.







#

#

 

A

d

a

p

t

 

t

r

a

i

n

i

n

g

 

c

o

d

e







T

h

e

 

n

e

x

t

 

m

a

i

n

 

f

e

a

t

u

r

e

 

o

f

 

A

c

c

e

l

e

r

a

t

e

 

i

s

 

t

h

e

 

`

A

c

c

e

l

e

r

a

t

o

r

`

 

c

l

a

s

s

 

w

h

i

c

h

 

a

d

a

p

t

s

 

y

o

u

r

 

P

y

T

o

r

c

h

 

c

o

d

e

 

t

o

 

r

u

n

 

o

n

 

d

i

f

f

e

r

e

n

t

 

d

i

s

t

r

i

b

u

t

e

d

 

s

e

t

u

p

s

.







Y

o

u

 

o

n

l

y

 

n

e

e

d

 

t

o

 

a

d

d

 

a

 

f

e

w

 

l

i

n

e

s

 

o

f

 

c

o

d

e

 

t

o

 

y

o

u

r

 

t

r

a

i

n

i

n

g

 

s

c

r

i

p

t

 

t

o

 

e

n

a

b

l

e

 

i

t

 

t

o

 

r

u

n

 

o

n

 

m

u

l

t

i

p

l

e

 

G

P

U

s

 

o

r

 

T

P

U

s

.







`

`

`

d

i

f

f




+

 

f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

A

c

c

e

l

e

r

a

t

o

r




+

 

a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

)







+

 

d

e

v

i

c

e

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

d

e

v

i

c

e




+

 

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

,

 

s

c

h

e

d

u

l

e

r

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(




+

 

 

 

 

 

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

,

 

s

c

h

e

d

u

l

e

r




+

 

)







 

 

f

o

r

 

b

a

t

c

h

 

i

n

 

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

:




 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

.

z

e

r

o

_

g

r

a

d

(

)




 

 

 

 

 

 

i

n

p

u

t

s

,

 

t

a

r

g

e

t

s

 

=

 

b

a

t

c

h




-

 

 

 

 

 

i

n

p

u

t

s

 

=

 

i

n

p

u

t

s

.

t

o

(

d

e

v

i

c

e

)




-

 

 

 

 

 

t

a

r

g

e

t

s

 

=

 

t

a

r

g

e

t

s

.

t

o

(

d

e

v

i

c

e

)




 

 

 

 

 

 

o

u

t

p

u

t

s

 

=

 

m

o

d

e

l

(

i

n

p

u

t

s

)




 

 

 

 

 

 

l

o

s

s

 

=

 

l

o

s

s

_

f

u

n

c

t

i

o

n

(

o

u

t

p

u

t

s

,

 

t

a

r

g

e

t

s

)




+

 

 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

b

a

c

k

w

a

r

d

(

l

o

s

s

)




 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




 

 

 

 

 

 

s

c

h

e

d

u

l

e

r

.

s

t

e

p

(

)




`

`

`







1

.

 

I

m

p

o

r

t

 

a

n

d

 

i

n

s

t

a

n

t

i

a

t

e

 

t

h

e

 

`

A

c

c

e

l

e

r

a

t

o

r

`

 

c

l

a

s

s

 

a

t

 

t

h

e

 

b

e

g

i

n

n

i

n

g

 

o

f

 

y

o

u

r

 

t

r

a

i

n

i

n

g

 

s

c

r

i

p

t

.

 

T

h

e

 

`

A

c

c

e

l

e

r

a

t

o

r

`

 

c

l

a

s

s

 

i

n

i

t

i

a

l

i

z

e

s

 

e

v

e

r

y

t

h

i

n

g

 

n

e

c

e

s

s

a

r

y

 

f

o

r

 

d

i

s

t

r

i

b

u

t

e

d

 

t

r

a

i

n

i

n

g

,

 

a

n

d

 

i

t

 

a

u

t

o

m

a

t

i

c

a

l

l

y

 

d

e

t

e

c

t

s

 

y

o

u

r

 

t

r

a

i

n

i

n

g

 

e

n

v

i

r

o

n

m

e

n

t

 

(

a

 

s

i

n

g

l

e

 

m

a

c

h

i

n

e

 

w

i

t

h

 

a

 

G

P

U

,

 

a

 

m

a

c

h

i

n

e

 

w

i

t

h

 

s

e

v

e

r

a

l

 

G

P

U

s

,

 

s

e

v

e

r

a

l

 

m

a

c

h

i

n

e

s

 

w

i

t

h

 

m

u

l

t

i

p

l

e

 

G

P

U

s

 

o

r

 

a

 

T

P

U

,

 

e

t

c

.

)

 

b

a

s

e

d

 

o

n

 

h

o

w

 

t

h

e

 

c

o

d

e

 

w

a

s

 

l

a

u

n

c

h

e

d

.







`

`

`

p

y

t

h

o

n




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

A

c

c

e

l

e

r

a

t

o

r







a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

)




`

`

`







2

.

 

R

e

m

o

v

e

 

c

a

l

l

s

 

l

i

k

e

 

`

.

c

u

d

a

(

)

`

 

o

n

 

y

o

u

r

 

m

o

d

e

l

 

a

n

d

 

i

n

p

u

t

 

d

a

t

a

.

 

T

h

e

 

`

A

c

c

e

l

e

r

a

t

o

r

`

 

c

l

a

s

s

 

a

u

t

o

m

a

t

i

c

a

l

l

y

 

p

l

a

c

e

s

 

t

h

e

s

e

 

o

b

j

e

c

t

s

 

o

n

 

t

h

e

 

a

p

p

r

o

p

r

i

a

t

e

 

d

e

v

i

c

e

 

f

o

r

 

y

o

u

.







>

 

[

!

W

A

R

N

I

N

G

]




>

 

T

h

i

s

 

s

t

e

p

 

i

s

 

*

o

p

t

i

o

n

a

l

*

 

b

u

t

 

i

t

 

i

s

 

c

o

n

s

i

d

e

r

e

d

 

b

e

s

t

 

p

r

a

c

t

i

c

e

 

t

o

 

a

l

l

o

w

 

A

c

c

e

l

e

r

a

t

e

 

t

o

 

h

a

n

d

l

e

 

d

e

v

i

c

e

 

p

l

a

c

e

m

e

n

t

.

 

Y

o

u

 

c

o

u

l

d

 

a

l

s

o

 

d

e

a

c

t

i

v

a

t

e

 

a

u

t

o

m

a

t

i

c

 

d

e

v

i

c

e

 

p

l

a

c

e

m

e

n

t

 

b

y

 

p

a

s

s

i

n

g

 

`

d

e

v

i

c

e

_

p

l

a

c

e

m

e

n

t

=

F

a

l

s

e

`

 

w

h

e

n

 

i

n

i

t

i

a

l

i

z

i

n

g

 

t

h

e

 

`

A

c

c

e

l

e

r

a

t

o

r

`

.

 

I

f

 

y

o

u

 

w

a

n

t

 

t

o

 

e

x

p

l

i

c

i

t

l

y

 

p

l

a

c

e

 

o

b

j

e

c

t

s

 

o

n

 

a

 

d

e

v

i

c

e

 

w

i

t

h

 

`

.

t

o

(

d

e

v

i

c

e

)

`

,

 

m

a

k

e

 

s

u

r

e

 

y

o

u

 

u

s

e

 

`

a

c

c

e

l

e

r

a

t

o

r

.

d

e

v

i

c

e

`

 

i

n

s

t

e

a

d

.

 

F

o

r

 

e

x

a

m

p

l

e

,

 

i

f

 

y

o

u

 

c

r

e

a

t

e

 

a

n

 

o

p

t

i

m

i

z

e

r

 

b

e

f

o

r

e

 

p

l

a

c

i

n

g

 

a

 

m

o

d

e

l

 

o

n

 

`

a

c

c

e

l

e

r

a

t

o

r

.

d

e

v

i

c

e

`

,

 

t

r

a

i

n

i

n

g

 

f

a

i

l

s

 

o

n

 

a

 

T

P

U

.







>

 

[

!

W

A

R

N

I

N

G

]




>

 

A

c

c

e

l

e

r

a

t

e

 

d

o

e

s

 

n

o

t

 

u

s

e

 

n

o

n

-

b

l

o

c

k

i

n

g

 

t

r

a

n

s

f

e

r

s

 

b

y

 

d

e

f

a

u

l

t

 

f

o

r

 

i

t

s

 

a

u

t

o

m

a

t

i

c

 

d

e

v

i

c

e

 

p

l

a

c

e

m

e

n

t

,

 

w

h

i

c

h

 

c

a

n

 

r

e

s

u

l

t

 

i

n

 

p

o

t

e

n

t

i

a

l

l

y

 

u

n

w

a

n

t

e

d

 

C

U

D

A

 

s

y

n

c

h

r

o

n

i

z

a

t

i

o

n

s

.

 

 

Y

o

u

 

c

a

n

 

e

n

a

b

l

e

 

n

o

n

-

b

l

o

c

k

i

n

g

 

t

r

a

n

s

f

e

r

s

 

b

y

 

p

a

s

s

i

n

g

 

a

 

`

D

a

t

a

L

o

a

d

e

r

C

o

n

f

i

g

u

r

a

t

i

o

n

`

 

w

i

t

h

 

`

n

o

n

_

b

l

o

c

k

i

n

g

=

T

r

u

e

`

 

s

e

t

 

a

s

 

t

h

e

 

`

d

a

t

a

l

o

a

d

e

r

_

c

o

n

f

i

g

`

 

w

h

e

n

 

i

n

i

t

i

a

l

i

z

i

n

g

 

t

h

e

 

`

A

c

c

e

l

e

r

a

t

o

r

`

.

 

 

A

s

 

u

s

u

a

l

,

 

n

o

n

-

b

l

o

c

k

i

n

g

 

t

r

a

n

s

f

e

r

s

 

w

i

l

l

 

o

n

l

y

 

w

o

r

k

 

i

f

 

t

h

e

 

d

a

t

a

l

o

a

d

e

r

 

a

l

s

o

 

h

a

s

 

`

p

i

n

_

m

e

m

o

r

y

=

T

r

u

e

`

 

s

e

t

.

 

 

B

e

 

w

a

r

y

 

t

h

a

t

 

u

s

i

n

g

 

n

o

n

-

b

l

o

c

k

i

n

g

 

t

r

a

n

s

f

e

r

s

 

f

r

o

m

 

G

P

U

 

t

o

 

C

P

U

 

m

a

y

 

c

a

u

s

e

 

i

n

c

o

r

r

e

c

t

 

r

e

s

u

l

t

s

 

i

f

 

i

t

 

r

e

s

u

l

t

s

 

i

n

 

C

P

U

 

o

p

e

r

a

t

i

o

n

s

 

b

e

i

n

g

 

p

e

r

f

o

r

m

e

d

 

o

n

 

n

o

n

-

r

e

a

d

y

 

t

e

n

s

o

r

s

.







`

`

`

p

y




d

e

v

i

c

e

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

d

e

v

i

c

e




`

`

`







3

.

 

P

a

s

s

 

a

l

l

 

r

e

l

e

v

a

n

t

 

P

y

T

o

r

c

h

 

o

b

j

e

c

t

s

 

f

o

r

 

t

r

a

i

n

i

n

g

 

(

o

p

t

i

m

i

z

e

r

,

 

m

o

d

e

l

,

 

d

a

t

a

l

o

a

d

e

r

(

s

)

,

 

l

e

a

r

n

i

n

g

 

r

a

t

e

 

s

c

h

e

d

u

l

e

r

)

 

t

o

 

t

h

e

 

`

p

r

e

p

a

r

e

(

)

`

 

m

e

t

h

o

d

 

a

s

 

s

o

o

n

 

a

s

 

t

h

e

y

'

r

e

 

c

r

e

a

t

e

d

.

 

T

h

i

s

 

m

e

t

h

o

d

 

w

r

a

p

s

 

t

h

e

 

m

o

d

e

l

 

i

n

 

a

 

c

o

n

t

a

i

n

e

r

 

o

p

t

i

m

i

z

e

d

 

f

o

r

 

y

o

u

r

 

d

i

s

t

r

i

b

u

t

e

d

 

s

e

t

u

p

,

 

u

s

e

s

 

A

c

c

e

l

e

r

a

t

e

s

 

v

e

r

s

i

o

n

 

o

f

 

t

h

e

 

o

p

t

i

m

i

z

e

r

 

a

n

d

 

s

c

h

e

d

u

l

e

r

,

 

a

n

d

 

c

r

e

a

t

e

s

 

a

 

s

h

a

r

d

e

d

 

v

e

r

s

i

o

n

 

o

f

 

y

o

u

r

 

d

a

t

a

l

o

a

d

e

r

 

f

o

r

 

d

i

s

t

r

i

b

u

t

i

o

n

 

a

c

r

o

s

s

 

G

P

U

s

 

o

r

 

T

P

U

s

.







`

`

`

p

y

t

h

o

n




m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

t

r

a

i

n

_

d

a

t

a

l

o

a

d

e

r

,

 

l

r

_

s

c

h

e

d

u

l

e

r

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(




 

 

 

 

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

t

r

a

i

n

_

d

a

t

a

l

o

a

d

e

r

,

 

l

r

_

s

c

h

e

d

u

l

e

r




)




`

`

`







4

.

 

R

e

p

l

a

c

e

 

`

l

o

s

s

.

b

a

c

k

w

a

r

d

(

)

`

 

w

i

t

h

 

`

b

a

c

k

w

a

r

d

(

)

`

 

t

o

 

u

s

e

 

t

h

e

 

c

o

r

r

e

c

t

 

`

b

a

c

k

w

a

r

d

(

)

`

 

m

e

t

h

o

d

 

f

o

r

 

y

o

u

r

 

t

r

a

i

n

i

n

g

 

s

e

t

u

p

.







`

`

`

p

y




a

c

c

e

l

e

r

a

t

o

r

.

b

a

c

k

w

a

r

d

(

l

o

s

s

)




`

`

`







R

e

a

d

 

[

A

c

c

e

l

e

r

a

t

e

’

s

 

i

n

t

e

r

n

a

l

 

m

e

c

h

a

n

i

s

m

s

]

(

c

o

n

c

e

p

t

_

g

u

i

d

e

s

/

i

n

t

e

r

n

a

l

_

m

e

c

h

a

n

i

s

m

)

 

g

u

i

d

e

 

t

o

 

l

e

a

r

n

 

m

o

r

e

 

d

e

t

a

i

l

s

 

a

b

o

u

t

 

h

o

w

 

A

c

c

e

l

e

r

a

t

e

 

a

d

a

p

t

s

 

y

o

u

r

 

c

o

d

e

.







#

#

#

 

D

i

s

t

r

i

b

u

t

e

d

 

e

v

a

l

u

a

t

i

o

n







T

o

 

p

e

r

f

o

r

m

 

d

i

s

t

r

i

b

u

t

e

d

 

e

v

a

l

u

a

t

i

o

n

,

 

p

a

s

s

 

y

o

u

r

 

v

a

l

i

d

a

t

i

o

n

 

d

a

t

a

l

o

a

d

e

r

 

t

o

 

t

h

e

 

`

p

r

e

p

a

r

e

(

)

`

 

m

e

t

h

o

d

:







`

`

`

p

y

t

h

o

n




v

a

l

i

d

a

t

i

o

n

_

d

a

t

a

l

o

a

d

e

r

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(

v

a

l

i

d

a

t

i

o

n

_

d

a

t

a

l

o

a

d

e

r

)




`

`

`







E

a

c

h

 

d

e

v

i

c

e

 

i

n

 

y

o

u

r

 

d

i

s

t

r

i

b

u

t

e

d

 

s

e

t

u

p

 

o

n

l

y

 

r

e

c

e

i

v

e

s

 

a

 

p

a

r

t

 

o

f

 

t

h

e

 

e

v

a

l

u

a

t

i

o

n

 

d

a

t

a

,

 

w

h

i

c

h

 

m

e

a

n

s

 

y

o

u

 

s

h

o

u

l

d

 

g

r

o

u

p

 

y

o

u

r

 

p

r

e

d

i

c

t

i

o

n

s

 

t

o

g

e

t

h

e

r

 

w

i

t

h

 

t

h

e

 

`

g

a

t

h

e

r

_

f

o

r

_

m

e

t

r

i

c

s

(

)

`

 

m

e

t

h

o

d

.

 

T

h

i

s

 

m

e

t

h

o

d

 

r

e

q

u

i

r

e

s

 

a

l

l

 

t

e

n

s

o

r

s

 

t

o

 

b

e

 

t

h

e

 

s

a

m

e

 

s

i

z

e

 

o

n

 

e

a

c

h

 

p

r

o

c

e

s

s

,

 

s

o

 

i

f

 

y

o

u

r

 

t

e

n

s

o

r

s

 

h

a

v

e

 

d

i

f

f

e

r

e

n

t

 

s

i

z

e

s

 

o

n

 

e

a

c

h

 

p

r

o

c

e

s

s

 

(

f

o

r

 

i

n

s

t

a

n

c

e

 

w

h

e

n

 

d

y

n

a

m

i

c

a

l

l

y

 

p

a

d

d

i

n

g

 

t

o

 

t

h

e

 

m

a

x

i

m

u

m

 

l

e

n

g

t

h

 

i

n

 

a

 

b

a

t

c

h

)

,

 

y

o

u

 

s

h

o

u

l

d

 

u

s

e

 

t

h

e

 

`

p

a

d

_

a

c

r

o

s

s

_

p

r

o

c

e

s

s

e

s

(

)

`

 

m

e

t

h

o

d

 

t

o

 

p

a

d

 

y

o

u

 

t

e

n

s

o

r

 

t

o

 

t

h

e

 

l

a

r

g

e

s

t

 

s

i

z

e

 

a

c

r

o

s

s

 

p

r

o

c

e

s

s

e

s

.

 

N

o

t

e

 

t

h

a

t

 

t

h

e

 

t

e

n

s

o

r

s

 

n

e

e

d

s

 

t

o

 

b

e

 

1

D

 

a

n

d

 

t

h

a

t

 

w

e

 

c

o

n

c

a

t

e

n

a

t

e

 

t

h

e

 

t

e

n

s

o

r

s

 

a

l

o

n

g

 

t

h

e

 

f

i

r

s

t

 

d

i

m

e

n

s

i

o

n

.

 







`

`

`

p

y

t

h

o

n




f

o

r

 

i

n

p

u

t

s

,

 

t

a

r

g

e

t

s

 

i

n

 

v

a

l

i

d

a

t

i

o

n

_

d

a

t

a

l

o

a

d

e

r

:




 

 

 

 

p

r

e

d

i

c

t

i

o

n

s

 

=

 

m

o

d

e

l

(

i

n

p

u

t

s

)




 

 

 

 

#

 

G

a

t

h

e

r

 

a

l

l

 

p

r

e

d

i

c

t

i

o

n

s

 

a

n

d

 

t

a

r

g

e

t

s




 

 

 

 

a

l

l

_

p

r

e

d

i

c

t

i

o

n

s

,

 

a

l

l

_

t

a

r

g

e

t

s

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

g

a

t

h

e

r

_

f

o

r

_

m

e

t

r

i

c

s

(

(

p

r

e

d

i

c

t

i

o

n

s

,

 

t

a

r

g

e

t

s

)

)




 

 

 

 

#

 

E

x

a

m

p

l

e

 

o

f

 

u

s

e

 

w

i

t

h

 

a

 

*

D

a

t

a

s

e

t

s

.

M

e

t

r

i

c

*




 

 

 

 

m

e

t

r

i

c

.

a

d

d

_

b

a

t

c

h

(

a

l

l

_

p

r

e

d

i

c

t

i

o

n

s

,

 

a

l

l

_

t

a

r

g

e

t

s

)




`

`

`







F

o

r

 

m

o

r

e

 

c

o

m

p

l

e

x

 

c

a

s

e

s

 

(

e

.

g

.

 

2

D

 

t

e

n

s

o

r

s

,

 

d

o

n

'

t

 

w

a

n

t

 

t

o

 

c

o

n

c

a

t

e

n

a

t

e

 

t

e

n

s

o

r

s

,

 

d

i

c

t

 

o

f

 

3

D

 

t

e

n

s

o

r

s

)

,

 

y

o

u

 

c

a

n

 

p

a

s

s

 

`

u

s

e

_

g

a

t

h

e

r

_

o

b

j

e

c

t

=

T

r

u

e

`

 

i

n

 

`

g

a

t

h

e

r

_

f

o

r

_

m

e

t

r

i

c

s

`

.

 

T

h

i

s

 

w

i

l

l

 

r

e

t

u

r

n

 

t

h

e

 

l

i

s

t

 

o

f

 

o

b

j

e

c

t

s

 

a

f

t

e

r

 

g

a

t

h

e

r

i

n

g

.

 

N

o

t

e

 

t

h

a

t

 

u

s

i

n

g

 

i

t

 

w

i

t

h

 

G

P

U

 

t

e

n

s

o

r

s

 

i

s

 

n

o

t

 

w

e

l

l

 

s

u

p

p

o

r

t

e

d

 

a

n

d

 

i

n

e

f

f

i

c

i

e

n

t

.







>

 

[

!

T

I

P

]




>

 

D

a

t

a

 

a

t

 

t

h

e

 

e

n

d

 

o

f

 

a

 

d

a

t

a

s

e

t

 

m

a

y

 

b

e

 

d

u

p

l

i

c

a

t

e

d

 

s

o

 

t

h

e

 

b

a

t

c

h

 

c

a

n

 

b

e

 

e

q

u

a

l

l

y

 

d

i

v

i

d

e

d

 

a

m

o

n

g

 

a

l

l

 

w

o

r

k

e

r

s

.

 

T

h

e

 

`

g

a

t

h

e

r

_

f

o

r

_

m

e

t

r

i

c

s

(

)

`

 

m

e

t

h

o

d

 

a

u

t

o

m

a

t

i

c

a

l

l

y

 

r

e

m

o

v

e

s

 

t

h

e

 

d

u

p

l

i

c

a

t

e

d

 

d

a

t

a

 

t

o

 

c

a

l

c

u

l

a

t

e

 

a

 

m

o

r

e

 

a

c

c

u

r

a

t

e

 

m

e

t

r

i

c

.







#

#

 

B

i

g

 

M

o

d

e

l

 

I

n

f

e

r

e

n

c

e







A

c

c

e

l

e

r

a

t

e

'

s

 

B

i

g

 

M

o

d

e

l

 

I

n

f

e

r

e

n

c

e

 

h

a

s

 

t

w

o

 

m

a

i

n

 

f

e

a

t

u

r

e

s

,

 

`

i

n

i

t

_

e

m

p

t

y

_

w

e

i

g

h

t

s

(

)

`

 

a

n

d

 

`

l

o

a

d

_

c

h

e

c

k

p

o

i

n

t

_

a

n

d

_

d

i

s

p

a

t

c

h

(

)

`

,

 

t

o

 

l

o

a

d

 

l

a

r

g

e

 

m

o

d

e

l

s

 

f

o

r

 

i

n

f

e

r

e

n

c

e

 

t

h

a

t

 

t

y

p

i

c

a

l

l

y

 

d

o

n

'

t

 

f

i

t

 

i

n

t

o

 

m

e

m

o

r

y

.







>

 

[

!

T

I

P

]




>

 

T

a

k

e

 

a

 

l

o

o

k

 

a

t

 

t

h

e

 

[

H

a

n

d

l

i

n

g

 

b

i

g

 

m

o

d

e

l

s

 

f

o

r

 

i

n

f

e

r

e

n

c

e

]

(

c

o

n

c

e

p

t

_

g

u

i

d

e

s

/

b

i

g

_

m

o

d

e

l

_

i

n

f

e

r

e

n

c

e

)

 

g

u

i

d

e

 

f

o

r

 

a

 

b

e

t

t

e

r

 

u

n

d

e

r

s

t

a

n

d

i

n

g

 

o

f

 

h

o

w

 

B

i

g

 

M

o

d

e

l

 

I

n

f

e

r

e

n

c

e

 

w

o

r

k

s

 

u

n

d

e

r

 

t

h

e

 

h

o

o

d

.







#

#

#

 

E

m

p

t

y

 

w

e

i

g

h

t

s

 

i

n

i

t

i

a

l

i

z

a

t

i

o

n







T

h

e

 

`

i

n

i

t

_

e

m

p

t

y

_

w

e

i

g

h

t

s

(

)

`

 

c

o

n

t

e

x

t

 

m

a

n

a

g

e

r

 

i

n

i

t

i

a

l

i

z

e

s

 

m

o

d

e

l

s

 

o

f

 

a

n

y

 

s

i

z

e

 

b

y

 

c

r

e

a

t

i

n

g

 

a

 

*

m

o

d

e

l

 

s

k

e

l

e

t

o

n

*

 

a

n

d

 

m

o

v

i

n

g

 

a

n

d

 

p

l

a

c

i

n

g

 

p

a

r

a

m

e

t

e

r

s

 

e

a

c

h

 

t

i

m

e

 

t

h

e

y

'

r

e

 

c

r

e

a

t

e

d

 

t

o

 

P

y

T

o

r

c

h

'

s

 

[

*

*

m

e

t

a

*

*

]

(

h

t

t

p

s

:

/

/

p

y

t

o

r

c

h

.

o

r

g

/

d

o

c

s

/

m

a

i

n

/

m

e

t

a

.

h

t

m

l

)

 

d

e

v

i

c

e

.

 

T

h

i

s

 

w

a

y

,

 

n

o

t

 

a

l

l

 

w

e

i

g

h

t

s

 

a

r

e

 

i

m

m

e

d

i

a

t

e

l

y

 

l

o

a

d

e

d

 

a

n

d

 

o

n

l

y

 

a

 

s

m

a

l

l

 

p

a

r

t

 

o

f

 

t

h

e

 

m

o

d

e

l

 

i

s

 

l

o

a

d

e

d

 

i

n

t

o

 

m

e

m

o

r

y

 

a

t

 

a

 

t

i

m

e

.







F

o

r

 

e

x

a

m

p

l

e

,

 

l

o

a

d

i

n

g

 

a

n

 

e

m

p

t

y

 

[

M

i

x

t

r

a

l

-

8

x

7

B

]

(

h

t

t

p

s

:

/

/

h

u

g

g

i

n

g

f

a

c

e

.

c

o

/

m

i

s

t

r

a

l

a

i

/

M

i

x

t

r

a

l

-

8

x

7

B

-

I

n

s

t

r

u

c

t

-

v

0

.

1

)

 

m

o

d

e

l

 

t

a

k

e

s

 

s

i

g

n

i

f

i

c

a

n

t

l

y

 

l

e

s

s

 

m

e

m

o

r

y

 

t

h

a

n

 

f

u

l

l

y

 

l

o

a

d

i

n

g

 

t

h

e

 

m

o

d

e

l

s

 

a

n

d

 

w

e

i

g

h

t

s

 

o

n

 

t

h

e

 

C

P

U

.







`

`

`

p

y




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

i

n

i

t

_

e

m

p

t

y

_

w

e

i

g

h

t

s




f

r

o

m

 

t

r

a

n

s

f

o

r

m

e

r

s

 

i

m

p

o

r

t

 

A

u

t

o

C

o

n

f

i

g

,

 

A

u

t

o

M

o

d

e

l

F

o

r

C

a

u

s

a

l

L

M







c

o

n

f

i

g

 

=

 

A

u

t

o

C

o

n

f

i

g

.

f

r

o

m

_

p

r

e

t

r

a

i

n

e

d

(

"

m

i

s

t

r

a

l

a

i

/

M

i

x

t

r

a

l

-

8

x

7

B

-

I

n

s

t

r

u

c

t

-

v

0

.

1

"

)




w

i

t

h

 

i

n

i

t

_

e

m

p

t

y

_

w

e

i

g

h

t

s

(

)

:




 

 

 

 

m

o

d

e

l

 

=

 

A

u

t

o

M

o

d

e

l

F

o

r

C

a

u

s

a

l

L

M

.

f

r

o

m

_

c

o

n

f

i

g

(

c

o

n

f

i

g

)




`

`

`







#

#

#

 

L

o

a

d

 

a

n

d

 

d

i

s

p

a

t

c

h

 

w

e

i

g

h

t

s







T

h

e

 

`

l

o

a

d

_

c

h

e

c

k

p

o

i

n

t

_

a

n

d

_

d

i

s

p

a

t

c

h

(

)

`

 

f

u

n

c

t

i

o

n

 

l

o

a

d

s

 

f

u

l

l

 

o

r

 

s

h

a

r

d

e

d

 

c

h

e

c

k

p

o

i

n

t

s

 

i

n

t

o

 

t

h

e

 

e

m

p

t

y

 

m

o

d

e

l

,

 

a

n

d

 

a

u

t

o

m

a

t

i

c

a

l

l

y

 

d

i

s

t

r

i

b

u

t

e

 

w

e

i

g

h

t

s

 

a

c

r

o

s

s

 

a

l

l

 

a

v

a

i

l

a

b

l

e

 

d

e

v

i

c

e

s

.







T

h

e

 

`

d

e

v

i

c

e

_

m

a

p

`

 

p

a

r

a

m

e

t

e

r

 

d

e

t

e

r

m

i

n

e

s

 

w

h

e

r

e

 

t

o

 

p

l

a

c

e

 

e

a

c

h

 

m

o

d

e

l

 

l

a

y

e

r

,

 

a

n

d

 

s

p

e

c

i

f

i

y

i

n

g

 

`

"

a

u

t

o

"

`

 

p

l

a

c

e

s

 

t

h

e

m

 

o

n

 

t

h

e

 

G

P

U

 

f

i

r

s

t

,

 

t

h

e

n

 

t

h

e

 

C

P

U

,

 

a

n

d

 

f

i

n

a

l

l

y

 

t

h

e

 

h

a

r

d

 

d

r

i

v

e

 

a

s

 

m

e

m

o

r

y

-

m

a

p

p

e

d

 

t

e

n

s

o

r

s

 

i

f

 

t

h

e

r

e

'

s

 

s

t

i

l

l

 

n

o

t

 

e

n

o

u

g

h

 

m

e

m

o

r

y

.

 

U

s

e

 

t

h

e

 

`

n

o

_

s

p

l

i

t

_

m

o

d

u

l

e

_

c

l

a

s

s

e

s

`

 

p

a

r

a

m

e

t

e

r

 

t

o

 

i

n

d

i

c

a

t

e

 

w

h

i

c

h

 

m

o

d

u

l

e

s

 

s

h

o

u

l

d

n

'

t

 

b

e

 

s

p

l

i

t

 

a

c

r

o

s

s

 

d

e

v

i

c

e

s

 

(

t

y

p

i

c

a

l

l

y

 

t

h

o

s

e

 

w

i

t

h

 

a

 

r

e

s

i

d

u

a

l

 

c

o

n

n

e

c

t

i

o

n

)

.







`

`

`

p

y




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

l

o

a

d

_

c

h

e

c

k

p

o

i

n

t

_

a

n

d

_

d

i

s

p

a

t

c

h







m

o

d

e

l

 

=

 

l

o

a

d

_

c

h

e

c

k

p

o

i

n

t

_

a

n

d

_

d

i

s

p

a

t

c

h

(




 

 

 

 

m

o

d

e

l

,

 

c

h

e

c

k

p

o

i

n

t

=

"

m

i

s

t

r

a

l

a

i

/

M

i

x

t

r

a

l

-

8

x

7

B

-

I

n

s

t

r

u

c

t

-

v

0

.

1

"

,

 

d

e

v

i

c

e

_

m

a

p

=

"

a

u

t

o

"

,

 

n

o

_

s

p

l

i

t

_

m

o

d

u

l

e

_

c

l

a

s

s

e

s

=

[

'

B

l

o

c

k

'

]




)




`

`

`







#

#

 

N

e

x

t

 

s

t

e

p

s







N

o

w

 

t

h

a

t

 

y

o

u

'

v

e

 

b

e

e

n

 

i

n

t

r

o

d

u

c

e

d

 

t

o

 

t

h

e

 

m

a

i

n

 

A

c

c

e

l

e

r

a

t

e

 

f

e

a

t

u

r

e

s

,

 

y

o

u

r

 

n

e

x

t

 

s

t

e

p

s

 

c

o

u

l

d

 

i

n

c

l

u

d

e

:







*

 

C

h

e

c

k

 

o

u

t

 

t

h

e

 

[

t

u

t

o

r

i

a

l

s

]

(

b

a

s

i

c

_

t

u

t

o

r

i

a

l

s

/

o

v

e

r

v

i

e

w

)

 

f

o

r

 

a

 

g

e

n

t

l

e

 

w

a

l

k

t

h

r

o

u

g

h

 

o

f

 

A

c

c

e

l

e

r

a

t

e

.

 

T

h

i

s

 

i

s

 

e

s

p

e

c

i

a

l

l

y

 

u

s

e

f

u

l

 

i

f

 

y

o

u

'

r

e

 

n

e

w

 

t

o

 

d

i

s

t

r

i

b

u

t

e

d

 

t

r

a

i

n

i

n

g

 

a

n

d

 

t

h

e

 

l

i

b

r

a

r

y

.




*

 

D

i

v

e

 

i

n

t

o

 

t

h

e

 

[

g

u

i

d

e

s

]

(

u

s

a

g

e

_

g

u

i

d

e

s

/

e

x

p

l

o

r

e

)

 

t

o

 

s

e

e

 

h

o

w

 

t

o

 

u

s

e

 

A

c

c

e

l

e

r

a

t

e

 

f

o

r

 

s

p

e

c

i

f

i

c

 

u

s

e

-

c

a

s

e

s

.




*

 

D

e

e

p

e

n

 

y

o

u

r

 

c

o

n

c

e

p

t

u

a

l

 

u

n

d

e

r

s

t

a

n

d

i

n

g

 

o

f

 

h

o

w

 

A

c

c

e

l

e

r

a

t

e

 

w

o

r

k

s

 

i

n

t

e

r

n

a

l

l

y

 

b

y

 

r

e

a

d

i

n

g

 

t

h

e

 

[

c

o

n

c

e

p

t

 

g

u

i

d

e

s

]

(

c

o

n

c

e

p

t

_

g

u

i

d

e

s

/

i

n

t

e

r

n

a

l

_

m

e

c

h

a

n

i

s

m

)

.




*

 

L

o

o

k

 

u

p

 

c

l

a

s

s

e

s

 

a

n

d

 

c

o

m

m

a

n

d

s

 

i

n

 

t

h

e

 

[

A

P

I

 

r

e

f

e

r

e

n

c

e

]

(

p

a

c

k

a

g

e

_

r

e

f

e

r

e

n

c

e

/

a

c

c

e

l

e

r

a

t

o

r

)

 

t

o

 

s

e

e

 

w

h

a

t

 

p

a

r

a

m

e

t

e

r

s

 

a

n

d

 

o

p

t

i

o

n

s

 

a

r

e

 

a

v

a

i

l

a

b

l

e

.







#

 

A

c

c

e

l

e

r

a

t

e







A

c

c

e

l

e

r

a

t

e

 

i

s

 

a

 

l

i

b

r

a

r

y

 

t

h

a

t

 

e

n

a

b

l

e

s

 

t

h

e

 

s

a

m

e

 

P

y

T

o

r

c

h

 

c

o

d

e

 

t

o

 

b

e

 

r

u

n

 

a

c

r

o

s

s

 

a

n

y

 

d

i

s

t

r

i

b

u

t

e

d

 

c

o

n

f

i

g

u

r

a

t

i

o

n

 

b

y

 

a

d

d

i

n

g

 

j

u

s

t

 

f

o

u

r

 

l

i

n

e

s

 

o

f

 

c

o

d

e

!

 

I

n

 

s

h

o

r

t

,

 

t

r

a

i

n

i

n

g

 

a

n

d

 

i

n

f

e

r

e

n

c

e

 

a

t

 

s

c

a

l

e

 

m

a

d

e

 

s

i

m

p

l

e

,

 

e

f

f

i

c

i

e

n

t

 

a

n

d

 

a

d

a

p

t

a

b

l

e

.







`

`

`

d

i

f

f




+

 

f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

A

c

c

e

l

e

r

a

t

o

r




+

 

a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

)







+

 

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

,

 

s

c

h

e

d

u

l

e

r

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(




+

 

 

 

 

 

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

,

 

s

c

h

e

d

u

l

e

r




+

 

)







 

 

f

o

r

 

b

a

t

c

h

 

i

n

 

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

:




 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

.

z

e

r

o

_

g

r

a

d

(

)




 

 

 

 

 

 

i

n

p

u

t

s

,

 

t

a

r

g

e

t

s

 

=

 

b

a

t

c

h




 

 

 

 

 

 

i

n

p

u

t

s

 

=

 

i

n

p

u

t

s

.

t

o

(

d

e

v

i

c

e

)




 

 

 

 

 

 

t

a

r

g

e

t

s

 

=

 

t

a

r

g

e

t

s

.

t

o

(

d

e

v

i

c

e

)




 

 

 

 

 

 

o

u

t

p

u

t

s

 

=

 

m

o

d

e

l

(

i

n

p

u

t

s

)




 

 

 

 

 

 

l

o

s

s

 

=

 

l

o

s

s

_

f

u

n

c

t

i

o

n

(

o

u

t

p

u

t

s

,

 

t

a

r

g

e

t

s

)




+

 

 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

b

a

c

k

w

a

r

d

(

l

o

s

s

)




 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




 

 

 

 

 

 

s

c

h

e

d

u

l

e

r

.

s

t

e

p

(

)




`

`

`







B

u

i

l

t

 

o

n

 

`

t

o

r

c

h

_

x

l

a

`

 

a

n

d

 

`

t

o

r

c

h

.

d

i

s

t

r

i

b

u

t

e

d

`

,

 

A

c

c

e

l

e

r

a

t

e

 

t

a

k

e

s

 

c

a

r

e

 

o

f

 

t

h

e

 

h

e

a

v

y

 

l

i

f

t

i

n

g

,

 

s

o

 

y

o

u

 

d

o

n

'

t

 

h

a

v

e

 

t

o

 

w

r

i

t

e

 

a

n

y

 

c

u

s

t

o

m

 

c

o

d

e

 

t

o

 

a

d

a

p

t

 

t

o

 

t

h

e

s

e

 

p

l

a

t

f

o

r

m

s

.




C

o

n

v

e

r

t

 

e

x

i

s

t

i

n

g

 

c

o

d

e

b

a

s

e

s

 

t

o

 

u

t

i

l

i

z

e

 

[

D

e

e

p

S

p

e

e

d

]

(

u

s

a

g

e

_

g

u

i

d

e

s

/

d

e

e

p

s

p

e

e

d

)

,

 

p

e

r

f

o

r

m

 

[

f

u

l

l

y

 

s

h

a

r

d

e

d

 

d

a

t

a

 

p

a

r

a

l

l

e

l

i

s

m

]

(

u

s

a

g

e

_

g

u

i

d

e

s

/

f

s

d

p

)

,

 

a

n

d

 

h

a

v

e

 

a

u

t

o

m

a

t

i

c

 

s

u

p

p

o

r

t

 

f

o

r

 

m

i

x

e

d

-

p

r

e

c

i

s

i

o

n

 

t

r

a

i

n

i

n

g

!

 







<

T

i

p

>

 







 

 

T

o

 

g

e

t

 

a

 

b

e

t

t

e

r

 

i

d

e

a

 

o

f

 

t

h

i

s

 

p

r

o

c

e

s

s

,

 

m

a

k

e

 

s

u

r

e

 

t

o

 

c

h

e

c

k

 

o

u

t

 

t

h

e

 

[

T

u

t

o

r

i

a

l

s

]

(

b

a

s

i

c

_

t

u

t

o

r

i

a

l

s

/

o

v

e

r

v

i

e

w

)

!

 







<

/

T

i

p

>










T

h

i

s

 

c

o

d

e

 

c

a

n

 

t

h

e

n

 

b

e

 

l

a

u

n

c

h

e

d

 

o

n

 

a

n

y

 

s

y

s

t

e

m

 

t

h

r

o

u

g

h

 

A

c

c

e

l

e

r

a

t

e

'

s

 

C

L

I

 

i

n

t

e

r

f

a

c

e

:




`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

{

m

y

_

s

c

r

i

p

t

.

p

y

}




`

`

`







<

d

i

v

 

c

l

a

s

s

=

"

m

t

-

1

0

"

>




 

 

<

d

i

v

 

c

l

a

s

s

=

"

w

-

f

u

l

l

 

f

l

e

x

 

f

l

e

x

-

c

o

l

 

s

p

a

c

e

-

y

-

4

 

m

d

:

s

p

a

c

e

-

y

-

0

 

m

d

:

g

r

i

d

 

m

d

:

g

r

i

d

-

c

o

l

s

-

2

 

m

d

:

g

a

p

-

y

-

4

 

m

d

:

g

a

p

-

x

-

5

"

>




 

 

 

 

<

a

 

c

l

a

s

s

=

"

!

n

o

-

u

n

d

e

r

l

i

n

e

 

b

o

r

d

e

r

 

d

a

r

k

:

b

o

r

d

e

r

-

g

r

a

y

-

7

0

0

 

p

-

5

 

r

o

u

n

d

e

d

-

l

g

 

s

h

a

d

o

w

 

h

o

v

e

r

:

s

h

a

d

o

w

-

l

g

"

 

h

r

e

f

=

"

.

/

b

a

s

i

c

_

t

u

t

o

r

i

a

l

s

/

o

v

e

r

v

i

e

w

"




 

 

 

 

 

 

>

<

d

i

v

 

c

l

a

s

s

=

"

w

-

f

u

l

l

 

t

e

x

t

-

c

e

n

t

e

r

 

b

g

-

g

r

a

d

i

e

n

t

-

t

o

-

b

r

 

f

r

o

m

-

b

l

u

e

-

4

0

0

 

t

o

-

b

l

u

e

-

5

0

0

 

r

o

u

n

d

e

d

-

l

g

 

p

y

-

1

.

5

 

f

o

n

t

-

s

e

m

i

b

o

l

d

 

m

b

-

5

 

t

e

x

t

-

w

h

i

t

e

 

t

e

x

t

-

l

g

 

l

e

a

d

i

n

g

-

r

e

l

a

x

e

d

"

>

T

u

t

o

r

i

a

l

s

<

/

d

i

v

>




 

 

 

 

 

 

<

p

 

c

l

a

s

s

=

"

t

e

x

t

-

g

r

a

y

-

7

0

0

"

>

L

e

a

r

n

 

t

h

e

 

b

a

s

i

c

s

 

a

n

d

 

b

e

c

o

m

e

 

f

a

m

i

l

i

a

r

 

w

i

t

h

 

u

s

i

n

g

 

A

c

c

e

l

e

r

a

t

e

.

 

S

t

a

r

t

 

h

e

r

e

 

i

f

 

y

o

u

 

a

r

e

 

u

s

i

n

g

 

A

c

c

e

l

e

r

a

t

e

 

f

o

r

 

t

h

e

 

f

i

r

s

t

 

t

i

m

e

!

<

/

p

>




 

 

 

 

<

/

a

>




 

 

 

 

<

a

 

c

l

a

s

s

=

"

!

n

o

-

u

n

d

e

r

l

i

n

e

 

b

o

r

d

e

r

 

d

a

r

k

:

b

o

r

d

e

r

-

g

r

a

y

-

7

0

0

 

p

-

5

 

r

o

u

n

d

e

d

-

l

g

 

s

h

a

d

o

w

 

h

o

v

e

r

:

s

h

a

d

o

w

-

l

g

"

 

h

r

e

f

=

"

.

/

u

s

a

g

e

_

g

u

i

d

e

s

/

e

x

p

l

o

r

e

"




 

 

 

 

 

 

>

<

d

i

v

 

c

l

a

s

s

=

"

w

-

f

u

l

l

 

t

e

x

t

-

c

e

n

t

e

r

 

b

g

-

g

r

a

d

i

e

n

t

-

t

o

-

b

r

 

f

r

o

m

-

i

n

d

i

g

o

-

4

0

0

 

t

o

-

i

n

d

i

g

o

-

5

0

0

 

r

o

u

n

d

e

d

-

l

g

 

p

y

-

1

.

5

 

f

o

n

t

-

s

e

m

i

b

o

l

d

 

m

b

-

5

 

t

e

x

t

-

w

h

i

t

e

 

t

e

x

t

-

l

g

 

l

e

a

d

i

n

g

-

r

e

l

a

x

e

d

"

>

H

o

w

-

t

o

 

g

u

i

d

e

s

<

/

d

i

v

>




 

 

 

 

 

 

<

p

 

c

l

a

s

s

=

"

t

e

x

t

-

g

r

a

y

-

7

0

0

"

>

P

r

a

c

t

i

c

a

l

 

g

u

i

d

e

s

 

t

o

 

h

e

l

p

 

y

o

u

 

a

c

h

i

e

v

e

 

a

 

s

p

e

c

i

f

i

c

 

g

o

a

l

.

 

T

a

k

e

 

a

 

l

o

o

k

 

a

t

 

t

h

e

s

e

 

g

u

i

d

e

s

 

t

o

 

l

e

a

r

n

 

h

o

w

 

t

o

 

u

s

e

 

A

c

c

e

l

e

r

a

t

e

 

t

o

 

s

o

l

v

e

 

r

e

a

l

-

w

o

r

l

d

 

p

r

o

b

l

e

m

s

.

<

/

p

>




 

 

 

 

<

/

a

>




 

 

 

 

<

a

 

c

l

a

s

s

=

"

!

n

o

-

u

n

d

e

r

l

i

n

e

 

b

o

r

d

e

r

 

d

a

r

k

:

b

o

r

d

e

r

-

g

r

a

y

-

7

0

0

 

p

-

5

 

r

o

u

n

d

e

d

-

l

g

 

s

h

a

d

o

w

 

h

o

v

e

r

:

s

h

a

d

o

w

-

l

g

"

 

h

r

e

f

=

"

.

/

c

o

n

c

e

p

t

_

g

u

i

d

e

s

/

g

r

a

d

i

e

n

t

_

s

y

n

c

h

r

o

n

i

z

a

t

i

o

n

"




 

 

 

 

 

 

>

<

d

i

v

 

c

l

a

s

s

=

"

w

-

f

u

l

l

 

t

e

x

t

-

c

e

n

t

e

r

 

b

g

-

g

r

a

d

i

e

n

t

-

t

o

-

b

r

 

f

r

o

m

-

p

i

n

k

-

4

0

0

 

t

o

-

p

i

n

k

-

5

0

0

 

r

o

u

n

d

e

d

-

l

g

 

p

y

-

1

.

5

 

f

o

n

t

-

s

e

m

i

b

o

l

d

 

m

b

-

5

 

t

e

x

t

-

w

h

i

t

e

 

t

e

x

t

-

l

g

 

l

e

a

d

i

n

g

-

r

e

l

a

x

e

d

"

>

C

o

n

c

e

p

t

u

a

l

 

g

u

i

d

e

s

<

/

d

i

v

>




 

 

 

 

 

 

<

p

 

c

l

a

s

s

=

"

t

e

x

t

-

g

r

a

y

-

7

0

0

"

>

H

i

g

h

-

l

e

v

e

l

 

e

x

p

l

a

n

a

t

i

o

n

s

 

f

o

r

 

b

u

i

l

d

i

n

g

 

a

 

b

e

t

t

e

r

 

u

n

d

e

r

s

t

a

n

d

i

n

g

 

o

f

 

i

m

p

o

r

t

a

n

t

 

t

o

p

i

c

s

 

s

u

c

h

 

a

s

 

a

v

o

i

d

i

n

g

 

s

u

b

t

l

e

 

n

u

a

n

c

e

s

 

a

n

d

 

p

i

t

f

a

l

l

s

 

i

n

 

d

i

s

t

r

i

b

u

t

e

d

 

t

r

a

i

n

i

n

g

 

a

n

d

 

D

e

e

p

S

p

e

e

d

.

<

/

p

>




 

 

 

<

/

a

>




 

 

 

 

<

a

 

c

l

a

s

s

=

"

!

n

o

-

u

n

d

e

r

l

i

n

e

 

b

o

r

d

e

r

 

d

a

r

k

:

b

o

r

d

e

r

-

g

r

a

y

-

7

0

0

 

p

-

5

 

r

o

u

n

d

e

d

-

l

g

 

s

h

a

d

o

w

 

h

o

v

e

r

:

s

h

a

d

o

w

-

l

g

"

 

h

r

e

f

=

"

.

/

p

a

c

k

a

g

e

_

r

e

f

e

r

e

n

c

e

/

a

c

c

e

l

e

r

a

t

o

r

"




 

 

 

 

 

 

>

<

d

i

v

 

c

l

a

s

s

=

"

w

-

f

u

l

l

 

t

e

x

t

-

c

e

n

t

e

r

 

b

g

-

g

r

a

d

i

e

n

t

-

t

o

-

b

r

 

f

r

o

m

-

p

u

r

p

l

e

-

4

0

0

 

t

o

-

p

u

r

p

l

e

-

5

0

0

 

r

o

u

n

d

e

d

-

l

g

 

p

y

-

1

.

5

 

f

o

n

t

-

s

e

m

i

b

o

l

d

 

m

b

-

5

 

t

e

x

t

-

w

h

i

t

e

 

t

e

x

t

-

l

g

 

l

e

a

d

i

n

g

-

r

e

l

a

x

e

d

"

>

R

e

f

e

r

e

n

c

e

<

/

d

i

v

>




 

 

 

 

 

 

<

p

 

c

l

a

s

s

=

"

t

e

x

t

-

g

r

a

y

-

7

0

0

"

>

T

e

c

h

n

i

c

a

l

 

d

e

s

c

r

i

p

t

i

o

n

s

 

o

f

 

h

o

w

 

A

c

c

e

l

e

r

a

t

e

 

c

l

a

s

s

e

s

 

a

n

d

 

m

e

t

h

o

d

s

 

w

o

r

k

.

<

/

p

>




 

 

 

 

<

/

a

>




 

 

<

/

d

i

v

>




<

/

d

i

v

>







#

 

F

u

l

l

y

 

S

h

a

r

d

e

d

 

D

a

t

a

 

P

a

r

a

l

l

e

l







T

o

 

a

c

c

e

l

e

r

a

t

e

 

t

r

a

i

n

i

n

g

 

h

u

g

e

 

m

o

d

e

l

s

 

o

n

 

l

a

r

g

e

r

 

b

a

t

c

h

 

s

i

z

e

s

,

 

w

e

 

c

a

n

 

u

s

e

 

a

 

f

u

l

l

y

 

s

h

a

r

d

e

d

 

d

a

t

a

 

p

a

r

a

l

l

e

l

 

m

o

d

e

l

.




T

h

i

s

 

t

y

p

e

 

o

f

 

d

a

t

a

 

p

a

r

a

l

l

e

l

 

p

a

r

a

d

i

g

m

 

e

n

a

b

l

e

s

 

f

i

t

t

i

n

g

 

m

o

r

e

 

d

a

t

a

 

a

n

d

 

l

a

r

g

e

r

 

m

o

d

e

l

s

 

b

y

 

s

h

a

r

d

i

n

g

 

t

h

e

 

o

p

t

i

m

i

z

e

r

 

s

t

a

t

e

s

,

 

g

r

a

d

i

e

n

t

s

 

a

n

d

 

p

a

r

a

m

e

t

e

r

s

.




T

o

 

r

e

a

d

 

m

o

r

e

 

a

b

o

u

t

 

i

t

 

a

n

d

 

t

h

e

 

b

e

n

e

f

i

t

s

,

 

c

h

e

c

k

 

o

u

t

 

t

h

e

 

[

F

u

l

l

y

 

S

h

a

r

d

e

d

 

D

a

t

a

 

P

a

r

a

l

l

e

l

 

b

l

o

g

]

(

h

t

t

p

s

:

/

/

p

y

t

o

r

c

h

.

o

r

g

/

b

l

o

g

/

i

n

t

r

o

d

u

c

i

n

g

-

p

y

t

o

r

c

h

-

f

u

l

l

y

-

s

h

a

r

d

e

d

-

d

a

t

a

-

p

a

r

a

l

l

e

l

-

a

p

i

/

)

.




W

e

 

h

a

v

e

 

i

n

t

e

g

r

a

t

e

d

 

t

h

e

 

l

a

t

e

s

t

 

P

y

T

o

r

c

h

'

s

 

F

u

l

l

y

 

S

h

a

r

d

e

d

 

D

a

t

a

 

P

a

r

a

l

l

e

l

 

(

F

S

D

P

)

 

t

r

a

i

n

i

n

g

 

f

e

a

t

u

r

e

.




A

l

l

 

y

o

u

 

n

e

e

d

 

t

o

 

d

o

 

i

s

 

e

n

a

b

l

e

 

i

t

 

t

h

r

o

u

g

h

 

t

h

e

 

c

o

n

f

i

g

.







#

#

 

H

o

w

 

i

t

 

w

o

r

k

s

 

o

u

t

 

o

f

 

t

h

e

 

b

o

x







O

n

 

y

o

u

r

 

m

a

c

h

i

n

e

(

s

)

 

j

u

s

t

 

r

u

n

:







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g




`

`

`







a

n

d

 

a

n

s

w

e

r

 

t

h

e

 

q

u

e

s

t

i

o

n

s

 

a

s

k

e

d

.

 

T

h

i

s

 

w

i

l

l

 

g

e

n

e

r

a

t

e

 

a

 

c

o

n

f

i

g

 

f

i

l

e

 

t

h

a

t

 

w

i

l

l

 

b

e

 

u

s

e

d

 

a

u

t

o

m

a

t

i

c

a

l

l

y

 

t

o

 

p

r

o

p

e

r

l

y

 

s

e

t

 

t

h

e




d

e

f

a

u

l

t

 

o

p

t

i

o

n

s

 

w

h

e

n

 

d

o

i

n

g







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

m

y

_

s

c

r

i

p

t

.

p

y

 

-

-

a

r

g

s

_

t

o

_

m

y

_

s

c

r

i

p

t




`

`

`







F

o

r

 

i

n

s

t

a

n

c

e

,

 

h

e

r

e

 

i

s

 

h

o

w

 

y

o

u

 

w

o

u

l

d

 

r

u

n

 

`

e

x

a

m

p

l

e

s

/

n

l

p

_

e

x

a

m

p

l

e

.

p

y

`

 

(

f

r

o

m

 

t

h

e

 

r

o

o

t

 

o

f

 

t

h

e

 

r

e

p

o

)

 

w

i

t

h

 

F

S

D

P

 

e

n

a

b

l

e

d

:







`

`

`

b

a

s

h




c

o

m

p

u

t

e

_

e

n

v

i

r

o

n

m

e

n

t

:

 

L

O

C

A

L

_

M

A

C

H

I

N

E




d

e

b

u

g

:

 

f

a

l

s

e




d

i

s

t

r

i

b

u

t

e

d

_

t

y

p

e

:

 

F

S

D

P




d

o

w

n

c

a

s

t

_

b

f

1

6

:

 

'

n

o

'




f

s

d

p

_

c

o

n

f

i

g

:




 

 

f

s

d

p

_

a

u

t

o

_

w

r

a

p

_

p

o

l

i

c

y

:

 

T

R

A

N

S

F

O

R

M

E

R

_

B

A

S

E

D

_

W

R

A

P




 

 

f

s

d

p

_

b

a

c

k

w

a

r

d

_

p

r

e

f

e

t

c

h

_

p

o

l

i

c

y

:

 

B

A

C

K

W

A

R

D

_

P

R

E




 

 

f

s

d

p

_

f

o

r

w

a

r

d

_

p

r

e

f

e

t

c

h

:

 

f

a

l

s

e




 

 

f

s

d

p

_

c

p

u

_

r

a

m

_

e

f

f

i

c

i

e

n

t

_

l

o

a

d

i

n

g

:

 

t

r

u

e




 

 

f

s

d

p

_

o

f

f

l

o

a

d

_

p

a

r

a

m

s

:

 

f

a

l

s

e




 

 

f

s

d

p

_

s

h

a

r

d

i

n

g

_

s

t

r

a

t

e

g

y

:

 

F

U

L

L

_

S

H

A

R

D




 

 

f

s

d

p

_

s

t

a

t

e

_

d

i

c

t

_

t

y

p

e

:

 

S

H

A

R

D

E

D

_

S

T

A

T

E

_

D

I

C

T




 

 

f

s

d

p

_

s

y

n

c

_

m

o

d

u

l

e

_

s

t

a

t

e

s

:

 

t

r

u

e




 

 

f

s

d

p

_

t

r

a

n

s

f

o

r

m

e

r

_

l

a

y

e

r

_

c

l

s

_

t

o

_

w

r

a

p

:

 

B

e

r

t

L

a

y

e

r




 

 

f

s

d

p

_

u

s

e

_

o

r

i

g

_

p

a

r

a

m

s

:

 

t

r

u

e




m

a

c

h

i

n

e

_

r

a

n

k

:

 

0




m

a

i

n

_

t

r

a

i

n

i

n

g

_

f

u

n

c

t

i

o

n

:

 

m

a

i

n




m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

:

 

b

f

1

6




n

u

m

_

m

a

c

h

i

n

e

s

:

 

1




n

u

m

_

p

r

o

c

e

s

s

e

s

:

 

2




r

d

z

v

_

b

a

c

k

e

n

d

:

 

s

t

a

t

i

c




s

a

m

e

_

n

e

t

w

o

r

k

:

 

t

r

u

e




t

p

u

_

e

n

v

:

 

[

]




t

p

u

_

u

s

e

_

c

l

u

s

t

e

r

:

 

f

a

l

s

e




t

p

u

_

u

s

e

_

s

u

d

o

:

 

f

a

l

s

e




u

s

e

_

c

p

u

:

 

f

a

l

s

e




`

`

`







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

e

x

a

m

p

l

e

s

/

n

l

p

_

e

x

a

m

p

l

e

.

p

y




`

`

`







C

u

r

r

e

n

t

l

y

,

 

`

A

c

c

e

l

e

r

a

t

e

`

 

s

u

p

p

o

r

t

s

 

t

h

e

 

f

o

l

l

o

w

i

n

g

 

c

o

n

f

i

g

 

t

h

r

o

u

g

h

 

t

h

e

 

C

L

I

:







`

f

s

d

p

_

s

h

a

r

d

i

n

g

_

s

t

r

a

t

e

g

y

`

:

 

[

1

]

 

F

U

L

L

_

S

H

A

R

D

 

(

s

h

a

r

d

s

 

o

p

t

i

m

i

z

e

r

 

s

t

a

t

e

s

,

 

g

r

a

d

i

e

n

t

s

 

a

n

d

 

p

a

r

a

m

e

t

e

r

s

)

,

 

[

2

]

 

S

H

A

R

D

_

G

R

A

D

_

O

P

 

(

s

h

a

r

d

s

 

o

p

t

i

m

i

z

e

r

 

s

t

a

t

e

s

 

a

n

d

 

g

r

a

d

i

e

n

t

s

)

,

 

[

3

]

 

N

O

_

S

H

A

R

D

 

(

D

D

P

)

,

 

[

4

]

 

H

Y

B

R

I

D

_

S

H

A

R

D

 

(

s

h

a

r

d

s

 

o

p

t

i

m

i

z

e

r

 

s

t

a

t

e

s

,

 

g

r

a

d

i

e

n

t

s

 

a

n

d

 

p

a

r

a

m

e

t

e

r

s

 

w

i

t

h

i

n

 

e

a

c

h

 

n

o

d

e

 

w

h

i

l

e

 

e

a

c

h

 

n

o

d

e

 

h

a

s

 

f

u

l

l

 

c

o

p

y

)

,

 

[

5

]

 

H

Y

B

R

I

D

_

S

H

A

R

D

_

Z

E

R

O

2

 

(

s

h

a

r

d

s

 

o

p

t

i

m

i

z

e

r

 

s

t

a

t

e

s

 

a

n

d

 

g

r

a

d

i

e

n

t

s

 

w

i

t

h

i

n

 

e

a

c

h

 

n

o

d

e

 

w

h

i

l

e

 

e

a

c

h

 

n

o

d

e

 

h

a

s

 

f

u

l

l

 

c

o

p

y

)

.

 

F

o

r

 

m

o

r

e

 

i

n

f

o

r

m

a

t

i

o

n

,

 

p

l

e

a

s

e

 

r

e

f

e

r

 

t

h

e

 

o

f

f

i

c

i

a

l

 

[

P

y

T

o

r

c

h

 

d

o

c

s

]

(

h

t

t

p

s

:

/

/

p

y

t

o

r

c

h

.

o

r

g

/

d

o

c

s

/

s

t

a

b

l

e

/

f

s

d

p

.

h

t

m

l

#

t

o

r

c

h

.

d

i

s

t

r

i

b

u

t

e

d

.

f

s

d

p

.

S

h

a

r

d

i

n

g

S

t

r

a

t

e

g

y

)

.







`

f

s

d

p

_

o

f

f

l

o

a

d

_

p

a

r

a

m

s

`

 

:

 

D

e

c

i

d

e

s

 

W

h

e

t

h

e

r

 

t

o

 

o

f

f

l

o

a

d

 

p

a

r

a

m

e

t

e

r

s

 

a

n

d

 

g

r

a

d

i

e

n

t

s

 

t

o

 

C

P

U







`

f

s

d

p

_

a

u

t

o

_

w

r

a

p

_

p

o

l

i

c

y

`

:

 

[

1

]

 

T

R

A

N

S

F

O

R

M

E

R

_

B

A

S

E

D

_

W

R

A

P

,

 

[

2

]

 

S

I

Z

E

_

B

A

S

E

D

_

W

R

A

P

,

 

[

3

]

 

N

O

_

W

R

A

P







`

f

s

d

p

_

t

r

a

n

s

f

o

r

m

e

r

_

l

a

y

e

r

_

c

l

s

_

t

o

_

w

r

a

p

`

:

 

O

n

l

y

 

a

p

p

l

i

c

a

b

l

e

 

f

o

r

 

T

r

a

n

s

f

o

r

m

e

r

s

.

 

W

h

e

n

 

u

s

i

n

g

 

`

f

s

d

p

_

a

u

t

o

_

w

r

a

p

_

p

o

l

i

c

y

=

T

R

A

N

S

F

O

R

M

E

R

_

B

A

S

E

D

_

W

R

A

P

`

,

 

a

 

u

s

e

r

 

m

a

y

 

p

r

o

v

i

d

e

 

a

 

c

o

m

m

a

-

s

e

p

a

r

a

t

e

d

 

s

t

r

i

n

g

 

o

f

 

t

r

a

n

s

f

o

r

m

e

r

 

l

a

y

e

r

 

c

l

a

s

s

 

n

a

m

e

s

 

(

c

a

s

e

-

s

e

n

s

i

t

i

v

e

)

 

t

o

 

w

r

a

p

,

 

e

.

g

.

,

 

`

B

e

r

t

L

a

y

e

r

`

,

 

`

G

P

T

J

B

l

o

c

k

`

,

 

`

T

5

B

l

o

c

k

`

,

 

`

B

e

r

t

L

a

y

e

r

,

B

e

r

t

E

m

b

e

d

d

i

n

g

s

,

B

e

r

t

S

e

l

f

O

u

t

p

u

t

`

.

 

T

h

i

s

 

i

s

 

i

m

p

o

r

t

a

n

t

 

b

e

c

a

u

s

e

 

s

u

b

m

o

d

u

l

e

s

 

t

h

a

t

 

s

h

a

r

e

 

w

e

i

g

h

t

s

 

(

e

.

g

.

,

 

e

m

b

e

d

d

i

n

g

 

l

a

y

e

r

s

)

 

s

h

o

u

l

d

 

n

o

t

 

e

n

d

 

u

p

 

i

n

 

d

i

f

f

e

r

e

n

t

 

F

S

D

P

 

w

r

a

p

p

e

d

 

u

n

i

t

s

.

 

U

s

i

n

g

 

t

h

i

s

 

p

o

l

i

c

y

,

 

w

r

a

p

p

i

n

g

 

h

a

p

p

e

n

s

 

f

o

r

 

e

a

c

h

 

b

l

o

c

k

 

c

o

n

t

a

i

n

i

n

g

 

M

u

l

t

i

-

H

e

a

d

 

A

t

t

e

n

t

i

o

n

 

f

o

l

l

o

w

e

d

 

b

y

 

a

 

c

o

u

p

l

e

 

o

f

 

M

L

P

 

l

a

y

e

r

s

.

 

R

e

m

a

i

n

i

n

g

 

l

a

y

e

r

s

 

i

n

c

l

u

d

i

n

g

 

t

h

e

 

s

h

a

r

e

d

 

e

m

b

e

d

d

i

n

g

s

 

a

r

e

 

c

o

n

v

e

n

i

e

n

t

l

y

 

w

r

a

p

p

e

d

 

i

n

 

s

a

m

e

 

o

u

t

e

r

m

o

s

t

 

F

S

D

P

 

u

n

i

t

.

 

T

h

e

r

e

f

o

r

e

,

 

u

s

e

 

t

h

i

s

 

f

o

r

 

t

r

a

n

s

f

o

r

m

e

r

-

b

a

s

e

d

 

m

o

d

e

l

s

.

 

Y

o

u

 

c

a

n

 

u

s

e

 

t

h

e

 

`

m

o

d

e

l

.

_

n

o

_

s

p

l

i

t

_

m

o

d

u

l

e

s

`

 

f

o

r

 

T

r

a

n

s

f

o

r

m

e

r

 

m

o

d

e

l

s

 

b

y

 

a

n

s

w

e

r

i

n

g

 

`

y

e

s

`

 

t

o

 

`

D

o

 

y

o

u

 

w

a

n

t

 

t

o

 

u

s

e

 

t

h

e

 

m

o

d

e

l

'

s

 

`

_

n

o

_

s

p

l

i

t

_

m

o

d

u

l

e

s

`

 

t

o

 

w

r

a

p

.

 

I

t

 

w

i

l

l

 

t

r

y

 

t

o

 

u

s

e

 

`

m

o

d

e

l

.

_

n

o

_

s

p

l

i

t

_

m

o

d

u

l

e

s

`

 

w

h

e

n

 

p

o

s

s

i

b

l

e

.







`

f

s

d

p

_

m

i

n

_

n

u

m

_

p

a

r

a

m

s

`

:

 

m

i

n

i

m

u

m

 

n

u

m

b

e

r

 

o

f

 

p

a

r

a

m

e

t

e

r

s

 

w

h

e

n

 

u

s

i

n

g

 

`

f

s

d

p

_

a

u

t

o

_

w

r

a

p

_

p

o

l

i

c

y

=

S

I

Z

E

_

B

A

S

E

D

_

W

R

A

P

`

.







`

f

s

d

p

_

b

a

c

k

w

a

r

d

_

p

r

e

f

e

t

c

h

_

p

o

l

i

c

y

`

:

 

[

1

]

 

B

A

C

K

W

A

R

D

_

P

R

E

,

 

[

2

]

 

B

A

C

K

W

A

R

D

_

P

O

S

T

,

 

[

3

]

 

N

O

_

P

R

E

F

E

T

C

H







`

f

s

d

p

_

f

o

r

w

a

r

d

_

p

r

e

f

e

t

c

h

`

:

 

i

f

 

T

r

u

e

,

 

t

h

e

n

 

F

S

D

P

 

e

x

p

l

i

c

i

t

l

y

 

p

r

e

f

e

t

c

h

e

s

 

t

h

e

 

n

e

x

t

 

u

p

c

o

m

i

n

g

 

a

l

l

-

g

a

t

h

e

r

 

w

h

i

l

e

 

e

x

e

c

u

t

i

n

g

 

i

n

 

t

h

e

 

f

o

r

w

a

r

d

 

p

a

s

s

.

 

S

h

o

u

l

d

 

o

n

l

y

 

b

e

 

u

s

e

d

 

f

o

r

 

s

t

a

t

i

c

-

g

r

a

p

h

 

m

o

d

e

l

s

 

s

i

n

c

e

 

t

h

e

 

p

r

e

f

e

t

c

h

i

n

g

 

f

o

l

l

o

w

s

 

t

h

e

 

f

i

r

s

t

 

i

t

e

r

a

t

i

o

n

’

s

 

e

x

e

c

u

t

i

o

n

 

o

r

d

e

r

.

 

i

.

e

.

,

 

i

f

 

t

h

e

 

s

u

b

-

m

o

d

u

l

e

s

'

 

o

r

d

e

r

 

c

h

a

n

g

e

s

 

d

y

n

a

m

i

c

a

l

l

y

 

d

u

r

i

n

g

 

t

h

e

 

m

o

d

e

l

'

s

 

e

x

e

c

u

t

i

o

n

 

d

o

 

n

o

t

 

e

n

a

b

l

e

 

t

h

i

s

 

f

e

a

t

u

r

e

.







`

f

s

d

p

_

s

t

a

t

e

_

d

i

c

t

_

t

y

p

e

`

:

 

[

1

]

 

F

U

L

L

_

S

T

A

T

E

_

D

I

C

T

,

 

[

2

]

 

L

O

C

A

L

_

S

T

A

T

E

_

D

I

C

T

,

 

[

3

]

 

S

H

A

R

D

E

D

_

S

T

A

T

E

_

D

I

C

T







`

f

s

d

p

_

u

s

e

_

o

r

i

g

_

p

a

r

a

m

s

`

:

 

I

f

 

T

r

u

e

,

 

a

l

l

o

w

s

 

n

o

n

-

u

n

i

f

o

r

m

 

`

r

e

q

u

i

r

e

s

_

g

r

a

d

`

 

d

u

r

i

n

g

 

i

n

i

t

,

 

w

h

i

c

h

 

m

e

a

n

s

 

s

u

p

p

o

r

t

 

f

o

r

 

i

n

t

e

r

s

p

e

r

s

e

d

 

f

r

o

z

e

n

 

a

n

d

 

t

r

a

i

n

a

b

l

e

 

p

a

r

a

m

e

t

e

r

s

.

 

T

h

i

s

 

s

e

t

t

i

n

g

 

i

s

 

u

s

e

f

u

l

 

i

n

 

c

a

s

e

s

 

s

u

c

h

 

a

s

 

p

a

r

a

m

e

t

e

r

-

e

f

f

i

c

i

e

n

t

 

f

i

n

e

-

t

u

n

i

n

g

 

a

s

 

d

i

s

c

u

s

s

e

d

 

i

n

 

[

t

h

i

s

 

p

o

s

t

]

(

h

t

t

p

s

:

/

/

d

e

v

-

d

i

s

c

u

s

s

.

p

y

t

o

r

c

h

.

o

r

g

/

t

/

r

e

t

h

i

n

k

i

n

g

-

p

y

t

o

r

c

h

-

f

u

l

l

y

-

s

h

a

r

d

e

d

-

d

a

t

a

-

p

a

r

a

l

l

e

l

-

f

s

d

p

-

f

r

o

m

-

f

i

r

s

t

-

p

r

i

n

c

i

p

l

e

s

/

1

0

1

9

)

.

 

T

h

i

s

 

o

p

t

i

o

n

 

a

l

s

o

 

a

l

l

o

w

s

 

o

n

e

 

t

o

 

h

a

v

e

 

m

u

l

t

i

p

l

e

 

o

p

t

i

m

i

z

e

r

 

p

a

r

a

m

 

g

r

o

u

p

s

.

 

T

h

i

s

 

s

h

o

u

l

d

 

b

e

 

`

T

r

u

e

`

 

w

h

e

n

 

c

r

e

a

t

i

n

g

 

a

n

 

o

p

t

i

m

i

z

e

r

 

b

e

f

o

r

e

 

p

r

e

p

a

r

i

n

g

/

w

r

a

p

p

i

n

g

 

t

h

e

 

m

o

d

e

l

 

w

i

t

h

 

F

S

D

P

.







`

f

s

d

p

_

c

p

u

_

r

a

m

_

e

f

f

i

c

i

e

n

t

_

l

o

a

d

i

n

g

`

:

 

O

n

l

y

 

a

p

p

l

i

c

a

b

l

e

 

f

o

r

 

T

r

a

n

s

f

o

r

m

e

r

s

 

m

o

d

e

l

s

.

 

I

f

 

T

r

u

e

,

 

o

n

l

y

 

t

h

e

 

f

i

r

s

t

 

p

r

o

c

e

s

s

 

l

o

a

d

s

 

t

h

e

 

p

r

e

t

r

a

i

n

e

d

 

m

o

d

e

l

 

c

h

e

c

k

p

o

i

n

t

 

w

h

i

l

e

 

a

l

l

 

o

t

h

e

r

 

p

r

o

c

e

s

s

e

s

 

h

a

v

e

 

e

m

p

t

y

 

w

e

i

g

h

t

s

.

 

T

h

i

s

 

s

h

o

u

l

d

 

b

e

 

s

e

t

 

t

o

 

F

a

l

s

e

 

i

f

 

y

o

u

 

e

x

p

e

r

i

e

n

c

e

 

e

r

r

o

r

s

 

w

h

e

n

 

l

o

a

d

i

n

g

 

t

h

e

 

p

r

e

t

r

a

i

n

e

d

 

T

r

a

n

s

f

o

r

m

e

r

s

 

m

o

d

e

l

 

v

i

a

 

`

f

r

o

m

_

p

r

e

t

r

a

i

n

e

d

`

 

m

e

t

h

o

d

.

 

W

h

e

n

 

t

h

i

s

 

s

e

t

t

i

n

g

 

i

s

 

T

r

u

e

 

`

f

s

d

p

_

s

y

n

c

_

m

o

d

u

l

e

_

s

t

a

t

e

s

`

 

a

l

s

o

 

m

u

s

t

 

t

o

 

b

e

 

T

r

u

e

,

 

o

t

h

e

r

w

i

s

e

 

a

l

l

 

t

h

e

 

p

r

o

c

e

s

s

e

s

 

e

x

c

e

p

t

 

t

h

e

 

m

a

i

n

 

p

r

o

c

e

s

s

 

w

o

u

l

d

 

h

a

v

e

 

r

a

n

d

o

m

 

w

e

i

g

h

t

s

 

l

e

a

d

i

n

g

 

t

o

 

u

n

e

x

p

e

c

t

e

d

 

b

e

h

a

v

i

o

u

r

 

d

u

r

i

n

g

 

t

r

a

i

n

i

n

g

.

 

F

o

r

 

t

h

i

s

 

t

o

 

w

o

r

k

,

 

m

a

k

e

 

s

u

r

e

 

t

h

e

 

d

i

s

t

r

i

b

u

t

e

d

 

p

r

o

c

e

s

s

 

g

r

o

u

p

 

i

s

 

i

n

i

t

i

a

l

i

z

e

d

 

b

e

f

o

r

e

 

c

a

l

l

i

n

g

 

T

r

a

n

s

f

o

r

m

e

r

s

 

`

f

r

o

m

_

p

r

e

t

r

a

i

n

e

d

`

 

m

e

t

h

o

d

.

 

W

h

e

n

 

u

s

i

n

g

 

T

r

a

i

n

e

r

 

A

P

I

,

 

t

h

e

 

d

i

s

t

r

i

b

u

t

e

d

 

p

r

o

c

e

s

s

 

g

r

o

u

p

 

i

s

 

i

n

i

t

i

a

l

i

z

e

d

 

w

h

e

n

 

y

o

u

 

c

r

e

a

t

e

 

a

n

 

i

n

s

t

a

n

c

e

 

o

f

 

`

T

r

a

i

n

i

n

g

A

r

g

u

m

e

n

t

s

`

 

c

l

a

s

s

.







`

f

s

d

p

_

s

y

n

c

_

m

o

d

u

l

e

_

s

t

a

t

e

s

`

:

 

I

f

 

T

r

u

e

,

 

e

a

c

h

 

i

n

d

i

v

i

d

u

a

l

l

y

 

w

r

a

p

p

e

d

 

F

S

D

P

 

u

n

i

t

 

w

i

l

l

 

b

r

o

a

d

c

a

s

t

 

m

o

d

u

l

e

 

p

a

r

a

m

e

t

e

r

s

 

f

r

o

m

 

r

a

n

k

 

0

.










F

o

r

 

a

d

d

i

t

i

o

n

a

l

 

a

n

d

 

m

o

r

e

 

n

u

a

n

c

e

d

 

c

o

n

t

r

o

l

,

 

y

o

u

 

c

a

n

 

s

p

e

c

i

f

y

 

o

t

h

e

r

 

F

S

D

P

 

p

a

r

a

m

e

t

e

r

s

 

v

i

a

 

`

F

u

l

l

y

S

h

a

r

d

e

d

D

a

t

a

P

a

r

a

l

l

e

l

P

l

u

g

i

n

`

.




W

h

e

n

 

c

r

e

a

t

i

n

g

 

`

F

u

l

l

y

S

h

a

r

d

e

d

D

a

t

a

P

a

r

a

l

l

e

l

P

l

u

g

i

n

`

 

o

b

j

e

c

t

,

 

p

a

s

s

 

i

t

 

t

h

e

 

p

a

r

a

m

e

t

e

r

s

 

t

h

a

t

 

w

e

r

e

n

'

t

 

p

a

r

t

 

o

f

 

t

h

e

 

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

 

o

r

 

i

f

 

y

o

u

 

w

a

n

t

 

t

o

 

o

v

e

r

r

i

d

e

 

t

h

e

m

.




T

h

e

 

F

S

D

P

 

p

a

r

a

m

e

t

e

r

s

 

w

i

l

l

 

b

e

 

p

i

c

k

e

d

 

b

a

s

e

d

 

o

n

 

t

h

e

 

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

 

f

i

l

e

 

o

r

 

l

a

u

n

c

h

 

c

o

m

m

a

n

d

 

a

r

g

u

m

e

n

t

s

 

a

n

d

 

o

t

h

e

r

 

p

a

r

a

m

e

t

e

r

s

 

t

h

a

t

 

y

o

u

 

w

i

l

l

 

p

a

s

s

 

d

i

r

e

c

t

l

y

 

t

h

r

o

u

g

h

 

t

h

e

 

`

F

u

l

l

y

S

h

a

r

d

e

d

D

a

t

a

P

a

r

a

l

l

e

l

P

l

u

g

i

n

`

 

o

b

j

e

c

t

 

w

i

l

l

 

s

e

t

/

o

v

e

r

r

i

d

e

 

t

h

a

t

.







B

e

l

o

w

 

i

s

 

a

n

 

e

x

a

m

p

l

e

:







`

`

`

p

y




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

F

u

l

l

y

S

h

a

r

d

e

d

D

a

t

a

P

a

r

a

l

l

e

l

P

l

u

g

i

n




f

r

o

m

 

t

o

r

c

h

.

d

i

s

t

r

i

b

u

t

e

d

.

f

s

d

p

.

f

u

l

l

y

_

s

h

a

r

d

e

d

_

d

a

t

a

_

p

a

r

a

l

l

e

l

 

i

m

p

o

r

t

 

F

u

l

l

O

p

t

i

m

S

t

a

t

e

D

i

c

t

C

o

n

f

i

g

,

 

F

u

l

l

S

t

a

t

e

D

i

c

t

C

o

n

f

i

g







f

s

d

p

_

p

l

u

g

i

n

 

=

 

F

u

l

l

y

S

h

a

r

d

e

d

D

a

t

a

P

a

r

a

l

l

e

l

P

l

u

g

i

n

(




 

 

 

 

s

t

a

t

e

_

d

i

c

t

_

c

o

n

f

i

g

=

F

u

l

l

S

t

a

t

e

D

i

c

t

C

o

n

f

i

g

(

o

f

f

l

o

a

d

_

t

o

_

c

p

u

=

F

a

l

s

e

,

 

r

a

n

k

0

_

o

n

l

y

=

F

a

l

s

e

)

,




 

 

 

 

o

p

t

i

m

_

s

t

a

t

e

_

d

i

c

t

_

c

o

n

f

i

g

=

F

u

l

l

O

p

t

i

m

S

t

a

t

e

D

i

c

t

C

o

n

f

i

g

(

o

f

f

l

o

a

d

_

t

o

_

c

p

u

=

F

a

l

s

e

,

 

r

a

n

k

0

_

o

n

l

y

=

F

a

l

s

e

)

,




)







a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

f

s

d

p

_

p

l

u

g

i

n

=

f

s

d

p

_

p

l

u

g

i

n

)




`

`

`







#

#

 

S

a

v

i

n

g

 

a

n

d

 

l

o

a

d

i

n

g







T

h

e

 

n

e

w

 

r

e

c

o

m

m

e

n

d

e

d

 

w

a

y

 

o

f

 

c

h

e

c

k

p

o

i

n

t

i

n

g

 

w

h

e

n

 

u

s

i

n

g

 

F

S

D

P

 

m

o

d

e

l

s

 

i

s

 

t

o

 

u

s

e

 

`

S

H

A

R

D

E

D

_

S

T

A

T

E

_

D

I

C

T

`

 

a

s

 

`

S

t

a

t

e

D

i

c

t

T

y

p

e

`

 

w

h

e

n

 

s

e

t

t

i

n

g

 

u

p

 

t

h

e

 

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

.




B

e

l

o

w

 

i

s

 

t

h

e

 

c

o

d

e

 

s

n

i

p

p

e

t

 

t

o

 

s

a

v

e

 

u

s

i

n

g

 

`

s

a

v

e

_

s

t

a

t

e

`

 

u

t

i

l

i

t

y

 

o

f

 

a

c

c

e

l

e

r

a

t

e

.







`

`

`

p

y




a

c

c

e

l

e

r

a

t

o

r

.

s

a

v

e

_

s

t

a

t

e

(

"

c

k

p

t

"

)




`

`

`







I

n

s

p

e

c

t

 

t

h

e

 

c

h

e

c

k

p

o

i

n

t

 

f

o

l

d

e

r

 

t

o

 

s

e

e

 

m

o

d

e

l

 

a

n

d

 

o

p

t

i

m

i

z

e

r

 

a

s

 

s

h

a

r

d

s

 

p

e

r

 

p

r

o

c

e

s

s

:




`

`

`




l

s

 

c

k

p

t




#

 

o

p

t

i

m

i

z

e

r

_

0

 

 

p

y

t

o

r

c

h

_

m

o

d

e

l

_

0

 

 

r

a

n

d

o

m

_

s

t

a

t

e

s

_

0

.

p

k

l

 

 

r

a

n

d

o

m

_

s

t

a

t

e

s

_

1

.

p

k

l

 

 

s

c

h

e

d

u

l

e

r

.

b

i

n







c

d

 

c

k

p

t







l

s

 

o

p

t

i

m

i

z

e

r

_

0




#

 

_

_

0

_

0

.

d

i

s

t

c

p

 

 

_

_

1

_

0

.

d

i

s

t

c

p







l

s

 

p

y

t

o

r

c

h

_

m

o

d

e

l

_

0




#

 

_

_

0

_

0

.

d

i

s

t

c

p

 

 

_

_

1

_

0

.

d

i

s

t

c

p




`

`

`







T

o

 

l

o

a

d

 

t

h

e

m

 

b

a

c

k

 

f

o

r

 

r

e

s

u

m

i

n

g

 

t

h

e

 

t

r

a

i

n

i

n

g

,

 

u

s

e

 

t

h

e

 

`

l

o

a

d

_

s

t

a

t

e

`

 

u

t

i

l

i

t

y

 

o

f

 

a

c

c

e

l

e

r

a

t

e







`

`

`

p

y




a

c

c

e

l

e

r

a

t

o

r

.

l

o

a

d

_

s

t

a

t

e

(

"

c

k

p

t

"

)




`

`

`







W

h

e

n

 

u

s

i

n

g

 

t

r

a

n

s

f

o

r

m

e

r

s

 

`

s

a

v

e

_

p

r

e

t

r

a

i

n

e

d

`

,

 

p

a

s

s

 

`

s

t

a

t

e

_

d

i

c

t

=

a

c

c

e

l

e

r

a

t

o

r

.

g

e

t

_

s

t

a

t

e

_

d

i

c

t

(

m

o

d

e

l

)

`

 

t

o

 

s

a

v

e

 

t

h

e

 

m

o

d

e

l

 

s

t

a

t

e

 

d

i

c

t

.




 

 

B

e

l

o

w

 

i

s

 

a

n

 

e

x

a

m

p

l

e

:







`

`

`

d

i

f

f




 

 

u

n

w

r

a

p

p

e

d

_

m

o

d

e

l

.

s

a

v

e

_

p

r

e

t

r

a

i

n

e

d

(




 

 

 

 

 

 

a

r

g

s

.

o

u

t

p

u

t

_

d

i

r

,




 

 

 

 

 

 

i

s

_

m

a

i

n

_

p

r

o

c

e

s

s

=

a

c

c

e

l

e

r

a

t

o

r

.

i

s

_

m

a

i

n

_

p

r

o

c

e

s

s

,




 

 

 

 

 

 

s

a

v

e

_

f

u

n

c

t

i

o

n

=

a

c

c

e

l

e

r

a

t

o

r

.

s

a

v

e

,




+

 

 

 

 

 

s

t

a

t

e

_

d

i

c

t

=

a

c

c

e

l

e

r

a

t

o

r

.

g

e

t

_

s

t

a

t

e

_

d

i

c

t

(

m

o

d

e

l

)

,




)




`

`

`







#

#

#

 

S

t

a

t

e

 

D

i

c

t







`

a

c

c

e

l

e

r

a

t

o

r

.

g

e

t

_

s

t

a

t

e

_

d

i

c

t

`

 

w

i

l

l

 

c

a

l

l

 

t

h

e

 

u

n

d

e

r

l

y

i

n

g

 

`

m

o

d

e

l

.

s

t

a

t

e

_

d

i

c

t

`

 

i

m

p

l

e

m

e

n

t

a

t

i

o

n

 

u

s

i

n

g

 

`

F

u

l

l

S

t

a

t

e

D

i

c

t

C

o

n

f

i

g

(

o

f

f

l

o

a

d

_

t

o

_

c

p

u

=

T

r

u

e

,

 

r

a

n

k

0

_

o

n

l

y

=

T

r

u

e

)

`

 

c

o

n

t

e

x

t

 

m

a

n

a

g

e

r

 

t

o

 

g

e

t

 

t

h

e

 

s

t

a

t

e

 

d

i

c

t

 

o

n

l

y

 

f

o

r

 

r

a

n

k

 

0

 

a

n

d

 

i

t

 

w

i

l

l

 

b

e

 

o

f

f

l

o

a

d

e

d

 

t

o

 

C

P

U

.







Y

o

u

 

c

a

n

 

t

h

e

n

 

p

a

s

s

 

`

s

t

a

t

e

`

 

i

n

t

o

 

t

h

e

 

`

s

a

v

e

_

p

r

e

t

r

a

i

n

e

d

`

 

m

e

t

h

o

d

.

 

 

T

h

e

r

e

 

a

r

e

 

s

e

v

e

r

a

l

 

m

o

d

e

s

 

f

o

r

 

`

S

t

a

t

e

D

i

c

t

T

y

p

e

`

 

a

n

d

 

`

F

u

l

l

S

t

a

t

e

D

i

c

t

C

o

n

f

i

g

`

 

t

h

a

t

 

y

o

u

 

c

a

n

 

u

s

e

 

t

o

 

c

o

n

t

r

o

l

 

t

h

e

 

b

e

h

a

v

i

o

r

 

o

f

 

`

s

t

a

t

e

_

d

i

c

t

`

.

 

 

F

o

r

 

m

o

r

e

 

i

n

f

o

r

m

a

t

i

o

n

,

 

s

e

e

 

t

h

e

 

[

P

y

T

o

r

c

h

 

d

o

c

u

m

e

n

t

a

t

i

o

n

]

(

h

t

t

p

s

:

/

/

p

y

t

o

r

c

h

.

o

r

g

/

d

o

c

s

/

s

t

a

b

l

e

/

f

s

d

p

.

h

t

m

l

)

.







I

f

 

y

o

u

 

c

h

o

o

s

e

 

t

o

 

u

s

e

 

`

S

t

a

t

e

D

i

c

t

T

y

p

e

.

S

H

A

R

D

E

D

_

S

T

A

T

E

_

D

I

C

T

`

,

 

t

h

e

 

w

e

i

g

h

t

s

 

o

f

 

t

h

e

 

m

o

d

e

l

 

d

u

r

i

n

g

 

`

A

c

c

e

l

e

r

a

t

o

r

.

s

a

v

e

_

s

t

a

t

e

`

 

w

i

l

l

 

b

e

 

s

p

l

i

t

 

i

n

t

o

 

`

n

`

 

f

i

l

e

s

 

f

o

r

 

e

a

c

h

 

s

u

b

-

s

p

l

i

t

 

o

n

 

t

h

e

 

m

o

d

e

l

.

 

T

o

 

m

e

r

g

e

 

t

h

e

m

 

b

a

c

k

 

i

n

t

o




a

 

s

i

n

g

l

e

 

d

i

c

t

i

o

n

a

r

y

 

t

o

 

l

o

a

d

 

b

a

c

k

 

i

n

t

o

 

t

h

e

 

m

o

d

e

l

 

l

a

t

e

r

 

a

f

t

e

r

 

t

r

a

i

n

i

n

g

 

y

o

u

 

c

a

n

 

u

s

e

 

t

h

e

 

`

m

e

r

g

e

_

w

e

i

g

h

t

s

`

 

u

t

i

l

i

t

y

:







`

`

`

p

y




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

.

u

t

i

l

s

 

i

m

p

o

r

t

 

m

e

r

g

e

_

f

s

d

p

_

w

e

i

g

h

t

s







#

 

O

u

r

 

w

e

i

g

h

t

s

 

a

r

e

 

s

a

v

e

d

 

u

s

u

a

l

l

y

 

i

n

 

a

 

`

p

y

t

o

r

c

h

_

m

o

d

e

l

_

f

s

d

p

_

{

m

o

d

e

l

_

n

u

m

b

e

r

}

`

 

f

o

l

d

e

r




m

e

r

g

e

_

f

s

d

p

_

w

e

i

g

h

t

s

(

"

p

y

t

o

r

c

h

_

m

o

d

e

l

_

f

s

d

p

_

0

"

,

 

"

o

u

t

p

u

t

_

p

a

t

h

"

,

 

s

a

f

e

_

s

e

r

i

a

l

i

z

a

t

i

o

n

=

T

r

u

e

)




`

`

`




T

h

e

 

f

i

n

a

l

 

o

u

t

p

u

t

 

w

i

l

l

 

t

h

e

n

 

e

i

t

h

e

r

 

b

e

 

s

a

v

e

d

 

t

o

 

`

m

o

d

e

l

.

s

a

f

e

t

e

n

s

o

r

s

`

 

o

r

 

`

p

y

t

o

r

c

h

_

m

o

d

e

l

.

b

i

n

`

 

(

i

f

 

`

s

a

f

e

_

s

e

r

i

a

l

i

z

a

t

i

o

n

=

F

a

l

s

e

`

 

i

s

 

p

a

s

s

e

d

)

.

 







T

h

i

s

 

c

a

n

 

a

l

s

o

 

b

e

 

c

a

l

l

e

d

 

u

s

i

n

g

 

t

h

e

 

C

L

I

:




`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

m

e

r

g

e

-

w

e

i

g

h

t

s

 

p

y

t

o

r

c

h

_

m

o

d

e

l

_

f

s

d

p

_

0

/

 

o

u

t

p

u

t

_

p

a

t

h




`

`

`










#

#

 

M

a

p

p

i

n

g

 

b

e

t

w

e

e

n

 

F

S

D

P

 

s

h

a

r

d

i

n

g

 

s

t

r

a

t

e

g

i

e

s

 

a

n

d

 

D

e

e

p

S

p

e

e

d

 

Z

e

R

O

 

S

t

a

g

e

s




*

 

`

F

U

L

L

_

S

H

A

R

D

`

 

m

a

p

s

 

t

o

 

t

h

e

 

D

e

e

p

S

p

e

e

d

 

`

Z

e

R

O

 

S

t

a

g

e

-

3

`

.

 

S

h

a

r

d

s

 

o

p

t

i

m

i

z

e

r

 

s

t

a

t

e

s

,

 

g

r

a

d

i

e

n

t

s

 

a

n

d

 

p

a

r

a

m

e

t

e

r

s

.




*

 

`

S

H

A

R

D

_

G

R

A

D

_

O

P

`

 

m

a

p

s

 

t

o

 

t

h

e

 

D

e

e

p

S

p

e

e

d

 

`

Z

e

R

O

 

S

t

a

g

e

-

2

`

.

 

S

h

a

r

d

s

 

o

p

t

i

m

i

z

e

r

 

s

t

a

t

e

s

 

a

n

d

 

g

r

a

d

i

e

n

t

s

.




*

 

`

N

O

_

S

H

A

R

D

`

 

m

a

p

s

 

t

o

 

`

Z

e

R

O

 

S

t

a

g

e

-

0

`

.

 

N

o

 

s

h

a

r

d

i

n

g

 

w

h

e

r

e

i

n

 

e

a

c

h

 

G

P

U

 

h

a

s

 

f

u

l

l

 

c

o

p

y

 

o

f

 

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

 

s

t

a

t

e

s

 

a

n

d

 

g

r

a

d

i

e

n

t

s

.




*

 

`

H

Y

B

R

I

D

_

S

H

A

R

D

`

 

m

a

p

s

 

t

o

 

`

Z

e

R

O

+

+

 

S

t

a

g

e

-

3

`

 

w

h

e

r

e

i

n

 

`

z

e

r

o

_

h

p

z

_

p

a

r

t

i

t

i

o

n

_

s

i

z

e

=

<

n

u

m

_

g

p

u

s

_

p

e

r

_

n

o

d

e

>

`

.

 

H

e

r

e

,

 

t

h

i

s

 

w

i

l

l

 

s

h

a

r

d

 

o

p

t

i

m

i

z

e

r

 

s

t

a

t

e

s

,

 

g

r

a

d

i

e

n

t

s

 

a

n

d

 

p

a

r

a

m

e

t

e

r

s

 

w

i

t

h

i

n

 

e

a

c

h

 

n

o

d

e

 

w

h

i

l

e

 

e

a

c

h

 

n

o

d

e

 

h

a

s

 

f

u

l

l

 

c

o

p

y

.







#

#

 

A

 

f

e

w

 

c

a

v

e

a

t

s

 

t

o

 

b

e

 

a

w

a

r

e

 

o

f







-

 

I

n

 

c

a

s

e

 

o

f

 

m

u

l

t

i

p

l

e

 

m

o

d

e

l

s

,

 

p

a

s

s

 

t

h

e

 

o

p

t

i

m

i

z

e

r

s

 

t

o

 

t

h

e

 

p

r

e

p

a

r

e

 

c

a

l

l

 

i

n

 

t

h

e

 

s

a

m

e

 

o

r

d

e

r

 

a

s

 

c

o

r

r

e

s

p

o

n

d

i

n

g

 

m

o

d

e

l

s

 

e

l

s

e

 

`

a

c

c

e

l

e

r

a

t

o

r

.

s

a

v

e

_

s

t

a

t

e

(

)

`

 

a

n

d

 

`

a

c

c

e

l

e

r

a

t

o

r

.

l

o

a

d

_

s

t

a

t

e

(

)

`

 

w

i

l

l

 

r

e

s

u

l

t

 

i

n

 

w

r

o

n

g

/

u

n

e

x

p

e

c

t

e

d

 

b

e

h

a

v

i

o

u

r

.




-

 

T

h

i

s

 

f

e

a

t

u

r

e

 

i

s

 

i

n

c

o

m

p

a

t

i

b

l

e

 

w

i

t

h

 

`

-

-

p

r

e

d

i

c

t

_

w

i

t

h

_

g

e

n

e

r

a

t

e

`

 

i

n

 

t

h

e

 

`

r

u

n

_

t

r

a

n

s

l

a

t

i

o

n

.

p

y

`

 

s

c

r

i

p

t

 

o

f

 

`

T

r

a

n

s

f

o

r

m

e

r

s

`

 

l

i

b

r

a

r

y

.







F

o

r

 

m

o

r

e

 

c

o

n

t

r

o

l

,

 

u

s

e

r

s

 

c

a

n

 

l

e

v

e

r

a

g

e

 

t

h

e

 

`

F

u

l

l

y

S

h

a

r

d

e

d

D

a

t

a

P

a

r

a

l

l

e

l

P

l

u

g

i

n

`

.

 

A

f

t

e

r

 

c

r

e

a

t

i

n

g

 

a

n

 

i

n

s

t

a

n

c

e

 

o

f

 

t

h

i

s

 

c

l

a

s

s

,

 

u

s

e

r

s

 

c

a

n

 

p

a

s

s

 

i

t

 

t

o

 

t

h

e

 

A

c

c

e

l

e

r

a

t

o

r

 

c

l

a

s

s

 

i

n

s

t

a

n

t

i

a

t

i

o

n

.




F

o

r

 

m

o

r

e

 

i

n

f

o

r

m

a

t

i

o

n

 

o

n

 

t

h

e

s

e

 

o

p

t

i

o

n

s

,

 

p

l

e

a

s

e

 

r

e

f

e

r

 

t

o

 

t

h

e

 

P

y

T

o

r

c

h

 

[

F

u

l

l

y

S

h

a

r

d

e

d

D

a

t

a

P

a

r

a

l

l

e

l

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

p

y

t

o

r

c

h

/

p

y

t

o

r

c

h

/

b

l

o

b

/

0

d

f

2

e

8

6

3

f

b

d

5

9

9

3

a

7

b

9

e

6

5

2

9

1

0

7

9

2

b

d

2

1

a

5

1

6

f

f

3

/

t

o

r

c

h

/

d

i

s

t

r

i

b

u

t

e

d

/

f

s

d

p

/

f

u

l

l

y

_

s

h

a

r

d

e

d

_

d

a

t

a

_

p

a

r

a

l

l

e

l

.

p

y

#

L

2

3

6

)

 

c

o

d

e

.










<

T

i

p

>







 

 

 

 

F

o

r

 

t

h

o

s

e

 

i

n

t

e

r

e

s

t

e

d

 

i

n

 

t

h

e

 

s

i

m

i

l

a

r

i

t

i

e

s

 

a

n

d

 

d

i

f

f

e

r

e

n

c

e

s

 

b

e

t

w

e

e

n

 

F

S

D

P

 

a

n

d

 

D

e

e

p

S

p

e

e

d

,

 

p

l

e

a

s

e

 

c

h

e

c

k

 

o

u

t

 

t

h

e

 

[

c

o

n

c

e

p

t

 

g

u

i

d

e

 

h

e

r

e

]

(

.

.

/

c

o

n

c

e

p

t

_

g

u

i

d

e

s

/

f

s

d

p

_

a

n

d

_

d

e

e

p

s

p

e

e

d

)

!




 

 

 

 




<

/

T

i

p

>







#

 

C

h

e

c

k

p

o

i

n

t

i

n

g







W

h

e

n

 

t

r

a

i

n

i

n

g

 

a

 

P

y

T

o

r

c

h

 

m

o

d

e

l

 

w

i

t

h

 

A

c

c

e

l

e

r

a

t

e

,

 

y

o

u

 

m

a

y

 

o

f

t

e

n

 

w

a

n

t

 

t

o

 

s

a

v

e

 

a

n

d

 

c

o

n

t

i

n

u

e

 

a

 

s

t

a

t

e

 

o

f

 

t

r

a

i

n

i

n

g

.

 

D

o

i

n

g

 

s

o

 

r

e

q

u

i

r

e

s




s

a

v

i

n

g

 

a

n

d

 

l

o

a

d

i

n

g

 

t

h

e

 

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

R

N

G

 

g

e

n

e

r

a

t

o

r

s

,

 

a

n

d

 

t

h

e

 

G

r

a

d

S

c

a

l

e

r

.

 

I

n

s

i

d

e

 

A

c

c

e

l

e

r

a

t

e

 

a

r

e

 

t

w

o

 

c

o

n

v

e

n

i

e

n

c

e

 

f

u

n

c

t

i

o

n

s

 

t

o

 

a

c

h

i

e

v

e

 

t

h

i

s

 

q

u

i

c

k

l

y

:




-

 

U

s

e

 

`

s

a

v

e

_

s

t

a

t

e

(

)

`

 

f

o

r

 

s

a

v

i

n

g

 

e

v

e

r

y

t

h

i

n

g

 

m

e

n

t

i

o

n

e

d

 

a

b

o

v

e

 

t

o

 

a

 

f

o

l

d

e

r

 

l

o

c

a

t

i

o

n




-

 

U

s

e

 

`

l

o

a

d

_

s

t

a

t

e

(

)

`

 

f

o

r

 

l

o

a

d

i

n

g

 

e

v

e

r

y

t

h

i

n

g

 

s

t

o

r

e

d

 

f

r

o

m

 

a

n

 

e

a

r

l

i

e

r

 

`

s

a

v

e

_

s

t

a

t

e

`







T

o

 

f

u

r

t

h

e

r

 

c

u

s

t

o

m

i

z

e

 

w

h

e

r

e

 

a

n

d

 

h

o

w

 

s

t

a

t

e

s

 

a

r

e

 

s

a

v

e

d

 

t

h

r

o

u

g

h

 

`

s

a

v

e

_

s

t

a

t

e

(

)

`

 

t

h

e

 

`

P

r

o

j

e

c

t

C

o

n

f

i

g

u

r

a

t

i

o

n

`

 

c

l

a

s

s

 

c

a

n

 

b

e

 

u

s

e

d

.

 

F

o

r

 

e

x

a

m

p

l

e

 




i

f

 

`

a

u

t

o

m

a

t

i

c

_

c

h

e

c

k

p

o

i

n

t

_

n

a

m

i

n

g

`

 

i

s

 

e

n

a

b

l

e

d

 

e

a

c

h

 

s

a

v

e

d

 

c

h

e

c

k

p

o

i

n

t

 

w

i

l

l

 

b

e

 

l

o

c

a

t

e

d

 

t

h

e

n

 

a

t

 

`

A

c

c

e

l

e

r

a

t

o

r

.

p

r

o

j

e

c

t

_

d

i

r

/

c

h

e

c

k

p

o

i

n

t

s

/

c

h

e

c

k

p

o

i

n

t

_

{

c

h

e

c

k

p

o

i

n

t

_

n

u

m

b

e

r

}

`

.







I

t

 

s

h

o

u

l

d

 

b

e

 

n

o

t

e

d

 

t

h

a

t

 

t

h

e

 

e

x

p

e

c

t

a

t

i

o

n

 

i

s

 

t

h

a

t

 

t

h

o

s

e

 

s

t

a

t

e

s

 

c

o

m

e

 

f

r

o

m

 

t

h

e

 

s

a

m

e

 

t

r

a

i

n

i

n

g

 

s

c

r

i

p

t

,

 

t

h

e

y

 

s

h

o

u

l

d

 

n

o

t

 

b

e

 

f

r

o

m

 

t

w

o

 

s

e

p

a

r

a

t

e

 

s

c

r

i

p

t

s

.







-

 

B

y

 

u

s

i

n

g

 

`

r

e

g

i

s

t

e

r

_

f

o

r

_

c

h

e

c

k

p

o

i

n

t

i

n

g

(

)

`

,

 

y

o

u

 

c

a

n

 

r

e

g

i

s

t

e

r

 

c

u

s

t

o

m

 

o

b

j

e

c

t

s

 

t

o

 

b

e

 

a

u

t

o

m

a

t

i

c

a

l

l

y

 

s

t

o

r

e

d

 

o

r

 

l

o

a

d

e

d

 

f

r

o

m

 

t

h

e

 

t

w

o

 

p

r

i

o

r

 

f

u

n

c

t

i

o

n

s

,




s

o

 

l

o

n

g

 

a

s

 

t

h

e

 

o

b

j

e

c

t

 

h

a

s

 

a

 

`

s

t

a

t

e

_

d

i

c

t

`

 

*

*

a

n

d

*

*

 

a

 

`

l

o

a

d

_

s

t

a

t

e

_

d

i

c

t

`

 

f

u

n

c

t

i

o

n

a

l

i

t

y

.

 

T

h

i

s

 

c

o

u

l

d

 

i

n

c

l

u

d

e

 

o

b

j

e

c

t

s

 

s

u

c

h

 

a

s

 

a

 

l

e

a

r

n

i

n

g

 

r

a

t

e

 

s

c

h

e

d

u

l

e

r

.

 










B

e

l

o

w

 

i

s

 

a

 

b

r

i

e

f

 

e

x

a

m

p

l

e

 

u

s

i

n

g

 

c

h

e

c

k

p

o

i

n

t

i

n

g

 

t

o

 

s

a

v

e

 

a

n

d

 

r

e

l

o

a

d

 

a

 

s

t

a

t

e

 

d

u

r

i

n

g

 

t

r

a

i

n

i

n

g

:







`

`

`

p

y

t

h

o

n




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

A

c

c

e

l

e

r

a

t

o

r




i

m

p

o

r

t

 

t

o

r

c

h







a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

p

r

o

j

e

c

t

_

d

i

r

=

"

m

y

/

s

a

v

e

/

p

a

t

h

"

)







m

y

_

s

c

h

e

d

u

l

e

r

 

=

 

t

o

r

c

h

.

o

p

t

i

m

.

l

r

_

s

c

h

e

d

u

l

e

r

.

S

t

e

p

L

R

(

m

y

_

o

p

t

i

m

i

z

e

r

,

 

s

t

e

p

_

s

i

z

e

=

1

,

 

g

a

m

m

a

=

0

.

9

9

)




m

y

_

m

o

d

e

l

,

 

m

y

_

o

p

t

i

m

i

z

e

r

,

 

m

y

_

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(

m

y

_

m

o

d

e

l

,

 

m

y

_

o

p

t

i

m

i

z

e

r

,

 

m

y

_

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

)







#

 

R

e

g

i

s

t

e

r

 

t

h

e

 

L

R

 

s

c

h

e

d

u

l

e

r




a

c

c

e

l

e

r

a

t

o

r

.

r

e

g

i

s

t

e

r

_

f

o

r

_

c

h

e

c

k

p

o

i

n

t

i

n

g

(

m

y

_

s

c

h

e

d

u

l

e

r

)







#

 

S

a

v

e

 

t

h

e

 

s

t

a

r

t

i

n

g

 

s

t

a

t

e




a

c

c

e

l

e

r

a

t

o

r

.

s

a

v

e

_

s

t

a

t

e

(

)







d

e

v

i

c

e

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

d

e

v

i

c

e




m

y

_

m

o

d

e

l

.

t

o

(

d

e

v

i

c

e

)







#

 

P

e

r

f

o

r

m

 

t

r

a

i

n

i

n

g




f

o

r

 

e

p

o

c

h

 

i

n

 

r

a

n

g

e

(

n

u

m

_

e

p

o

c

h

s

)

:




 

 

 

 

f

o

r

 

b

a

t

c

h

 

i

n

 

m

y

_

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

:




 

 

 

 

 

 

 

 

m

y

_

o

p

t

i

m

i

z

e

r

.

z

e

r

o

_

g

r

a

d

(

)




 

 

 

 

 

 

 

 

i

n

p

u

t

s

,

 

t

a

r

g

e

t

s

 

=

 

b

a

t

c

h




 

 

 

 

 

 

 

 

i

n

p

u

t

s

 

=

 

i

n

p

u

t

s

.

t

o

(

d

e

v

i

c

e

)




 

 

 

 

 

 

 

 

t

a

r

g

e

t

s

 

=

 

t

a

r

g

e

t

s

.

t

o

(

d

e

v

i

c

e

)




 

 

 

 

 

 

 

 

o

u

t

p

u

t

s

 

=

 

m

y

_

m

o

d

e

l

(

i

n

p

u

t

s

)




 

 

 

 

 

 

 

 

l

o

s

s

 

=

 

m

y

_

l

o

s

s

_

f

u

n

c

t

i

o

n

(

o

u

t

p

u

t

s

,

 

t

a

r

g

e

t

s

)




 

 

 

 

 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

b

a

c

k

w

a

r

d

(

l

o

s

s

)




 

 

 

 

 

 

 

 

m

y

_

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




 

 

 

 

m

y

_

s

c

h

e

d

u

l

e

r

.

s

t

e

p

(

)







#

 

R

e

s

t

o

r

e

 

t

h

e

 

p

r

e

v

i

o

u

s

 

s

t

a

t

e




a

c

c

e

l

e

r

a

t

o

r

.

l

o

a

d

_

s

t

a

t

e

(

"

m

y

/

s

a

v

e

/

p

a

t

h

/

c

h

e

c

k

p

o

i

n

t

i

n

g

/

c

h

e

c

k

p

o

i

n

t

_

0

"

)




`

`

`







#

#

 

R

e

s

t

o

r

i

n

g

 

t

h

e

 

s

t

a

t

e

 

o

f

 

t

h

e

 

D

a

t

a

L

o

a

d

e

r

 







A

f

t

e

r

 

r

e

s

u

m

i

n

g

 

f

r

o

m

 

a

 

c

h

e

c

k

p

o

i

n

t

,

 

i

t

 

m

a

y

 

a

l

s

o

 

b

e

 

d

e

s

i

r

a

b

l

e

 

t

o

 

r

e

s

u

m

e

 

f

r

o

m

 

a

 

p

a

r

t

i

c

u

l

a

r

 

p

o

i

n

t

 

i

n

 

t

h

e

 

a

c

t

i

v

e

 

`

D

a

t

a

L

o

a

d

e

r

`

 

i

f

 




t

h

e

 

s

t

a

t

e

 

w

a

s

 

s

a

v

e

d

 

d

u

r

i

n

g

 

t

h

e

 

m

i

d

d

l

e

 

o

f

 

a

n

 

e

p

o

c

h

.

 

Y

o

u

 

c

a

n

 

u

s

e

 

`

s

k

i

p

_

f

i

r

s

t

_

b

a

t

c

h

e

s

(

)

`

 

t

o

 

d

o

 

s

o

.

 







`

`

`

p

y

t

h

o

n




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

A

c

c

e

l

e

r

a

t

o

r







a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

p

r

o

j

e

c

t

_

d

i

r

=

"

m

y

/

s

a

v

e

/

p

a

t

h

"

)







t

r

a

i

n

_

d

a

t

a

l

o

a

d

e

r

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(

t

r

a

i

n

_

d

a

t

a

l

o

a

d

e

r

)




a

c

c

e

l

e

r

a

t

o

r

.

l

o

a

d

_

s

t

a

t

e

(

"

m

y

_

s

t

a

t

e

"

)







#

 

A

s

s

u

m

e

 

t

h

e

 

c

h

e

c

k

p

o

i

n

t

 

w

a

s

 

s

a

v

e

d

 

1

0

0

 

s

t

e

p

s

 

i

n

t

o

 

t

h

e

 

e

p

o

c

h




s

k

i

p

p

e

d

_

d

a

t

a

l

o

a

d

e

r

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

s

k

i

p

_

f

i

r

s

t

_

b

a

t

c

h

e

s

(

t

r

a

i

n

_

d

a

t

a

l

o

a

d

e

r

,

 

1

0

0

)







#

 

A

f

t

e

r

 

t

h

e

 

f

i

r

s

t

 

i

t

e

r

a

t

i

o

n

,

 

g

o

 

b

a

c

k

 

t

o

 

`

t

r

a

i

n

_

d

a

t

a

l

o

a

d

e

r

`







#

 

F

i

r

s

t

 

e

p

o

c

h




f

o

r

 

b

a

t

c

h

 

i

n

 

s

k

i

p

p

e

d

_

d

a

t

a

l

o

a

d

e

r

:




 

 

 

 

#

 

D

o

 

s

o

m

e

t

h

i

n

g




 

 

 

 

p

a

s

s







#

 

S

e

c

o

n

d

 

e

p

o

c

h




f

o

r

 

b

a

t

c

h

 

i

n

 

t

r

a

i

n

_

d

a

t

a

l

o

a

d

e

r

:




 

 

 

 

#

 

D

o

 

s

o

m

e

t

h

i

n

g




 

 

 

 

p

a

s

s




`

`

`







#

 

D

e

e

p

S

p

e

e

d







[

D

e

e

p

S

p

e

e

d

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

m

i

c

r

o

s

o

f

t

/

D

e

e

p

S

p

e

e

d

)

 

i

m

p

l

e

m

e

n

t

s

 

e

v

e

r

y

t

h

i

n

g

 

d

e

s

c

r

i

b

e

d

 

i

n

 

t

h

e

 

[

Z

e

R

O

 

p

a

p

e

r

]

(

h

t

t

p

s

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

1

9

1

0

.

0

2

0

5

4

)

.

 

S

o

m

e

 

o

f

 

t

h

e

 

s

a

l

i

e

n

t

 

o

p

t

i

m

i

z

a

t

i

o

n

s

 

a

r

e

:







1

.

 

O

p

t

i

m

i

z

e

r

 

s

t

a

t

e

 

p

a

r

t

i

t

i

o

n

i

n

g

 

(

Z

e

R

O

 

s

t

a

g

e

 

1

)




2

.

 

G

r

a

d

i

e

n

t

 

p

a

r

t

i

t

i

o

n

i

n

g

 

(

Z

e

R

O

 

s

t

a

g

e

 

2

)




3

.

 

P

a

r

a

m

e

t

e

r

 

p

a

r

t

i

t

i

o

n

i

n

g

 

(

Z

e

R

O

 

s

t

a

g

e

 

3

)




4

.

 

C

u

s

t

o

m

 

m

i

x

e

d

 

p

r

e

c

i

s

i

o

n

 

t

r

a

i

n

i

n

g

 

h

a

n

d

l

i

n

g




5

.

 

A

 

r

a

n

g

e

 

o

f

 

f

a

s

t

 

C

U

D

A

-

e

x

t

e

n

s

i

o

n

-

b

a

s

e

d

 

o

p

t

i

m

i

z

e

r

s




6

.

 

Z

e

R

O

-

O

f

f

l

o

a

d

 

t

o

 

C

P

U

 

a

n

d

 

D

i

s

k

/

N

V

M

e




7

.

 

H

i

e

r

a

r

c

h

i

c

a

l

 

p

a

r

t

i

t

i

o

n

i

n

g

 

o

f

 

m

o

d

e

l

 

p

a

r

a

m

e

t

e

r

s

 

(

Z

e

R

O

+

+

)







Z

e

R

O

-

O

f

f

l

o

a

d

 

h

a

s

 

i

t

s

 

o

w

n

 

d

e

d

i

c

a

t

e

d

 

p

a

p

e

r

:

 

[

Z

e

R

O

-

O

f

f

l

o

a

d

:

 

D

e

m

o

c

r

a

t

i

z

i

n

g

 

B

i

l

l

i

o

n

-

S

c

a

l

e

 

M

o

d

e

l

 

T

r

a

i

n

i

n

g

]

(

h

t

t

p

s

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

1

0

1

.

0

6

8

4

0

)

.

 

A

n

d

 

N

V

M

e

-

s

u

p

p

o

r

t

 

i

s

 

d

e

s

c

r

i

b

e

d

 

i

n

 

t

h

e

 

p

a

p

e

r

 

[

Z

e

R

O

-

I

n

f

i

n

i

t

y

:

 

B

r

e

a

k

i

n

g

 

t

h

e

 

G

P

U




M

e

m

o

r

y

 

W

a

l

l

 

f

o

r

 

E

x

t

r

e

m

e

 

S

c

a

l

e

 

D

e

e

p

 

L

e

a

r

n

i

n

g

]

(

h

t

t

p

s

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

1

0

4

.

0

7

8

5

7

)

.







D

e

e

p

S

p

e

e

d

 

Z

e

R

O

-

2

 

i

s

 

p

r

i

m

a

r

i

l

y

 

u

s

e

d

 

o

n

l

y

 

f

o

r

 

t

r

a

i

n

i

n

g

,

 

a

s

 

i

t

s

 

f

e

a

t

u

r

e

s

 

a

r

e

 

o

f

 

n

o

 

u

s

e

 

t

o

 

i

n

f

e

r

e

n

c

e

.







D

e

e

p

S

p

e

e

d

 

Z

e

R

O

-

3

 

c

a

n

 

b

e

 

u

s

e

d

 

f

o

r

 

i

n

f

e

r

e

n

c

e

 

a

s

 

w

e

l

l

 

s

i

n

c

e

 

i

t

 

a

l

l

o

w

s

 

h

u

g

e

 

m

o

d

e

l

s

 

t

o

 

b

e

 

l

o

a

d

e

d

 

o

n

 

m

u

l

t

i

p

l

e

 

G

P

U

s

,

 

w

h

i

c

h




w

o

n

'

t

 

b

e

 

p

o

s

s

i

b

l

e

 

o

n

 

a

 

s

i

n

g

l

e

 

G

P

U

.







A

c

c

e

l

e

r

a

t

e

 

i

n

t

e

g

r

a

t

e

s

 

[

D

e

e

p

S

p

e

e

d

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

m

i

c

r

o

s

o

f

t

/

D

e

e

p

S

p

e

e

d

)

 

v

i

a

 

2

 

o

p

t

i

o

n

s

:







1

.

 

I

n

t

e

g

r

a

t

i

o

n

 

o

f

 

t

h

e

 

D

e

e

p

S

p

e

e

d

 

f

e

a

t

u

r

e

s

 

v

i

a

 

`

d

e

e

p

s

p

e

e

d

 

c

o

n

f

i

g

 

f

i

l

e

`

 

s

p

e

c

i

f

i

c

a

t

i

o

n

 

i

n

 

`

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

`

 

.

 

Y

o

u

 

j

u

s

t

 

s

u

p

p

l

y

 

y

o

u

r

 

c

u

s

t

o

m

 

c

o

n

f

i

g

 

f

i

l

e

 

o

r

 

u

s

e

 

o

u

r

 

t

e

m

p

l

a

t

e

.

 

M

o

s

t

 

o

f




 

 

 

t

h

i

s

 

d

o

c

u

m

e

n

t

 

i

s

 

f

o

c

u

s

e

d

 

o

n

 

t

h

i

s

 

f

e

a

t

u

r

e

.

 

T

h

i

s

 

s

u

p

p

o

r

t

s

 

a

l

l

 

t

h

e

 

c

o

r

e

 

f

e

a

t

u

r

e

s

 

o

f

 

D

e

e

p

S

p

e

e

d

 

a

n

d

 

g

i

v

e

s

 

u

s

e

r

 

a

 

l

o

t

 

o

f

 

f

l

e

x

i

b

i

l

i

t

y

.




 

 

 

U

s

e

r

 

m

a

y

 

h

a

v

e

 

t

o

 

c

h

a

n

g

e

 

a

 

f

e

w

 

l

i

n

e

s

 

o

f

 

c

o

d

e

 

d

e

p

e

n

d

i

n

g

 

o

n

 

t

h

e

 

c

o

n

f

i

g

.




2

.

 

I

n

t

e

g

r

a

t

i

o

n

 

v

i

a

 

`

d

e

e

p

s

p

e

e

d

_

p

l

u

g

i

n

`

.

T

h

i

s

 

s

u

p

p

o

r

t

s

 

s

u

b

s

e

t

 

o

f

 

t

h

e

 

D

e

e

p

S

p

e

e

d

 

f

e

a

t

u

r

e

s

 

a

n

d

 

u

s

e

s

 

d

e

f

a

u

l

t

 

o

p

t

i

o

n

s

 

f

o

r

 

t

h

e

 

r

e

s

t

 

o

f

 

t

h

e

 

c

o

n

f

i

g

u

r

a

t

i

o

n

s

.




 

 

 

U

s

e

r

 

n

e

e

d

 

n

o

t

 

c

h

a

n

g

e

 

a

n

y

 

c

o

d

e

 

a

n

d

 

i

s

 

g

o

o

d

 

f

o

r

 

t

h

o

s

e

 

w

h

o

 

a

r

e

 

f

i

n

e

 

w

i

t

h

 

m

o

s

t

 

o

f

 

t

h

e

 

d

e

f

a

u

l

t

 

s

e

t

t

i

n

g

s

 

o

f

 

D

e

e

p

S

p

e

e

d

.







#

#

 

W

h

a

t

 

i

s

 

i

n

t

e

g

r

a

t

e

d

?







T

r

a

i

n

i

n

g

:







1

.

 

A

c

c

e

l

e

r

a

t

e

 

i

n

t

e

g

r

a

t

e

s

 

a

l

l

 

f

e

a

t

u

r

e

s

 

o

f

 

D

e

e

p

S

p

e

e

d

 

Z

e

R

O

.

 

T

h

i

s

 

i

n

c

l

u

d

e

s

 

a

l

l

 

t

h

e

 

Z

e

R

O

 

s

t

a

g

e

s

 

1

,

 

2

 

a

n

d

 

3

 

a

s

 

w

e

l

l

 

a

s

 

Z

e

R

O

-

O

f

f

l

o

a

d

,

 

Z

e

R

O

-

I

n

f

i

n

i

t

y

 

(

w

h

i

c

h

 

c

a

n

 

o

f

f

l

o

a

d

 

t

o

 

d

i

s

k

/

N

V

M

e

)

 

a

n

d

 

Z

e

R

O

+

+

.




B

e

l

o

w

 

i

s

 

a

 

s

h

o

r

t

 

d

e

s

c

r

i

p

t

i

o

n

 

o

f

 

D

a

t

a

 

P

a

r

a

l

l

e

l

i

s

m

 

u

s

i

n

g

 

Z

e

R

O

 

-

 

Z

e

r

o

 

R

e

d

u

n

d

a

n

c

y

 

O

p

t

i

m

i

z

e

r

 

a

l

o

n

g

 

w

i

t

h

 

d

i

a

g

r

a

m

 

f

r

o

m

 

t

h

i

s

 

[

b

l

o

g

 

p

o

s

t

]

(

h

t

t

p

s

:

/

/

w

w

w

.

m

i

c

r

o

s

o

f

t

.

c

o

m

/

e

n

-

u

s

/

r

e

s

e

a

r

c

h

/

b

l

o

g

/

z

e

r

o

-

d

e

e

p

s

p

e

e

d

-

n

e

w

-

s

y

s

t

e

m

-

o

p

t

i

m

i

z

a

t

i

o

n

s

-

e

n

a

b

l

e

-

t

r

a

i

n

i

n

g

-

m

o

d

e

l

s

-

w

i

t

h

-

o

v

e

r

-

1

0

0

-

b

i

l

l

i

o

n

-

p

a

r

a

m

e

t

e

r

s

/

)




!

[

Z

e

R

O

 

D

a

t

a

 

P

a

r

a

l

l

e

l

i

s

m

]

(

h

t

t

p

s

:

/

/

h

u

g

g

i

n

g

f

a

c

e

.

c

o

/

d

a

t

a

s

e

t

s

/

h

u

g

g

i

n

g

f

a

c

e

/

d

o

c

u

m

e

n

t

a

t

i

o

n

-

i

m

a

g

e

s

/

r

e

s

o

l

v

e

/

m

a

i

n

/

p

a

r

a

l

l

e

l

i

s

m

-

z

e

r

o

.

p

n

g

)







(

S

o

u

r

c

e

:

 

[

l

i

n

k

]

(

h

t

t

p

s

:

/

/

w

w

w

.

m

i

c

r

o

s

o

f

t

.

c

o

m

/

e

n

-

u

s

/

r

e

s

e

a

r

c

h

/

b

l

o

g

/

z

e

r

o

-

d

e

e

p

s

p

e

e

d

-

n

e

w

-

s

y

s

t

e

m

-

o

p

t

i

m

i

z

a

t

i

o

n

s

-

e

n

a

b

l

e

-

t

r

a

i

n

i

n

g

-

m

o

d

e

l

s

-

w

i

t

h

-

o

v

e

r

-

1

0

0

-

b

i

l

l

i

o

n

-

p

a

r

a

m

e

t

e

r

s

/

)

)







 

a

.

 

*

*

S

t

a

g

e

 

1

*

*

 

:

 

S

h

a

r

d

s

 

o

p

t

i

m

i

z

e

r

 

s

t

a

t

e

s

 

a

c

r

o

s

s

 

d

a

t

a

 

p

a

r

a

l

l

e

l

 

w

o

r

k

e

r

s

/

G

P

U

s







 

b

.

 

*

*

S

t

a

g

e

 

2

*

*

 

:

 

S

h

a

r

d

s

 

o

p

t

i

m

i

z

e

r

 

s

t

a

t

e

s

 

+

 

g

r

a

d

i

e

n

t

s

 

a

c

r

o

s

s

 

d

a

t

a

 

p

a

r

a

l

l

e

l

 

w

o

r

k

e

r

s

/

G

P

U

s







 

c

.

 

*

*

S

t

a

g

e

 

3

*

*

:

 

S

h

a

r

d

s

 

o

p

t

i

m

i

z

e

r

 

s

t

a

t

e

s

 

+

 

g

r

a

d

i

e

n

t

s

 

+

 

m

o

d

e

l

 

p

a

r

a

m

e

t

e

r

s

 

a

c

r

o

s

s

 

d

a

t

a

 

p

a

r

a

l

l

e

l

 

w

o

r

k

e

r

s

/

G

P

U

s







 

d

.

 

*

*

O

p

t

i

m

i

z

e

r

 

O

f

f

l

o

a

d

*

*

:

 

O

f

f

l

o

a

d

s

 

t

h

e

 

g

r

a

d

i

e

n

t

s

 

+

 

o

p

t

i

m

i

z

e

r

 

s

t

a

t

e

s

 

t

o

 

C

P

U

/

D

i

s

k

 

b

u

i

l

d

i

n

g

 

o

n

 

t

o

p

 

o

f

 

Z

E

R

O

 

S

t

a

g

e

 

2







 

e

.

 

*

*

P

a

r

a

m

 

O

f

f

l

o

a

d

*

*

:

 

O

f

f

l

o

a

d

s

 

t

h

e

 

m

o

d

e

l

 

p

a

r

a

m

e

t

e

r

s

 

t

o

 

C

P

U

/

D

i

s

k

 

b

u

i

l

d

i

n

g

 

o

n

 

t

o

p

 

o

f

 

Z

E

R

O

 

S

t

a

g

e

 

3







 

f

.

 

*

*

H

i

e

r

a

r

c

h

i

c

a

l

 

P

a

r

t

i

t

i

o

n

i

n

g

*

*

:

 

E

n

a

b

l

e

s

 

e

f

f

i

c

i

e

n

t

 

m

u

l

t

i

-

n

o

d

e

 

t

r

a

i

n

i

n

g

 

w

i

t

h

 

d

a

t

a

-

p

a

r

a

l

l

e

l

 

t

r

a

i

n

i

n

g

 

a

c

r

o

s

s

 

n

o

d

e

s

 

a

n

d

 

Z

e

R

O

-

3

 

s

h

a

r

d

i

n

g

 

w

i

t

h

i

n

 

a

 

n

o

d

e

,

 

b

u

i

l

t

 

o

n

 

t

o

p

 

o

f

 

Z

e

R

O

 

S

t

a

g

e

 

3

.







<

u

>

N

o

t

e

<

/

u

>

:

 

W

i

t

h

 

r

e

s

p

e

c

t

 

t

o

 

D

i

s

k

 

O

f

f

l

o

a

d

,

 

t

h

e

 

d

i

s

k

 

s

h

o

u

l

d

 

b

e

 

a

n

 

N

V

M

E

 

f

o

r

 

d

e

c

e

n

t

 

s

p

e

e

d

 

b

u

t

 

i

t

 

t

e

c

h

n

i

c

a

l

l

y

 

w

o

r

k

s

 

o

n

 

a

n

y

 

D

i

s

k







I

n

f

e

r

e

n

c

e

:







1

.

 

D

e

e

p

S

p

e

e

d

 

Z

e

R

O

 

I

n

f

e

r

e

n

c

e

 

s

u

p

p

o

r

t

s

 

Z

e

R

O

 

s

t

a

g

e

 

3

 

w

i

t

h

 

Z

e

R

O

-

I

n

f

i

n

i

t

y

.

 

I

t

 

u

s

e

s

 

t

h

e

 

s

a

m

e

 

Z

e

R

O

 

p

r

o

t

o

c

o

l

 

a

s

 

t

r

a

i

n

i

n

g

,

 

b

u

t




 

 

 

i

t

 

d

o

e

s

n

'

t

 

u

s

e

 

a

n

 

o

p

t

i

m

i

z

e

r

 

a

n

d

 

a

 

l

r

 

s

c

h

e

d

u

l

e

r

 

a

n

d

 

o

n

l

y

 

s

t

a

g

e

 

3

 

i

s

 

r

e

l

e

v

a

n

t

.

 

F

o

r

 

m

o

r

e

 

d

e

t

a

i

l

s

 

s

e

e

:




 

 

 

[

d

e

e

p

s

p

e

e

d

-

z

e

r

o

-

i

n

f

e

r

e

n

c

e

]

(

#

d

e

e

p

s

p

e

e

d

-

z

e

r

o

-

i

n

f

e

r

e

n

c

e

)

.










#

#

 

H

o

w

 

i

t

 

w

o

r

k

s

?







*

*

P

r

e

-

R

e

q

u

i

s

i

t

e

s

*

*

:

 

I

n

s

t

a

l

l

 

D

e

e

p

S

p

e

e

d

 

v

e

r

s

i

o

n

 

>

=

0

.

6

.

5

.

 

P

l

e

a

s

e

 

r

e

f

e

r

 

t

o

 

t

h

e

 

[

D

e

e

p

S

p

e

e

d

 

I

n

s

t

a

l

l

a

t

i

o

n

 

d

e

t

a

i

l

s

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

m

i

c

r

o

s

o

f

t

/

D

e

e

p

S

p

e

e

d

#

i

n

s

t

a

l

l

a

t

i

o

n

)




f

o

r

 

m

o

r

e

 

i

n

f

o

r

m

a

t

i

o

n

.







W

e

 

w

i

l

l

 

f

i

r

s

t

 

l

o

o

k

 

a

t

 

e

a

s

y

 

t

o

 

u

s

e

 

i

n

t

e

g

r

a

t

i

o

n

 

v

i

a

 

`

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

`

.




F

o

l

l

o

w

e

d

 

b

y

 

m

o

r

e

 

f

l

e

x

i

b

l

e

 

a

n

d

 

f

e

a

t

u

r

e

 

r

i

c

h

 

`

d

e

e

p

s

p

e

e

d

 

c

o

n

f

i

g

 

f

i

l

e

`

 

i

n

t

e

g

r

a

t

i

o

n

.







#

#

#

 

A

c

c

e

l

e

r

a

t

e

 

D

e

e

p

S

p

e

e

d

 

P

l

u

g

i

n




O

n

 

y

o

u

r

 

m

a

c

h

i

n

e

(

s

)

 

j

u

s

t

 

r

u

n

:







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g




`

`

`







a

n

d

 

a

n

s

w

e

r

 

t

h

e

 

q

u

e

s

t

i

o

n

s

 

a

s

k

e

d

.

 

I

t

 

w

i

l

l

 

a

s

k

 

w

h

e

t

h

e

r

 

y

o

u

 

w

a

n

t

 

t

o

 

u

s

e

 

a

 

c

o

n

f

i

g

 

f

i

l

e

 

f

o

r

 

D

e

e

p

S

p

e

e

d

 

t

o

 

w

h

i

c

h

 

y

o

u

 

s

h

o

u

l

d

 

a

n

s

w

e

r

 

n

o

.

 

T

h

e

n

 

a

n

s

w

e

r

 

t

h

e

 

f

o

l

l

o

w

i

n

g

 

q

u

e

s

t

i

o

n

s

 

t

o

 

g

e

n

e

r

a

t

e

 

a

 

b

a

s

i

c

 

D

e

e

p

S

p

e

e

d

 

c

o

n

f

i

g

.




T

h

i

s

 

w

i

l

l

 

g

e

n

e

r

a

t

e

 

a

 

c

o

n

f

i

g

 

f

i

l

e

 

t

h

a

t

 

w

i

l

l

 

b

e

 

u

s

e

d

 

a

u

t

o

m

a

t

i

c

a

l

l

y

 

t

o

 

p

r

o

p

e

r

l

y

 

s

e

t

 

t

h

e




d

e

f

a

u

l

t

 

o

p

t

i

o

n

s

 

w

h

e

n

 

d

o

i

n

g







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

m

y

_

s

c

r

i

p

t

.

p

y

 

-

-

a

r

g

s

_

t

o

_

m

y

_

s

c

r

i

p

t




`

`

`







F

o

r

 

i

n

s

t

a

n

c

e

,

 

h

e

r

e

 

i

s

 

h

o

w

 

y

o

u

 

w

o

u

l

d

 

r

u

n

 

t

h

e

 

N

L

P

 

e

x

a

m

p

l

e

 

`

e

x

a

m

p

l

e

s

/

n

l

p

_

e

x

a

m

p

l

e

.

p

y

`

 

(

f

r

o

m

 

t

h

e

 

r

o

o

t

 

o

f

 

t

h

e

 

r

e

p

o

)

 

w

i

t

h

 

D

e

e

p

S

p

e

e

d

 

P

l

u

g

i

n

:







*

*

Z

e

R

O

 

S

t

a

g

e

-

2

 

D

e

e

p

S

p

e

e

d

 

P

l

u

g

i

n

 

E

x

a

m

p

l

e

*

*




`

`

`

b

a

s

h




c

o

m

p

u

t

e

_

e

n

v

i

r

o

n

m

e

n

t

:

 

L

O

C

A

L

_

M

A

C

H

I

N

E




d

e

e

p

s

p

e

e

d

_

c

o

n

f

i

g

:




 

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

:

 

1




 

g

r

a

d

i

e

n

t

_

c

l

i

p

p

i

n

g

:

 

1

.

0




 

o

f

f

l

o

a

d

_

o

p

t

i

m

i

z

e

r

_

d

e

v

i

c

e

:

 

n

o

n

e




 

o

f

f

l

o

a

d

_

p

a

r

a

m

_

d

e

v

i

c

e

:

 

n

o

n

e




 

z

e

r

o

3

_

i

n

i

t

_

f

l

a

g

:

 

t

r

u

e




 

z

e

r

o

_

s

t

a

g

e

:

 

2




d

i

s

t

r

i

b

u

t

e

d

_

t

y

p

e

:

 

D

E

E

P

S

P

E

E

D




f

s

d

p

_

c

o

n

f

i

g

:

 

{

}




m

a

c

h

i

n

e

_

r

a

n

k

:

 

0




m

a

i

n

_

p

r

o

c

e

s

s

_

i

p

:

 

n

u

l

l




m

a

i

n

_

p

r

o

c

e

s

s

_

p

o

r

t

:

 

n

u

l

l




m

a

i

n

_

t

r

a

i

n

i

n

g

_

f

u

n

c

t

i

o

n

:

 

m

a

i

n




m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

:

 

f

p

1

6




n

u

m

_

m

a

c

h

i

n

e

s

:

 

1




n

u

m

_

p

r

o

c

e

s

s

e

s

:

 

2




u

s

e

_

c

p

u

:

 

f

a

l

s

e




`

`

`







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

e

x

a

m

p

l

e

s

/

n

l

p

_

e

x

a

m

p

l

e

.

p

y

 

-

-

m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

 

f

p

1

6




`

`

`







*

*

Z

e

R

O

 

S

t

a

g

e

-

3

 

w

i

t

h

 

C

P

U

 

O

f

f

l

o

a

d

 

D

e

e

p

S

p

e

e

d

 

P

l

u

g

i

n

 

E

x

a

m

p

l

e

*

*




`

`

`

b

a

s

h




c

o

m

p

u

t

e

_

e

n

v

i

r

o

n

m

e

n

t

:

 

L

O

C

A

L

_

M

A

C

H

I

N

E




d

e

e

p

s

p

e

e

d

_

c

o

n

f

i

g

:




 

 

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

:

 

1




 

 

g

r

a

d

i

e

n

t

_

c

l

i

p

p

i

n

g

:

 

1

.

0




 

 

o

f

f

l

o

a

d

_

o

p

t

i

m

i

z

e

r

_

d

e

v

i

c

e

:

 

c

p

u




 

 

o

f

f

l

o

a

d

_

p

a

r

a

m

_

d

e

v

i

c

e

:

 

c

p

u




 

 

z

e

r

o

3

_

i

n

i

t

_

f

l

a

g

:

 

t

r

u

e




 

 

z

e

r

o

3

_

s

a

v

e

_

1

6

b

i

t

_

m

o

d

e

l

:

 

t

r

u

e




 

 

z

e

r

o

_

s

t

a

g

e

:

 

3




d

i

s

t

r

i

b

u

t

e

d

_

t

y

p

e

:

 

D

E

E

P

S

P

E

E

D




f

s

d

p

_

c

o

n

f

i

g

:

 

{

}




m

a

c

h

i

n

e

_

r

a

n

k

:

 

0




m

a

i

n

_

p

r

o

c

e

s

s

_

i

p

:

 

n

u

l

l




m

a

i

n

_

p

r

o

c

e

s

s

_

p

o

r

t

:

 

n

u

l

l




m

a

i

n

_

t

r

a

i

n

i

n

g

_

f

u

n

c

t

i

o

n

:

 

m

a

i

n




m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

:

 

f

p

1

6




n

u

m

_

m

a

c

h

i

n

e

s

:

 

1




n

u

m

_

p

r

o

c

e

s

s

e

s

:

 

2




u

s

e

_

c

p

u

:

 

f

a

l

s

e




`

`

`







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

e

x

a

m

p

l

e

s

/

n

l

p

_

e

x

a

m

p

l

e

.

p

y

 

-

-

m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

 

f

p

1

6




`

`

`







C

u

r

r

e

n

t

l

y

,

 

`

A

c

c

e

l

e

r

a

t

e

`

 

s

u

p

p

o

r

t

s

 

f

o

l

l

o

w

i

n

g

 

c

o

n

f

i

g

 

t

h

r

o

u

g

h

 

t

h

e

 

C

L

I

:







`

`

`

b

a

s

h




`

z

e

r

o

_

s

t

a

g

e

`

:

 

[

0

]

 

D

i

s

a

b

l

e

d

,

 

[

1

]

 

o

p

t

i

m

i

z

e

r

 

s

t

a

t

e

 

p

a

r

t

i

t

i

o

n

i

n

g

,

 

[

2

]

 

o

p

t

i

m

i

z

e

r

+

g

r

a

d

i

e

n

t

 

s

t

a

t

e

 

p

a

r

t

i

t

i

o

n

i

n

g

 

a

n

d

 

[

3

]

 

o

p

t

i

m

i

z

e

r

+

g

r

a

d

i

e

n

t

+

p

a

r

a

m

e

t

e

r

 

p

a

r

t

i

t

i

o

n

i

n

g




`

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

`

:

 

N

u

m

b

e

r

 

o

f

 

t

r

a

i

n

i

n

g

 

s

t

e

p

s

 

t

o

 

a

c

c

u

m

u

l

a

t

e

 

g

r

a

d

i

e

n

t

s

 

b

e

f

o

r

e

 

a

v

e

r

a

g

i

n

g

 

a

n

d

 

a

p

p

l

y

i

n

g

 

t

h

e

m

.




`

g

r

a

d

i

e

n

t

_

c

l

i

p

p

i

n

g

`

:

 

E

n

a

b

l

e

 

g

r

a

d

i

e

n

t

 

c

l

i

p

p

i

n

g

 

w

i

t

h

 

v

a

l

u

e

.




`

o

f

f

l

o

a

d

_

o

p

t

i

m

i

z

e

r

_

d

e

v

i

c

e

`

:

 

[

n

o

n

e

]

 

D

i

s

a

b

l

e

 

o

p

t

i

m

i

z

e

r

 

o

f

f

l

o

a

d

i

n

g

,

 

[

c

p

u

]

 

o

f

f

l

o

a

d

 

o

p

t

i

m

i

z

e

r

 

t

o

 

C

P

U

,

 

[

n

v

m

e

]

 

o

f

f

l

o

a

d

 

o

p

t

i

m

i

z

e

r

 

t

o

 

N

V

M

e

 

S

S

D

.

 

O

n

l

y

 

a

p

p

l

i

c

a

b

l

e

 

w

i

t

h

 

Z

e

R

O

 

>

=

 

S

t

a

g

e

-

2

.




`

o

f

f

l

o

a

d

_

o

p

t

i

m

i

z

e

r

_

n

v

m

e

_

p

a

t

h

`

:

 

D

e

c

i

d

e

s

 

N

v

m

e

 

P

a

t

h

 

t

o

 

o

f

f

l

o

a

d

 

o

p

t

i

m

i

z

e

r

 

s

t

a

t

e

s

.

 

I

f

 

u

n

s

p

e

c

i

f

i

e

d

,

 

w

i

l

l

 

d

e

f

a

u

l

t

 

t

o

 

'

n

o

n

e

'

.




`

o

f

f

l

o

a

d

_

p

a

r

a

m

_

d

e

v

i

c

e

`

:

 

[

n

o

n

e

]

 

D

i

s

a

b

l

e

 

p

a

r

a

m

e

t

e

r

 

o

f

f

l

o

a

d

i

n

g

,

 

[

c

p

u

]

 

o

f

f

l

o

a

d

 

p

a

r

a

m

e

t

e

r

s

 

t

o

 

C

P

U

,

 

[

n

v

m

e

]

 

o

f

f

l

o

a

d

 

p

a

r

a

m

e

t

e

r

s

 

t

o

 

N

V

M

e

 

S

S

D

.

 

O

n

l

y

 

a

p

p

l

i

c

a

b

l

e

 

w

i

t

h

 

Z

e

R

O

 

S

t

a

g

e

-

3

.




`

o

f

f

l

o

a

d

_

p

a

r

a

m

_

n

v

m

e

_

p

a

t

h

`

:

 

D

e

c

i

d

e

s

 

N

v

m

e

 

P

a

t

h

 

t

o

 

o

f

f

l

o

a

d

 

p

a

r

a

m

e

t

e

r

s

.

 

I

f

 

u

n

s

p

e

c

i

f

i

e

d

,

 

w

i

l

l

 

d

e

f

a

u

l

t

 

t

o

 

'

n

o

n

e

'

.




`

z

e

r

o

3

_

i

n

i

t

_

f

l

a

g

`

:

 

D

e

c

i

d

e

s

 

w

h

e

t

h

e

r

 

t

o

 

e

n

a

b

l

e

 

`

d

e

e

p

s

p

e

e

d

.

z

e

r

o

.

I

n

i

t

`

 

f

o

r

 

c

o

n

s

t

r

u

c

t

i

n

g

 

m

a

s

s

i

v

e

 

m

o

d

e

l

s

.

 

O

n

l

y

 

a

p

p

l

i

c

a

b

l

e

 

w

i

t

h

 

Z

e

R

O

 

S

t

a

g

e

-

3

.




`

z

e

r

o

3

_

s

a

v

e

_

1

6

b

i

t

_

m

o

d

e

l

`

:

 

D

e

c

i

d

e

s

 

w

h

e

t

h

e

r

 

t

o

 

s

a

v

e

 

1

6

-

b

i

t

 

m

o

d

e

l

 

w

e

i

g

h

t

s

 

w

h

e

n

 

u

s

i

n

g

 

Z

e

R

O

 

S

t

a

g

e

-

3

.




`

m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

`

:

 

`

n

o

`

 

f

o

r

 

F

P

3

2

 

t

r

a

i

n

i

n

g

,

 

`

f

p

1

6

`

 

f

o

r

 

F

P

1

6

 

m

i

x

e

d

-

p

r

e

c

i

s

i

o

n

 

t

r

a

i

n

i

n

g

 

a

n

d

 

`

b

f

1

6

`

 

f

o

r

 

B

F

1

6

 

m

i

x

e

d

-

p

r

e

c

i

s

i

o

n

 

t

r

a

i

n

i

n

g

.




`

d

e

e

p

s

p

e

e

d

_

m

o

e

_

l

a

y

e

r

_

c

l

s

_

n

a

m

e

s

`

:

 

C

o

m

m

a

-

s

e

p

a

r

a

t

e

d

 

l

i

s

t

 

o

f

 

t

r

a

n

s

f

o

r

m

e

r

 

M

i

x

t

u

r

e

-

o

f

-

E

x

p

e

r

t

s

 

(

M

o

E

)

 

l

a

y

e

r

 

c

l

a

s

s

 

n

a

m

e

s

 

(

c

a

s

e

-

s

e

n

s

i

t

i

v

e

)

 

t

o

 

w

r

a

p

 

,

e

.

g

,

 

`

M

i

x

t

r

a

l

S

p

a

r

s

e

M

o

e

B

l

o

c

k

`

,

 

`

Q

w

e

n

2

M

o

e

S

p

a

r

s

e

M

o

e

B

l

o

c

k

`

,

 

`

J

e

t

M

o

E

A

t

t

e

n

t

i

o

n

,

J

e

t

M

o

E

B

l

o

c

k

`

 

.

.

.




`

d

e

e

p

s

p

e

e

d

_

h

o

s

t

f

i

l

e

`

:

 

D

e

e

p

S

p

e

e

d

 

h

o

s

t

f

i

l

e

 

f

o

r

 

c

o

n

f

i

g

u

r

i

n

g

 

m

u

l

t

i

-

n

o

d

e

 

c

o

m

p

u

t

e

 

r

e

s

o

u

r

c

e

s

.




`

d

e

e

p

s

p

e

e

d

_

e

x

c

l

u

s

i

o

n

_

f

i

l

t

e

r

`

:

 

D

e

e

p

S

p

e

e

d

 

e

x

c

l

u

s

i

o

n

 

f

i

l

t

e

r

 

s

t

r

i

n

g

 

w

h

e

n

 

u

s

i

n

g

 

m

u

t

l

i

-

n

o

d

e

 

s

e

t

u

p

.




`

d

e

e

p

s

p

e

e

d

_

i

n

c

l

u

s

i

o

n

_

f

i

l

t

e

r

`

:

 

D

e

e

p

S

p

e

e

d

 

i

n

c

l

u

s

i

o

n

 

f

i

l

t

e

r

 

s

t

r

i

n

g

 

w

h

e

n

 

u

s

i

n

g

 

m

u

t

l

i

-

n

o

d

e

 

s

e

t

u

p

.




`

d

e

e

p

s

p

e

e

d

_

m

u

l

t

i

n

o

d

e

_

l

a

u

n

c

h

e

r

`

:

 

D

e

e

p

S

p

e

e

d

 

m

u

l

t

i

-

n

o

d

e

 

l

a

u

n

c

h

e

r

 

t

o

 

u

s

e

.

 

I

f

 

u

n

s

p

e

c

i

f

i

e

d

,

 

w

i

l

l

 

d

e

f

a

u

l

t

 

t

o

 

`

p

d

s

h

`

.




`

d

e

e

p

s

p

e

e

d

_

c

o

n

f

i

g

_

f

i

l

e

`

:

 

p

a

t

h

 

t

o

 

t

h

e

 

D

e

e

p

S

p

e

e

d

 

c

o

n

f

i

g

 

f

i

l

e

 

i

n

 

`

j

s

o

n

`

 

f

o

r

m

a

t

.

 

S

e

e

 

t

h

e

 

n

e

x

t

 

s

e

c

t

i

o

n

 

f

o

r

 

m

o

r

e

 

d

e

t

a

i

l

s

 

o

n

 

t

h

i

s

.




`

`

`




T

o

 

b

e

 

a

b

l

e

 

t

o

 

t

w

e

a

k

 

m

o

r

e

 

o

p

t

i

o

n

s

,

 

y

o

u

 

w

i

l

l

 

n

e

e

d

 

t

o

 

u

s

e

 

a

 

D

e

e

p

S

p

e

e

d

 

c

o

n

f

i

g

 

f

i

l

e

.







#

#

#

 

D

e

e

p

S

p

e

e

d

 

C

o

n

f

i

g

 

F

i

l

e




O

n

 

y

o

u

r

 

m

a

c

h

i

n

e

(

s

)

 

j

u

s

t

 

r

u

n

:







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g




`

`

`







a

n

d

 

a

n

s

w

e

r

 

t

h

e

 

q

u

e

s

t

i

o

n

s

 

a

s

k

e

d

.

 

I

t

 

w

i

l

l

 

a

s

k

 

w

h

e

t

h

e

r

 

y

o

u

 

w

a

n

t

 

t

o

 

u

s

e

 

a

 

c

o

n

f

i

g

 

f

i

l

e

 

f

o

r

 

d

e

e

p

s

p

e

e

d

 

t

o

 

w

h

i

c

h

 

y

o

u

 

a

n

s

w

e

r

 

y

e

s




a

n

d

 

p

r

o

v

i

d

e

 

t

h

e

 

p

a

t

h

 

t

o

 

t

h

e

 

d

e

e

p

s

p

e

e

d

 

c

o

n

f

i

g

 

f

i

l

e

.




T

h

i

s

 

w

i

l

l

 

g

e

n

e

r

a

t

e

 

a

 

c

o

n

f

i

g

 

f

i

l

e

 

t

h

a

t

 

w

i

l

l

 

b

e

 

u

s

e

d

 

a

u

t

o

m

a

t

i

c

a

l

l

y

 

t

o

 

p

r

o

p

e

r

l

y

 

s

e

t

 

t

h

e




d

e

f

a

u

l

t

 

o

p

t

i

o

n

s

 

w

h

e

n

 

d

o

i

n

g







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

m

y

_

s

c

r

i

p

t

.

p

y

 

-

-

a

r

g

s

_

t

o

_

m

y

_

s

c

r

i

p

t




`

`

`







F

o

r

 

i

n

s

t

a

n

c

e

,

 

h

e

r

e

 

i

s

 

h

o

w

 

y

o

u

 

w

o

u

l

d

 

r

u

n

 

t

h

e

 

N

L

P

 

e

x

a

m

p

l

e

 

`

e

x

a

m

p

l

e

s

/

b

y

_

f

e

a

t

u

r

e

/

d

e

e

p

s

p

e

e

d

_

w

i

t

h

_

c

o

n

f

i

g

_

s

u

p

p

o

r

t

.

p

y

`

 

(

f

r

o

m

 

t

h

e

 

r

o

o

t

 

o

f

 

t

h

e

 

r

e

p

o

)

 

w

i

t

h

 

D

e

e

p

S

p

e

e

d

 

C

o

n

f

i

g

 

F

i

l

e

:







*

*

Z

e

R

O

 

S

t

a

g

e

-

2

 

D

e

e

p

S

p

e

e

d

 

C

o

n

f

i

g

 

F

i

l

e

 

E

x

a

m

p

l

e

*

*




`

`

`

b

a

s

h




c

o

m

p

u

t

e

_

e

n

v

i

r

o

n

m

e

n

t

:

 

L

O

C

A

L

_

M

A

C

H

I

N

E




d

e

e

p

s

p

e

e

d

_

c

o

n

f

i

g

:




 

d

e

e

p

s

p

e

e

d

_

c

o

n

f

i

g

_

f

i

l

e

:

 

/

h

o

m

e

/

u

b

u

n

t

u

/

a

c

c

e

l

e

r

a

t

e

/

e

x

a

m

p

l

e

s

/

c

o

n

f

i

g

s

/

d

e

e

p

s

p

e

e

d

_

c

o

n

f

i

g

_

t

e

m

p

l

a

t

e

s

/

z

e

r

o

_

s

t

a

g

e

2

_

c

o

n

f

i

g

.

j

s

o

n




 

z

e

r

o

3

_

i

n

i

t

_

f

l

a

g

:

 

t

r

u

e




d

i

s

t

r

i

b

u

t

e

d

_

t

y

p

e

:

 

D

E

E

P

S

P

E

E

D




f

s

d

p

_

c

o

n

f

i

g

:

 

{

}




m

a

c

h

i

n

e

_

r

a

n

k

:

 

0




m

a

i

n

_

p

r

o

c

e

s

s

_

i

p

:

 

n

u

l

l




m

a

i

n

_

p

r

o

c

e

s

s

_

p

o

r

t

:

 

n

u

l

l




m

a

i

n

_

t

r

a

i

n

i

n

g

_

f

u

n

c

t

i

o

n

:

 

m

a

i

n




m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

:

 

f

p

1

6




n

u

m

_

m

a

c

h

i

n

e

s

:

 

1




n

u

m

_

p

r

o

c

e

s

s

e

s

:

 

2




u

s

e

_

c

p

u

:

 

f

a

l

s

e




`

`

`







w

i

t

h

 

t

h

e

 

c

o

n

t

e

n

t

s

 

o

f

 

`

z

e

r

o

_

s

t

a

g

e

2

_

c

o

n

f

i

g

.

j

s

o

n

`

 

b

e

i

n

g

:




`

`

`

j

s

o

n




{




 

 

 

 

"

f

p

1

6

"

:

 

{




 

 

 

 

 

 

 

 

"

e

n

a

b

l

e

d

"

:

 

t

r

u

e

,




 

 

 

 

 

 

 

 

"

l

o

s

s

_

s

c

a

l

e

"

:

 

0

,




 

 

 

 

 

 

 

 

"

l

o

s

s

_

s

c

a

l

e

_

w

i

n

d

o

w

"

:

 

1

0

0

0

,




 

 

 

 

 

 

 

 

"

i

n

i

t

i

a

l

_

s

c

a

l

e

_

p

o

w

e

r

"

:

 

1

6

,




 

 

 

 

 

 

 

 

"

h

y

s

t

e

r

e

s

i

s

"

:

 

2

,




 

 

 

 

 

 

 

 

"

m

i

n

_

l

o

s

s

_

s

c

a

l

e

"

:

 

1




 

 

 

 

}

,




 

 

 

 

"

o

p

t

i

m

i

z

e

r

"

:

 

{




 

 

 

 

 

 

 

 

"

t

y

p

e

"

:

 

"

A

d

a

m

W

"

,




 

 

 

 

 

 

 

 

"

p

a

r

a

m

s

"

:

 

{




 

 

 

 

 

 

 

 

 

 

 

 

"

l

r

"

:

 

"

a

u

t

o

"

,




 

 

 

 

 

 

 

 

 

 

 

 

"

w

e

i

g

h

t

_

d

e

c

a

y

"

:

 

"

a

u

t

o

"

,




 

 

 

 

 

 

 

 

 

 

 

 

"

t

o

r

c

h

_

a

d

a

m

"

:

 

t

r

u

e

,




 

 

 

 

 

 

 

 

 

 

 

 

"

a

d

a

m

_

w

_

m

o

d

e

"

:

 

t

r

u

e




 

 

 

 

 

 

 

 

}




 

 

 

 

}

,




 

 

 

 

"

s

c

h

e

d

u

l

e

r

"

:

 

{




 

 

 

 

 

 

 

 

"

t

y

p

e

"

:

 

"

W

a

r

m

u

p

D

e

c

a

y

L

R

"

,




 

 

 

 

 

 

 

 

"

p

a

r

a

m

s

"

:

 

{




 

 

 

 

 

 

 

 

 

 

 

 

"

w

a

r

m

u

p

_

m

i

n

_

l

r

"

:

 

"

a

u

t

o

"

,




 

 

 

 

 

 

 

 

 

 

 

 

"

w

a

r

m

u

p

_

m

a

x

_

l

r

"

:

 

"

a

u

t

o

"

,




 

 

 

 

 

 

 

 

 

 

 

 

"

w

a

r

m

u

p

_

n

u

m

_

s

t

e

p

s

"

:

 

"

a

u

t

o

"

,




 

 

 

 

 

 

 

 

 

 

 

 

"

t

o

t

a

l

_

n

u

m

_

s

t

e

p

s

"

:

 

"

a

u

t

o

"




 

 

 

 

 

 

 

 

}




 

 

 

 

}

,




 

 

 

 

"

z

e

r

o

_

o

p

t

i

m

i

z

a

t

i

o

n

"

:

 

{




 

 

 

 

 

 

 

 

"

s

t

a

g

e

"

:

 

2

,




 

 

 

 

 

 

 

 

"

a

l

l

g

a

t

h

e

r

_

p

a

r

t

i

t

i

o

n

s

"

:

 

t

r

u

e

,




 

 

 

 

 

 

 

 

"

a

l

l

g

a

t

h

e

r

_

b

u

c

k

e

t

_

s

i

z

e

"

:

 

2

e

8

,




 

 

 

 

 

 

 

 

"

o

v

e

r

l

a

p

_

c

o

m

m

"

:

 

t

r

u

e

,




 

 

 

 

 

 

 

 

"

r

e

d

u

c

e

_

s

c

a

t

t

e

r

"

:

 

t

r

u

e

,




 

 

 

 

 

 

 

 

"

r

e

d

u

c

e

_

b

u

c

k

e

t

_

s

i

z

e

"

:

 

"

a

u

t

o

"

,




 

 

 

 

 

 

 

 

"

c

o

n

t

i

g

u

o

u

s

_

g

r

a

d

i

e

n

t

s

"

:

 

t

r

u

e




 

 

 

 

}

,




 

 

 

 

"

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

"

:

 

1

,




 

 

 

 

"

g

r

a

d

i

e

n

t

_

c

l

i

p

p

i

n

g

"

:

 

"

a

u

t

o

"

,




 

 

 

 

"

s

t

e

p

s

_

p

e

r

_

p

r

i

n

t

"

:

 

2

0

0

0

,




 

 

 

 

"

t

r

a

i

n

_

b

a

t

c

h

_

s

i

z

e

"

:

 

"

a

u

t

o

"

,




 

 

 

 

"

t

r

a

i

n

_

m

i

c

r

o

_

b

a

t

c

h

_

s

i

z

e

_

p

e

r

_

g

p

u

"

:

 

"

a

u

t

o

"

,




 

 

 

 

"

w

a

l

l

_

c

l

o

c

k

_

b

r

e

a

k

d

o

w

n

"

:

 

f

a

l

s

e




}




`

`

`







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

e

x

a

m

p

l

e

s

/

b

y

_

f

e

a

t

u

r

e

/

d

e

e

p

s

p

e

e

d

_

w

i

t

h

_

c

o

n

f

i

g

_

s

u

p

p

o

r

t

.

p

y

 

\




-

-

c

o

n

f

i

g

_

n

a

m

e

 

"

g

p

t

2

-

l

a

r

g

e

"

 

\




-

-

t

o

k

e

n

i

z

e

r

_

n

a

m

e

 

"

g

p

t

2

-

l

a

r

g

e

"

 

\




-

-

d

a

t

a

s

e

t

_

n

a

m

e

 

"

w

i

k

i

t

e

x

t

"

 

\




-

-

d

a

t

a

s

e

t

_

c

o

n

f

i

g

_

n

a

m

e

 

"

w

i

k

i

t

e

x

t

-

2

-

r

a

w

-

v

1

"

 

\




-

-

b

l

o

c

k

_

s

i

z

e

 

1

2

8

 

\




-

-

o

u

t

p

u

t

_

d

i

r

 

"

.

/

c

l

m

/

c

l

m

_

d

e

e

p

s

p

e

e

d

_

s

t

a

g

e

2

_

a

c

c

e

l

e

r

a

t

e

"

 

\




-

-

l

e

a

r

n

i

n

g

_

r

a

t

e

 

5

e

-

4

 

\




-

-

p

e

r

_

d

e

v

i

c

e

_

t

r

a

i

n

_

b

a

t

c

h

_

s

i

z

e

 

2

4

 

\




-

-

p

e

r

_

d

e

v

i

c

e

_

e

v

a

l

_

b

a

t

c

h

_

s

i

z

e

 

2

4

 

\




-

-

n

u

m

_

t

r

a

i

n

_

e

p

o

c

h

s

 

3

 

\




-

-

w

i

t

h

_

t

r

a

c

k

i

n

g

 

\




-

-

r

e

p

o

r

t

_

t

o

 

"

w

a

n

d

b

"

\




`

`

`







*

*

Z

e

R

O

 

S

t

a

g

e

-

3

 

w

i

t

h

 

C

P

U

 

o

f

f

l

o

a

d

 

D

e

e

p

S

p

e

e

d

 

C

o

n

f

i

g

 

F

i

l

e

 

E

x

a

m

p

l

e

*

*




`

`

`

b

a

s

h




c

o

m

p

u

t

e

_

e

n

v

i

r

o

n

m

e

n

t

:

 

L

O

C

A

L

_

M

A

C

H

I

N

E




d

e

e

p

s

p

e

e

d

_

c

o

n

f

i

g

:




 

d

e

e

p

s

p

e

e

d

_

c

o

n

f

i

g

_

f

i

l

e

:

 

/

h

o

m

e

/

u

b

u

n

t

u

/

a

c

c

e

l

e

r

a

t

e

/

e

x

a

m

p

l

e

s

/

c

o

n

f

i

g

s

/

d

e

e

p

s

p

e

e

d

_

c

o

n

f

i

g

_

t

e

m

p

l

a

t

e

s

/

z

e

r

o

_

s

t

a

g

e

3

_

o

f

f

l

o

a

d

_

c

o

n

f

i

g

.

j

s

o

n




 

z

e

r

o

3

_

i

n

i

t

_

f

l

a

g

:

 

t

r

u

e




d

i

s

t

r

i

b

u

t

e

d

_

t

y

p

e

:

 

D

E

E

P

S

P

E

E

D




f

s

d

p

_

c

o

n

f

i

g

:

 

{

}




m

a

c

h

i

n

e

_

r

a

n

k

:

 

0




m

a

i

n

_

p

r

o

c

e

s

s

_

i

p

:

 

n

u

l

l




m

a

i

n

_

p

r

o

c

e

s

s

_

p

o

r

t

:

 

n

u

l

l




m

a

i

n

_

t

r

a

i

n

i

n

g

_

f

u

n

c

t

i

o

n

:

 

m

a

i

n




m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

:

 

f

p

1

6




n

u

m

_

m

a

c

h

i

n

e

s

:

 

1




n

u

m

_

p

r

o

c

e

s

s

e

s

:

 

2




u

s

e

_

c

p

u

:

 

f

a

l

s

e




`

`

`




w

i

t

h

 

t

h

e

 

c

o

n

t

e

n

t

s

 

o

f

 

`

z

e

r

o

_

s

t

a

g

e

3

_

o

f

f

l

o

a

d

_

c

o

n

f

i

g

.

j

s

o

n

`

 

b

e

i

n

g

:




`

`

`

j

s

o

n




{




 

 

 

 

"

f

p

1

6

"

:

 

{




 

 

 

 

 

 

 

 

"

e

n

a

b

l

e

d

"

:

 

t

r

u

e

,




 

 

 

 

 

 

 

 

"

l

o

s

s

_

s

c

a

l

e

"

:

 

0

,




 

 

 

 

 

 

 

 

"

l

o

s

s

_

s

c

a

l

e

_

w

i

n

d

o

w

"

:

 

1

0

0

0

,




 

 

 

 

 

 

 

 

"

i

n

i

t

i

a

l

_

s

c

a

l

e

_

p

o

w

e

r

"

:

 

1

6

,




 

 

 

 

 

 

 

 

"

h

y

s

t

e

r

e

s

i

s

"

:

 

2

,




 

 

 

 

 

 

 

 

"

m

i

n

_

l

o

s

s

_

s

c

a

l

e

"

:

 

1




 

 

 

 

}

,




 

 

 

 

"

o

p

t

i

m

i

z

e

r

"

:

 

{




 

 

 

 

 

 

 

 

"

t

y

p

e

"

:

 

"

A

d

a

m

W

"

,




 

 

 

 

 

 

 

 

"

p

a

r

a

m

s

"

:

 

{




 

 

 

 

 

 

 

 

 

 

 

 

"

l

r

"

:

 

"

a

u

t

o

"

,




 

 

 

 

 

 

 

 

 

 

 

 

"

w

e

i

g

h

t

_

d

e

c

a

y

"

:

 

"

a

u

t

o

"




 

 

 

 

 

 

 

 

}




 

 

 

 

}

,




 

 

 

 

"

s

c

h

e

d

u

l

e

r

"

:

 

{




 

 

 

 

 

 

 

 

"

t

y

p

e

"

:

 

"

W

a

r

m

u

p

D

e

c

a

y

L

R

"

,




 

 

 

 

 

 

 

 

"

p

a

r

a

m

s

"

:

 

{




 

 

 

 

 

 

 

 

 

 

 

 

"

w

a

r

m

u

p

_

m

i

n

_

l

r

"

:

 

"

a

u

t

o

"

,




 

 

 

 

 

 

 

 

 

 

 

 

"

w

a

r

m

u

p

_

m

a

x

_

l

r

"

:

 

"

a

u

t

o

"

,




 

 

 

 

 

 

 

 

 

 

 

 

"

w

a

r

m

u

p

_

n

u

m

_

s

t

e

p

s

"

:

 

"

a

u

t

o

"

,




 

 

 

 

 

 

 

 

 

 

 

 

"

t

o

t

a

l

_

n

u

m

_

s

t

e

p

s

"

:

 

"

a

u

t

o

"




 

 

 

 

 

 

 

 

}




 

 

 

 

}

,




 

 

 

 

"

z

e

r

o

_

o

p

t

i

m

i

z

a

t

i

o

n

"

:

 

{




 

 

 

 

 

 

 

 

"

s

t

a

g

e

"

:

 

3

,




 

 

 

 

 

 

 

 

"

o

f

f

l

o

a

d

_

o

p

t

i

m

i

z

e

r

"

:

 

{




 

 

 

 

 

 

 

 

 

 

 

 

"

d

e

v

i

c

e

"

:

 

"

c

p

u

"

,




 

 

 

 

 

 

 

 

 

 

 

 

"

p

i

n

_

m

e

m

o

r

y

"

:

 

t

r

u

e




 

 

 

 

 

 

 

 

}

,




 

 

 

 

 

 

 

 

"

o

f

f

l

o

a

d

_

p

a

r

a

m

"

:

 

{




 

 

 

 

 

 

 

 

 

 

 

 

"

d

e

v

i

c

e

"

:

 

"

c

p

u

"

,




 

 

 

 

 

 

 

 

 

 

 

 

"

p

i

n

_

m

e

m

o

r

y

"

:

 

t

r

u

e




 

 

 

 

 

 

 

 

}

,




 

 

 

 

 

 

 

 

"

o

v

e

r

l

a

p

_

c

o

m

m

"

:

 

t

r

u

e

,




 

 

 

 

 

 

 

 

"

c

o

n

t

i

g

u

o

u

s

_

g

r

a

d

i

e

n

t

s

"

:

 

t

r

u

e

,




 

 

 

 

 

 

 

 

"

r

e

d

u

c

e

_

b

u

c

k

e

t

_

s

i

z

e

"

:

 

"

a

u

t

o

"

,




 

 

 

 

 

 

 

 

"

s

t

a

g

e

3

_

p

r

e

f

e

t

c

h

_

b

u

c

k

e

t

_

s

i

z

e

"

:

 

"

a

u

t

o

"

,




 

 

 

 

 

 

 

 

"

s

t

a

g

e

3

_

p

a

r

a

m

_

p

e

r

s

i

s

t

e

n

c

e

_

t

h

r

e

s

h

o

l

d

"

:

 

"

a

u

t

o

"

,




 

 

 

 

 

 

 

 

"

s

u

b

_

g

r

o

u

p

_

s

i

z

e

"

:

 

1

e

9

,




 

 

 

 

 

 

 

 

"

s

t

a

g

e

3

_

m

a

x

_

l

i

v

e

_

p

a

r

a

m

e

t

e

r

s

"

:

 

1

e

9

,




 

 

 

 

 

 

 

 

"

s

t

a

g

e

3

_

m

a

x

_

r

e

u

s

e

_

d

i

s

t

a

n

c

e

"

:

 

1

e

9

,




 

 

 

 

 

 

 

 

"

s

t

a

g

e

3

_

g

a

t

h

e

r

_

1

6

b

i

t

_

w

e

i

g

h

t

s

_

o

n

_

m

o

d

e

l

_

s

a

v

e

"

:

 

"

a

u

t

o

"




 

 

 

 

}

,




 

 

 

 

"

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

"

:

 

1

,




 

 

 

 

"

g

r

a

d

i

e

n

t

_

c

l

i

p

p

i

n

g

"

:

 

"

a

u

t

o

"

,




 

 

 

 

"

s

t

e

p

s

_

p

e

r

_

p

r

i

n

t

"

:

 

2

0

0

0

,




 

 

 

 

"

t

r

a

i

n

_

b

a

t

c

h

_

s

i

z

e

"

:

 

"

a

u

t

o

"

,




 

 

 

 

"

t

r

a

i

n

_

m

i

c

r

o

_

b

a

t

c

h

_

s

i

z

e

_

p

e

r

_

g

p

u

"

:

 

"

a

u

t

o

"

,




 

 

 

 

"

w

a

l

l

_

c

l

o

c

k

_

b

r

e

a

k

d

o

w

n

"

:

 

f

a

l

s

e




}




`

`

`







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

e

x

a

m

p

l

e

s

/

b

y

_

f

e

a

t

u

r

e

/

d

e

e

p

s

p

e

e

d

_

w

i

t

h

_

c

o

n

f

i

g

_

s

u

p

p

o

r

t

.

p

y

 

\




-

-

c

o

n

f

i

g

_

n

a

m

e

 

"

g

p

t

2

-

l

a

r

g

e

"

 

\




-

-

t

o

k

e

n

i

z

e

r

_

n

a

m

e

 

"

g

p

t

2

-

l

a

r

g

e

"

 

\




-

-

d

a

t

a

s

e

t

_

n

a

m

e

 

"

w

i

k

i

t

e

x

t

"

 

\




-

-

d

a

t

a

s

e

t

_

c

o

n

f

i

g

_

n

a

m

e

 

"

w

i

k

i

t

e

x

t

-

2

-

r

a

w

-

v

1

"

 

\




-

-

b

l

o

c

k

_

s

i

z

e

 

1

2

8

 

\




-

-

o

u

t

p

u

t

_

d

i

r

 

"

.

/

c

l

m

/

c

l

m

_

d

e

e

p

s

p

e

e

d

_

s

t

a

g

e

3

_

o

f

f

l

o

a

d

_

a

c

c

e

l

e

r

a

t

e

"

 

\




-

-

l

e

a

r

n

i

n

g

_

r

a

t

e

 

5

e

-

4

 

\




-

-

p

e

r

_

d

e

v

i

c

e

_

t

r

a

i

n

_

b

a

t

c

h

_

s

i

z

e

 

3

2

 

\




-

-

p

e

r

_

d

e

v

i

c

e

_

e

v

a

l

_

b

a

t

c

h

_

s

i

z

e

 

3

2

 

\




-

-

n

u

m

_

t

r

a

i

n

_

e

p

o

c

h

s

 

3

 

\




-

-

w

i

t

h

_

t

r

a

c

k

i

n

g

 

\




-

-

r

e

p

o

r

t

_

t

o

 

"

w

a

n

d

b

"

\




`

`

`







*

*

Z

e

R

O

+

+

 

C

o

n

f

i

g

 

E

x

a

m

p

l

e

*

*




Y

o

u

 

c

a

n

 

u

s

e

 

t

h

e

 

f

e

a

t

u

r

e

s

 

o

f

 

Z

e

R

O

+

+

 

b

y

 

u

s

i

n

g

 

t

h

e

 

a

p

p

r

o

p

r

i

a

t

e

 

c

o

n

f

i

g

 

p

a

r

a

m

e

t

e

r

s

.

 

N

o

t

e

 

t

h

a

t

 

Z

e

R

O

+

+

 

i

s

 

a

n

 

e

x

t

e

n

s

i

o

n

 

f

o

r

 

Z

e

R

O

 

S

t

a

g

e

 

3

.

 

H

e

r

e

 

i

s

 

h

o

w

 

t

h

e

 

c

o

n

f

i

g

 

f

i

l

e

 

c

a

n

 

b

e

 

m

o

d

i

f

i

e

d

,

 

f

r

o

m

 

[

D

e

e

p

S

p

e

e

d

'

s

 

Z

e

R

O

+

+

 

t

u

t

o

r

i

a

l

]

(

h

t

t

p

s

:

/

/

w

w

w

.

d

e

e

p

s

p

e

e

d

.

a

i

/

t

u

t

o

r

i

a

l

s

/

z

e

r

o

p

p

/

)

:







`

`

`

j

s

o

n




{




 

 

 

 

"

z

e

r

o

_

o

p

t

i

m

i

z

a

t

i

o

n

"

:

 

{




 

 

 

 

 

 

 

 

"

s

t

a

g

e

"

:

 

3

,




 

 

 

 

 

 

 

 

"

r

e

d

u

c

e

_

b

u

c

k

e

t

_

s

i

z

e

"

:

 

"

a

u

t

o

"

,







 

 

 

 

 

 

 

 

"

z

e

r

o

_

q

u

a

n

t

i

z

e

d

_

w

e

i

g

h

t

s

"

:

 

t

r

u

e

,




 

 

 

 

 

 

 

 

"

z

e

r

o

_

h

p

z

_

p

a

r

t

i

t

i

o

n

_

s

i

z

e

"

:

 

8

,




 

 

 

 

 

 

 

 

"

z

e

r

o

_

q

u

a

n

t

i

z

e

d

_

g

r

a

d

i

e

n

t

s

"

:

 

t

r

u

e

,







 

 

 

 

 

 

 

 

"

c

o

n

t

i

g

u

o

u

s

_

g

r

a

d

i

e

n

t

s

"

:

 

t

r

u

e

,




 

 

 

 

 

 

 

 

"

o

v

e

r

l

a

p

_

c

o

m

m

"

:

 

t

r

u

e




 

 

 

 

}




}




`

`

`







F

o

r

 

h

i

e

r

a

r

c

h

i

c

a

l

 

p

a

r

t

i

t

i

o

n

i

n

g

,

 

t

h

e

 

p

a

r

t

i

t

i

o

n

 

s

i

z

e

 

`

z

e

r

o

_

h

p

z

_

p

a

r

t

i

t

i

o

n

_

s

i

z

e

`

 

s

h

o

u

l

d

 

i

d

e

a

l

l

y

 

b

e

 

s

e

t

 

t

o

 

t

h

e

 

n

u

m

b

e

r

 

o

f

 

G

P

U

s

 

p

e

r

 

n

o

d

e

.

 

(

F

o

r

 

e

x

a

m

p

l

e

,

 

t

h

e

 

a

b

o

v

e

 

c

o

n

f

i

g

 

f

i

l

e

 

a

s

s

u

m

e

s

 

8

 

G

P

U

s

 

p

e

r

 

n

o

d

e

)







*

*

I

m

p

o

r

t

a

n

t

 

c

o

d

e

 

c

h

a

n

g

e

s

 

w

h

e

n

 

u

s

i

n

g

 

D

e

e

p

S

p

e

e

d

 

C

o

n

f

i

g

 

F

i

l

e

*

*







1

.

 

D

e

e

p

S

p

e

e

d

 

O

p

t

i

m

i

z

e

r

s

 

a

n

d

 

S

c

h

e

d

u

l

e

r

s

.

 

F

o

r

 

m

o

r

e

 

i

n

f

o

r

m

a

t

i

o

n

 

o

n

 

t

h

e

s

e

,




s

e

e

 

t

h

e

 

[

D

e

e

p

S

p

e

e

d

 

O

p

t

i

m

i

z

e

r

s

]

(

h

t

t

p

s

:

/

/

d

e

e

p

s

p

e

e

d

.

r

e

a

d

t

h

e

d

o

c

s

.

i

o

/

e

n

/

l

a

t

e

s

t

/

o

p

t

i

m

i

z

e

r

s

.

h

t

m

l

)

 

a

n

d

 

[

D

e

e

p

S

p

e

e

d

 

S

c

h

e

d

u

l

e

r

s

]

(

h

t

t

p

s

:

/

/

d

e

e

p

s

p

e

e

d

.

r

e

a

d

t

h

e

d

o

c

s

.

i

o

/

e

n

/

l

a

t

e

s

t

/

s

c

h

e

d

u

l

e

r

s

.

h

t

m

l

)

 

d

o

c

u

m

e

n

t

a

t

i

o

n

.




W

e

 

w

i

l

l

 

l

o

o

k

 

a

t

 

t

h

e

 

c

h

a

n

g

e

s

 

n

e

e

d

e

d

 

i

n

 

t

h

e

 

c

o

d

e

 

w

h

e

n

 

u

s

i

n

g

 

t

h

e

s

e

.







 

 

 

a

.

 

D

S

 

O

p

t

i

m

 

+

 

D

S

 

S

c

h

e

d

u

l

e

r

:

 

T

h

e

 

c

a

s

e

 

w

h

e

n

 

b

o

t

h

 

`

o

p

t

i

m

i

z

e

r

`

 

a

n

d

 

`

s

c

h

e

d

u

l

e

r

`

 

k

e

y

s

 

a

r

e

 

p

r

e

s

e

n

t

 

i

n

 

t

h

e

 

D

e

e

p

S

p

e

e

d

 

c

o

n

f

i

g

 

f

i

l

e

.




 

 

 

I

n

 

t

h

i

s

 

s

i

t

u

a

t

i

o

n

,

 

t

h

o

s

e

 

w

i

l

l

 

b

e

 

u

s

e

d

 

a

n

d

 

t

h

e

 

u

s

e

r

 

h

a

s

 

t

o

 

u

s

e

 

`

a

c

c

e

l

e

r

a

t

e

.

u

t

i

l

s

.

D

u

m

m

y

O

p

t

i

m

`

 

a

n

d

 

`

a

c

c

e

l

e

r

a

t

e

.

u

t

i

l

s

.

D

u

m

m

y

S

c

h

e

d

u

l

e

r

`

 

t

o

 

r

e

p

l

a

c

e

 

t

h

e

 

P

y

T

o

r

c

h

/

C

u

s

t

o

m

 

o

p

t

i

m

i

z

e

r

s

 

a

n

d

 

s

c

h

e

d

u

l

e

r

s

 

i

n

 

t

h

e

i

r

 

c

o

d

e

.




 

 

 

B

e

l

o

w

 

i

s

 

t

h

e

 

s

n

i

p

p

e

t

 

f

r

o

m

 

`

e

x

a

m

p

l

e

s

/

b

y

_

f

e

a

t

u

r

e

/

d

e

e

p

s

p

e

e

d

_

w

i

t

h

_

c

o

n

f

i

g

_

s

u

p

p

o

r

t

.

p

y

`

 

s

h

o

w

i

n

g

 

t

h

i

s

:




 

 

 

`

`

`

p

y

t

h

o

n




 

 

 

 

#

 

C

r

e

a

t

e

s

 

D

u

m

m

y

 

O

p

t

i

m

i

z

e

r

 

i

f

 

`

o

p

t

i

m

i

z

e

r

`

 

w

a

s

 

s

p

e

c

i

f

i

e

d

 

i

n

 

t

h

e

 

c

o

n

f

i

g

 

f

i

l

e

 

e

l

s

e

 

c

r

e

a

t

e

s

 

A

d

a

m

 

O

p

t

i

m

i

z

e

r




 

 

 

 

o

p

t

i

m

i

z

e

r

_

c

l

s

 

=

 

(




 

 

 

 

 

 

 

 

t

o

r

c

h

.

o

p

t

i

m

.

A

d

a

m

W




 

 

 

 

 

 

 

 

i

f

 

a

c

c

e

l

e

r

a

t

o

r

.

s

t

a

t

e

.

d

e

e

p

s

p

e

e

d

_

p

l

u

g

i

n

 

i

s

 

N

o

n

e




 

 

 

 

 

 

 

 

o

r

 

"

o

p

t

i

m

i

z

e

r

"

 

n

o

t

 

i

n

 

a

c

c

e

l

e

r

a

t

o

r

.

s

t

a

t

e

.

d

e

e

p

s

p

e

e

d

_

p

l

u

g

i

n

.

d

e

e

p

s

p

e

e

d

_

c

o

n

f

i

g




 

 

 

 

 

 

 

 

e

l

s

e

 

D

u

m

m

y

O

p

t

i

m




 

 

 

 

)




 

 

 

 

o

p

t

i

m

i

z

e

r

 

=

 

o

p

t

i

m

i

z

e

r

_

c

l

s

(

o

p

t

i

m

i

z

e

r

_

g

r

o

u

p

e

d

_

p

a

r

a

m

e

t

e

r

s

,

 

l

r

=

a

r

g

s

.

l

e

a

r

n

i

n

g

_

r

a

t

e

)







 

 

 

 

#

 

C

r

e

a

t

e

s

 

D

u

m

m

y

 

S

c

h

e

d

u

l

e

r

 

i

f

 

`

s

c

h

e

d

u

l

e

r

`

 

w

a

s

 

s

p

e

c

i

f

i

e

d

 

i

n

 

t

h

e

 

c

o

n

f

i

g

 

f

i

l

e

 

e

l

s

e

 

c

r

e

a

t

e

s

 

`

a

r

g

s

.

l

r

_

s

c

h

e

d

u

l

e

r

_

t

y

p

e

`

 

S

c

h

e

d

u

l

e

r




 

 

 

 

i

f

 

(




 

 

 

 

 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

s

t

a

t

e

.

d

e

e

p

s

p

e

e

d

_

p

l

u

g

i

n

 

i

s

 

N

o

n

e




 

 

 

 

 

 

 

 

o

r

 

"

s

c

h

e

d

u

l

e

r

"

 

n

o

t

 

i

n

 

a

c

c

e

l

e

r

a

t

o

r

.

s

t

a

t

e

.

d

e

e

p

s

p

e

e

d

_

p

l

u

g

i

n

.

d

e

e

p

s

p

e

e

d

_

c

o

n

f

i

g




 

 

 

 

)

:




 

 

 

 

 

 

 

 

l

r

_

s

c

h

e

d

u

l

e

r

 

=

 

g

e

t

_

s

c

h

e

d

u

l

e

r

(




 

 

 

 

 

 

 

 

 

 

 

 

n

a

m

e

=

a

r

g

s

.

l

r

_

s

c

h

e

d

u

l

e

r

_

t

y

p

e

,




 

 

 

 

 

 

 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

=

o

p

t

i

m

i

z

e

r

,




 

 

 

 

 

 

 

 

 

 

 

 

n

u

m

_

w

a

r

m

u

p

_

s

t

e

p

s

=

a

r

g

s

.

n

u

m

_

w

a

r

m

u

p

_

s

t

e

p

s

,




 

 

 

 

 

 

 

 

 

 

 

 

n

u

m

_

t

r

a

i

n

i

n

g

_

s

t

e

p

s

=

a

r

g

s

.

m

a

x

_

t

r

a

i

n

_

s

t

e

p

s

,




 

 

 

 

 

 

 

 

)




 

 

 

 

e

l

s

e

:




 

 

 

 

 

 

 

 

l

r

_

s

c

h

e

d

u

l

e

r

 

=

 

D

u

m

m

y

S

c

h

e

d

u

l

e

r

(




 

 

 

 

 

 

 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

,

 

t

o

t

a

l

_

n

u

m

_

s

t

e

p

s

=

a

r

g

s

.

m

a

x

_

t

r

a

i

n

_

s

t

e

p

s

,

 

w

a

r

m

u

p

_

n

u

m

_

s

t

e

p

s

=

a

r

g

s

.

n

u

m

_

w

a

r

m

u

p

_

s

t

e

p

s




 

 

 

 

 

 

 

 

)




 

 

 

`

`

`




 

 

 

b

.

 

C

u

s

t

o

m

 

O

p

t

i

m

 

+

 

C

u

s

t

o

m

 

S

c

h

e

d

u

l

e

r

:

 

T

h

e

 

c

a

s

e

 

w

h

e

n

 

b

o

t

h

 

`

o

p

t

i

m

i

z

e

r

`

 

a

n

d

 

`

s

c

h

e

d

u

l

e

r

`

 

k

e

y

s

 

a

r

e

 

a

b

s

e

n

t

 

i

n

 

t

h

e

 

D

e

e

p

S

p

e

e

d

 

c

o

n

f

i

g

 

f

i

l

e

.




 

 

 

I

n

 

t

h

i

s

 

s

i

t

u

a

t

i

o

n

,

 

n

o

 

c

o

d

e

 

c

h

a

n

g

e

s

 

a

r

e

 

n

e

e

d

e

d

 

f

r

o

m

 

t

h

e

 

u

s

e

r

 

a

n

d

 

t

h

i

s

 

i

s

 

t

h

e

 

c

a

s

e

 

w

h

e

n

 

u

s

i

n

g

 

i

n

t

e

g

r

a

t

i

o

n

 

v

i

a

 

D

e

e

p

S

p

e

e

d

 

P

l

u

g

i

n

.




 

 

 

I

n

 

t

h

e

 

a

b

o

v

e

 

e

x

a

m

p

l

e

 

w

e

 

c

a

n

 

s

e

e

 

t

h

a

t

 

t

h

e

 

c

o

d

e

 

r

e

m

a

i

n

s

 

u

n

c

h

a

n

g

e

d

 

i

f

 

t

h

e

 

`

o

p

t

i

m

i

z

e

r

`

 

a

n

d

 

`

s

c

h

e

d

u

l

e

r

`

 

k

e

y

s

 

a

r

e

 

a

b

s

e

n

t

 

i

n

 

t

h

e

 

D

e

e

p

S

p

e

e

d

 

c

o

n

f

i

g

 

f

i

l

e

.







 

 

 

c

.

 

C

u

s

t

o

m

 

O

p

t

i

m

 

+

 

D

S

 

S

c

h

e

d

u

l

e

r

:

 

T

h

e

 

c

a

s

e

 

w

h

e

n

 

o

n

l

y

 

`

s

c

h

e

d

u

l

e

r

`

 

k

e

y

 

i

s

 

p

r

e

s

e

n

t

 

i

n

 

t

h

e

 

D

e

e

p

S

p

e

e

d

 

c

o

n

f

i

g

 

f

i

l

e

.




 

 

 

I

n

 

t

h

i

s

 

s

i

t

u

a

t

i

o

n

,

 

t

h

e

 

u

s

e

r

 

h

a

s

 

t

o

 

u

s

e

 

`

a

c

c

e

l

e

r

a

t

e

.

u

t

i

l

s

.

D

u

m

m

y

S

c

h

e

d

u

l

e

r

`

 

t

o

 

r

e

p

l

a

c

e

 

t

h

e

 

P

y

T

o

r

c

h

/

C

u

s

t

o

m

 

s

c

h

e

d

u

l

e

r

 

i

n

 

t

h

e

i

r

 

c

o

d

e

.







 

 

 

d

.

 

D

S

 

O

p

t

i

m

 

+

 

C

u

s

t

o

m

 

S

c

h

e

d

u

l

e

r

:

 

T

h

e

 

c

a

s

e

 

w

h

e

n

 

o

n

l

y

 

`

o

p

t

i

m

i

z

e

r

`

 

k

e

y

 

i

s

 

p

r

e

s

e

n

t

 

i

n

 

t

h

e

 

D

e

e

p

S

p

e

e

d

 

c

o

n

f

i

g

 

f

i

l

e

.




 

 

 

T

h

i

s

 

w

i

l

l

 

r

e

s

u

l

t

 

i

n

 

a

n

 

e

r

r

o

r

 

b

e

c

a

u

s

e

 

y

o

u

 

c

a

n

 

o

n

l

y

 

u

s

e

 

D

S

 

S

c

h

e

d

u

l

e

r

 

w

h

e

n

 

u

s

i

n

g

 

D

S

 

O

p

t

i

m

.







2

.

 

N

o

t

i

c

e

 

t

h

e

 

`

a

u

t

o

`

 

v

a

l

u

e

s

 

i

n

 

t

h

e

 

a

b

o

v

e

 

e

x

a

m

p

l

e

 

D

e

e

p

S

p

e

e

d

 

c

o

n

f

i

g

 

f

i

l

e

s

.

 

T

h

e

s

e

 

a

r

e

 

a

u

t

o

m

a

t

i

c

a

l

l

y

 

h

a

n

d

l

e

d

 

b

y

 

`

p

r

e

p

a

r

e

`

 

m

e

t

h

o

d




b

a

s

e

d

 

o

n

 

m

o

d

e

l

,

 

d

a

t

a

l

o

a

d

e

r

s

,

 

d

u

m

m

y

 

o

p

t

i

m

i

z

e

r

 

a

n

d

 

d

u

m

m

y

 

s

c

h

e

d

u

l

e

r

s

 

p

r

o

v

i

d

e

d

 

t

o

 

`

p

r

e

p

a

r

e

`

 

m

e

t

h

o

d

.




O

n

l

y

 

t

h

e

 

`

a

u

t

o

`

 

f

i

e

l

d

s

 

s

p

e

c

i

f

i

e

d

 

i

n

 

a

b

o

v

e

 

e

x

a

m

p

l

e

s

 

a

r

e

 

h

a

n

d

l

e

d

 

b

y

 

`

p

r

e

p

a

r

e

`

 

m

e

t

h

o

d

 

a

n

d

 

t

h

e

 

r

e

s

t

 

h

a

v

e

 

t

o

 

b

e

 

e

x

p

l

i

c

i

t

l

y

 

s

p

e

c

i

f

i

e

d

 

b

y

 

t

h

e

 

u

s

e

r

.







T

h

e

 

`

a

u

t

o

`

 

v

a

l

u

e

s

 

a

r

e

 

c

a

l

c

u

l

a

t

e

d

 

a

s

:







-

 

`

r

e

d

u

c

e

_

b

u

c

k

e

t

_

s

i

z

e

`

:

 

`

h

i

d

d

e

n

_

s

i

z

e

 

*

 

h

i

d

d

e

n

_

s

i

z

e

`




-

 

`

s

t

a

g

e

3

_

p

r

e

f

e

t

c

h

_

b

u

c

k

e

t

_

s

i

z

e

`

:

 

`

i

n

t

(

0

.

9

 

*

 

h

i

d

d

e

n

_

s

i

z

e

 

*

 

h

i

d

d

e

n

_

s

i

z

e

)

`




-

 

`

s

t

a

g

e

3

_

p

a

r

a

m

_

p

e

r

s

i

s

t

e

n

c

e

_

t

h

r

e

s

h

o

l

d

`

:

 

`

1

0

 

*

 

h

i

d

d

e

n

_

s

i

z

e

`







F

o

r

 

t

h

e

 

`

a

u

t

o

`

 

f

e

a

t

u

r

e

 

t

o

 

w

o

r

k

 

f

o

r

 

t

h

e

s

e

 

3

 

c

o

n

f

i

g

 

e

n

t

r

i

e

s

 

-

 

A

c

c

e

l

e

r

a

t

e

 

w

i

l

l

 

u

s

e

 

`

m

o

d

e

l

.

c

o

n

f

i

g

.

h

i

d

d

e

n

_

s

i

z

e

`

 

o

r

 

`

m

a

x

(

m

o

d

e

l

.

c

o

n

f

i

g

.

h

i

d

d

e

n

_

s

i

z

e

s

)

`

 

a

s

 

`

h

i

d

d

e

n

_

s

i

z

e

`

.

 

I

f

 

n

e

i

t

h

e

r

 

o

f

 

t

h

e

s

e

 

i

s

 

a

v

a

i

l

a

b

l

e

,

 

t

h

e

 

l

a

u

n

c

h

i

n

g

 

w

i

l

l

 

f

a

i

l

 

a

n

d

 

y

o

u

 

w

i

l

l

 

h

a

v

e

 

t

o

 

s

e

t

 

t

h

e

s

e

 

3

 

c

o

n

f

i

g

 

e

n

t

r

i

e

s

 

m

a

n

u

a

l

l

y

.

 

R

e

m

e

m

b

e

r

 

t

h

e

 

f

i

r

s

t

 

2

 

c

o

n

f

i

g

 

e

n

t

r

i

e

s

 

a

r

e

 

t

h

e

 

c

o

m

m

u

n

i

c

a

t

i

o

n

 

b

u

f

f

e

r

s

 

-

 

t

h

e

 

l

a

r

g

e

r

 

t

h

e

y

 

a

r

e

 

t

h

e

 

m

o

r

e

 

e

f

f

i

c

i

e

n

t

 

t

h

e

 

c

o

m

m

s

 

w

i

l

l

 

b

e

,

 

a

n

d

 

t

h

e

 

l

a

r

g

e

r

 

t

h

e

y

 

a

r

e

 

t

h

e

 

m

o

r

e

 

G

P

U

 

m

e

m

o

r

y

 

t

h

e

y

 

w

i

l

l

 

c

o

n

s

u

m

e

,

 

s

o

 

i

t

'

s

 

a

 

t

u

n

a

b

l

e

 

p

e

r

f

o

r

m

a

n

c

e

 

t

r

a

d

e

-

o

f

f

.










*

*

T

h

i

n

g

s

 

t

o

 

n

o

t

e

 

w

h

e

n

 

u

s

i

n

g

 

D

e

e

p

S

p

e

e

d

 

C

o

n

f

i

g

 

F

i

l

e

*

*







B

e

l

o

w

 

i

s

 

a

 

s

a

m

p

l

e

 

s

c

r

i

p

t

 

u

s

i

n

g

 

`

d

e

e

p

s

p

e

e

d

_

c

o

n

f

i

g

_

f

i

l

e

`

 

i

n

 

d

i

f

f

e

r

e

n

t

 

s

c

e

n

a

r

i

o

s

.







C

o

d

e

 

`

t

e

s

t

.

p

y

`

:







`

`

`

p

y

t

h

o

n




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

A

c

c

e

l

e

r

a

t

o

r




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

.

s

t

a

t

e

 

i

m

p

o

r

t

 

A

c

c

e

l

e

r

a

t

o

r

S

t

a

t

e










d

e

f

 

m

a

i

n

(

)

:




 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

)




 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

i

n

t

(

f

"

{

A

c

c

e

l

e

r

a

t

o

r

S

t

a

t

e

(

)

}

"

)










i

f

 

_

_

n

a

m

e

_

_

 

=

=

 

"

_

_

m

a

i

n

_

_

"

:




 

 

 

 

m

a

i

n

(

)




`

`

`







*

*

S

c

e

n

a

r

i

o

 

1

*

*

:

 

M

a

n

u

a

l

l

y

 

t

a

m

p

e

r

e

d

 

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

 

f

i

l

e

 

h

a

v

i

n

g

 

`

d

e

e

p

s

p

e

e

d

_

c

o

n

f

i

g

_

f

i

l

e

`

 

a

l

o

n

g

 

w

i

t

h

 

o

t

h

e

r

 

e

n

t

r

i

e

s

.







1

.

 

C

o

n

t

e

n

t

 

o

f

 

t

h

e

 

`

a

c

c

e

l

e

r

a

t

e

`

 

c

o

n

f

i

g

:







`

`

`

y

a

m

l




c

o

m

m

a

n

d

_

f

i

l

e

:

 

n

u

l

l




c

o

m

m

a

n

d

s

:

 

n

u

l

l




c

o

m

p

u

t

e

_

e

n

v

i

r

o

n

m

e

n

t

:

 

L

O

C

A

L

_

M

A

C

H

I

N

E




d

e

e

p

s

p

e

e

d

_

c

o

n

f

i

g

:




 

 

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

:

 

1




 

 

g

r

a

d

i

e

n

t

_

c

l

i

p

p

i

n

g

:

 

1

.

0




 

 

o

f

f

l

o

a

d

_

o

p

t

i

m

i

z

e

r

_

d

e

v

i

c

e

:

 

'

c

p

u

'




 

 

o

f

f

l

o

a

d

_

p

a

r

a

m

_

d

e

v

i

c

e

:

 

'

c

p

u

'




 

 

z

e

r

o

3

_

i

n

i

t

_

f

l

a

g

:

 

t

r

u

e




 

 

z

e

r

o

3

_

s

a

v

e

_

1

6

b

i

t

_

m

o

d

e

l

:

 

t

r

u

e




 

 

z

e

r

o

_

s

t

a

g

e

:

 

3




 

 

d

e

e

p

s

p

e

e

d

_

c

o

n

f

i

g

_

f

i

l

e

:

 

'

d

s

_

c

o

n

f

i

g

.

j

s

o

n

'




d

i

s

t

r

i

b

u

t

e

d

_

t

y

p

e

:

 

D

E

E

P

S

P

E

E

D




d

o

w

n

c

a

s

t

_

b

f

1

6

:

 

'

n

o

'




d

y

n

a

m

o

_

b

a

c

k

e

n

d

:

 

'

N

O

'




f

s

d

p

_

c

o

n

f

i

g

:

 

{

}




g

p

u

_

i

d

s

:

 

n

u

l

l




m

a

c

h

i

n

e

_

r

a

n

k

:

 

0




m

a

i

n

_

p

r

o

c

e

s

s

_

i

p

:

 

n

u

l

l




m

a

i

n

_

p

r

o

c

e

s

s

_

p

o

r

t

:

 

n

u

l

l




m

a

i

n

_

t

r

a

i

n

i

n

g

_

f

u

n

c

t

i

o

n

:

 

m

a

i

n




m

e

g

a

t

r

o

n

_

l

m

_

c

o

n

f

i

g

:

 

{

}




n

u

m

_

m

a

c

h

i

n

e

s

:

 

1




n

u

m

_

p

r

o

c

e

s

s

e

s

:

 

2




r

d

z

v

_

b

a

c

k

e

n

d

:

 

s

t

a

t

i

c




s

a

m

e

_

n

e

t

w

o

r

k

:

 

t

r

u

e




t

p

u

_

n

a

m

e

:

 

n

u

l

l




t

p

u

_

z

o

n

e

:

 

n

u

l

l




u

s

e

_

c

p

u

:

 

f

a

l

s

e




`

`

`







2

.

 

`

d

s

_

c

o

n

f

i

g

.

j

s

o

n

`

:







`

`

`

j

s

o

n




{




 

 

 

 

"

b

f

1

6

"

:

 

{




 

 

 

 

 

 

 

 

"

e

n

a

b

l

e

d

"

:

 

t

r

u

e




 

 

 

 

}

,




 

 

 

 

"

z

e

r

o

_

o

p

t

i

m

i

z

a

t

i

o

n

"

:

 

{




 

 

 

 

 

 

 

 

"

s

t

a

g

e

"

:

 

3

,




 

 

 

 

 

 

 

 

"

s

t

a

g

e

3

_

g

a

t

h

e

r

_

1

6

b

i

t

_

w

e

i

g

h

t

s

_

o

n

_

m

o

d

e

l

_

s

a

v

e

"

:

 

f

a

l

s

e

,




 

 

 

 

 

 

 

 

"

o

f

f

l

o

a

d

_

o

p

t

i

m

i

z

e

r

"

:

 

{




 

 

 

 

 

 

 

 

 

 

 

 

"

d

e

v

i

c

e

"

:

 

"

n

o

n

e

"




 

 

 

 

 

 

 

 

}

,




 

 

 

 

 

 

 

 

"

o

f

f

l

o

a

d

_

p

a

r

a

m

"

:

 

{




 

 

 

 

 

 

 

 

 

 

 

 

"

d

e

v

i

c

e

"

:

 

"

n

o

n

e

"




 

 

 

 

 

 

 

 

}




 

 

 

 

}

,




 

 

 

 

"

g

r

a

d

i

e

n

t

_

c

l

i

p

p

i

n

g

"

:

 

1

.

0

,




 

 

 

 

"

t

r

a

i

n

_

b

a

t

c

h

_

s

i

z

e

"

:

 

"

a

u

t

o

"

,




 

 

 

 

"

t

r

a

i

n

_

m

i

c

r

o

_

b

a

t

c

h

_

s

i

z

e

_

p

e

r

_

g

p

u

"

:

 

"

a

u

t

o

"

,




 

 

 

 

"

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

"

:

 

1

0

,




 

 

 

 

"

s

t

e

p

s

_

p

e

r

_

p

r

i

n

t

"

:

 

2

0

0

0

0

0

0




}




`

`

`







3

.

 

O

u

t

p

u

t

 

o

f

 

`

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

t

e

s

t

.

p

y

`

:







`

`

`

b

a

s

h




V

a

l

u

e

E

r

r

o

r

:

 

W

h

e

n

 

u

s

i

n

g

 

`

d

e

e

p

s

p

e

e

d

_

c

o

n

f

i

g

_

f

i

l

e

`

,

 

t

h

e

 

f

o

l

l

o

w

i

n

g

 

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

 

v

a

r

i

a

b

l

e

s

 

w

i

l

l

 

b

e

 

i

g

n

o

r

e

d

:




[

'

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

'

,

 

'

g

r

a

d

i

e

n

t

_

c

l

i

p

p

i

n

g

'

,

 

'

z

e

r

o

_

s

t

a

g

e

'

,

 

'

o

f

f

l

o

a

d

_

o

p

t

i

m

i

z

e

r

_

d

e

v

i

c

e

'

,

 

'

o

f

f

l

o

a

d

_

p

a

r

a

m

_

d

e

v

i

c

e

'

,




'

z

e

r

o

3

_

s

a

v

e

_

1

6

b

i

t

_

m

o

d

e

l

'

,

 

'

m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

'

]

.




P

l

e

a

s

e

 

s

p

e

c

i

f

y

 

t

h

e

m

 

a

p

p

r

o

p

r

i

a

t

e

l

y

 

i

n

 

t

h

e

 

D

e

e

p

S

p

e

e

d

 

c

o

n

f

i

g

 

f

i

l

e

.




I

f

 

y

o

u

 

a

r

e

 

u

s

i

n

g

 

a

n

 

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

 

f

i

l

e

,

 

r

e

m

o

v

e

 

o

t

h

e

r

 

c

o

n

f

i

g

 

v

a

r

i

a

b

l

e

s

 

m

e

n

t

i

o

n

e

d

 

i

n

 

t

h

e

 

a

b

o

v

e

 

s

p

e

c

i

f

i

e

d

 

l

i

s

t

.




T

h

e

 

e

a

s

i

e

s

t

 

m

e

t

h

o

d

 

i

s

 

t

o

 

c

r

e

a

t

e

 

a

 

n

e

w

 

c

o

n

f

i

g

 

f

o

l

l

o

w

i

n

g

 

t

h

e

 

q

u

e

s

t

i

o

n

n

a

i

r

e

 

v

i

a

 

`

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

`

.




I

t

 

w

i

l

l

 

o

n

l

y

 

a

s

k

 

f

o

r

 

t

h

e

 

n

e

c

e

s

s

a

r

y

 

c

o

n

f

i

g

 

v

a

r

i

a

b

l

e

s

 

w

h

e

n

 

u

s

i

n

g

 

`

d

e

e

p

s

p

e

e

d

_

c

o

n

f

i

g

_

f

i

l

e

`

.




`

`

`







*

*

S

c

e

n

a

r

i

o

 

2

*

*

:

 

U

s

e

 

t

h

e

 

s

o

l

u

t

i

o

n

 

o

f

 

t

h

e

 

e

r

r

o

r

 

t

o

 

c

r

e

a

t

e

 

n

e

w

 

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

 

a

n

d

 

c

h

e

c

k

 

t

h

a

t

 

n

o

 

a

m

b

i

g

u

i

t

y

 

e

r

r

o

r

 

i

s

 

n

o

w

 

t

h

r

o

w

n

.







1

.

 

R

u

n

 

`

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

`

:







`

`

`

b

a

s

h




$

 

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g




-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-




I

n

 

w

h

i

c

h

 

c

o

m

p

u

t

e

 

e

n

v

i

r

o

n

m

e

n

t

 

a

r

e

 

y

o

u

 

r

u

n

n

i

n

g

?




T

h

i

s

 

m

a

c

h

i

n

e




-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-




W

h

i

c

h

 

t

y

p

e

 

o

f

 

m

a

c

h

i

n

e

 

a

r

e

 

y

o

u

 

u

s

i

n

g

?




m

u

l

t

i

-

G

P

U




H

o

w

 

m

a

n

y

 

d

i

f

f

e

r

e

n

t

 

m

a

c

h

i

n

e

s

 

w

i

l

l

 

y

o

u

 

u

s

e

 

(

u

s

e

 

m

o

r

e

 

t

h

a

n

 

1

 

f

o

r

 

m

u

l

t

i

-

n

o

d

e

 

t

r

a

i

n

i

n

g

)

?

 

[

1

]

:




D

o

 

y

o

u

 

w

i

s

h

 

t

o

 

o

p

t

i

m

i

z

e

 

y

o

u

r

 

s

c

r

i

p

t

 

w

i

t

h

 

t

o

r

c

h

 

d

y

n

a

m

o

?

[

y

e

s

/

N

O

]

:




D

o

 

y

o

u

 

w

a

n

t

 

t

o

 

u

s

e

 

D

e

e

p

S

p

e

e

d

?

 

[

y

e

s

/

N

O

]

:

 

y

e

s




D

o

 

y

o

u

 

w

a

n

t

 

t

o

 

s

p

e

c

i

f

y

 

a

 

j

s

o

n

 

f

i

l

e

 

t

o

 

a

 

D

e

e

p

S

p

e

e

d

 

c

o

n

f

i

g

?

 

[

y

e

s

/

N

O

]

:

 

y

e

s




P

l

e

a

s

e

 

e

n

t

e

r

 

t

h

e

 

p

a

t

h

 

t

o

 

t

h

e

 

j

s

o

n

 

D

e

e

p

S

p

e

e

d

 

c

o

n

f

i

g

 

f

i

l

e

:

 

d

s

_

c

o

n

f

i

g

.

j

s

o

n




D

o

 

y

o

u

 

w

a

n

t

 

t

o

 

e

n

a

b

l

e

 

`

d

e

e

p

s

p

e

e

d

.

z

e

r

o

.

I

n

i

t

`

 

w

h

e

n

 

u

s

i

n

g

 

Z

e

R

O

 

S

t

a

g

e

-

3

 

f

o

r

 

c

o

n

s

t

r

u

c

t

i

n

g

 

m

a

s

s

i

v

e

 

m

o

d

e

l

s

?

 

[

y

e

s

/

N

O

]

:

 

y

e

s




H

o

w

 

m

a

n

y

 

G

P

U

(

s

)

 

s

h

o

u

l

d

 

b

e

 

u

s

e

d

 

f

o

r

 

d

i

s

t

r

i

b

u

t

e

d

 

t

r

a

i

n

i

n

g

?

 

[

1

]

:

4




a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

u

r

a

t

i

o

n

 

s

a

v

e

d

 

a

t

 

d

s

_

c

o

n

f

i

g

_

s

a

m

p

l

e

.

y

a

m

l




`

`

`







2

.

 

C

o

n

t

e

n

t

 

o

f

 

t

h

e

 

`

a

c

c

e

l

e

r

a

t

e

`

 

c

o

n

f

i

g

:







`

`

`

y

a

m

l




c

o

m

p

u

t

e

_

e

n

v

i

r

o

n

m

e

n

t

:

 

L

O

C

A

L

_

M

A

C

H

I

N

E




d

e

e

p

s

p

e

e

d

_

c

o

n

f

i

g

:




 

 

d

e

e

p

s

p

e

e

d

_

c

o

n

f

i

g

_

f

i

l

e

:

 

d

s

_

c

o

n

f

i

g

.

j

s

o

n




 

 

z

e

r

o

3

_

i

n

i

t

_

f

l

a

g

:

 

t

r

u

e




d

i

s

t

r

i

b

u

t

e

d

_

t

y

p

e

:

 

D

E

E

P

S

P

E

E

D




d

o

w

n

c

a

s

t

_

b

f

1

6

:

 

'

n

o

'




d

y

n

a

m

o

_

b

a

c

k

e

n

d

:

 

'

N

O

'




f

s

d

p

_

c

o

n

f

i

g

:

 

{

}




m

a

c

h

i

n

e

_

r

a

n

k

:

 

0




m

a

i

n

_

t

r

a

i

n

i

n

g

_

f

u

n

c

t

i

o

n

:

 

m

a

i

n




m

e

g

a

t

r

o

n

_

l

m

_

c

o

n

f

i

g

:

 

{

}




n

u

m

_

m

a

c

h

i

n

e

s

:

 

1




n

u

m

_

p

r

o

c

e

s

s

e

s

:

 

4




r

d

z

v

_

b

a

c

k

e

n

d

:

 

s

t

a

t

i

c




s

a

m

e

_

n

e

t

w

o

r

k

:

 

t

r

u

e




u

s

e

_

c

p

u

:

 

f

a

l

s

e




`

`

`







3

.

 

O

u

t

p

u

t

 

o

f

 

`

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

t

e

s

t

.

p

y

`

:







`

`

`

b

a

s

h




D

i

s

t

r

i

b

u

t

e

d

 

e

n

v

i

r

o

n

m

e

n

t

:

 

D

E

E

P

S

P

E

E

D

 

 

B

a

c

k

e

n

d

:

 

n

c

c

l




N

u

m

 

p

r

o

c

e

s

s

e

s

:

 

4




P

r

o

c

e

s

s

 

i

n

d

e

x

:

 

0




L

o

c

a

l

 

p

r

o

c

e

s

s

 

i

n

d

e

x

:

 

0




D

e

v

i

c

e

:

 

c

u

d

a

:

0




M

i

x

e

d

 

p

r

e

c

i

s

i

o

n

 

t

y

p

e

:

 

b

f

1

6




d

s

_

c

o

n

f

i

g

:

 

{

'

b

f

1

6

'

:

 

{

'

e

n

a

b

l

e

d

'

:

 

T

r

u

e

}

,

 

'

z

e

r

o

_

o

p

t

i

m

i

z

a

t

i

o

n

'

:

 

{

'

s

t

a

g

e

'

:

 

3

,

 

'

s

t

a

g

e

3

_

g

a

t

h

e

r

_

1

6

b

i

t

_

w

e

i

g

h

t

s

_

o

n

_

m

o

d

e

l

_

s

a

v

e

'

:

 

F

a

l

s

e

,

 

'

o

f

f

l

o

a

d

_

o

p

t

i

m

i

z

e

r

'

:

 

{

'

d

e

v

i

c

e

'

:

 

'

n

o

n

e

'

}

,

 

'

o

f

f

l

o

a

d

_

p

a

r

a

m

'

:

 

{

'

d

e

v

i

c

e

'

:

 

'

n

o

n

e

'

}

}

,

 

'

g

r

a

d

i

e

n

t

_

c

l

i

p

p

i

n

g

'

:

 

1

.

0

,

 

'

t

r

a

i

n

_

b

a

t

c

h

_

s

i

z

e

'

:

 

'

a

u

t

o

'

,

 

'

t

r

a

i

n

_

m

i

c

r

o

_

b

a

t

c

h

_

s

i

z

e

_

p

e

r

_

g

p

u

'

:

 

'

a

u

t

o

'

,

 

'

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

'

:

 

1

0

,

 

'

s

t

e

p

s

_

p

e

r

_

p

r

i

n

t

'

:

 

i

n

f

,

 

'

f

p

1

6

'

:

 

{

'

e

n

a

b

l

e

d

'

:

 

F

a

l

s

e

}

}




`

`

`







*

*

S

c

e

n

a

r

i

o

 

3

*

*

:

 

S

e

t

t

i

n

g

 

t

h

e

 

`

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

`

 

c

o

m

m

a

n

d

 

a

r

g

u

m

e

n

t

s

 

r

e

l

a

t

e

d

 

t

o

 

D

e

e

p

S

p

e

e

d

 

a

s

 

`

"

a

u

t

o

"

`

 

i

n

 

t

h

e

 

D

e

e

p

S

p

e

e

d

`

 

c

o

n

f

i

g

u

r

a

t

i

o

n

 

f

i

l

e

 

a

n

d

 

c

h

e

c

k

 

t

h

a

t

 

t

h

i

n

g

s

 

w

o

r

k

 

a

s

 

e

x

p

e

c

t

e

d

.







1

.

 

N

e

w

 

`

d

s

_

c

o

n

f

i

g

.

j

s

o

n

`

 

w

i

t

h

 

`

"

a

u

t

o

"

`

 

f

o

r

 

t

h

e

 

`

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

`

 

D

e

e

p

S

p

e

e

d

 

c

o

m

m

a

n

d

 

a

r

g

u

m

e

n

t

s

:







`

`

`

j

s

o

n




{




 

 

 

 

"

b

f

1

6

"

:

 

{




 

 

 

 

 

 

 

 

"

e

n

a

b

l

e

d

"

:

 

"

a

u

t

o

"




 

 

 

 

}

,




 

 

 

 

"

z

e

r

o

_

o

p

t

i

m

i

z

a

t

i

o

n

"

:

 

{




 

 

 

 

 

 

 

 

"

s

t

a

g

e

"

:

 

"

a

u

t

o

"

,




 

 

 

 

 

 

 

 

"

s

t

a

g

e

3

_

g

a

t

h

e

r

_

1

6

b

i

t

_

w

e

i

g

h

t

s

_

o

n

_

m

o

d

e

l

_

s

a

v

e

"

:

 

"

a

u

t

o

"

,




 

 

 

 

 

 

 

 

"

o

f

f

l

o

a

d

_

o

p

t

i

m

i

z

e

r

"

:

 

{




 

 

 

 

 

 

 

 

 

 

 

 

"

d

e

v

i

c

e

"

:

 

"

a

u

t

o

"




 

 

 

 

 

 

 

 

}

,




 

 

 

 

 

 

 

 

"

o

f

f

l

o

a

d

_

p

a

r

a

m

"

:

 

{




 

 

 

 

 

 

 

 

 

 

 

 

"

d

e

v

i

c

e

"

:

 

"

a

u

t

o

"




 

 

 

 

 

 

 

 

}




 

 

 

 

}

,




 

 

 

 

"

g

r

a

d

i

e

n

t

_

c

l

i

p

p

i

n

g

"

:

 

"

a

u

t

o

"

,




 

 

 

 

"

t

r

a

i

n

_

b

a

t

c

h

_

s

i

z

e

"

:

 

"

a

u

t

o

"

,




 

 

 

 

"

t

r

a

i

n

_

m

i

c

r

o

_

b

a

t

c

h

_

s

i

z

e

_

p

e

r

_

g

p

u

"

:

 

"

a

u

t

o

"

,




 

 

 

 

"

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

"

:

 

"

a

u

t

o

"

,




 

 

 

 

"

s

t

e

p

s

_

p

e

r

_

p

r

i

n

t

"

:

 

2

0

0

0

0

0

0




}




`

`

`







2

.

 

O

u

t

p

u

t

 

o

f

 

`

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

-

-

m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

=

"

f

p

1

6

"

 

-

-

z

e

r

o

_

s

t

a

g

e

=

3

 

-

-

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

=

5

 

-

-

g

r

a

d

i

e

n

t

_

c

l

i

p

p

i

n

g

=

1

.

0

 

-

-

o

f

f

l

o

a

d

_

p

a

r

a

m

_

d

e

v

i

c

e

=

"

c

p

u

"

 

-

-

o

f

f

l

o

a

d

_

o

p

t

i

m

i

z

e

r

_

d

e

v

i

c

e

=

"

n

v

m

e

"

 

-

-

z

e

r

o

3

_

s

a

v

e

_

1

6

b

i

t

_

m

o

d

e

l

=

"

t

r

u

e

"

 

t

e

s

t

.

p

y

`

:







`

`

`

b

a

s

h




D

i

s

t

r

i

b

u

t

e

d

 

e

n

v

i

r

o

n

m

e

n

t

:

 

D

E

E

P

S

P

E

E

D

 

 

B

a

c

k

e

n

d

:

 

n

c

c

l




N

u

m

 

p

r

o

c

e

s

s

e

s

:

 

4




P

r

o

c

e

s

s

 

i

n

d

e

x

:

 

0




L

o

c

a

l

 

p

r

o

c

e

s

s

 

i

n

d

e

x

:

 

0




D

e

v

i

c

e

:

 

c

u

d

a

:

0




M

i

x

e

d

 

p

r

e

c

i

s

i

o

n

 

t

y

p

e

:

 

f

p

1

6




d

s

_

c

o

n

f

i

g

:

 

{

'

b

f

1

6

'

:

 

{

'

e

n

a

b

l

e

d

'

:

 

F

a

l

s

e

}

,

 

'

z

e

r

o

_

o

p

t

i

m

i

z

a

t

i

o

n

'

:

 

{

'

s

t

a

g

e

'

:

 

3

,

 

'

s

t

a

g

e

3

_

g

a

t

h

e

r

_

1

6

b

i

t

_

w

e

i

g

h

t

s

_

o

n

_

m

o

d

e

l

_

s

a

v

e

'

:

 

T

r

u

e

,

 

'

o

f

f

l

o

a

d

_

o

p

t

i

m

i

z

e

r

'

:

 

{

'

d

e

v

i

c

e

'

:

 

'

n

v

m

e

'

}

,

 

'

o

f

f

l

o

a

d

_

p

a

r

a

m

'

:

 

{

'

d

e

v

i

c

e

'

:

 

'

c

p

u

'

}

}

,

 

'

g

r

a

d

i

e

n

t

_

c

l

i

p

p

i

n

g

'

:

 

1

.

0

,

 

'

t

r

a

i

n

_

b

a

t

c

h

_

s

i

z

e

'

:

 

'

a

u

t

o

'

,

 

'

t

r

a

i

n

_

m

i

c

r

o

_

b

a

t

c

h

_

s

i

z

e

_

p

e

r

_

g

p

u

'

:

 

'

a

u

t

o

'

,

 

'

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

'

:

 

5

,

 

'

s

t

e

p

s

_

p

e

r

_

p

r

i

n

t

'

:

 

i

n

f

,

 

'

f

p

1

6

'

:

 

{

'

e

n

a

b

l

e

d

'

:

 

T

r

u

e

,

 

'

a

u

t

o

_

c

a

s

t

'

:

 

T

r

u

e

}

}




`

`

`







*

*

N

o

t

e

*

*

:




1

.

 

R

e

m

a

i

n

i

n

g

 

`

"

a

u

t

o

"

`

 

v

a

l

u

e

s

 

a

r

e

 

h

a

n

d

l

e

d

 

i

n

 

`

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(

)

`

 

c

a

l

l

 

a

s

 

e

x

p

l

a

i

n

e

d

 

i

n

 

p

o

i

n

t

 

2

 

o

f




`

I

m

p

o

r

t

a

n

t

 

c

o

d

e

 

c

h

a

n

g

e

s

 

w

h

e

n

 

u

s

i

n

g

 

D

e

e

p

S

p

e

e

d

 

C

o

n

f

i

g

 

F

i

l

e

`

.




2

.

 

O

n

l

y

 

w

h

e

n

 

`

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

`

 

i

s

 

`

a

u

t

o

`

,

 

t

h

e

 

v

a

l

u

e

 

p

a

s

s

e

d

 

w

h

i

l

e

 

c

r

e

a

t

i

n

g

 

`

A

c

c

e

l

e

r

a

t

o

r

`

 

o

b

j

e

c

t

 

v

i

a

 

`

A

c

c

e

l

e

r

a

t

o

r

(

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

=

k

)

`

 

w

i

l

l

 

b

e

 

u

s

e

d

.

 

W

h

e

n

 

u

s

i

n

g

 

D

e

e

p

S

p

e

e

d

 

P

l

u

g

i

n

,

 

t

h

e

 

v

a

l

u

e

 

f

r

o

m

 

i

t

 

w

i

l

l

 

b

e

 

u

s

e

d

 

a

n

d

 

i

t

 

w

i

l

l

 

o

v

e

r

w

r

i

t

e

 

t

h

e

 

v

a

l

u

e

 

p

a

s

s

e

d

 

w

h

i

l

e

 

c

r

e

a

t

i

n

g

 

A

c

c

e

l

e

r

a

t

o

r

 

o

b

j

e

c

t

.







#

#

 

S

a

v

i

n

g

 

a

n

d

 

l

o

a

d

i

n

g







1

.

 

S

a

v

i

n

g

 

a

n

d

 

l

o

a

d

i

n

g

 

o

f

 

m

o

d

e

l

s

 

i

s

 

u

n

c

h

a

n

g

e

d

 

f

o

r

 

Z

e

R

O

 

S

t

a

g

e

-

1

 

a

n

d

 

S

t

a

g

e

-

2

.







2

.

 

u

n

d

e

r

 

Z

e

R

O

 

S

t

a

g

e

-

3

,

 

`

s

t

a

t

e

_

d

i

c

t

`

 

c

o

n

t

a

i

n

s

 

j

u

s

t

 

t

h

e

 

p

l

a

c

e

h

o

l

d

e

r

s

 

s

i

n

c

e

 

t

h

e

 

m

o

d

e

l

 

w

e

i

g

h

t

s

 

a

r

e

 

p

a

r

t

i

t

i

o

n

e

d

 

a

c

r

o

s

s

 

m

u

l

t

i

p

l

e

 

G

P

U

s

.




Z

e

R

O

 

S

t

a

g

e

-

3

 

h

a

s

 

2

 

o

p

t

i

o

n

s

:







 

 

 

a

.

 

S

a

v

i

n

g

 

t

h

e

 

e

n

t

i

r

e

 

1

6

b

i

t

 

m

o

d

e

l

 

w

e

i

g

h

t

s

 

t

o

 

d

i

r

e

c

t

l

y

 

l

o

a

d

 

l

a

t

e

r

 

o

n

 

u

s

i

n

g

 

`

m

o

d

e

l

.

l

o

a

d

_

s

t

a

t

e

_

d

i

c

t

(

t

o

r

c

h

.

l

o

a

d

(

p

y

t

o

r

c

h

_

m

o

d

e

l

.

b

i

n

)

)

`

.




 

 

 

F

o

r

 

t

h

i

s

,

 

e

i

t

h

e

r

 

s

e

t

 

`

z

e

r

o

_

o

p

t

i

m

i

z

a

t

i

o

n

.

s

t

a

g

e

3

_

g

a

t

h

e

r

_

1

6

b

i

t

_

w

e

i

g

h

t

s

_

o

n

_

m

o

d

e

l

_

s

a

v

e

`

 

t

o

 

T

r

u

e

 

i

n

 

D

e

e

p

S

p

e

e

d

 

C

o

n

f

i

g

 

f

i

l

e

 

o

r

 

s

e

t




 

 

 

`

z

e

r

o

3

_

s

a

v

e

_

1

6

b

i

t

_

m

o

d

e

l

`

 

t

o

 

T

r

u

e

 

i

n

 

D

e

e

p

S

p

e

e

d

 

P

l

u

g

i

n

.




 

 

 

*

*

N

o

t

e

 

t

h

a

t

 

t

h

i

s

 

o

p

t

i

o

n

 

r

e

q

u

i

r

e

s

 

c

o

n

s

o

l

i

d

a

t

i

o

n

 

o

f

 

t

h

e

 

w

e

i

g

h

t

s

 

o

n

 

o

n

e

 

G

P

U

 

i

t

 

c

a

n

 

b

e

 

s

l

o

w

 

a

n

d

 

m

e

m

o

r

y

 

d

e

m

a

n

d

i

n

g

,

 

s

o

 

o

n

l

y

 

u

s

e

 

t

h

i

s

 

f

e

a

t

u

r

e

 

w

h

e

n

 

n

e

e

d

e

d

.

*

*




 

 

 

B

e

l

o

w

 

i

s

 

t

h

e

 

s

n

i

p

p

e

t

 

f

r

o

m

 

`

e

x

a

m

p

l

e

s

/

b

y

_

f

e

a

t

u

r

e

/

d

e

e

p

s

p

e

e

d

_

w

i

t

h

_

c

o

n

f

i

g

_

s

u

p

p

o

r

t

.

p

y

`

 

s

h

o

w

i

n

g

 

t

h

i

s

:




 

 

 

`

`

`

p

y

t

h

o

n




 

 

 

u

n

w

r

a

p

p

e

d

_

m

o

d

e

l

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

u

n

w

r

a

p

_

m

o

d

e

l

(

m

o

d

e

l

)







 

 

 

#

 

N

e

w

 

C

o

d

e

 

#




 

 

 

#

 

S

a

v

e

s

 

t

h

e

 

w

h

o

l

e

/

u

n

p

a

r

t

i

t

i

o

n

e

d

 

f

p

1

6

 

m

o

d

e

l

 

w

h

e

n

 

i

n

 

Z

e

R

O

 

S

t

a

g

e

-

3

 

t

o

 

t

h

e

 

o

u

t

p

u

t

 

d

i

r

e

c

t

o

r

y

 

i

f




 

 

 

#

 

`

s

t

a

g

e

3

_

g

a

t

h

e

r

_

1

6

b

i

t

_

w

e

i

g

h

t

s

_

o

n

_

m

o

d

e

l

_

s

a

v

e

`

 

i

s

 

T

r

u

e

 

i

n

 

D

e

e

p

S

p

e

e

d

 

C

o

n

f

i

g

 

f

i

l

e

 

o

r




 

 

 

#

 

`

z

e

r

o

3

_

s

a

v

e

_

1

6

b

i

t

_

m

o

d

e

l

`

 

i

s

 

T

r

u

e

 

i

n

 

D

e

e

p

S

p

e

e

d

 

P

l

u

g

i

n

.




 

 

 

#

 

F

o

r

 

Z

e

r

o

 

S

t

a

g

e

s

 

1

 

a

n

d

 

2

,

 

m

o

d

e

l

s

 

a

r

e

 

s

a

v

e

d

 

a

s

 

u

s

u

a

l

 

i

n

 

t

h

e

 

o

u

t

p

u

t

 

d

i

r

e

c

t

o

r

y

.




 

 

 

#

 

T

h

e

 

m

o

d

e

l

 

n

a

m

e

 

s

a

v

e

d

 

i

s

 

`

p

y

t

o

r

c

h

_

m

o

d

e

l

.

b

i

n

`




 

 

 

u

n

w

r

a

p

p

e

d

_

m

o

d

e

l

.

s

a

v

e

_

p

r

e

t

r

a

i

n

e

d

(




 

 

 

 

 

 

 

a

r

g

s

.

o

u

t

p

u

t

_

d

i

r

,




 

 

 

 

 

 

 

i

s

_

m

a

i

n

_

p

r

o

c

e

s

s

=

a

c

c

e

l

e

r

a

t

o

r

.

i

s

_

m

a

i

n

_

p

r

o

c

e

s

s

,




 

 

 

 

 

 

 

s

a

v

e

_

f

u

n

c

t

i

o

n

=

a

c

c

e

l

e

r

a

t

o

r

.

s

a

v

e

,




 

 

 

 

 

 

 

s

t

a

t

e

_

d

i

c

t

=

a

c

c

e

l

e

r

a

t

o

r

.

g

e

t

_

s

t

a

t

e

_

d

i

c

t

(

m

o

d

e

l

)

,




 

 

 

)




 

 

 

`

`

`







 

 

 

b

.

 

T

o

 

g

e

t

 

3

2

b

i

t

 

w

e

i

g

h

t

s

,

 

f

i

r

s

t

 

s

a

v

e

 

t

h

e

 

m

o

d

e

l

 

u

s

i

n

g

 

`

m

o

d

e

l

.

s

a

v

e

_

c

h

e

c

k

p

o

i

n

t

(

)

`

.




 

 

 

B

e

l

o

w

 

i

s

 

t

h

e

 

s

n

i

p

p

e

t

 

f

r

o

m

 

`

e

x

a

m

p

l

e

s

/

b

y

_

f

e

a

t

u

r

e

/

d

e

e

p

s

p

e

e

d

_

w

i

t

h

_

c

o

n

f

i

g

_

s

u

p

p

o

r

t

.

p

y

`

 

s

h

o

w

i

n

g

 

t

h

i

s

:




 

 

 

`

`

`

p

y

t

h

o

n




 

 

 

s

u

c

c

e

s

s

 

=

 

m

o

d

e

l

.

s

a

v

e

_

c

h

e

c

k

p

o

i

n

t

(

P

A

T

H

,

 

c

k

p

t

_

i

d

,

 

c

h

e

c

k

p

o

i

n

t

_

s

t

a

t

e

_

d

i

c

t

)




 

 

 

s

t

a

t

u

s

_

m

s

g

 

=

 

f

"

c

h

e

c

k

p

o

i

n

t

i

n

g

:

 

P

A

T

H

=

{

P

A

T

H

}

,

 

c

k

p

t

_

i

d

=

{

c

k

p

t

_

i

d

}

"




 

 

 

i

f

 

s

u

c

c

e

s

s

:




 

 

 

 

 

 

 

l

o

g

g

i

n

g

.

i

n

f

o

(

f

"

S

u

c

c

e

s

s

 

{

s

t

a

t

u

s

_

m

s

g

}

"

)




 

 

 

e

l

s

e

:




 

 

 

 

 

 

 

l

o

g

g

i

n

g

.

w

a

r

n

i

n

g

(

f

"

F

a

i

l

u

r

e

 

{

s

t

a

t

u

s

_

m

s

g

}

"

)




 

 

 

`

`

`




 

 

 

T

h

i

s

 

w

i

l

l

 

c

r

e

a

t

e

 

Z

e

R

O

 

m

o

d

e

l

 

a

n

d

 

o

p

t

i

m

i

z

e

r

 

p

a

r

t

i

t

i

o

n

s

 

a

l

o

n

g

 

w

i

t

h

 

`

z

e

r

o

_

t

o

_

f

p

3

2

.

p

y

`

 

s

c

r

i

p

t

 

i

n

 

c

h

e

c

k

p

o

i

n

t

 

d

i

r

e

c

t

o

r

y

.




 

 

 

Y

o

u

 

c

a

n

 

u

s

e

 

t

h

i

s

 

s

c

r

i

p

t

 

t

o

 

d

o

 

o

f

f

l

i

n

e

 

c

o

n

s

o

l

i

d

a

t

i

o

n

.




 

 

 

I

t

 

r

e

q

u

i

r

e

s

 

n

o

 

c

o

n

f

i

g

u

r

a

t

i

o

n

 

f

i

l

e

s

 

o

r

 

G

P

U

s

.

 

H

e

r

e

 

i

s

 

a

n

 

e

x

a

m

p

l

e

 

o

f

 

i

t

s

 

u

s

a

g

e

:




 

 

 

`

`

`

b

a

s

h




 

 

 

$

 

c

d

 

/

p

a

t

h

/

t

o

/

c

h

e

c

k

p

o

i

n

t

_

d

i

r




 

 

 

$

 

.

/

z

e

r

o

_

t

o

_

f

p

3

2

.

p

y

 

.

 

p

y

t

o

r

c

h

_

m

o

d

e

l

.

b

i

n




 

 

 

P

r

o

c

e

s

s

i

n

g

 

z

e

r

o

 

c

h

e

c

k

p

o

i

n

t

 

a

t

 

g

l

o

b

a

l

_

s

t

e

p

1




 

 

 

D

e

t

e

c

t

e

d

 

c

h

e

c

k

p

o

i

n

t

 

o

f

 

t

y

p

e

 

z

e

r

o

 

s

t

a

g

e

 

3

,

 

w

o

r

l

d

_

s

i

z

e

:

 

2




 

 

 

S

a

v

i

n

g

 

f

p

3

2

 

s

t

a

t

e

 

d

i

c

t

 

t

o

 

p

y

t

o

r

c

h

_

m

o

d

e

l

.

b

i

n

 

(

t

o

t

a

l

_

n

u

m

e

l

=

6

0

5

0

6

6

2

4

)




 

 

 

`

`

`




 

 

 

T

o

 

g

e

t

 

3

2

b

i

t

 

m

o

d

e

l

 

f

o

r

 

s

a

v

i

n

g

/

i

n

f

e

r

e

n

c

e

,

 

y

o

u

 

c

a

n

 

p

e

r

f

o

r

m

:




 

 

 

`

`

`

p

y

t

h

o

n




 

 

 

f

r

o

m

 

d

e

e

p

s

p

e

e

d

.

u

t

i

l

s

.

z

e

r

o

_

t

o

_

f

p

3

2

 

i

m

p

o

r

t

 

l

o

a

d

_

s

t

a

t

e

_

d

i

c

t

_

f

r

o

m

_

z

e

r

o

_

c

h

e

c

k

p

o

i

n

t







 

 

 

u

n

w

r

a

p

p

e

d

_

m

o

d

e

l

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

u

n

w

r

a

p

_

m

o

d

e

l

(

m

o

d

e

l

)




 

 

 

f

p

3

2

_

m

o

d

e

l

 

=

 

l

o

a

d

_

s

t

a

t

e

_

d

i

c

t

_

f

r

o

m

_

z

e

r

o

_

c

h

e

c

k

p

o

i

n

t

(

u

n

w

r

a

p

p

e

d

_

m

o

d

e

l

,

 

c

h

e

c

k

p

o

i

n

t

_

d

i

r

)




 

 

 

`

`

`




 

 

 

I

f

 

y

o

u

 

a

r

e

 

o

n

l

y

 

i

n

t

e

r

e

s

t

e

d

 

i

n

 

t

h

e

 

`

s

t

a

t

e

_

d

i

c

t

`

,

 

y

o

u

 

c

a

n

 

d

o

 

t

h

e

 

f

o

l

l

o

w

i

n

g

:




 

 

 

`

`

`

p

y

t

h

o

n




 

 

 

f

r

o

m

 

d

e

e

p

s

p

e

e

d

.

u

t

i

l

s

.

z

e

r

o

_

t

o

_

f

p

3

2

 

i

m

p

o

r

t

 

g

e

t

_

f

p

3

2

_

s

t

a

t

e

_

d

i

c

t

_

f

r

o

m

_

z

e

r

o

_

c

h

e

c

k

p

o

i

n

t







 

 

 

s

t

a

t

e

_

d

i

c

t

 

=

 

g

e

t

_

f

p

3

2

_

s

t

a

t

e

_

d

i

c

t

_

f

r

o

m

_

z

e

r

o

_

c

h

e

c

k

p

o

i

n

t

(

c

h

e

c

k

p

o

i

n

t

_

d

i

r

)




 

 

 

`

`

`




 

 

 

N

o

t

e

 

t

h

a

t

 

a

l

l

 

t

h

e

s

e

 

f

u

n

c

t

i

o

n

s

 

r

e

q

u

i

r

e

 

~

2

x

 

m

e

m

o

r

y

 

(

g

e

n

e

r

a

l

 

R

A

M

)

 

o

f

 

t

h

e

 

s

i

z

e

 

o

f

 

t

h

e

 

f

i

n

a

l

 

c

h

e

c

k

p

o

i

n

t

.







#

#

 

Z

e

R

O

 

I

n

f

e

r

e

n

c

e




D

e

e

p

S

p

e

e

d

 

Z

e

R

O

 

I

n

f

e

r

e

n

c

e

 

s

u

p

p

o

r

t

s

 

Z

e

R

O

 

s

t

a

g

e

 

3

 

w

i

t

h

 

Z

e

R

O

-

I

n

f

i

n

i

t

y

.




I

t

 

u

s

e

s

 

t

h

e

 

s

a

m

e

 

Z

e

R

O

 

p

r

o

t

o

c

o

l

 

a

s

 

t

r

a

i

n

i

n

g

,

 

b

u

t

 

i

t

 

d

o

e

s

n

'

t

 

u

s

e

 

a

n

 

o

p

t

i

m

i

z

e

r

 

a

n

d

 

a

 

l

r

 

s

c

h

e

d

u

l

e

r

 

a

n

d

 

o

n

l

y

 

s

t

a

g

e

 

3

 

i

s

 

r

e

l

e

v

a

n

t

.




W

i

t

h

 

a

c

c

e

l

e

r

a

t

e

 

i

n

t

e

g

r

a

t

i

o

n

,

 

y

o

u

 

j

u

s

t

 

n

e

e

d

 

t

o

 

p

r

e

p

a

r

e

 

t

h

e

 

m

o

d

e

l

 

a

n

d

 

d

a

t

a

l

o

a

d

e

r

 

a

s

 

s

h

o

w

n

 

b

e

l

o

w

:







`

`

`

p

y

t

h

o

n




m

o

d

e

l

,

 

e

v

a

l

_

d

a

t

a

l

o

a

d

e

r

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(

m

o

d

e

l

,

 

e

v

a

l

_

d

a

t

a

l

o

a

d

e

r

)




`

`

`







#

#

 

F

e

w

 

c

a

v

e

a

t

s

 

t

o

 

b

e

 

a

w

a

r

e

 

o

f







1

.

 

C

u

r

r

e

n

t

 

i

n

t

e

g

r

a

t

i

o

n

 

d

o

e

s

n

’

t

 

s

u

p

p

o

r

t

 

P

i

p

e

l

i

n

e

 

P

a

r

a

l

l

e

l

i

s

m

 

o

f

 

D

e

e

p

S

p

e

e

d

.




2

.

 

C

u

r

r

e

n

t

 

i

n

t

e

g

r

a

t

i

o

n

 

d

o

e

s

n

’

t

 

s

u

p

p

o

r

t

 

`

m

p

u

`

,

 

l

i

m

i

t

i

n

g

 

t

h

e

 

t

e

n

s

o

r

 

p

a

r

a

l

l

e

l

i

s

m

 

w

h

i

c

h

 

i

s

 

s

u

p

p

o

r

t

e

d

 

i

n

 

M

e

g

a

t

r

o

n

-

L

M

.




3

.

 

C

u

r

r

e

n

t

 

i

n

t

e

g

r

a

t

i

o

n

 

d

o

e

s

n

’

t

 

s

u

p

p

o

r

t

 

m

u

l

t

i

p

l

e

 

m

o

d

e

l

s

.







#

#

 

D

e

e

p

S

p

e

e

d

 

R

e

s

o

u

r

c

e

s







T

h

e

 

d

o

c

u

m

e

n

t

a

t

i

o

n

 

f

o

r

 

t

h

e

 

i

n

t

e

r

n

a

l

s

 

r

e

l

a

t

e

d

 

t

o

 

d

e

e

p

s

p

e

e

d

 

c

a

n

 

b

e

 

f

o

u

n

d

 

[

h

e

r

e

]

(

.

.

/

p

a

c

k

a

g

e

_

r

e

f

e

r

e

n

c

e

/

d

e

e

p

s

p

e

e

d

)

.







-

 

[

P

r

o

j

e

c

t

'

s

 

g

i

t

h

u

b

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

m

i

c

r

o

s

o

f

t

/

d

e

e

p

s

p

e

e

d

)




-

 

[

U

s

a

g

e

 

d

o

c

s

]

(

h

t

t

p

s

:

/

/

w

w

w

.

d

e

e

p

s

p

e

e

d

.

a

i

/

g

e

t

t

i

n

g

-

s

t

a

r

t

e

d

/

)




-

 

[

A

P

I

 

d

o

c

s

]

(

h

t

t

p

s

:

/

/

d

e

e

p

s

p

e

e

d

.

r

e

a

d

t

h

e

d

o

c

s

.

i

o

/

e

n

/

l

a

t

e

s

t

/

i

n

d

e

x

.

h

t

m

l

)




-

 

[

B

l

o

g

 

p

o

s

t

s

]

(

h

t

t

p

s

:

/

/

w

w

w

.

m

i

c

r

o

s

o

f

t

.

c

o

m

/

e

n

-

u

s

/

r

e

s

e

a

r

c

h

/

s

e

a

r

c

h

/

?

q

=

d

e

e

p

s

p

e

e

d

)







P

a

p

e

r

s

:







-

 

[

Z

e

R

O

:

 

M

e

m

o

r

y

 

O

p

t

i

m

i

z

a

t

i

o

n

s

 

T

o

w

a

r

d

 

T

r

a

i

n

i

n

g

 

T

r

i

l

l

i

o

n

 

P

a

r

a

m

e

t

e

r

 

M

o

d

e

l

s

]

(

h

t

t

p

s

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

1

9

1

0

.

0

2

0

5

4

)




-

 

[

Z

e

R

O

-

O

f

f

l

o

a

d

:

 

D

e

m

o

c

r

a

t

i

z

i

n

g

 

B

i

l

l

i

o

n

-

S

c

a

l

e

 

M

o

d

e

l

 

T

r

a

i

n

i

n

g

]

(

h

t

t

p

s

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

1

0

1

.

0

6

8

4

0

)




-

 

[

Z

e

R

O

-

I

n

f

i

n

i

t

y

:

 

B

r

e

a

k

i

n

g

 

t

h

e

 

G

P

U

 

M

e

m

o

r

y

 

W

a

l

l

 

f

o

r

 

E

x

t

r

e

m

e

 

S

c

a

l

e

 

D

e

e

p

 

L

e

a

r

n

i

n

g

]

(

h

t

t

p

s

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

1

0

4

.

0

7

8

5

7

)




-

 

[

Z

e

R

O

+

+

:

 

E

x

t

r

e

m

e

l

y

 

E

f

f

i

c

i

e

n

t

 

C

o

l

l

e

c

t

i

v

e

 

C

o

m

m

u

n

i

c

a

t

i

o

n

 

f

o

r

 

G

i

a

n

t

 

M

o

d

e

l

 

T

r

a

i

n

i

n

g

]

(

h

t

t

p

s

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

3

0

6

.

1

0

2

0

9

)










F

i

n

a

l

l

y

,

 

p

l

e

a

s

e

,

 

r

e

m

e

m

b

e

r

 

t

h

a

t

 

`

A

c

c

e

l

e

r

a

t

e

`

 

o

n

l

y

 

i

n

t

e

g

r

a

t

e

s

 

D

e

e

p

S

p

e

e

d

,

 

t

h

e

r

e

f

o

r

e

 

i

f

 

y

o

u




h

a

v

e

 

a

n

y

 

p

r

o

b

l

e

m

s

 

o

r

 

q

u

e

s

t

i

o

n

s

 

w

i

t

h

 

r

e

g

a

r

d

s

 

t

o

 

D

e

e

p

S

p

e

e

d

 

u

s

a

g

e

,

 

p

l

e

a

s

e

,

 

f

i

l

e

 

a

n

 

i

s

s

u

e

 

w

i

t

h

 

[

D

e

e

p

S

p

e

e

d

 

G

i

t

H

u

b

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

m

i

c

r

o

s

o

f

t

/

D

e

e

p

S

p

e

e

d

/

i

s

s

u

e

s

)

.










<

T

i

p

>







 

 

 

 

F

o

r

 

t

h

o

s

e

 

i

n

t

e

r

e

s

t

e

d

 

i

n

 

t

h

e

 

s

i

m

i

l

a

r

i

t

i

e

s

 

a

n

d

 

d

i

f

f

e

r

e

n

c

e

s

 

b

e

t

w

e

e

n

 

F

S

D

P

 

a

n

d

 

D

e

e

p

S

p

e

e

d

,

 

p

l

e

a

s

e

 

c

h

e

c

k

 

o

u

t

 

t

h

e

 

[

c

o

n

c

e

p

t

 

g

u

i

d

e

 

h

e

r

e

]

(

.

.

/

c

o

n

c

e

p

t

_

g

u

i

d

e

s

/

f

s

d

p

_

a

n

d

_

d

e

e

p

s

p

e

e

d

)

!




 

 

 

 




<

/

T

i

p

>







#

 

D

i

s

t

r

i

b

u

t

e

d

 

i

n

f

e

r

e

n

c

e







D

i

s

t

r

i

b

u

t

e

d

 

i

n

f

e

r

e

n

c

e

 

c

a

n

 

f

a

l

l

 

i

n

t

o

 

t

h

r

e

e

 

b

r

a

c

k

e

t

s

:







1

.

 

L

o

a

d

i

n

g

 

a

n

 

e

n

t

i

r

e

 

m

o

d

e

l

 

o

n

t

o

 

e

a

c

h

 

G

P

U

 

a

n

d

 

s

e

n

d

i

n

g

 

c

h

u

n

k

s

 

o

f

 

a

 

b

a

t

c

h

 

t

h

r

o

u

g

h

 

e

a

c

h

 

G

P

U

'

s

 

m

o

d

e

l

 

c

o

p

y

 

a

t

 

a

 

t

i

m

e




2

.

 

L

o

a

d

i

n

g

 

p

a

r

t

s

 

o

f

 

a

 

m

o

d

e

l

 

o

n

t

o

 

e

a

c

h

 

G

P

U

 

a

n

d

 

p

r

o

c

e

s

s

i

n

g

 

a

 

s

i

n

g

l

e

 

i

n

p

u

t

 

a

t

 

o

n

e

 

t

i

m

e




3

.

 

L

o

a

d

i

n

g

 

p

a

r

t

s

 

o

f

 

a

 

m

o

d

e

l

 

o

n

t

o

 

e

a

c

h

 

G

P

U

 

a

n

d

 

u

s

i

n

g

 

w

h

a

t

 

i

s

 

c

a

l

l

e

d

 

s

c

h

e

d

u

l

e

d

 

P

i

p

e

l

i

n

e

 

P

a

r

a

l

l

e

l

i

s

m

 

t

o

 

c

o

m

b

i

n

e

 

t

h

e

 

t

w

o

 

p

r

i

o

r

 

t

e

c

h

n

i

q

u

e

s

.

 







W

e

'

r

e

 

g

o

i

n

g

 

t

o

 

g

o

 

t

h

r

o

u

g

h

 

t

h

e

 

f

i

r

s

t

 

a

n

d

 

t

h

e

 

l

a

s

t

 

b

r

a

c

k

e

t

,

 

s

h

o

w

c

a

s

i

n

g

 

h

o

w

 

t

o

 

d

o

 

e

a

c

h

 

a

s

 

t

h

e

y

 

a

r

e

 

m

o

r

e

 

r

e

a

l

i

s

t

i

c

 

s

c

e

n

a

r

i

o

s

.










#

#

 

S

e

n

d

i

n

g

 

c

h

u

n

k

s

 

o

f

 

a

 

b

a

t

c

h

 

a

u

t

o

m

a

t

i

c

a

l

l

y

 

t

o

 

e

a

c

h

 

l

o

a

d

e

d

 

m

o

d

e

l







T

h

i

s

 

i

s

 

t

h

e

 

m

o

s

t

 

m

e

m

o

r

y

-

i

n

t

e

n

s

i

v

e

 

s

o

l

u

t

i

o

n

,

 

a

s

 

i

t

 

r

e

q

u

i

r

e

s

 

e

a

c

h

 

G

P

U

 

t

o

 

k

e

e

p

 

a

 

f

u

l

l

 

c

o

p

y

 

o

f

 

t

h

e

 

m

o

d

e

l

 

i

n

 

m

e

m

o

r

y

 

a

t

 

a

 

g

i

v

e

n

 

t

i

m

e

.

 







N

o

r

m

a

l

l

y

 

w

h

e

n

 

d

o

i

n

g

 

t

h

i

s

,

 

u

s

e

r

s

 

s

e

n

d

 

t

h

e

 

m

o

d

e

l

 

t

o

 

a

 

s

p

e

c

i

f

i

c

 

d

e

v

i

c

e

 

t

o

 

l

o

a

d

 

i

t

 

f

r

o

m

 

t

h

e

 

C

P

U

,

 

a

n

d

 

t

h

e

n

 

m

o

v

e

 

e

a

c

h

 

p

r

o

m

p

t

 

t

o

 

a

 

d

i

f

f

e

r

e

n

t

 

d

e

v

i

c

e

.

 







A

 

b

a

s

i

c

 

p

i

p

e

l

i

n

e

 

u

s

i

n

g

 

t

h

e

 

`

d

i

f

f

u

s

e

r

s

`

 

l

i

b

r

a

r

y

 

m

i

g

h

t

 

l

o

o

k

 

s

o

m

e

t

h

i

n

g

 

l

i

k

e

 

s

o

:







`

`

`

p

y

t

h

o

n




i

m

p

o

r

t

 

t

o

r

c

h




i

m

p

o

r

t

 

t

o

r

c

h

.

d

i

s

t

r

i

b

u

t

e

d

 

a

s

 

d

i

s

t




f

r

o

m

 

d

i

f

f

u

s

e

r

s

 

i

m

p

o

r

t

 

D

i

f

f

u

s

i

o

n

P

i

p

e

l

i

n

e







p

i

p

e

 

=

 

D

i

f

f

u

s

i

o

n

P

i

p

e

l

i

n

e

.

f

r

o

m

_

p

r

e

t

r

a

i

n

e

d

(

"

r

u

n

w

a

y

m

l

/

s

t

a

b

l

e

-

d

i

f

f

u

s

i

o

n

-

v

1

-

5

"

,

 

t

o

r

c

h

_

d

t

y

p

e

=

t

o

r

c

h

.

f

l

o

a

t

1

6

)




`

`

`




F

o

l

l

o

w

e

d

 

t

h

e

n

 

b

y

 

p

e

r

f

o

r

m

i

n

g

 

i

n

f

e

r

e

n

c

e

 

b

a

s

e

d

 

o

n

 

t

h

e

 

s

p

e

c

i

f

i

c

 

p

r

o

m

p

t

:







`

`

`

p

y

t

h

o

n




d

e

f

 

r

u

n

_

i

n

f

e

r

e

n

c

e

(

r

a

n

k

,

 

w

o

r

l

d

_

s

i

z

e

)

:




 

 

 

 

d

i

s

t

.

i

n

i

t

_

p

r

o

c

e

s

s

_

g

r

o

u

p

(

"

n

c

c

l

"

,

 

r

a

n

k

=

r

a

n

k

,

 

w

o

r

l

d

_

s

i

z

e

=

w

o

r

l

d

_

s

i

z

e

)




 

 

 

 

p

i

p

e

.

t

o

(

r

a

n

k

)







 

 

 

 

i

f

 

t

o

r

c

h

.

d

i

s

t

r

i

b

u

t

e

d

.

g

e

t

_

r

a

n

k

(

)

 

=

=

 

0

:




 

 

 

 

 

 

 

 

p

r

o

m

p

t

 

=

 

"

a

 

d

o

g

"




 

 

 

 

e

l

i

f

 

t

o

r

c

h

.

d

i

s

t

r

i

b

u

t

e

d

.

g

e

t

_

r

a

n

k

(

)

 

=

=

 

1

:




 

 

 

 

 

 

 

 

p

r

o

m

p

t

 

=

 

"

a

 

c

a

t

"







 

 

 

 

r

e

s

u

l

t

 

=

 

p

i

p

e

(

p

r

o

m

p

t

)

.

i

m

a

g

e

s

[

0

]




 

 

 

 

r

e

s

u

l

t

.

s

a

v

e

(

f

"

r

e

s

u

l

t

_

{

r

a

n

k

}

.

p

n

g

"

)




`

`

`




O

n

e

 

w

i

l

l

 

n

o

t

i

c

e

 

h

o

w

 

w

e

 

h

a

v

e

 

t

o

 

c

h

e

c

k

 

t

h

e

 

r

a

n

k

 

t

o

 

k

n

o

w

 

w

h

a

t

 

p

r

o

m

p

t

 

t

o

 

s

e

n

d

,

 

w

h

i

c

h

 

c

a

n

 

b

e

 

a

 

b

i

t

 

t

e

d

i

o

u

s

.







A

 

u

s

e

r

 

m

i

g

h

t

 

t

h

e

n

 

a

l

s

o

 

t

h

i

n

k

 

t

h

a

t

 

w

i

t

h

 

A

c

c

e

l

e

r

a

t

e

,

 

u

s

i

n

g

 

t

h

e

 

`

A

c

c

e

l

e

r

a

t

o

r

`

 

t

o

 

p

r

e

p

a

r

e

 

a

 

d

a

t

a

l

o

a

d

e

r

 

f

o

r

 

s

u

c

h

 

a

 

t

a

s

k

 

m

i

g

h

t

 

a

l

s

o

 

b

e

 




a

 

s

i

m

p

l

e

 

w

a

y

 

t

o

 

m

a

n

a

g

e

 

t

h

i

s

.

 

(

T

o

 

l

e

a

r

n

 

m

o

r

e

,

 

c

h

e

c

k

 

o

u

t

 

t

h

e

 

r

e

l

e

v

a

n

t

 

s

e

c

t

i

o

n

 

i

n

 

t

h

e

 

[

Q

u

i

c

k

 

T

o

u

r

]

(

.

.

/

q

u

i

c

k

t

o

u

r

#

d

i

s

t

r

i

b

u

t

e

d

-

e

v

a

l

u

a

t

i

o

n

)

)







C

a

n

 

i

t

 

m

a

n

a

g

e

 

i

t

?

 

Y

e

s

.

 

D

o

e

s

 

i

t

 

a

d

d

 

u

n

n

e

e

d

e

d

 

e

x

t

r

a

 

c

o

d

e

 

h

o

w

e

v

e

r

:

 

a

l

s

o

 

y

e

s

.










W

i

t

h

 

A

c

c

e

l

e

r

a

t

e

,

 

w

e

 

c

a

n

 

s

i

m

p

l

i

f

y

 

t

h

i

s

 

p

r

o

c

e

s

s

 

b

y

 

u

s

i

n

g

 

t

h

e

 

`

A

c

c

e

l

e

r

a

t

o

r

.

s

p

l

i

t

_

b

e

t

w

e

e

n

_

p

r

o

c

e

s

s

e

s

(

)

`

 

c

o

n

t

e

x

t

 

m

a

n

a

g

e

r

 

(

w

h

i

c

h

 

a

l

s

o

 

e

x

i

s

t

s

 

i

n

 

`

P

a

r

t

i

a

l

S

t

a

t

e

`

 

a

n

d

 

`

A

c

c

e

l

e

r

a

t

o

r

S

t

a

t

e

`

)

.

 




T

h

i

s

 

f

u

n

c

t

i

o

n

 

w

i

l

l

 

a

u

t

o

m

a

t

i

c

a

l

l

y

 

s

p

l

i

t

 

w

h

a

t

e

v

e

r

 

d

a

t

a

 

y

o

u

 

p

a

s

s

 

t

o

 

i

t

 

(

b

e

 

i

t

 

a

 

p

r

o

m

p

t

,

 

a

 

s

e

t

 

o

f

 

t

e

n

s

o

r

s

,

 

a

 

d

i

c

t

i

o

n

a

r

y

 

o

f

 

t

h

e

 

p

r

i

o

r

 

d

a

t

a

,

 

e

t

c

.

)

 

a

c

r

o

s

s

 

a

l

l

 

t

h

e

 

p

r

o

c

e

s

s

e

s

 

(

w

i

t

h

 

a

 

p

o

t

e

n

t

i

a

l




t

o

 

b

e

 

p

a

d

d

e

d

)

 

f

o

r

 

y

o

u

 

t

o

 

u

s

e

 

r

i

g

h

t

 

a

w

a

y

.







L

e

t

'

s

 

r

e

w

r

i

t

e

 

t

h

e

 

a

b

o

v

e

 

e

x

a

m

p

l

e

 

u

s

i

n

g

 

t

h

i

s

 

c

o

n

t

e

x

t

 

m

a

n

a

g

e

r

:







`

`

`

p

y

t

h

o

n




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

P

a

r

t

i

a

l

S

t

a

t

e

 

 

#

 

C

a

n

 

a

l

s

o

 

b

e

 

A

c

c

e

l

e

r

a

t

o

r

 

o

r

 

A

c

c

e

l

e

r

a

t

o

r

S

t

a

t

e




f

r

o

m

 

d

i

f

f

u

s

e

r

s

 

i

m

p

o

r

t

 

D

i

f

f

u

s

i

o

n

P

i

p

e

l

i

n

e







p

i

p

e

 

=

 

D

i

f

f

u

s

i

o

n

P

i

p

e

l

i

n

e

.

f

r

o

m

_

p

r

e

t

r

a

i

n

e

d

(

"

r

u

n

w

a

y

m

l

/

s

t

a

b

l

e

-

d

i

f

f

u

s

i

o

n

-

v

1

-

5

"

,

 

t

o

r

c

h

_

d

t

y

p

e

=

t

o

r

c

h

.

f

l

o

a

t

1

6

)




d

i

s

t

r

i

b

u

t

e

d

_

s

t

a

t

e

 

=

 

P

a

r

t

i

a

l

S

t

a

t

e

(

)




p

i

p

e

.

t

o

(

d

i

s

t

r

i

b

u

t

e

d

_

s

t

a

t

e

.

d

e

v

i

c

e

)







#

 

A

s

s

u

m

e

 

t

w

o

 

p

r

o

c

e

s

s

e

s




w

i

t

h

 

d

i

s

t

r

i

b

u

t

e

d

_

s

t

a

t

e

.

s

p

l

i

t

_

b

e

t

w

e

e

n

_

p

r

o

c

e

s

s

e

s

(

[

"

a

 

d

o

g

"

,

 

"

a

 

c

a

t

"

]

)

 

a

s

 

p

r

o

m

p

t

:




 

 

 

 

r

e

s

u

l

t

 

=

 

p

i

p

e

(

p

r

o

m

p

t

)

.

i

m

a

g

e

s

[

0

]




 

 

 

 

r

e

s

u

l

t

.

s

a

v

e

(

f

"

r

e

s

u

l

t

_

{

d

i

s

t

r

i

b

u

t

e

d

_

s

t

a

t

e

.

p

r

o

c

e

s

s

_

i

n

d

e

x

}

.

p

n

g

"

)




`

`

`







A

n

d

 

t

h

e

n

 

t

o

 

l

a

u

n

c

h

 

t

h

e

 

c

o

d

e

,

 

w

e

 

c

a

n

 

u

s

e

 

t

h

e

 

A

c

c

e

l

e

r

a

t

e

:







I

f

 

y

o

u

 

h

a

v

e

 

g

e

n

e

r

a

t

e

d

 

a

 

c

o

n

f

i

g

 

f

i

l

e

 

t

o

 

b

e

 

u

s

e

d

 

u

s

i

n

g

 

`

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

`

:







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

d

i

s

t

r

i

b

u

t

e

d

_

i

n

f

e

r

e

n

c

e

.

p

y




`

`

`







I

f

 

y

o

u

 

h

a

v

e

 

a

 

s

p

e

c

i

f

i

c

 

c

o

n

f

i

g

 

f

i

l

e

 

y

o

u

 

w

a

n

t

 

t

o

 

u

s

e

:







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

-

-

c

o

n

f

i

g

_

f

i

l

e

 

m

y

_

c

o

n

f

i

g

.

j

s

o

n

 

d

i

s

t

r

i

b

u

t

e

d

_

i

n

f

e

r

e

n

c

e

.

p

y




`

`

`







O

r

 

i

f

 

d

o

n

'

t

 

w

a

n

t

 

t

o

 

m

a

k

e

 

a

n

y

 

c

o

n

f

i

g

 

f

i

l

e

s

 

a

n

d

 

l

a

u

n

c

h

 

o

n

 

t

w

o

 

G

P

U

s

:







>

 

N

o

t

e

:

 

Y

o

u

 

w

i

l

l

 

g

e

t

 

s

o

m

e

 

w

a

r

n

i

n

g

s

 

a

b

o

u

t

 

v

a

l

u

e

s

 

b

e

i

n

g

 

g

u

e

s

s

e

d

 

b

a

s

e

d

 

o

n

 

y

o

u

r

 

s

y

s

t

e

m

.

 

T

o

 

r

e

m

o

v

e

 

t

h

e

s

e

 

y

o

u

 

c

a

n

 

d

o

 

`

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

 

d

e

f

a

u

l

t

`

 

o

r

 

g

o

 

t

h

r

o

u

g

h

 

`

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

`

 

t

o

 

c

r

e

a

t

e

 

a

 

c

o

n

f

i

g

 

f

i

l

e

.







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

-

-

n

u

m

_

p

r

o

c

e

s

s

e

s

 

2

 

d

i

s

t

r

i

b

u

t

e

d

_

i

n

f

e

r

e

n

c

e

.

p

y




`

`

`







W

e

'

v

e

 

n

o

w

 

r

e

d

u

c

e

d

 

t

h

e

 

b

o

i

l

e

r

p

l

a

t

e

 

c

o

d

e

 

n

e

e

d

e

d

 

t

o

 

s

p

l

i

t

 

t

h

i

s

 

d

a

t

a

 

t

o

 

a

 

f

e

w

 

l

i

n

e

s

 

o

f

 

c

o

d

e

 

q

u

i

t

e

 

e

a

s

i

l

y

.







B

u

t

 

w

h

a

t

 

i

f

 

w

e

 

h

a

v

e

 

a

n

 

o

d

d

 

d

i

s

t

r

i

b

u

t

i

o

n

 

o

f

 

p

r

o

m

p

t

s

 

t

o

 

G

P

U

s

?

 

F

o

r

 

e

x

a

m

p

l

e

,

 

w

h

a

t

 

i

f

 

w

e

 

h

a

v

e

 

3

 

p

r

o

m

p

t

s

,

 

b

u

t

 

o

n

l

y

 

2

 

G

P

U

s

?

 







U

n

d

e

r

 

t

h

e

 

c

o

n

t

e

x

t

 

m

a

n

a

g

e

r

,

 

t

h

e

 

f

i

r

s

t

 

G

P

U

 

w

o

u

l

d

 

r

e

c

e

i

v

e

 

t

h

e

 

f

i

r

s

t

 

t

w

o

 

p

r

o

m

p

t

s

 

a

n

d

 

t

h

e

 

s

e

c

o

n

d

 

G

P

U

 

t

h

e

 

t

h

i

r

d

,

 

e

n

s

u

r

i

n

g

 

t

h

a

t

 




a

l

l

 

p

r

o

m

p

t

s

 

a

r

e

 

s

p

l

i

t

 

a

n

d

 

n

o

 

o

v

e

r

h

e

a

d

 

i

s

 

n

e

e

d

e

d

.







*

H

o

w

e

v

e

r

*

,

 

w

h

a

t

 

i

f

 

w

e

 

t

h

e

n

 

w

a

n

t

e

d

 

t

o

 

d

o

 

s

o

m

e

t

h

i

n

g

 

w

i

t

h

 

t

h

e

 

r

e

s

u

l

t

s

 

o

f

 

*

a

l

l

 

t

h

e

 

G

P

U

s

*

?

 

(

S

a

y

 

g

a

t

h

e

r

 

t

h

e

m

 

a

l

l

 

a

n

d

 

p

e

r

f

o

r

m

 

s

o

m

e

 

k

i

n

d

 

o

f

 

p

o

s

t

 

p

r

o

c

e

s

s

i

n

g

)




Y

o

u

 

c

a

n

 

p

a

s

s

 

i

n

 

`

a

p

p

l

y

_

p

a

d

d

i

n

g

=

T

r

u

e

`

 

t

o

 

e

n

s

u

r

e

 

t

h

a

t

 

t

h

e

 

l

i

s

t

s

 

o

f

 

p

r

o

m

p

t

s

 

a

r

e

 

p

a

d

d

e

d

 

t

o

 

t

h

e

 

s

a

m

e

 

l

e

n

g

t

h

,

 

w

i

t

h

 

e

x

t

r

a

 

d

a

t

a

 

b

e

i

n

g

 

t

a

k

e

n

 




f

r

o

m

 

t

h

e

 

l

a

s

t

 

s

a

m

p

l

e

.

 

T

h

i

s

 

w

a

y

 

a

l

l

 

G

P

U

s

 

w

i

l

l

 

h

a

v

e

 

t

h

e

 

s

a

m

e

 

n

u

m

b

e

r

 

o

f

 

p

r

o

m

p

t

s

,

 

a

n

d

 

y

o

u

 

c

a

n

 

t

h

e

n

 

g

a

t

h

e

r

 

t

h

e

 

r

e

s

u

l

t

s

.







<

T

i

p

>







T

h

i

s

 

i

s

 

o

n

l

y

 

n

e

e

d

e

d

 

w

h

e

n

 

t

r

y

i

n

g

 

t

o

 

p

e

r

f

o

r

m

 

a

n

 

a

c

t

i

o

n

 

s

u

c

h

 

a

s

 

g

a

t

h

e

r

i

n

g

 

t

h

e

 

r

e

s

u

l

t

s

,

 

w

h

e

r

e

 

t

h

e

 

d

a

t

a

 

o

n

 

e

a

c

h

 

d

e

v

i

c

e

 




n

e

e

d

s

 

t

o

 

b

e

 

t

h

e

 

s

a

m

e

 

l

e

n

g

t

h

.

 

B

a

s

i

c

 

i

n

f

e

r

e

n

c

e

 

d

o

e

s

 

n

o

t

 

r

e

q

u

i

r

e

 

t

h

i

s

.







<

/

T

i

p

>







F

o

r

 

i

n

s

t

a

n

c

e

:







`

`

`

p

y

t

h

o

n




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

P

a

r

t

i

a

l

S

t

a

t

e

 

 

#

 

C

a

n

 

a

l

s

o

 

b

e

 

A

c

c

e

l

e

r

a

t

o

r

 

o

r

 

A

c

c

e

l

e

r

a

t

o

r

S

t

a

t

e




f

r

o

m

 

d

i

f

f

u

s

e

r

s

 

i

m

p

o

r

t

 

D

i

f

f

u

s

i

o

n

P

i

p

e

l

i

n

e







p

i

p

e

 

=

 

D

i

f

f

u

s

i

o

n

P

i

p

e

l

i

n

e

.

f

r

o

m

_

p

r

e

t

r

a

i

n

e

d

(

"

r

u

n

w

a

y

m

l

/

s

t

a

b

l

e

-

d

i

f

f

u

s

i

o

n

-

v

1

-

5

"

,

 

t

o

r

c

h

_

d

t

y

p

e

=

t

o

r

c

h

.

f

l

o

a

t

1

6

)




d

i

s

t

r

i

b

u

t

e

d

_

s

t

a

t

e

 

=

 

P

a

r

t

i

a

l

S

t

a

t

e

(

)




p

i

p

e

.

t

o

(

d

i

s

t

r

i

b

u

t

e

d

_

s

t

a

t

e

.

d

e

v

i

c

e

)







#

 

A

s

s

u

m

e

 

t

w

o

 

p

r

o

c

e

s

s

e

s




w

i

t

h

 

d

i

s

t

r

i

b

u

t

e

d

_

s

t

a

t

e

.

s

p

l

i

t

_

b

e

t

w

e

e

n

_

p

r

o

c

e

s

s

e

s

(

[

"

a

 

d

o

g

"

,

 

"

a

 

c

a

t

"

,

 

"

a

 

c

h

i

c

k

e

n

"

]

,

 

a

p

p

l

y

_

p

a

d

d

i

n

g

=

T

r

u

e

)

 

a

s

 

p

r

o

m

p

t

:




 

 

 

 

r

e

s

u

l

t

 

=

 

p

i

p

e

(

p

r

o

m

p

t

)

.

i

m

a

g

e

s




`

`

`







O

n

 

t

h

e

 

f

i

r

s

t

 

G

P

U

,

 

t

h

e

 

p

r

o

m

p

t

s

 

w

i

l

l

 

b

e

 

`

[

"

a

 

d

o

g

"

,

 

"

a

 

c

a

t

"

]

`

,

 

a

n

d

 

o

n

 

t

h

e

 

s

e

c

o

n

d

 

G

P

U

 

i

t

 

w

i

l

l

 

b

e

 

`

[

"

a

 

c

h

i

c

k

e

n

"

,

 

"

a

 

c

h

i

c

k

e

n

"

]

`

.




M

a

k

e

 

s

u

r

e

 

t

o

 

d

r

o

p

 

t

h

e

 

f

i

n

a

l

 

s

a

m

p

l

e

,

 

a

s

 

i

t

 

w

i

l

l

 

b

e

 

a

 

d

u

p

l

i

c

a

t

e

 

o

f

 

t

h

e

 

p

r

e

v

i

o

u

s

 

o

n

e

.







Y

o

u

 

c

a

n

 

f

i

n

d

 

m

o

r

e

 

c

o

m

p

l

e

x

 

e

x

a

m

p

l

e

s

 

[

h

e

r

e

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

a

c

c

e

l

e

r

a

t

e

/

t

r

e

e

/

m

a

i

n

/

e

x

a

m

p

l

e

s

/

i

n

f

e

r

e

n

c

e

/

d

i

s

t

r

i

b

u

t

e

d

)

 

s

u

c

h

 

a

s

 

h

o

w

 

t

o

 

u

s

e

 

i

t

 

w

i

t

h

 

L

L

M

s

.







#

#

 

M

e

m

o

r

y

-

e

f

f

i

c

i

e

n

t

 

p

i

p

e

l

i

n

e

 

p

a

r

a

l

l

e

l

i

s

m

 

(

e

x

p

e

r

i

m

e

n

t

a

l

)







T

h

i

s

 

n

e

x

t

 

p

a

r

t

 

w

i

l

l

 

d

i

s

c

u

s

s

 

u

s

i

n

g

 

*

p

i

p

e

l

i

n

e

 

p

a

r

a

l

l

e

l

i

s

m

*

.

 

T

h

i

s

 

i

s

 

a

n

 

*

*

e

x

p

e

r

i

m

e

n

t

a

l

*

*

 

A

P

I

 

t

h

a

t

 

u

t

i

l

i

z

e

s

 

[

t

o

r

c

h

.

d

i

s

t

r

i

b

u

t

e

d

.

p

i

p

e

l

i

n

i

n

g

]

(

h

t

t

p

s

:

/

/

p

y

t

o

r

c

h

.

o

r

g

/

d

o

c

s

/

s

t

a

b

l

e

/

d

i

s

t

r

i

b

u

t

e

d

.

p

i

p

e

l

i

n

i

n

g

.

h

t

m

l

#

)

 

a

s

 

a

 

n

a

t

i

v

e

 

s

o

l

u

t

i

o

n

.

 







T

h

e

 

g

e

n

e

r

a

l

 

i

d

e

a

 

w

i

t

h

 

p

i

p

e

l

i

n

e

 

p

a

r

a

l

l

e

l

i

s

m

 

i

s

:

 

s

a

y

 

y

o

u

 

h

a

v

e

 

4

 

G

P

U

s

 

a

n

d

 

a

 

m

o

d

e

l

 

b

i

g

 

e

n

o

u

g

h

 

i

t

 

c

a

n

 

b

e

 

*

s

p

l

i

t

*

 

o

n

 

f

o

u

r

 

G

P

U

s

 

u

s

i

n

g

 

`

d

e

v

i

c

e

_

m

a

p

=

"

a

u

t

o

"

`

.

 

W

i

t

h

 

t

h

i

s

 

m

e

t

h

o

d

 

y

o

u

 

c

a

n

 

s

e

n

d

 

i

n

 

4

 

i

n

p

u

t

s

 

a

t

 

a

 

t

i

m

e

 

(

f

o

r

 

e

x

a

m

p

l

e

 

h

e

r

e

,

 

a

n

y

 

a

m

o

u

n

t

 

w

o

r

k

s

)

 

a

n

d

 

e

a

c

h

 

m

o

d

e

l

 

c

h

u

n

k

 

w

i

l

l

 

w

o

r

k

 

o

n

 

a

n

 

i

n

p

u

t

,

 

t

h

e

n

 

r

e

c

e

i

v

e

 

t

h

e

 

n

e

x

t

 

i

n

p

u

t

 

o

n

c

e

 

t

h

e

 

p

r

i

o

r

 

c

h

u

n

k

 

f

i

n

i

s

h

e

d

,

 

m

a

k

i

n

g

 

i

t

 

*

m

u

c

h

*

 

m

o

r

e

 

e

f

f

i

c

i

e

n

t

 

*

*

a

n

d

 

f

a

s

t

e

r

*

*

 

t

h

a

n

 

t

h

e

 

m

e

t

h

o

d

 

d

e

s

c

r

i

b

e

d

 

e

a

r

l

i

e

r

.

 

H

e

r

e

'

s

 

a

 

v

i

s

u

a

l

 

t

a

k

e

n

 

f

r

o

m

 

t

h

e

 

P

y

T

o

r

c

h

 

r

e

p

o

s

i

t

o

r

y

:







!

[

P

i

p

e

l

i

n

e

 

p

a

r

a

l

l

e

l

i

s

m

 

e

x

a

m

p

l

e

]

(

h

t

t

p

s

:

/

/

h

u

g

g

i

n

g

f

a

c

e

.

c

o

/

d

a

t

a

s

e

t

s

/

h

u

g

g

i

n

g

f

a

c

e

/

d

o

c

u

m

e

n

t

a

t

i

o

n

-

i

m

a

g

e

s

/

r

e

s

o

l

v

e

/

m

a

i

n

/

a

c

c

e

l

e

r

a

t

e

/

p

i

p

e

l

i

n

e

_

p

a

r

a

l

l

e

l

.

p

n

g

)







T

o

 

i

l

l

u

s

t

r

a

t

e

 

h

o

w

 

y

o

u

 

c

a

n

 

u

s

e

 

t

h

i

s

 

w

i

t

h

 

A

c

c

e

l

e

r

a

t

e

,

 

w

e

 

h

a

v

e

 

c

r

e

a

t

e

d

 

a

n

 

[

e

x

a

m

p

l

e

 

z

o

o

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

a

c

c

e

l

e

r

a

t

e

/

t

r

e

e

/

m

a

i

n

/

e

x

a

m

p

l

e

s

/

i

n

f

e

r

e

n

c

e

)

 

s

h

o

w

c

a

s

i

n

g

 

a

 

n

u

m

b

e

r

 

o

f

 

d

i

f

f

e

r

e

n

t

 

m

o

d

e

l

s

 

a

n

d

 

s

i

t

u

a

t

i

o

n

s

.

 

I

n

 

t

h

i

s

 

t

u

t

o

r

i

a

l

,

 

w

e

'

l

l

 

s

h

o

w

 

t

h

i

s

 

m

e

t

h

o

d

 

f

o

r

 

G

P

T

2

 

a

c

r

o

s

s

 

t

w

o

 

G

P

U

s

.







B

e

f

o

r

e

 

y

o

u

 

p

r

o

c

e

e

d

,

 

p

l

e

a

s

e

 

m

a

k

e

 

s

u

r

e

 

y

o

u

 

h

a

v

e

 

t

h

e

 

l

a

t

e

s

t

 

P

y

T

o

r

c

h

 

v

e

r

s

i

o

n

 

i

n

s

t

a

l

l

e

d

 

b

y

 

r

u

n

n

i

n

g

 

t

h

e

 

f

o

l

l

o

w

i

n

g

:







`

`

`

b

a

s

h




p

i

p

 

i

n

s

t

a

l

l

 

t

o

r

c

h




`

`

`







S

t

a

r

t

 

b

y

 

c

r

e

a

t

i

n

g

 

t

h

e

 

m

o

d

e

l

 

o

n

 

t

h

e

 

C

P

U

:







`

`

`

{

p

y

t

h

o

n

}




f

r

o

m

 

t

r

a

n

s

f

o

r

m

e

r

s

 

i

m

p

o

r

t

 

G

P

T

2

F

o

r

S

e

q

u

e

n

c

e

C

l

a

s

s

i

f

i

c

a

t

i

o

n

,

 

G

P

T

2

C

o

n

f

i

g







c

o

n

f

i

g

 

=

 

G

P

T

2

C

o

n

f

i

g

(

)




m

o

d

e

l

 

=

 

G

P

T

2

F

o

r

S

e

q

u

e

n

c

e

C

l

a

s

s

i

f

i

c

a

t

i

o

n

(

c

o

n

f

i

g

)




m

o

d

e

l

.

e

v

a

l

(

)




`

`

`







N

e

x

t

 

y

o

u

'

l

l

 

n

e

e

d

 

t

o

 

c

r

e

a

t

e

 

s

o

m

e

 

e

x

a

m

p

l

e

 

i

n

p

u

t

s

 

t

o

 

u

s

e

.

 

T

h

e

s

e

 

h

e

l

p

 

`

t

o

r

c

h

.

d

i

s

t

r

i

b

u

t

e

d

.

p

i

p

e

l

i

n

i

n

g

`

 

t

r

a

c

e

 

t

h

e

 

m

o

d

e

l

.







<

T

i

p

 

w

a

r

n

i

n

g

=

{

t

r

u

e

}

>




 

 

 

 

H

o

w

e

v

e

r

 

y

o

u

 

m

a

k

e

 

t

h

i

s

 

e

x

a

m

p

l

e

 

w

i

l

l

 

d

e

t

e

r

m

i

n

e

 

t

h

e

 

r

e

l

a

t

i

v

e

 

b

a

t

c

h

 

s

i

z

e

 

t

h

a

t

 

w

i

l

l

 

b

e

 

u

s

e

d

/

p

a

s

s

e

d




 

 

 

 

t

h

r

o

u

g

h

 

t

h

e

 

m

o

d

e

l

 

a

t

 

a

 

g

i

v

e

n

 

t

i

m

e

,

 

s

o

 

m

a

k

e

 

s

u

r

e

 

t

o

 

r

e

m

e

m

b

e

r

 

h

o

w

 

m

a

n

y

 

i

t

e

m

s

 

t

h

e

r

e

 

a

r

e

!




<

/

T

i

p

>







`

`

`

{

p

y

t

h

o

n

}




i

n

p

u

t

 

=

 

t

o

r

c

h

.

r

a

n

d

i

n

t

(




 

 

 

 

l

o

w

=

0

,




 

 

 

 

h

i

g

h

=

c

o

n

f

i

g

.

v

o

c

a

b

_

s

i

z

e

,




 

 

 

 

s

i

z

e

=

(

2

,

 

1

0

2

4

)

,

 

 

#

 

b

s

 

x

 

s

e

q

_

l

e

n




 

 

 

 

d

e

v

i

c

e

=

"

c

p

u

"

,




 

 

 

 

d

t

y

p

e

=

t

o

r

c

h

.

i

n

t

6

4

,




 

 

 

 

r

e

q

u

i

r

e

s

_

g

r

a

d

=

F

a

l

s

e

,




)




`

`

`




N

e

x

t

 

w

e

 

n

e

e

d

 

t

o

 

a

c

t

u

a

l

l

y

 

p

e

r

f

o

r

m

 

t

h

e

 

t

r

a

c

i

n

g

 

a

n

d

 

g

e

t

 

t

h

e

 

m

o

d

e

l

 

r

e

a

d

y

.

 

T

o

 

d

o

 

s

o

,

 

u

s

e

 

t

h

e

 

`

i

n

f

e

r

e

n

c

e

.

p

r

e

p

a

r

e

_

p

i

p

p

y

(

)

`

 

f

u

n

c

t

i

o

n

 

a

n

d

 

i

t

 

w

i

l

l

 

f

u

l

l

y

 

w

r

a

p

 

t

h

e

 

m

o

d

e

l

 

f

o

r

 

p

i

p

e

l

i

n

e

 

p

a

r

a

l

l

e

l

i

s

m

 

a

u

t

o

m

a

t

i

c

a

l

l

y

:







`

`

`

{

p

y

t

h

o

n

}




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

.

i

n

f

e

r

e

n

c

e

 

i

m

p

o

r

t

 

p

r

e

p

a

r

e

_

p

i

p

p

y




e

x

a

m

p

l

e

_

i

n

p

u

t

s

 

=

 

{

"

i

n

p

u

t

_

i

d

s

"

:

 

i

n

p

u

t

}




m

o

d

e

l

 

=

 

p

r

e

p

a

r

e

_

p

i

p

p

y

(

m

o

d

e

l

,

 

e

x

a

m

p

l

e

_

a

r

g

s

=

(

i

n

p

u

t

,

)

)




`

`

`







<

T

i

p

>







 

 

 

 

T

h

e

r

e

 

a

r

e

 

a

 

v

a

r

i

e

t

y

 

o

f

 

p

a

r

a

m

e

t

e

r

s

 

y

o

u

 

c

a

n

 

p

a

s

s

 

t

h

r

o

u

g

h

 

t

o

 

`

p

r

e

p

a

r

e

_

p

i

p

p

y

`

:




 

 

 

 




 

 

 

 

*

 

`

s

p

l

i

t

_

p

o

i

n

t

s

`

 

l

e

t

s

 

y

o

u

 

d

e

t

e

r

m

i

n

e

 

w

h

a

t

 

l

a

y

e

r

s

 

t

o

 

s

p

l

i

t

 

t

h

e

 

m

o

d

e

l

 

a

t

.

 

B

y

 

d

e

f

a

u

l

t

 

w

e

 

u

s

e

 

w

h

e

r

e

v

e

r

 

`

d

e

v

i

c

e

_

m

a

p

=

"

a

u

t

o

"

 

d

e

c

l

a

r

e

s

,

 

s

u

c

h

 

a

s

 

`

f

c

`

 

o

r

 

`

c

o

n

v

1

`

.







 

 

 

 

*

 

`

n

u

m

_

c

h

u

n

k

s

`

 

d

e

t

e

r

m

i

n

e

s

 

h

o

w

 

t

h

e

 

b

a

t

c

h

 

w

i

l

l

 

b

e

 

s

p

l

i

t

 

a

n

d

 

s

e

n

t

 

t

o

 

t

h

e

 

m

o

d

e

l

 

i

t

s

e

l

f

 

(

s

o

 

`

n

u

m

_

c

h

u

n

k

s

=

1

`

 

w

i

t

h

 

f

o

u

r

 

s

p

l

i

t

 

p

o

i

n

t

s

/

f

o

u

r

 

G

P

U

s

 

w

i

l

l

 

h

a

v

e

 

a

 

n

a

i

v

e

 

M

P

 

w

h

e

r

e

 

a

 

s

i

n

g

l

e

 

i

n

p

u

t

 

g

e

t

s

 

p

a

s

s

e

d

 

b

e

t

w

e

e

n

 

t

h

e

 

f

o

u

r

 

l

a

y

e

r

 

s

p

l

i

t

 

p

o

i

n

t

s

)







<

/

T

i

p

>







F

r

o

m

 

h

e

r

e

,

 

a

l

l

 

t

h

a

t

'

s

 

l

e

f

t

 

i

s

 

t

o

 

a

c

t

u

a

l

l

y

 

p

e

r

f

o

r

m

 

t

h

e

 

d

i

s

t

r

i

b

u

t

e

d

 

i

n

f

e

r

e

n

c

e

!







<

T

i

p

 

w

a

r

n

i

n

g

=

{

t

r

u

e

}

>







W

h

e

n

 

p

a

s

s

i

n

g

 

i

n

p

u

t

s

,

 

w

e

 

h

i

g

h

l

y

 

r

e

c

o

m

m

e

n

d

 

t

o

 

p

a

s

s

 

t

h

e

m

 

i

n

 

a

s

 

a

 

t

u

p

l

e

 

o

f

 

a

r

g

u

m

e

n

t

s

.

 

U

s

i

n

g

 

`

k

w

a

r

g

s

`

 

i

s

 

s

u

p

p

o

r

t

e

d

,

 

h

o

w

e

v

e

r

,

 

t

h

i

s

 

a

p

p

r

o

a

c

h

 

i

s

 

e

x

p

e

r

i

m

e

n

t

a

l

.




<

/

T

i

p

>







`

`

`

{

p

y

t

h

o

n

}




a

r

g

s

 

=

 

s

o

m

e

_

m

o

r

e

_

a

r

g

u

m

e

n

t

s




w

i

t

h

 

t

o

r

c

h

.

n

o

_

g

r

a

d

(

)

:




 

 

 

 

o

u

t

p

u

t

 

=

 

m

o

d

e

l

(

*

a

r

g

s

)




`

`

`







W

h

e

n

 

f

i

n

i

s

h

e

d

 

a

l

l

 

t

h

e

 

d

a

t

a

 

w

i

l

l

 

b

e

 

o

n

 

t

h

e

 

l

a

s

t

 

p

r

o

c

e

s

s

 

o

n

l

y

:







`

`

`

{

p

y

t

h

o

n

}




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

P

a

r

t

i

a

l

S

t

a

t

e




i

f

 

P

a

r

t

i

a

l

S

t

a

t

e

(

)

.

i

s

_

l

a

s

t

_

p

r

o

c

e

s

s

:




 

 

 

 

p

r

i

n

t

(

o

u

t

p

u

t

)




`

`

`







<

T

i

p

>







 

 

 

 

I

f

 

y

o

u

 

p

a

s

s

 

i

n

 

`

g

a

t

h

e

r

_

o

u

t

p

u

t

=

T

r

u

e

`

 

t

o

 

`

i

n

f

e

r

e

n

c

e

.

p

r

e

p

a

r

e

_

p

i

p

p

y

(

)

`

,

 

t

h

e

 

o

u

t

p

u

t

 

w

i

l

l

 

b

e

 

s

e

n

t




 

 

 

 

a

c

r

o

s

s

 

t

o

 

a

l

l

 

t

h

e

 

G

P

U

s

 

a

f

t

e

r

w

a

r

d

s

 

w

i

t

h

o

u

t

 

n

e

e

d

i

n

g

 

t

h

e

 

`

i

s

_

l

a

s

t

_

p

r

o

c

e

s

s

`

 

c

h

e

c

k

.

 

T

h

i

s

 

i

s

 




 

 

 

 

`

F

a

l

s

e

`

 

b

y

 

d

e

f

a

u

l

t

 

a

s

 

i

t

 

i

n

c

u

r

s

 

a

 

c

o

m

m

u

n

i

c

a

t

i

o

n

 

c

a

l

l

.




 

 

 

 




<

/

T

i

p

>







A

n

d

 

t

h

a

t

'

s

 

i

t

!

 

T

o

 

e

x

p

l

o

r

e

 

m

o

r

e

,

 

p

l

e

a

s

e

 

c

h

e

c

k

 

o

u

t

 

t

h

e

 

i

n

f

e

r

e

n

c

e

 

e

x

a

m

p

l

e

s

 

i

n

 

t

h

e

 

[

A

c

c

e

l

e

r

a

t

e

 

r

e

p

o

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

a

c

c

e

l

e

r

a

t

e

/

t

r

e

e

/

m

a

i

n

/

e

x

a

m

p

l

e

s

/

i

n

f

e

r

e

n

c

e

/

p

i

p

p

y

)

 

a

n

d

 

o

u

r

 

[

d

o

c

u

m

e

n

t

a

t

i

o

n

]

(

.

.

/

p

a

c

k

a

g

e

_

r

e

f

e

r

e

n

c

e

/

i

n

f

e

r

e

n

c

e

)

 

a

s

 

w

e

 

w

o

r

k

 

t

o

 

i

m

p

r

o

v

i

n

g

 

t

h

i

s

 

i

n

t

e

g

r

a

t

i

o

n

.







#

 

S

t

a

r

t

 

H

e

r

e

!







P

l

e

a

s

e

 

u

s

e

 

t

h

e

 

i

n

t

e

r

a

c

t

i

v

e

 

t

o

o

l

 

b

e

l

o

w

 

t

o

 

h

e

l

p

 

y

o

u

 

g

e

t

 

s

t

a

r

t

e

d

 

w

i

t

h

 

l

e

a

r

n

i

n

g

 

a

b

o

u

t

 

a

 

p

a

r

t

i

c

u

l

a

r

 




f

e

a

t

u

r

e

 

o

f

 

A

c

c

e

l

e

r

a

t

e

 

a

n

d

 

h

o

w

 

t

o

 

u

t

i

l

i

z

e

 

i

t

!

 

I

t

 

w

i

l

l

 

p

r

o

v

i

d

e

 

y

o

u

 

w

i

t

h

 

a

 

c

o

d

e

 

d

i

f

f

,

 

a

n

 

e

x

p

l

a

n

a

t

i

o

n




t

o

w

a

r

d

s

 

w

h

a

t

 

i

s

 

g

o

i

n

g

 

o

n

,

 

a

s

 

w

e

l

l

 

a

s

 

p

r

o

v

i

d

e

 

y

o

u

 

w

i

t

h

 

s

o

m

e

 

u

s

e

f

u

l

 

l

i

n

k

s

 

t

o

 

e

x

p

l

o

r

e

 

m

o

r

e

 

w

i

t

h

i

n




t

h

e

 

d

o

c

u

m

e

n

t

a

t

i

o

n

!







M

o

s

t

 

c

o

d

e

 

e

x

a

m

p

l

e

s

 

s

t

a

r

t

 

f

r

o

m

 

t

h

e

 

f

o

l

l

o

w

i

n

g

 

p

y

t

h

o

n

 

c

o

d

e

 

b

e

f

o

r

e

 

i

n

t

e

g

r

a

t

i

n

g

 

A

c

c

e

l

e

r

a

t

e

 

i

n

 

s

o

m

e

 

w

a

y

:







`

`

`

p

y

t

h

o

n




f

o

r

 

b

a

t

c

h

 

i

n

 

d

a

t

a

l

o

a

d

e

r

:




 

 

 

 

o

p

t

i

m

i

z

e

r

.

z

e

r

o

_

g

r

a

d

(

)




 

 

 

 

i

n

p

u

t

s

,

 

t

a

r

g

e

t

s

 

=

 

b

a

t

c

h




 

 

 

 

i

n

p

u

t

s

 

=

 

i

n

p

u

t

s

.

t

o

(

d

e

v

i

c

e

)




 

 

 

 

t

a

r

g

e

t

s

 

=

 

t

a

r

g

e

t

s

.

t

o

(

d

e

v

i

c

e

)




 

 

 

 

o

u

t

p

u

t

s

 

=

 

m

o

d

e

l

(

i

n

p

u

t

s

)




 

 

 

 

l

o

s

s

 

=

 

l

o

s

s

_

f

u

n

c

t

i

o

n

(

o

u

t

p

u

t

s

,

 

t

a

r

g

e

t

s

)




 

 

 

 

l

o

s

s

.

b

a

c

k

w

a

r

d

(

)




 

 

 

 

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




 

 

 

 

s

c

h

e

d

u

l

e

r

.

s

t

e

p

(

)




`

`

`







<

d

i

v

 

c

l

a

s

s

=

"

b

l

o

c

k

 

d

a

r

k

:

h

i

d

d

e

n

"

>




	

<

i

f

r

a

m

e

 




 

 

 

 

 

 

 

 

s

r

c

=

"

h

t

t

p

s

:

/

/

h

f

-

a

c

c

e

l

e

r

a

t

e

-

a

c

c

e

l

e

r

a

t

e

-

e

x

a

m

p

l

e

s

.

h

f

.

s

p

a

c

e

?

_

_

t

h

e

m

e

=

l

i

g

h

t

"




 

 

 

 

 

 

 

 

w

i

d

t

h

=

"

8

5

0

"




 

 

 

 

 

 

 

 

h

e

i

g

h

t

=

"

1

6

0

0

"




 

 

 

 

>

<

/

i

f

r

a

m

e

>




<

/

d

i

v

>




<

d

i

v

 

c

l

a

s

s

=

"

h

i

d

d

e

n

 

d

a

r

k

:

b

l

o

c

k

"

>




 

 

 

 

<

i

f

r

a

m

e

 




 

 

 

 

 

 

 

 

s

r

c

=

"

h

t

t

p

s

:

/

/

h

f

-

a

c

c

e

l

e

r

a

t

e

-

a

c

c

e

l

e

r

a

t

e

-

e

x

a

m

p

l

e

s

.

h

f

.

s

p

a

c

e

?

_

_

t

h

e

m

e

=

d

a

r

k

"




 

 

 

 

 

 

 

 

w

i

d

t

h

=

"

8

5

0

"




 

 

 

 

 

 

 

 

h

e

i

g

h

t

=

"

1

6

0

0

"




 

 

 

 

>

<

/

i

f

r

a

m

e

>




<

/

d

i

v

>







#

 

B

i

g

 

M

o

d

e

l

 

I

n

f

e

r

e

n

c

e







O

n

e

 

o

f

 

t

h

e

 

b

i

g

g

e

s

t

 

a

d

v

a

n

c

e

m

e

n

t

s

 

A

c

c

e

l

e

r

a

t

e

 

p

r

o

v

i

d

e

s

 

i

s

 

[

B

i

g

 

M

o

d

e

l

 

I

n

f

e

r

e

n

c

e

]

(

.

.

/

c

o

n

c

e

p

t

_

g

u

i

d

e

s

/

b

i

g

_

m

o

d

e

l

_

i

n

f

e

r

e

n

c

e

)

,

 

w

h

i

c

h

 

a

l

l

o

w

s

 

y

o

u

 

t

o

 

p

e

r

f

o

r

m

 

i

n

f

e

r

e

n

c

e

 

w

i

t

h

 

m

o

d

e

l

s

 

t

h

a

t

 

d

o

n

'

t

 

f

u

l

l

y

 

f

i

t

 

o

n

 

y

o

u

r

 

g

r

a

p

h

i

c

s

 

c

a

r

d

.







T

h

i

s

 

t

u

t

o

r

i

a

l

 

w

i

l

l

 

s

h

o

w

 

y

o

u

 

h

o

w

 

t

o

 

u

s

e

 

B

i

g

 

M

o

d

e

l

 

I

n

f

e

r

e

n

c

e

 

i

n

 

A

c

c

e

l

e

r

a

t

e

 

a

n

d

 

t

h

e

 

H

u

g

g

i

n

g

 

F

a

c

e

 

e

c

o

s

y

s

t

e

m

.







#

#

 

A

c

c

e

l

e

r

a

t

e







A

 

t

y

p

i

c

a

l

 

w

o

r

k

f

l

o

w

 

f

o

r

 

l

o

a

d

i

n

g

 

a

 

P

y

T

o

r

c

h

 

m

o

d

e

l

 

i

s

 

s

h

o

w

n

 

b

e

l

o

w

.

 

`

M

o

d

e

l

C

l

a

s

s

`

 

i

s

 

a

 

m

o

d

e

l

 

t

h

a

t

 

e

x

c

e

e

d

s

 

t

h

e

 

G

P

U

 

m

e

m

o

r

y

 

o

f

 

y

o

u

r

 

d

e

v

i

c

e

 

(

m

p

s

 

o

r

 

c

u

d

a

)

.







`

`

`

p

y




i

m

p

o

r

t

 

t

o

r

c

h







m

y

_

m

o

d

e

l

 

=

 

M

o

d

e

l

C

l

a

s

s

(

.

.

.

)




s

t

a

t

e

_

d

i

c

t

 

=

 

t

o

r

c

h

.

l

o

a

d

(

c

h

e

c

k

p

o

i

n

t

_

f

i

l

e

)




m

y

_

m

o

d

e

l

.

l

o

a

d

_

s

t

a

t

e

_

d

i

c

t

(

s

t

a

t

e

_

d

i

c

t

)




`

`

`







W

i

t

h

 

B

i

g

 

M

o

d

e

l

 

I

n

f

e

r

e

n

c

e

,

 

t

h

e

 

f

i

r

s

t

 

s

t

e

p

 

i

s

 

t

o

 

i

n

i

t

 

a

n

 

e

m

p

t

y

 

s

k

e

l

e

t

o

n

 

o

f

 

t

h

e

 

m

o

d

e

l

 

w

i

t

h

 

t

h

e

 

`

i

n

i

t

_

e

m

p

t

y

_

w

e

i

g

h

t

s

`

 

c

o

n

t

e

x

t

 

m

a

n

a

g

e

r

.

 

T

h

i

s

 

d

o

e

s

n

'

t

 

r

e

q

u

i

r

e

 

a

n

y

 

m

e

m

o

r

y

 

b

e

c

a

u

s

e

 

`

m

y

_

m

o

d

e

l

`

 

i

s

 

"

p

a

r

a

m

e

t

e

r

l

e

s

s

"

.







`

`

`

p

y




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

i

n

i

t

_

e

m

p

t

y

_

w

e

i

g

h

t

s




w

i

t

h

 

i

n

i

t

_

e

m

p

t

y

_

w

e

i

g

h

t

s

(

)

:




 

 

 

 

m

y

_

m

o

d

e

l

 

=

 

M

o

d

e

l

C

l

a

s

s

(

.

.

.

)




`

`

`







N

e

x

t

,

 

t

h

e

 

w

e

i

g

h

t

s

 

a

r

e

 

l

o

a

d

e

d

 

i

n

t

o

 

t

h

e

 

m

o

d

e

l

 

f

o

r

 

i

n

f

e

r

e

n

c

e

.







T

h

e

 

`

l

o

a

d

_

c

h

e

c

k

p

o

i

n

t

_

a

n

d

_

d

i

s

p

a

t

c

h

(

)

`

 

m

e

t

h

o

d

 

l

o

a

d

s

 

a

 

c

h

e

c

k

p

o

i

n

t

 

i

n

s

i

d

e

 

y

o

u

r

 

e

m

p

t

y

 

m

o

d

e

l

 

a

n

d

 

d

i

s

p

a

t

c

h

e

s

 

t

h

e

 

w

e

i

g

h

t

s

 

f

o

r

 

e

a

c

h

 

l

a

y

e

r

 

a

c

r

o

s

s

 

a

l

l

 

a

v

a

i

l

a

b

l

e

 

d

e

v

i

c

e

s

,

 

s

t

a

r

t

i

n

g

 

w

i

t

h

 

t

h

e

 

f

a

s

t

e

s

t

 

d

e

v

i

c

e

s

 

(

G

P

U

,

 

M

P

S

,

 

X

P

U

,

 

N

P

U

,

 

M

L

U

,

 

M

U

S

A

)

 

f

i

r

s

t

 

b

e

f

o

r

e

 

m

o

v

i

n

g

 

t

o

 

t

h

e

 

s

l

o

w

e

r

 

o

n

e

s

 

(

C

P

U

 

a

n

d

 

h

a

r

d

 

d

r

i

v

e

)

.







S

e

t

t

i

n

g

 

`

d

e

v

i

c

e

_

m

a

p

=

"

a

u

t

o

"

`

 

a

u

t

o

m

a

t

i

c

a

l

l

y

 

f

i

l

l

s

 

a

l

l

 

a

v

a

i

l

a

b

l

e

 

s

p

a

c

e

 

o

n

 

t

h

e

 

G

P

U

(

s

)

 

f

i

r

s

t

,

 

t

h

e

n

 

t

h

e

 

C

P

U

,

 

a

n

d

 

f

i

n

a

l

l

y

,

 

t

h

e

 

h

a

r

d

 

d

r

i

v

e

 

(

t

h

e

 

a

b

s

o

l

u

t

e

 

s

l

o

w

e

s

t

 

o

p

t

i

o

n

)

 

i

f

 

t

h

e

r

e

 

i

s

 

s

t

i

l

l

 

n

o

t

 

e

n

o

u

g

h

 

m

e

m

o

r

y

.







>

 

[

!

T

I

P

]




>

 

R

e

f

e

r

 

t

o

 

t

h

e

 

[

D

e

s

i

g

n

i

n

g

 

a

 

d

e

v

i

c

e

 

m

a

p

]

(

.

.

/

c

o

n

c

e

p

t

_

g

u

i

d

e

s

/

b

i

g

_

m

o

d

e

l

_

i

n

f

e

r

e

n

c

e

#

d

e

s

i

g

n

i

n

g

-

a

-

d

e

v

i

c

e

-

m

a

p

)

 

g

u

i

d

e

 

f

o

r

 

m

o

r

e

 

d

e

t

a

i

l

s

 

o

n

 

h

o

w

 

t

o

 

d

e

s

i

g

n

 

y

o

u

r

 

o

w

n

 

d

e

v

i

c

e

 

m

a

p

.







`

`

`

p

y




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

l

o

a

d

_

c

h

e

c

k

p

o

i

n

t

_

a

n

d

_

d

i

s

p

a

t

c

h







m

o

d

e

l

 

=

 

l

o

a

d

_

c

h

e

c

k

p

o

i

n

t

_

a

n

d

_

d

i

s

p

a

t

c

h

(




 

 

 

 

m

o

d

e

l

,

 

c

h

e

c

k

p

o

i

n

t

=

c

h

e

c

k

p

o

i

n

t

_

f

i

l

e

,

 

d

e

v

i

c

e

_

m

a

p

=

"

a

u

t

o

"




)




`

`

`







I

f

 

t

h

e

r

e

 

a

r

e

 

c

e

r

t

a

i

n

 

“

c

h

u

n

k

s

”

 

o

f

 

l

a

y

e

r

s

 

t

h

a

t

 

s

h

o

u

l

d

n

’

t

 

b

e

 

s

p

l

i

t

,

 

p

a

s

s

 

t

h

e

m

 

t

o

 

`

n

o

_

s

p

l

i

t

_

m

o

d

u

l

e

_

c

l

a

s

s

e

s

`

 

(

s

e

e

 

[

h

e

r

e

]

(

.

.

/

c

o

n

c

e

p

t

_

g

u

i

d

e

s

/

b

i

g

_

m

o

d

e

l

_

i

n

f

e

r

e

n

c

e

#

l

o

a

d

i

n

g

-

w

e

i

g

h

t

s

)

 

f

o

r

 

m

o

r

e

 

d

e

t

a

i

l

s

)

.







A

 

m

o

d

e

l

s

 

w

e

i

g

h

t

s

 

c

a

n

 

a

l

s

o

 

b

e

 

s

h

a

r

d

e

d

 

i

n

t

o

 

m

u

l

t

i

p

l

e

 

c

h

e

c

k

p

o

i

n

t

s

 

t

o

 

s

a

v

e

 

m

e

m

o

r

y

,

 

s

u

c

h

 

a

s

 

w

h

e

n

 

t

h

e

 

`

s

t

a

t

e

_

d

i

c

t

`

 

d

o

e

s

n

'

t

 

f

i

t

 

i

n

 

m

e

m

o

r

y

 

(

s

e

e

 

[

h

e

r

e

]

(

.

.

/

c

o

n

c

e

p

t

_

g

u

i

d

e

s

/

b

i

g

_

m

o

d

e

l

_

i

n

f

e

r

e

n

c

e

#

s

h

a

r

d

e

d

-

c

h

e

c

k

p

o

i

n

t

s

)

 

f

o

r

 

m

o

r

e

 

d

e

t

a

i

l

s

)

.







N

o

w

 

t

h

a

t

 

t

h

e

 

m

o

d

e

l

 

i

s

 

f

u

l

l

y

 

d

i

s

p

a

t

c

h

e

d

,

 

y

o

u

 

c

a

n

 

p

e

r

f

o

r

m

 

i

n

f

e

r

e

n

c

e

.







`

`

`

p

y




i

n

p

u

t

 

=

 

t

o

r

c

h

.

r

a

n

d

n

(

2

,

3

)




i

n

p

u

t

 

=

 

i

n

p

u

t

.

t

o

(

"

c

u

d

a

"

)




o

u

t

p

u

t

 

=

 

m

o

d

e

l

(

i

n

p

u

t

)




`

`

`







E

a

c

h

 

t

i

m

e

 

a

n

 

i

n

p

u

t

 

i

s

 

p

a

s

s

e

d

 

t

h

r

o

u

g

h

 

a

 

l

a

y

e

r

,

 

i

t

 

i

s

 

s

e

n

t

 

f

r

o

m

 

t

h

e

 

C

P

U

 

t

o

 

t

h

e

 

G

P

U

 

(

o

r

 

d

i

s

k

 

t

o

 

C

P

U

 

t

o

 

G

P

U

)

,

 

t

h

e

 

o

u

t

p

u

t

 

i

s

 

c

a

l

c

u

l

a

t

e

d

,

 

a

n

d

 

t

h

e

 

l

a

y

e

r

 

i

s

 

r

e

m

o

v

e

d

 

f

r

o

m

 

t

h

e

 

G

P

U

 

g

o

i

n

g

 

b

a

c

k

 

d

o

w

n

 

t

h

e

 

l

i

n

e

.

 

W

h

i

l

e

 

t

h

i

s

 

a

d

d

s

 

s

o

m

e

 

o

v

e

r

h

e

a

d

 

t

o

 

i

n

f

e

r

e

n

c

e

,

 

i

t

 

e

n

a

b

l

e

s

 

y

o

u

 

t

o

 

r

u

n

 

a

n

y

 

s

i

z

e

 

m

o

d

e

l

 

o

n

 

y

o

u

r

 

s

y

s

t

e

m

,

 

a

s

 

l

o

n

g

 

a

s

 

t

h

e

 

l

a

r

g

e

s

t

 

l

a

y

e

r

 

f

i

t

s

 

o

n

 

y

o

u

r

 

G

P

U

.







M

u

l

t

i

p

l

e

 

G

P

U

s

,

 

o

r

 

"

m

o

d

e

l

 

p

a

r

a

l

l

e

l

i

s

m

"

,

 

c

a

n

 

b

e

 

u

t

i

l

i

z

e

d

 

b

u

t

 

o

n

l

y

 

o

n

e

 

G

P

U

 

w

i

l

l

 

b

e

 

a

c

t

i

v

e

 

a

t

 

a

n

y

 

g

i

v

e

n

 

m

o

m

e

n

t

.

 

T

h

i

s

 

f

o

r

c

e

s

 

t

h

e

 

G

P

U

 

t

o

 

w

a

i

t

 

f

o

r

 

t

h

e

 

p

r

e

v

i

o

u

s

 

G

P

U

 

t

o

 

s

e

n

d

 

i

t

 

t

h

e

 

o

u

t

p

u

t

.

 

Y

o

u

 

s

h

o

u

l

d

 

l

a

u

n

c

h

 

y

o

u

r

 

s

c

r

i

p

t

 

n

o

r

m

a

l

l

y

 

w

i

t

h

 

P

y

t

h

o

n

 

i

n

s

t

e

a

d

 

o

f

 

o

t

h

e

r

 

t

o

o

l

s

 

l

i

k

e

 

t

o

r

c

h

r

u

n

 

a

n

d

 

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

.







>

 

[

!

T

I

P

]




>

 

Y

o

u

 

m

a

y

 

a

l

s

o

 

b

e

 

i

n

t

e

r

e

s

t

e

d

 

i

n

 

*

p

i

p

e

l

i

n

e

 

p

a

r

a

l

l

e

l

i

s

m

*

 

w

h

i

c

h

 

u

t

i

l

i

z

e

s

 

a

l

l

 

a

v

a

i

l

a

b

l

e

 

G

P

U

s

 

a

t

 

o

n

c

e

,

 

i

n

s

t

e

a

d

 

o

f

 

o

n

l

y

 

h

a

v

i

n

g

 

o

n

e

 

G

P

U

 

a

c

t

i

v

e

 

a

t

 

a

 

t

i

m

e

.

 

T

h

i

s

 

a

p

p

r

o

a

c

h

 

i

s

 

l

e

s

s

 

f

l

e

x

b

i

l

e

 

t

h

o

u

g

h

.

 

F

o

r

 

m

o

r

e

 

d

e

t

a

i

l

s

,

 

r

e

f

e

r

 

t

o

 

t

h

e

 

[

M

e

m

o

r

y

-

e

f

f

i

c

i

e

n

t

 

p

i

p

e

l

i

n

e

 

p

a

r

a

l

l

e

l

i

s

m

]

(

.

/

d

i

s

t

r

i

b

u

t

e

d

_

i

n

f

e

r

e

n

c

e

#

m

e

m

o

r

y

-

e

f

f

i

c

i

e

n

t

-

p

i

p

e

l

i

n

e

-

p

a

r

a

l

l

e

l

i

s

m

-

e

x

p

e

r

i

m

e

n

t

a

l

)

 

g

u

i

d

e

.







<

Y

o

u

t

u

b

e

 

i

d

=

"

M

W

C

S

G

j

9

j

E

A

o

"

/

>







T

a

k

e

 

a

 

l

o

o

k

 

a

t

 

a

 

f

u

l

l

 

e

x

a

m

p

l

e

 

o

f

 

B

i

g

 

M

o

d

e

l

 

I

n

f

e

r

e

n

c

e

 

b

e

l

o

w

.







`

`

`

p

y




i

m

p

o

r

t

 

t

o

r

c

h




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

i

n

i

t

_

e

m

p

t

y

_

w

e

i

g

h

t

s

,

 

l

o

a

d

_

c

h

e

c

k

p

o

i

n

t

_

a

n

d

_

d

i

s

p

a

t

c

h







w

i

t

h

 

i

n

i

t

_

e

m

p

t

y

_

w

e

i

g

h

t

s

(

)

:




 

 

 

 

m

o

d

e

l

 

=

 

M

y

M

o

d

e

l

(

.

.

.

)







m

o

d

e

l

 

=

 

l

o

a

d

_

c

h

e

c

k

p

o

i

n

t

_

a

n

d

_

d

i

s

p

a

t

c

h

(




 

 

 

 

m

o

d

e

l

,

 

c

h

e

c

k

p

o

i

n

t

=

c

h

e

c

k

p

o

i

n

t

_

f

i

l

e

,

 

d

e

v

i

c

e

_

m

a

p

=

"

a

u

t

o

"




)







i

n

p

u

t

 

=

 

t

o

r

c

h

.

r

a

n

d

n

(

2

,

3

)




i

n

p

u

t

 

=

 

i

n

p

u

t

.

t

o

(

"

c

u

d

a

"

)




o

u

t

p

u

t

 

=

 

m

o

d

e

l

(

i

n

p

u

t

)




`

`

`







#

#

 

H

u

g

g

i

n

g

 

F

a

c

e

 

e

c

o

s

y

s

t

e

m







O

t

h

e

r

 

l

i

b

r

a

r

i

e

s

 

i

n

 

t

h

e

 

H

u

g

g

i

n

g

 

F

a

c

e

 

e

c

o

s

y

s

t

e

m

,

 

l

i

k

e

 

T

r

a

n

s

f

o

r

m

e

r

s

 

o

r

 

D

i

f

f

u

s

e

r

s

,

 

s

u

p

p

o

r

t

s

 

B

i

g

 

M

o

d

e

l

 

I

n

f

e

r

e

n

c

e

 

i

n

 

t

h

e

i

r

 

[

f

r

o

m

_

p

r

e

t

r

a

i

n

e

d

]

(

h

t

t

p

s

:

/

/

h

u

g

g

i

n

g

f

a

c

e

.

c

o

/

d

o

c

s

/

t

r

a

n

s

f

o

r

m

e

r

s

/

m

a

i

n

/

e

n

/

m

a

i

n

_

c

l

a

s

s

e

s

/

m

o

d

e

l

#

t

r

a

n

s

f

o

r

m

e

r

s

.

P

r

e

T

r

a

i

n

e

d

M

o

d

e

l

.

f

r

o

m

_

p

r

e

t

r

a

i

n

e

d

)

 

c

o

n

s

t

r

u

c

t

o

r

s

.







Y

o

u

 

j

u

s

t

 

n

e

e

d

 

t

o

 

a

d

d

 

`

d

e

v

i

c

e

_

m

a

p

=

"

a

u

t

o

"

`

 

i

n

 

[

f

r

o

m

_

p

r

e

t

r

a

i

n

e

d

]

(

h

t

t

p

s

:

/

/

h

u

g

g

i

n

g

f

a

c

e

.

c

o

/

d

o

c

s

/

t

r

a

n

s

f

o

r

m

e

r

s

/

m

a

i

n

/

e

n

/

m

a

i

n

_

c

l

a

s

s

e

s

/

m

o

d

e

l

#

t

r

a

n

s

f

o

r

m

e

r

s

.

P

r

e

T

r

a

i

n

e

d

M

o

d

e

l

.

f

r

o

m

_

p

r

e

t

r

a

i

n

e

d

)

 

t

o

 

e

n

a

b

l

e

 

B

i

g

 

M

o

d

e

l

 

I

n

f

e

r

e

n

c

e

.







F

o

r

 

e

x

a

m

p

l

e

,

 

l

o

a

d

 

B

i

g

 

S

c

i

e

n

c

e

s

 

T

0

p

p

 

1

1

 

b

i

l

l

i

o

n

 

p

a

r

a

m

e

t

e

r

 

m

o

d

e

l

 

w

i

t

h

 

B

i

g

 

M

o

d

e

l

 

I

n

f

e

r

e

n

c

e

.







`

`

`

p

y




f

r

o

m

 

t

r

a

n

s

f

o

r

m

e

r

s

 

i

m

p

o

r

t

 

A

u

t

o

M

o

d

e

l

F

o

r

S

e

q

2

S

e

q

L

M







m

o

d

e

l

 

=

 

A

u

t

o

M

o

d

e

l

F

o

r

S

e

q

2

S

e

q

L

M

.

f

r

o

m

_

p

r

e

t

r

a

i

n

e

d

(

"

b

i

g

s

c

i

e

n

c

e

/

T

0

p

p

"

,

 

d

e

v

i

c

e

_

m

a

p

=

"

a

u

t

o

"

)




`

`

`







A

f

t

e

r

 

l

o

a

d

i

n

g

 

t

h

e

 

m

o

d

e

l

,

 

t

h

e

 

e

m

p

t

y

 

i

n

i

t

 

a

n

d

 

s

m

a

r

t

 

d

i

s

p

a

t

c

h

 

s

t

e

p

s

 

f

r

o

m

 

b

e

f

o

r

e

 

a

r

e

 

e

x

e

c

u

t

e

d

 

a

n

d

 

t

h

e

 

m

o

d

e

l

 

i

s

 

f

u

l

l

y

 

r

e

a

d

y

 

t

o

 

m

a

k

e

 

u

s

e

 

o

f

 

a

l

l

 

t

h

e

 

r

e

s

o

u

r

c

e

s

 

i

n

 

y

o

u

r

 

m

a

c

h

i

n

e

.

 

T

h

r

o

u

g

h

 

t

h

e

s

e

 

c

o

n

s

t

r

u

c

t

o

r

s

,

 

y

o

u

 

c

a

n

 

a

l

s

o

 

s

a

v

e

 

m

o

r

e

 

m

e

m

o

r

y

 

b

y

 

s

p

e

c

i

f

y

i

n

g

 

t

h

e

 

`

t

o

r

c

h

_

d

t

y

p

e

`

 

p

a

r

a

m

e

t

e

r

 

t

o

 

l

o

a

d

 

a

 

m

o

d

e

l

 

i

n

 

a

 

l

o

w

e

r

 

p

r

e

c

i

s

i

o

n

.







`

`

`

p

y




f

r

o

m

 

t

r

a

n

s

f

o

r

m

e

r

s

 

i

m

p

o

r

t

 

A

u

t

o

M

o

d

e

l

F

o

r

S

e

q

2

S

e

q

L

M







m

o

d

e

l

 

=

 

A

u

t

o

M

o

d

e

l

F

o

r

S

e

q

2

S

e

q

L

M

.

f

r

o

m

_

p

r

e

t

r

a

i

n

e

d

(

"

b

i

g

s

c

i

e

n

c

e

/

T

0

p

p

"

,

 

d

e

v

i

c

e

_

m

a

p

=

"

a

u

t

o

"

,

 

t

o

r

c

h

_

d

t

y

p

e

=

t

o

r

c

h

.

f

l

o

a

t

1

6

)




`

`

`







#

#

 

N

e

x

t

 

s

t

e

p

s







F

o

r

 

a

 

m

o

r

e

 

d

e

t

a

i

l

e

d

 

e

x

p

l

a

n

a

t

i

o

n

 

o

f

 

B

i

g

 

M

o

d

e

l

 

I

n

f

e

r

e

n

c

e

,

 

m

a

k

e

 

s

u

r

e

 

t

o

 

c

h

e

c

k

 

o

u

t

 

t

h

e

 

[

c

o

n

c

e

p

t

u

a

l

 

g

u

i

d

e

]

(

.

.

/

c

o

n

c

e

p

t

_

g

u

i

d

e

s

/

b

i

g

_

m

o

d

e

l

_

i

n

f

e

r

e

n

c

e

)

!







#

 

U

s

i

n

g

 

m

u

l

t

i

p

l

e

 

m

o

d

e

l

s

 

w

i

t

h

 

D

e

e

p

S

p

e

e

d







<

T

i

p

 

w

a

r

n

i

n

g

=

{

t

r

u

e

}

>







 

 

 

 

T

h

i

s

 

g

u

i

d

e

 

a

s

s

u

m

e

s

 

t

h

a

t

 

y

o

u

 

h

a

v

e

 

r

e

a

d

 

a

n

d

 

u

n

d

e

r

s

t

o

o

d

 

t

h

e

 

[

D

e

e

p

S

p

e

e

d

 

u

s

a

g

e

 

g

u

i

d

e

]

(

.

/

d

e

e

p

s

p

e

e

d

.

m

d

)

.







<

/

T

i

p

>







R

u

n

n

i

n

g

 

m

u

l

t

i

p

l

e

 

m

o

d

e

l

s

 

w

i

t

h

 

A

c

c

e

l

e

r

a

t

e

 

a

n

d

 

D

e

e

p

S

p

e

e

d

 

i

s

 

u

s

e

f

u

l

 

f

o

r

:







*

 

K

n

o

w

l

e

d

g

e

 

d

i

s

t

i

l

l

a

t

i

o

n




*

 

P

o

s

t

-

t

r

a

i

n

i

n

g

 

t

e

c

h

n

i

q

u

e

s

 

l

i

k

e

 

R

L

H

F

 

(

s

e

e

 

t

h

e

 

[

T

R

L

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

t

r

l

)

 

l

i

b

r

a

r

y

 

f

o

r

 

m

o

r

e

 

e

x

a

m

p

l

e

s

)




*

 

T

r

a

i

n

i

n

g

 

m

u

l

t

i

p

l

e

 

m

o

d

e

l

s

 

a

t

 

o

n

c

e







C

u

r

r

e

n

t

l

y

,

 

A

c

c

e

l

e

r

a

t

e

 

h

a

s

 

a

 

*

*

v

e

r

y

 

e

x

p

e

r

i

m

e

n

t

a

l

 

A

P

I

*

*

 

t

o

 

h

e

l

p

 

y

o

u

 

u

s

e

 

m

u

l

t

i

p

l

e

 

m

o

d

e

l

s

.







T

h

i

s

 

t

u

t

o

r

i

a

l

 

w

i

l

l

 

f

o

c

u

s

 

o

n

 

t

w

o

 

c

o

m

m

o

n

 

u

s

e

 

c

a

s

e

s

:







1

.

 

K

n

o

w

l

e

d

g

e

 

d

i

s

t

i

l

l

a

t

i

o

n

,

 

w

h

e

r

e

 

a

 

s

m

a

l

l

e

r

 

s

t

u

d

e

n

t

 

m

o

d

e

l

 

i

s

 

t

r

a

i

n

e

d

 

t

o

 

m

i

m

i

c

 

a

 

l

a

r

g

e

r

,

 

b

e

t

t

e

r

-

p

e

r

f

o

r

m

i

n

g

 

t

e

a

c

h

e

r

.

 

 

I

f

 

t

h

e

 

s

t

u

d

e

n

t

 

m

o

d

e

l

 

f

i

t

s

 

o

n

 

a

 

s

i

n

g

l

e

 

G

P

U

,

 

w

e

 

c

a

n

 

u

s

e

 

Z

e

R

O

-

2

 

f

o

r

 

t

r

a

i

n

i

n

g

 

a

n

d

 

Z

e

R

O

-

3

 

t

o

 

s

h

a

r

d

 

t

h

e

 

t

e

a

c

h

e

r

 

f

o

r

 

i

n

f

e

r

e

n

c

e

.

 

T

h

i

s

 

i

s

 

s

i

g

n

i

f

i

c

a

n

t

l

y

 

f

a

s

t

e

r

 

t

h

a

n

 

u

s

i

n

g

 

Z

e

R

O

-

3

 

f

o

r

 

b

o

t

h

 

m

o

d

e

l

s

.




2

.

 

T

r

a

i

n

i

n

g

 

m

u

l

t

i

p

l

e

 

*

d

i

s

j

o

i

n

t

*

 

m

o

d

e

l

s

 

a

t

 

o

n

c

e

.







#

#

 

K

n

o

w

l

e

d

g

e

 

d

i

s

t

i

l

l

a

t

i

o

n







K

n

o

w

l

e

d

g

e

 

d

i

s

t

i

l

l

a

t

i

o

n

 

i

s

 

a

 

g

o

o

d

 

e

x

a

m

p

l

e

 

o

f

 

u

s

i

n

g

 

m

u

l

t

i

p

l

e

 

m

o

d

e

l

s

,

 

b

u

t

 

o

n

l

y

 

t

r

a

i

n

i

n

g

 

o

n

e

 

o

f

 

t

h

e

m

.







N

o

r

m

a

l

l

y

,

 

y

o

u

 

w

o

u

l

d

 

u

s

e

 

a

 

s

i

n

g

l

e

 

`

u

t

i

l

s

.

D

e

e

p

S

p

e

e

d

P

l

u

g

i

n

`

 

f

o

r

 

b

o

t

h

 

m

o

d

e

l

s

.

 

H

o

w

e

v

e

r

,

 

i

n

 

t

h

i

s

 

c

a

s

e

,

 

t

h

e

r

e

 

a

r

e

 

t

w

o

 

s

e

p

a

r

a

t

e

 

c

o

n

f

i

g

u

r

a

t

i

o

n

s

.

 

A

c

c

e

l

e

r

a

t

e

 

a

l

l

o

w

s

 

y

o

u

 

t

o

 

c

r

e

a

t

e

 

a

n

d

 

u

s

e

 

m

u

l

t

i

p

l

e

 

p

l

u

g

i

n

s

 

*

*

i

f

 

a

n

d

 

o

n

l

y

 

i

f

*

*

 

t

h

e

y

 

a

r

e

 

i

n

 

a

 

`

d

i

c

t

`

 

s

o

 

t

h

a

t

 

y

o

u

 

c

a

n

 

r

e

f

e

r

e

n

c

e

 

a

n

d

 

e

n

a

b

l

e

 

t

h

e

 

p

r

o

p

e

r

 

p

l

u

g

i

n

 

w

h

e

n

 

n

e

e

d

e

d

.







`

`

`

p

y

t

h

o

n




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

.

u

t

i

l

s

 

i

m

p

o

r

t

 

D

e

e

p

S

p

e

e

d

P

l

u

g

i

n







z

e

r

o

2

_

p

l

u

g

i

n

 

=

 

D

e

e

p

S

p

e

e

d

P

l

u

g

i

n

(

h

f

_

d

s

_

c

o

n

f

i

g

=

"

z

e

r

o

2

_

c

o

n

f

i

g

.

j

s

o

n

"

)




z

e

r

o

3

_

p

l

u

g

i

n

 

=

 

D

e

e

p

S

p

e

e

d

P

l

u

g

i

n

(

h

f

_

d

s

_

c

o

n

f

i

g

=

"

z

e

r

o

3

_

c

o

n

f

i

g

.

j

s

o

n

"

)







d

e

e

p

s

p

e

e

d

_

p

l

u

g

i

n

s

 

=

 

{

"

s

t

u

d

e

n

t

"

:

 

z

e

r

o

2

_

p

l

u

g

i

n

,

 

"

t

e

a

c

h

e

r

"

:

 

z

e

r

o

3

_

p

l

u

g

i

n

}




`

`

`







T

h

e

 

`

z

e

r

o

2

_

c

o

n

f

i

g

.

j

s

o

n

`

 

s

h

o

u

l

d

 

b

e

 

c

o

n

f

i

g

u

r

e

d

 

f

o

r

 

f

u

l

l

 

t

r

a

i

n

i

n

g

 

(

s

o

 

s

p

e

c

i

f

y

 

`

s

c

h

e

d

u

l

e

r

`

 

a

n

d

 

`

o

p

t

i

m

i

z

e

r

`

 

i

f

 

y

o

u

 

a

r

e

 

n

o

t

 

u

t

i

l

i

z

i

n

g

 

y

o

u

r

 

o

w

n

)

,

 

w

h

i

l

e

 

`

z

e

r

o

3

_

c

o

n

f

i

g

.

j

s

o

n

`

 

s

h

o

u

l

d

 

o

n

l

y

 

b

e

 

c

o

n

f

i

g

u

r

e

d

 

f

o

r

 

t

h

e

 

i

n

f

e

r

e

n

c

e

 

m

o

d

e

l

,

 

a

s

 

s

h

o

w

n

 

i

n

 

t

h

e

 

e

x

a

m

p

l

e

 

b

e

l

o

w

.







`

`

`

j

s

o

n




{




 

 

 

 

"

b

f

1

6

"

:

 

{




 

 

 

 

 

 

 

 

"

e

n

a

b

l

e

d

"

:

 

"

a

u

t

o

"




 

 

 

 

}

,




 

 

 

 

"

z

e

r

o

_

o

p

t

i

m

i

z

a

t

i

o

n

"

:

 

{




 

 

 

 

 

 

 

 

"

s

t

a

g

e

"

:

 

3

,




 

 

 

 

 

 

 

 

"

o

v

e

r

l

a

p

_

c

o

m

m

"

:

 

t

r

u

e

,




 

 

 

 

 

 

 

 

"

r

e

d

u

c

e

_

b

u

c

k

e

t

_

s

i

z

e

"

:

 

"

a

u

t

o

"

,




 

 

 

 

 

 

 

 

"

s

t

a

g

e

3

_

p

r

e

f

e

t

c

h

_

b

u

c

k

e

t

_

s

i

z

e

"

:

 

"

a

u

t

o

"

,




 

 

 

 

 

 

 

 

"

s

t

a

g

e

3

_

p

a

r

a

m

_

p

e

r

s

i

s

t

e

n

c

e

_

t

h

r

e

s

h

o

l

d

"

:

 

"

a

u

t

o

"

,




 

 

 

 

 

 

 

 

"

s

t

a

g

e

3

_

m

a

x

_

l

i

v

e

_

p

a

r

a

m

e

t

e

r

s

"

:

 

"

a

u

t

o

"

,




 

 

 

 

 

 

 

 

"

s

t

a

g

e

3

_

m

a

x

_

r

e

u

s

e

_

d

i

s

t

a

n

c

e

"

:

 

"

a

u

t

o

"

,




 

 

 

 

}

,




 

 

 

 

"

t

r

a

i

n

_

m

i

c

r

o

_

b

a

t

c

h

_

s

i

z

e

_

p

e

r

_

g

p

u

"

:

 

1




}




`

`

`







A

n

 

e

x

a

m

p

l

e

 

`

z

e

r

o

2

_

c

o

n

f

i

g

.

j

s

o

n

`

 

c

o

n

f

i

g

u

r

a

t

i

o

n

 

i

s

 

s

h

o

w

n

 

b

e

l

o

w

.







`

`

`

j

s

o

n




{




 

 

 

 

"

b

f

1

6

"

:

 

{




 

 

 

 

 

 

 

 

"

e

n

a

b

l

e

d

"

:

 

"

a

u

t

o

"




 

 

 

 

}

,




 

 

 

 

"

o

p

t

i

m

i

z

e

r

"

:

 

{




 

 

 

 

 

 

 

 

"

t

y

p

e

"

:

 

"

A

d

a

m

W

"

,




 

 

 

 

 

 

 

 

"

p

a

r

a

m

s

"

:

 

{




 

 

 

 

 

 

 

 

 

 

 

 

"

l

r

"

:

 

"

a

u

t

o

"

,




 

 

 

 

 

 

 

 

 

 

 

 

"

w

e

i

g

h

t

_

d

e

c

a

y

"

:

 

"

a

u

t

o

"

,




 

 

 

 

 

 

 

 

 

 

 

 

"

t

o

r

c

h

_

a

d

a

m

"

:

 

t

r

u

e

,




 

 

 

 

 

 

 

 

 

 

 

 

"

a

d

a

m

_

w

_

m

o

d

e

"

:

 

t

r

u

e




 

 

 

 

 

 

 

 

}




 

 

 

 

}

,




 

 

 

 

"

s

c

h

e

d

u

l

e

r

"

:

 

{




 

 

 

 

 

 

 

 

"

t

y

p

e

"

:

 

"

W

a

r

m

u

p

L

R

"

,




 

 

 

 

 

 

 

 

"

p

a

r

a

m

s

"

:

 

{




 

 

 

 

 

 

 

 

 

 

 

 

"

w

a

r

m

u

p

_

m

i

n

_

l

r

"

:

 

"

a

u

t

o

"

,




 

 

 

 

 

 

 

 

 

 

 

 

"

w

a

r

m

u

p

_

m

a

x

_

l

r

"

:

 

"

a

u

t

o

"

,




 

 

 

 

 

 

 

 

 

 

 

 

"

w

a

r

m

u

p

_

n

u

m

_

s

t

e

p

s

"

:

 

"

a

u

t

o

"




 

 

 

 

 

 

 

 

}




 

 

 

 

}

,




 

 

 

 

"

z

e

r

o

_

o

p

t

i

m

i

z

a

t

i

o

n

"

:

 

{




 

 

 

 

 

 

 

 

"

s

t

a

g

e

"

:

 

2

,




 

 

 

 

 

 

 

 

"

o

f

f

l

o

a

d

_

o

p

t

i

m

i

z

e

r

"

:

 

{




 

 

 

 

 

 

 

 

 

 

 

 

"

d

e

v

i

c

e

"

:

 

"

c

p

u

"

,




 

 

 

 

 

 

 

 

 

 

 

 

"

p

i

n

_

m

e

m

o

r

y

"

:

 

t

r

u

e




 

 

 

 

 

 

 

 

}

,




 

 

 

 

}

,




 

 

 

 

"

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

"

:

 

1

,




 

 

 

 

"

g

r

a

d

i

e

n

t

_

c

l

i

p

p

i

n

g

"

:

 

"

a

u

t

o

"

,




 

 

 

 

"

t

r

a

i

n

_

b

a

t

c

h

_

s

i

z

e

"

:

 

"

a

u

t

o

"

,




 

 

 

 

"

t

r

a

i

n

_

m

i

c

r

o

_

b

a

t

c

h

_

s

i

z

e

_

p

e

r

_

g

p

u

"

:

 

"

a

u

t

o

"

,




}




`

`

`







<

T

i

p

>







 

 

 

 

D

e

e

p

S

p

e

e

d

 

w

i

l

l

 

r

a

i

s

e

 

a

n

 

e

r

r

o

r

 

i

f

 

`

t

r

a

i

n

_

m

i

c

r

o

_

b

a

t

c

h

_

s

i

z

e

_

p

e

r

_

g

p

u

`

 

i

s

n

'

t

 

s

p

e

c

i

f

i

e

d

,

 

e

v

e

n

 

i

f

 

t

h

i

s

 

p

a

r

t

i

c

u

l

a

r

 

m

o

d

e

l

 

i

s

n

'

t

 

b

e

i

n

g

 

t

r

a

i

n

e

d

.







<

/

T

i

p

>







F

r

o

m

 

h

e

r

e

,

 

c

r

e

a

t

e

 

a

 

s

i

n

g

l

e

 

`

A

c

c

e

l

e

r

a

t

o

r

`

 

a

n

d

 

p

a

s

s

 

i

n

 

b

o

t

h

 

c

o

n

f

i

g

u

r

a

t

i

o

n

s

.







`

`

`

p

y

t

h

o

n




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

A

c

c

e

l

e

r

a

t

o

r







a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

d

e

e

p

s

p

e

e

d

_

p

l

u

g

i

n

s

=

d

e

e

p

s

p

e

e

d

_

p

l

u

g

i

n

s

)




`

`

`







N

o

w

 

l

e

t

'

s

 

s

e

e

 

h

o

w

 

t

o

 

u

s

e

 

t

h

e

m

.







#

#

#

 

S

t

u

d

e

n

t

 

m

o

d

e

l







B

y

 

d

e

f

a

u

l

t

,

 

A

c

c

e

l

e

r

a

t

e

 

s

e

t

s

 

t

h

e

 

f

i

r

s

t

 

i

t

e

m

 

i

n

 

t

h

e

 

`

d

i

c

t

`

 

a

s

 

t

h

e

 

d

e

f

a

u

l

t

 

o

r

 

e

n

a

b

l

e

d

 

p

l

u

g

i

n

 

(

`

"

s

t

u

d

e

n

t

"

`

 

p

l

u

g

i

n

)

.

 

V

e

r

i

f

y

 

t

h

i

s

 

b

y

 

u

s

i

n

g

 

t

h

e

 

`

u

t

i

l

s

.

d

e

e

p

s

p

e

e

d

.

g

e

t

_

a

c

t

i

v

e

_

d

e

e

p

s

p

e

e

d

_

p

l

u

g

i

n

(

)

`

 

f

u

n

c

t

i

o

n

 

t

o

 

s

e

e

 

w

h

i

c

h

 

p

l

u

g

i

n

 

i

s

 

e

n

a

b

l

e

d

.







`

`

`

p

y

t

h

o

n




a

c

t

i

v

e

_

p

l

u

g

i

n

 

=

 

g

e

t

_

a

c

t

i

v

e

_

d

e

e

p

s

p

e

e

d

_

p

l

u

g

i

n

(

a

c

c

e

l

e

r

a

t

o

r

.

s

t

a

t

e

)




a

s

s

e

r

t

 

a

c

t

i

v

e

_

p

l

u

g

i

n

 

i

s

 

d

e

e

p

s

p

e

e

d

_

p

l

u

g

i

n

s

[

"

s

t

u

d

e

n

t

"

]




`

`

`







`

A

c

c

e

l

e

r

a

t

o

r

S

t

a

t

e

`

 

a

l

s

o

 

k

e

e

p

s

 

t

h

e

 

a

c

t

i

v

e

 

D

e

e

p

S

p

e

e

d

 

p

l

u

g

i

n

 

s

a

v

e

d

 

i

n

 

`

s

t

a

t

e

.

d

e

e

p

s

p

e

e

d

_

p

l

u

g

i

n

`

.




`

`

`

p

y

t

h

o

n




a

s

s

e

r

t

 

a

c

t

i

v

e

_

p

l

u

g

i

n

 

i

s

 

a

c

c

e

l

e

r

a

t

o

r

.

d

e

e

p

s

p

e

e

d

_

p

l

u

g

i

n




`

`

`







S

i

n

c

e

 

`

s

t

u

d

e

n

t

`

 

i

s

 

t

h

e

 

c

u

r

r

e

n

t

l

y

 

a

c

t

i

v

e

 

p

l

u

g

i

n

,

 

l

e

t

'

s

 

g

o

 

a

h

e

a

d

 

a

n

d

 

p

r

e

p

a

r

e

 

t

h

e

 

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

a

n

d

 

s

c

h

e

d

u

l

e

r

.







`

`

`

p

y

t

h

o

n




s

t

u

d

e

n

t

_

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

s

c

h

e

d

u

l

e

r

 

=

 

.

.

.




s

t

u

d

e

n

t

_

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

s

c

h

e

d

u

l

e

r

,

 

t

r

a

i

n

_

d

a

t

a

l

o

a

d

e

r

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(

s

t

u

d

e

n

t

_

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

s

c

h

e

d

u

l

e

r

,

 

t

r

a

i

n

_

d

a

t

a

l

o

a

d

e

r

)




`

`

`







N

o

w

 

i

t

'

s

 

t

i

m

e

 

t

o

 

d

e

a

l

 

w

i

t

h

 

t

h

e

 

t

e

a

c

h

e

r

 

m

o

d

e

l

.







#

#

#

 

T

e

a

c

h

e

r

 

m

o

d

e

l







F

i

r

s

t

,

 

y

o

u

 

n

e

e

d

 

t

o

 

s

p

e

c

i

f

y

 

i

n

 

`

A

c

c

e

l

e

r

a

t

o

r

`

 

t

h

a

t

 

t

h

e

 

`

z

e

r

o

3

_

c

o

n

f

i

g

.

j

s

o

n

`

 

c

o

n

f

i

g

u

r

a

t

i

o

n

 

s

h

o

u

l

d

 

b

e

 

u

s

e

d

.







`

`

`

p

y

t

h

o

n




a

c

c

e

l

e

r

a

t

o

r

.

s

t

a

t

e

.

s

e

l

e

c

t

_

d

e

e

p

s

p

e

e

d

_

p

l

u

g

i

n

(

"

t

e

a

c

h

e

r

"

)




`

`

`







T

h

i

s

 

d

i

s

a

b

l

e

s

 

t

h

e

 

`

"

s

t

u

d

e

n

t

"

`

 

p

l

u

g

i

n

 

a

n

d

 

e

n

a

b

l

e

s

 

t

h

e

 

`

"

t

e

a

c

h

e

r

"

`

 

p

l

u

g

i

n

 

i

n

s

t

e

a

d

.

 

T

h

e




D

e

e

p

S

p

e

e

d

 

s

t

a

t

e

f

u

l

 

c

o

n

f

i

g

 

i

n

s

i

d

e

 

o

f

 

T

r

a

n

s

f

o

r

m

e

r

s

 

i

s

 

u

p

d

a

t

e

d

,

 

a

n

d

 

i

t

 

c

h

a

n

g

e

s

 

w

h

i

c

h

 

p

l

u

g

i

n

 

c

o

n

f

i

g

u

r

a

t

i

o

n

 

g

e

t

s

 

c

a

l

l

e

d

 

w

h

e

n

 

u

s

i

n

g




`

d

e

e

p

s

p

e

e

d

.

i

n

i

t

i

a

l

i

z

e

(

)

`

.

 

T

h

i

s

 

a

l

l

o

w

s

 

y

o

u

 

t

o

 

u

s

e

 

t

h

e

 

a

u

t

o

m

a

t

i

c

 

`

d

e

e

p

s

p

e

e

d

.

z

e

r

o

.

I

n

i

t

`

 

 

c

o

n

t

e

x

t

 

m

a

n

a

g

e

r

 

i

n

t

e

g

r

a

t

i

o

n

 

T

r

a

n

s

f

o

r

m

e

r

s

 

p

r

o

v

i

d

e

s

.







`

`

`

p

y

t

h

o

n




t

e

a

c

h

e

r

_

m

o

d

e

l

 

=

 

A

u

t

o

M

o

d

e

l

.

f

r

o

m

_

p

r

e

t

r

a

i

n

e

d

(

.

.

.

)




t

e

a

c

h

e

r

_

m

o

d

e

l

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(

t

e

a

c

h

e

r

_

m

o

d

e

l

)




`

`

`







O

t

h

e

r

w

i

s

e

,

 

y

o

u

 

s

h

o

u

l

d

 

m

a

n

u

a

l

l

y

 

i

n

i

t

i

a

l

i

z

e

 

t

h

e

 

m

o

d

e

l

 

w

i

t

h

 

`

d

e

e

p

s

p

e

e

d

.

z

e

r

o

.

I

n

i

t

`

.




`

`

`

p

y

t

h

o

n




w

i

t

h

 

d

e

e

p

s

p

e

e

d

.

z

e

r

o

.

I

n

i

t

(

a

c

c

e

l

e

r

a

t

o

r

.

d

e

e

p

s

p

e

e

d

_

p

l

u

g

i

n

.

c

o

n

f

i

g

)

:




 

 

 

 

m

o

d

e

l

 

=

 

M

y

M

o

d

e

l

(

.

.

.

)




`

`

`







#

#

#

 

T

r

a

i

n

i

n

g







F

r

o

m

 

h

e

r

e

,

 

y

o

u

r

 

t

r

a

i

n

i

n

g

 

l

o

o

p

 

c

a

n

 

b

e

 

w

h

a

t

e

v

e

r

 

y

o

u

 

l

i

k

e

,

 

a

s

 

l

o

n

g

 

a

s

 

`

t

e

a

c

h

e

r

_

m

o

d

e

l

`

 

i

s

 

n

e

v

e

r

 

b

e

i

n

g

 

t

r

a

i

n

e

d

 

o

n

.







`

`

`

p

y

t

h

o

n




t

e

a

c

h

e

r

_

m

o

d

e

l

.

e

v

a

l

(

)




s

t

u

d

e

n

t

_

m

o

d

e

l

.

t

r

a

i

n

(

)




f

o

r

 

b

a

t

c

h

 

i

n

 

t

r

a

i

n

_

d

a

t

a

l

o

a

d

e

r

:




 

 

 

 

w

i

t

h

 

t

o

r

c

h

.

n

o

_

g

r

a

d

(

)

:




 

 

 

 

 

 

 

 

o

u

t

p

u

t

_

t

e

a

c

h

e

r

 

=

 

t

e

a

c

h

e

r

_

m

o

d

e

l

(

*

*

b

a

t

c

h

)




 

 

 

 

o

u

t

p

u

t

_

s

t

u

d

e

n

t

 

=

 

s

t

u

d

e

n

t

_

m

o

d

e

l

(

*

*

b

a

t

c

h

)




 

 

 

 

#

 

C

o

m

b

i

n

e

 

t

h

e

 

l

o

s

s

e

s

 

o

r

 

m

o

d

i

f

y

 

i

t

 

i

n

 

s

o

m

e

 

w

a

y




 

 

 

 

l

o

s

s

 

=

 

o

u

t

p

u

t

_

t

e

a

c

h

e

r

.

l

o

s

s

 

+

 

o

u

t

p

u

t

_

s

t

u

d

e

n

t

.

l

o

s

s




 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

b

a

c

k

w

a

r

d

(

l

o

s

s

)




 

 

 

 

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




 

 

 

 

s

c

h

e

d

u

l

e

r

.

s

t

e

p

(

)




 

 

 

 

o

p

t

i

m

i

z

e

r

.

z

e

r

o

_

g

r

a

d

(

)




`

`

`







#

#

 

T

r

a

i

n

 

m

u

l

t

i

p

l

e

 

d

i

s

j

o

i

n

t

 

m

o

d

e

l

s







T

r

a

i

n

i

n

g

 

m

u

l

t

i

p

l

e

 

m

o

d

e

l

s

 

i

s

 

a

 

m

o

r

e

 

c

o

m

p

l

i

c

a

t

e

d

 

s

c

e

n

a

r

i

o

.




I

n

 

i

t

s

 

c

u

r

r

e

n

t

 

s

t

a

t

e

,

 

w

e

 

a

s

s

u

m

e

 

e

a

c

h

 

m

o

d

e

l

 

i

s

 

*

*

c

o

m

p

l

e

t

e

l

y

 

d

i

s

j

o

i

n

t

e

d

*

*

 

f

r

o

m

 

t

h

e

 

o

t

h

e

r

 

d

u

r

i

n

g

 

t

r

a

i

n

i

n

g

.







T

h

i

s

 

s

c

e

n

a

r

i

o

 

s

t

i

l

l

 

r

e

q

u

i

r

e

s

 

t

w

o

 

`

u

t

i

l

s

.

D

e

e

p

S

p

e

e

d

P

l

u

g

i

n

`

'

s

 

t

o

 

b

e

 

m

a

d

e

.

 

H

o

w

e

v

e

r

,

 

y

o

u

 

a

l

s

o

 

n

e

e

d

 

a

 

s

e

c

o

n

d

 

`

A

c

c

e

l

e

r

a

t

o

r

`

,

 

s

i

n

c

e

 

d

i

f

f

e

r

e

n

t

 

`

d

e

e

p

s

p

e

e

d

`

 

e

n

g

i

n

e

s

 

a

r

e

 

b

e

i

n

g

 

c

a

l

l

e

d

 

a

t

 

d

i

f

f

e

r

e

n

t

 

t

i

m

e

s

.

 

A

 

s

i

n

g

l

e

 

`

A

c

c

e

l

e

r

a

t

o

r

`

 

c

a

n

 

o

n

l

y

 

c

a

r

r

y

 

o

n

e

 

i

n

s

t

a

n

c

e

 

a

t

 

a

 

t

i

m

e

.







S

i

n

c

e

 

t

h

e

 

`

s

t

a

t

e

.

A

c

c

e

l

e

r

a

t

o

r

S

t

a

t

e

`

 

i

s

 

a

 

s

t

a

t

e

f

u

l

 

o

b

j

e

c

t

 

t

h

o

u

g

h

,

 

i

t

 

i

s

 

a

l

r

e

a

d

y

 

a

w

a

r

e

 

o

f

 

b

o

t

h

 

`

u

t

i

l

s

.

D

e

e

p

S

p

e

e

d

P

l

u

g

i

n

`

'

s

 

a

v

a

i

l

a

b

l

e

.

 

Y

o

u

 

c

a

n

 

j

u

s

t

 

i

n

s

t

a

n

t

i

a

t

e

 

a

 

s

e

c

o

n

d

 

`

A

c

c

e

l

e

r

a

t

o

r

`

 

w

i

t

h

 

n

o

 

e

x

t

r

a

 

a

r

g

u

m

e

n

t

s

.







`

`

`

p

y

t

h

o

n




f

i

r

s

t

_

a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

d

e

e

p

s

p

e

e

d

_

p

l

u

g

i

n

s

=

d

e

e

p

s

p

e

e

d

_

p

l

u

g

i

n

s

)




s

e

c

o

n

d

_

a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

)




`

`

`







Y

o

u

 

c

a

n

 

c

a

l

l

 

e

i

t

h

e

r

 

`

f

i

r

s

t

_

a

c

c

e

l

e

r

a

t

o

r

.

s

t

a

t

e

.

s

e

l

e

c

t

_

d

e

e

p

s

p

e

e

d

_

p

l

u

g

i

n

(

)

`

 

t

o

 

e

n

a

b

l

e

 

o

r

 

d

i

s

a

b

l

e




a

 

p

a

r

t

i

c

u

l

a

r

 

p

l

u

g

i

n

,

 

a

n

d

 

t

h

e

n

 

c

a

l

l

 

`

p

r

e

p

a

r

e

`

.







`

`

`

p

y

t

h

o

n




#

 

c

a

n

 

b

e

 

`

a

c

c

e

l

e

r

a

t

o

r

_

0

`

,

 

`

a

c

c

e

l

e

r

a

t

o

r

_

1

`

,

 

o

r

 

b

y

 

c

a

l

l

i

n

g

 

`

A

c

c

e

l

e

r

a

t

o

r

S

t

a

t

e

(

)

.

s

e

l

e

c

t

_

d

e

e

p

s

p

e

e

d

_

p

l

u

g

i

n

(

.

.

.

)

`




f

i

r

s

t

_

a

c

c

e

l

e

r

a

t

o

r

.

s

t

a

t

e

.

s

e

l

e

c

t

_

d

e

e

p

s

p

e

e

d

_

p

l

u

g

i

n

(

"

f

i

r

s

t

_

m

o

d

e

l

"

)




f

i

r

s

t

_

m

o

d

e

l

 

=

 

A

u

t

o

M

o

d

e

l

.

f

r

o

m

_

p

r

e

t

r

a

i

n

e

d

(

.

.

.

)




#

 

F

o

r

 

t

h

i

s

 

e

x

a

m

p

l

e

,

 

`

g

e

t

_

t

r

a

i

n

i

n

g

_

i

t

e

m

s

`

 

i

s

 

a

 

n

o

n

e

x

i

s

t

e

n

t

 

f

u

n

c

t

i

o

n

 

t

h

a

t

 

g

e

t

s

 

t

h

e

 

s

e

t

u

p

 

w

e

 

n

e

e

d

 

f

o

r

 

t

r

a

i

n

i

n

g




f

i

r

s

t

_

o

p

t

i

m

i

z

e

r

,

 

f

i

r

s

t

_

s

c

h

e

d

u

l

e

r

,

 

t

r

a

i

n

_

d

l

,

 

e

v

a

l

_

d

l

 

=

 

g

e

t

_

t

r

a

i

n

i

n

g

_

i

t

e

m

s

(

m

o

d

e

l

1

)




f

i

r

s

t

_

m

o

d

e

l

,

 

f

i

r

s

t

_

o

p

t

i

m

i

z

e

r

,

 

f

i

r

s

t

_

s

c

h

e

d

u

l

e

r

,

 

t

r

a

i

n

_

d

l

,

 

e

v

a

l

_

d

l

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(




 

 

 

 

f

i

r

s

t

_

m

o

d

e

l

,

 

f

i

r

s

t

_

o

p

t

i

m

i

z

e

r

,

 

f

i

r

s

t

_

s

c

h

e

d

u

l

e

r

,

 

t

r

a

i

n

_

d

l

,

 

e

v

a

l

_

d

l




)







s

e

c

o

n

d

_

a

c

c

e

l

e

r

a

t

o

r

.

s

t

a

t

e

.

s

e

l

e

c

t

_

d

e

e

p

s

p

e

e

d

_

p

l

u

g

i

n

(

"

s

e

c

o

n

d

_

m

o

d

e

l

"

)




s

e

c

o

n

d

_

m

o

d

e

l

 

=

 

A

u

t

o

M

o

d

e

l

.

f

r

o

m

_

p

r

e

t

r

a

i

n

e

d

(

.

.

.

)




#

 

F

o

r

 

t

h

i

s

 

e

x

a

m

p

l

e

,

 

`

g

e

t

_

t

r

a

i

n

i

n

g

_

i

t

e

m

s

`

 

i

s

 

a

 

n

o

n

e

x

i

s

t

e

n

t

 

f

u

n

c

t

i

o

n

 

t

h

a

t

 

g

e

t

s

 

t

h

e

 

s

e

t

u

p

 

w

e

 

n

e

e

d

 

f

o

r

 

t

r

a

i

n

i

n

g




s

e

c

o

n

d

_

o

p

t

i

m

i

z

e

r

,

 

s

e

c

o

n

d

_

s

c

h

e

d

u

l

e

r

,

 

_

,

 

_

 

=

 

g

e

t

_

t

r

a

i

n

i

n

g

_

i

t

e

m

s

(

m

o

d

e

l

2

)




s

e

c

o

n

d

_

m

o

d

e

l

,

 

s

e

c

o

n

d

_

o

p

t

i

m

i

z

e

r

,

 

s

e

c

o

n

d

_

s

c

h

e

d

u

l

e

r

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(




 

 

 

 

s

e

c

o

n

d

_

m

o

d

e

l

,

 

s

e

c

o

n

d

_

o

p

t

i

m

i

z

e

r

,

 

s

e

c

o

n

d

_

s

c

h

e

d

u

l

e

r




)




`

`

`







A

n

d

 

n

o

w

 

y

o

u

 

c

a

n

 

t

r

a

i

n

:







`

`

`

p

y

t

h

o

n




f

o

r

 

b

a

t

c

h

 

i

n

 

d

l

:




 

 

 

 

o

u

t

p

u

t

s

1

 

=

 

f

i

r

s

t

_

m

o

d

e

l

(

*

*

b

a

t

c

h

)




 

 

 

 

f

i

r

s

t

_

a

c

c

e

l

e

r

a

t

o

r

.

b

a

c

k

w

a

r

d

(

o

u

t

p

u

t

s

1

.

l

o

s

s

)




 

 

 

 

f

i

r

s

t

_

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




 

 

 

 

f

i

r

s

t

_

s

c

h

e

d

u

l

e

r

.

s

t

e

p

(

)




 

 

 

 

f

i

r

s

t

_

o

p

t

i

m

i

z

e

r

.

z

e

r

o

_

g

r

a

d

(

)




 

 

 

 




 

 

 

 

o

u

t

p

u

t

s

2

 

=

 

m

o

d

e

l

2

(

*

*

b

a

t

c

h

)




 

 

 

 

s

e

c

o

n

d

_

a

c

c

e

l

e

r

a

t

o

r

.

b

a

c

k

w

a

r

d

(

o

u

t

p

u

t

s

2

.

l

o

s

s

)




 

 

 

 

s

e

c

o

n

d

_

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




 

 

 

 

s

e

c

o

n

d

_

s

c

h

e

d

u

l

e

r

.

s

t

e

p

(

)




 

 

 

 

s

e

c

o

n

d

_

o

p

t

i

m

i

z

e

r

.

z

e

r

o

_

g

r

a

d

(

)




`

`

`







#

#

 

R

e

s

o

u

r

c

e

s







T

o

 

s

e

e

 

m

o

r

e

 

e

x

a

m

p

l

e

s

,

 

p

l

e

a

s

e

 

c

h

e

c

k

 

o

u

t

 

t

h

e

 

[

r

e

l

a

t

e

d

 

t

e

s

t

s

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

a

c

c

e

l

e

r

a

t

e

/

b

l

o

b

/

m

a

i

n

/

s

r

c

/

a

c

c

e

l

e

r

a

t

e

/

t

e

s

t

_

u

t

i

l

s

/

s

c

r

i

p

t

s

/

e

x

t

e

r

n

a

l

_

d

e

p

s

/

t

e

s

t

_

d

s

_

m

u

l

t

i

p

l

e

_

m

o

d

e

l

.

p

y

)

 

c

u

r

r

e

n

t

l

y

 

i

n

 

[

A

c

c

e

l

e

r

a

t

e

]

.







#

 

P

r

o

f

i

l

e

r







P

r

o

f

i

l

e

r

 

i

s

 

a

 

t

o

o

l

 

t

h

a

t

 

a

l

l

o

w

s

 

t

h

e

 

c

o

l

l

e

c

t

i

o

n

 

o

f

 

p

e

r

f

o

r

m

a

n

c

e

 

m

e

t

r

i

c

s

 

d

u

r

i

n

g

 

t

r

a

i

n

i

n

g

 

a

n

d

 

i

n

f

e

r

e

n

c

e

.

 

P

r

o

f

i

l

e

r

’

s

 

c

o

n

t

e

x

t

 

m

a

n

a

g

e

r

 

A

P

I

 

c

a

n

 

b

e

 

u

s

e

d

 

t

o

 

b

e

t

t

e

r

 

u

n

d

e

r

s

t

a

n

d

 

w

h

a

t

 

m

o

d

e

l

 

o

p

e

r

a

t

o

r

s

 

a

r

e

 

t

h

e

 

m

o

s

t

 

e

x

p

e

n

s

i

v

e

,

 

e

x

a

m

i

n

e

 

t

h

e

i

r

 

i

n

p

u

t

 

s

h

a

p

e

s

 

a

n

d

 

s

t

a

c

k

 

t

r

a

c

e

s

,

 

s

t

u

d

y

 

d

e

v

i

c

e

 

k

e

r

n

e

l

 

a

c

t

i

v

i

t

y

,

 

a

n

d

 

v

i

s

u

a

l

i

z

e

 

t

h

e

 

e

x

e

c

u

t

i

o

n

 

t

r

a

c

e

.

 

I

t

 

p

r

o

v

i

d

e

s

 

i

n

s

i

g

h

t

s

 

i

n

t

o

 

t

h

e

 

p

e

r

f

o

r

m

a

n

c

e

 

o

f

 

y

o

u

r

 

m

o

d

e

l

,

 

a

l

l

o

w

i

n

g

 

y

o

u

 

t

o

 

o

p

t

i

m

i

z

e

 

a

n

d

 

i

m

p

r

o

v

e

 

i

t

.







T

h

i

s

 

g

u

i

d

e

 

e

x

p

l

a

i

n

s

 

h

o

w

 

t

o

 

u

s

e

 

P

y

T

o

r

c

h

 

P

r

o

f

i

l

e

r

 

t

o

 

m

e

a

s

u

r

e

 

t

h

e

 

t

i

m

e

 

a

n

d

 

m

e

m

o

r

y

 

c

o

n

s

u

m

p

t

i

o

n

 

o

f

 

t

h

e

 

m

o

d

e

l

’

s

 

o

p

e

r

a

t

o

r

s

 

a

n

d

 

h

o

w

 

t

o

 

i

n

t

e

g

r

a

t

e

 

t

h

i

s

 

w

i

t

h

 

A

c

c

e

l

e

r

a

t

e

.

 

W

e

 

w

i

l

l

 

c

o

v

e

r

 

v

a

r

i

o

u

s

 

u

s

e

 

c

a

s

e

s

 

a

n

d

 

p

r

o

v

i

d

e

 

e

x

a

m

p

l

e

s

 

f

o

r

 

e

a

c

h

.







#

#

 

U

s

i

n

g

 

p

r

o

f

i

l

e

r

 

t

o

 

a

n

a

l

y

z

e

 

e

x

e

c

u

t

i

o

n

 

t

i

m

e







P

r

o

f

i

l

e

r

 

a

l

l

o

w

s

 

o

n

e

 

t

o

 

c

h

e

c

k

 

w

h

i

c

h

 

o

p

e

r

a

t

o

r

s

 

w

e

r

e

 

c

a

l

l

e

d

 

d

u

r

i

n

g

 

t

h

e

 

e

x

e

c

u

t

i

o

n

 

o

f

 

a

 

c

o

d

e

 

r

a

n

g

e

 

w

r

a

p

p

e

d

 

w

i

t

h

 

a

 

p

r

o

f

i

l

e

r

 

c

o

n

t

e

x

t

 

m

a

n

a

g

e

r

.







L

e

t

’

s

 

s

e

e

 

h

o

w

 

w

e

 

c

a

n

 

u

s

e

 

p

r

o

f

i

l

e

r

 

t

o

 

a

n

a

l

y

z

e

 

t

h

e

 

e

x

e

c

u

t

i

o

n

 

t

i

m

e

:







<

h

f

o

p

t

i

o

n

s

 

i

d

=

"

c

p

u

 

e

x

e

c

u

t

i

o

n

 

t

i

m

e

"

>




<

h

f

o

p

t

i

o

n

 

i

d

=

"

P

y

T

o

r

c

h

"

>







`

`

`

p

y

t

h

o

n




i

m

p

o

r

t

 

t

o

r

c

h




i

m

p

o

r

t

 

t

o

r

c

h

v

i

s

i

o

n

.

m

o

d

e

l

s

 

a

s

 

m

o

d

e

l

s




f

r

o

m

 

t

o

r

c

h

.

p

r

o

f

i

l

e

r

 

i

m

p

o

r

t

 

p

r

o

f

i

l

e

,

 

r

e

c

o

r

d

_

f

u

n

c

t

i

o

n

,

 

P

r

o

f

i

l

e

r

A

c

t

i

v

i

t

y







m

o

d

e

l

 

=

 

m

o

d

e

l

s

.

r

e

s

n

e

t

1

8

(

)




i

n

p

u

t

s

 

=

 

t

o

r

c

h

.

r

a

n

d

n

(

5

,

 

3

,

 

2

2

4

,

 

2

2

4

)







w

i

t

h

 

p

r

o

f

i

l

e

(

a

c

t

i

v

i

t

i

e

s

=

[

P

r

o

f

i

l

e

r

A

c

t

i

v

i

t

y

.

C

P

U

]

,

 

r

e

c

o

r

d

_

s

h

a

p

e

s

=

T

r

u

e

)

 

a

s

 

p

r

o

f

:




 

 

 

 

m

o

d

e

l

(

i

n

p

u

t

s

)







p

r

i

n

t

(

p

r

o

f

.

k

e

y

_

a

v

e

r

a

g

e

s

(

)

.

t

a

b

l

e

(

s

o

r

t

_

b

y

=

"

c

p

u

_

t

i

m

e

_

t

o

t

a

l

"

,

 

r

o

w

_

l

i

m

i

t

=

1

0

)

)




`

`

`







<

/

h

f

o

p

t

i

o

n

>




<

h

f

o

p

t

i

o

n

 

i

d

=

"

A

c

c

e

l

e

r

a

t

e

"

>







`

`

`

p

y

t

h

o

n




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

A

c

c

e

l

e

r

a

t

o

r

,

 

P

r

o

f

i

l

e

K

w

a

r

g

s




i

m

p

o

r

t

 

t

o

r

c

h




i

m

p

o

r

t

 

t

o

r

c

h

v

i

s

i

o

n

.

m

o

d

e

l

s

 

a

s

 

m

o

d

e

l

s







m

o

d

e

l

 

=

 

m

o

d

e

l

s

.

r

e

s

n

e

t

1

8

(

)




i

n

p

u

t

s

 

=

 

t

o

r

c

h

.

r

a

n

d

n

(

5

,

 

3

,

 

2

2

4

,

 

2

2

4

)







p

r

o

f

i

l

e

_

k

w

a

r

g

s

 

=

 

P

r

o

f

i

l

e

K

w

a

r

g

s

(




 

 

 

 

a

c

t

i

v

i

t

i

e

s

=

[

"

c

p

u

"

]

,




 

 

 

 

r

e

c

o

r

d

_

s

h

a

p

e

s

=

T

r

u

e




)







a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

c

p

u

=

T

r

u

e

,

 

k

w

a

r

g

s

_

h

a

n

d

l

e

r

s

=

[

p

r

o

f

i

l

e

_

k

w

a

r

g

s

]

)




m

o

d

e

l

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(

m

o

d

e

l

)







w

i

t

h

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

o

f

i

l

e

(

)

 

a

s

 

p

r

o

f

:




 

 

 

 

w

i

t

h

 

t

o

r

c

h

.

n

o

_

g

r

a

d

(

)

:




 

 

 

 

 

 

 

 

m

o

d

e

l

(

i

n

p

u

t

s

)







p

r

i

n

t

(

p

r

o

f

.

k

e

y

_

a

v

e

r

a

g

e

s

(

)

.

t

a

b

l

e

(

s

o

r

t

_

b

y

=

"

c

p

u

_

t

i

m

e

_

t

o

t

a

l

"

,

 

r

o

w

_

l

i

m

i

t

=

1

0

)

)




`

`

`







<

/

h

f

o

p

t

i

o

n

>




<

/

h

f

o

p

t

i

o

n

s

>







T

h

e

 

r

e

s

u

l

t

i

n

g

 

t

a

b

l

e

 

o

u

t

p

u

t

 

(

o

m

i

t

t

i

n

g

 

s

o

m

e

 

c

o

l

u

m

n

s

)

:







`

`

`




-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

 

 

-

-

-

-

-

-

-

-

-

-

-

-

 

 

-

-

-

-

-

-

-

-

-

-

-

-

 

 

-

-

-

-

-

-

-

-

-

-

-

-

 

 

-

-

-

-

-

-

-

-

-

-

-

-

 

 




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

N

a

m

e

 

 

 

 

 

 

S

e

l

f

 

C

P

U

 

 

 

 

 

C

P

U

 

t

o

t

a

l

 

 

C

P

U

 

t

i

m

e

 

a

v

g

 

 

 

 

#

 

o

f

 

C

a

l

l

s

 

 




-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

 

 

-

-

-

-

-

-

-

-

-

-

-

-

 

 

-

-

-

-

-

-

-

-

-

-

-

-

 

 

-

-

-

-

-

-

-

-

-

-

-

-

 

 

-

-

-

-

-

-

-

-

-

-

-

-

 

 




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

a

t

e

n

:

:

c

o

n

v

2

d

 

 

 

 

 

1

7

1

.

0

0

0

u

s

 

 

 

 

 

 

5

2

.

2

6

0

m

s

 

 

 

 

 

 

 

2

.

6

1

3

m

s

 

 

 

 

 

 

 

 

 

 

 

 

2

0

 

 




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

a

t

e

n

:

:

c

o

n

v

o

l

u

t

i

o

n

 

 

 

 

 

2

2

7

.

0

0

0

u

s

 

 

 

 

 

 

5

2

.

0

8

9

m

s

 

 

 

 

 

 

 

2

.

6

0

4

m

s

 

 

 

 

 

 

 

 

 

 

 

 

2

0

 

 




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

a

t

e

n

:

:

_

c

o

n

v

o

l

u

t

i

o

n

 

 

 

 

 

2

7

0

.

0

0

0

u

s

 

 

 

 

 

 

5

1

.

8

6

2

m

s

 

 

 

 

 

 

 

2

.

5

9

3

m

s

 

 

 

 

 

 

 

 

 

 

 

 

2

0

 

 




 

 

 

 

 

 

 

 

 

a

t

e

n

:

:

m

k

l

d

n

n

_

c

o

n

v

o

l

u

t

i

o

n

 

 

 

 

 

 

5

1

.

2

7

3

m

s

 

 

 

 

 

 

5

1

.

5

9

2

m

s

 

 

 

 

 

 

 

2

.

5

8

0

m

s

 

 

 

 

 

 

 

 

 

 

 

 

2

0

 

 




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

a

t

e

n

:

:

b

a

t

c

h

_

n

o

r

m

 

 

 

 

 

1

1

8

.

0

0

0

u

s

 

 

 

 

 

 

 

7

.

0

5

9

m

s

 

 

 

 

 

3

5

2

.

9

5

0

u

s

 

 

 

 

 

 

 

 

 

 

 

 

2

0

 

 




 

 

 

 

 

a

t

e

n

:

:

_

b

a

t

c

h

_

n

o

r

m

_

i

m

p

l

_

i

n

d

e

x

 

 

 

 

 

3

1

5

.

0

0

0

u

s

 

 

 

 

 

 

 

6

.

9

4

1

m

s

 

 

 

 

 

3

4

7

.

0

5

0

u

s

 

 

 

 

 

 

 

 

 

 

 

 

2

0

 

 




 

 

 

 

 

 

 

 

 

 

a

t

e

n

:

:

n

a

t

i

v

e

_

b

a

t

c

h

_

n

o

r

m

 

 

 

 

 

 

 

6

.

3

0

5

m

s

 

 

 

 

 

 

 

6

.

5

9

9

m

s

 

 

 

 

 

3

2

9

.

9

5

0

u

s

 

 

 

 

 

 

 

 

 

 

 

 

2

0

 

 




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

a

t

e

n

:

:

m

a

x

_

p

o

o

l

2

d

 

 

 

 

 

 

4

0

.

0

0

0

u

s

 

 

 

 

 

 

 

4

.

0

0

8

m

s

 

 

 

 

 

 

 

4

.

0

0

8

m

s

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 




 

 

 

 

a

t

e

n

:

:

m

a

x

_

p

o

o

l

2

d

_

w

i

t

h

_

i

n

d

i

c

e

s

 

 

 

 

 

 

 

3

.

9

6

8

m

s

 

 

 

 

 

 

 

3

.

9

6

8

m

s

 

 

 

 

 

 

 

3

.

9

6

8

m

s

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

a

t

e

n

:

:

a

d

d

_

 

 

 

 

 

7

8

0

.

0

0

0

u

s

 

 

 

 

 

7

8

0

.

0

0

0

u

s

 

 

 

 

 

 

2

7

.

8

5

7

u

s

 

 

 

 

 

 

 

 

 

 

 

 

2

8

 

 




-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

 

 

-

-

-

-

-

-

-

-

-

-

-

-

 

 

-

-

-

-

-

-

-

-

-

-

-

-

 

 

-

-

-

-

-

-

-

-

-

-

-

-

 

 

-

-

-

-

-

-

-

-

-

-

-

-

 

 




S

e

l

f

 

C

P

U

 

t

i

m

e

 

t

o

t

a

l

:

 

6

7

.

0

1

6

m

s




`

`

`







T

o

 

g

e

t

 

a

 

f

i

n

e

r

 

g

r

a

n

u

l

a

r

i

t

y

 

o

f

 

r

e

s

u

l

t

s

 

a

n

d

 

i

n

c

l

u

d

e

 

o

p

e

r

a

t

o

r

 

i

n

p

u

t

 

s

h

a

p

e

s

,

 

p

a

s

s

 

`

g

r

o

u

p

_

b

y

_

i

n

p

u

t

_

s

h

a

p

e

=

T

r

u

e

`

 

(

n

o

t

e

:

 

t

h

i

s

 

r

e

q

u

i

r

e

s

 

r

u

n

n

i

n

g

 

t

h

e

 

p

r

o

f

i

l

e

r

 

w

i

t

h

 

`

r

e

c

o

r

d

_

s

h

a

p

e

s

=

T

r

u

e

`

)

:







`

`

`

p

y

t

h

o

n




p

r

i

n

t

(

p

r

o

f

.

k

e

y

_

a

v

e

r

a

g

e

s

(

g

r

o

u

p

_

b

y

_

i

n

p

u

t

_

s

h

a

p

e

=

T

r

u

e

)

.

t

a

b

l

e

(

s

o

r

t

_

b

y

=

"

c

p

u

_

t

i

m

e

_

t

o

t

a

l

"

,

 

r

o

w

_

l

i

m

i

t

=

1

0

)

)




`

`

`







#

#

 

U

s

i

n

g

 

p

r

o

f

i

l

e

r

 

t

o

 

a

n

a

l

y

z

e

 

m

e

m

o

r

y

 

c

o

n

s

u

m

p

t

i

o

n







P

r

o

f

i

l

e

r

 

c

a

n

 

a

l

s

o

 

s

h

o

w

 

t

h

e

 

a

m

o

u

n

t

 

o

f

 

m

e

m

o

r

y

 

(

u

s

e

d

 

b

y

 

t

h

e

 

m

o

d

e

l

’

s

 

t

e

n

s

o

r

s

)

 

t

h

a

t

 

w

a

s

 

a

l

l

o

c

a

t

e

d

 

(

o

r

 

r

e

l

e

a

s

e

d

)

 

d

u

r

i

n

g

 

t

h

e

 

e

x

e

c

u

t

i

o

n

 

o

f

 

t

h

e

 

m

o

d

e

l

’

s

 

o

p

e

r

a

t

o

r

s

.

 

T

o

 

e

n

a

b

l

e

 

m

e

m

o

r

y

 

p

r

o

f

i

l

i

n

g

 

f

u

n

c

t

i

o

n

a

l

i

t

y

 

p

a

s

s

 

`

p

r

o

f

i

l

e

_

m

e

m

o

r

y

=

T

r

u

e

`

.







<

h

f

o

p

t

i

o

n

s

 

i

d

=

"

m

e

m

o

r

y

 

c

o

n

s

u

m

p

t

i

o

n

"

>




<

h

f

o

p

t

i

o

n

 

i

d

=

"

P

y

T

o

r

c

h

"

>







`

`

`

p

y

t

h

o

n




m

o

d

e

l

 

=

 

m

o

d

e

l

s

.

r

e

s

n

e

t

1

8

(

)




i

n

p

u

t

s

 

=

 

t

o

r

c

h

.

r

a

n

d

n

(

5

,

 

3

,

 

2

2

4

,

 

2

2

4

)







w

i

t

h

 

p

r

o

f

i

l

e

(

a

c

t

i

v

i

t

i

e

s

=

[

P

r

o

f

i

l

e

r

A

c

t

i

v

i

t

y

.

C

P

U

]

,




 

 

 

 

 

 

 

 

p

r

o

f

i

l

e

_

m

e

m

o

r

y

=

T

r

u

e

,

 

r

e

c

o

r

d

_

s

h

a

p

e

s

=

T

r

u

e

)

 

a

s

 

p

r

o

f

:




 

 

 

 

m

o

d

e

l

(

i

n

p

u

t

s

)







p

r

i

n

t

(

p

r

o

f

.

k

e

y

_

a

v

e

r

a

g

e

s

(

)

.

t

a

b

l

e

(

s

o

r

t

_

b

y

=

"

s

e

l

f

_

c

p

u

_

m

e

m

o

r

y

_

u

s

a

g

e

"

,

 

r

o

w

_

l

i

m

i

t

=

1

0

)

)




`

`

`







<

/

h

f

o

p

t

i

o

n

>




<

h

f

o

p

t

i

o

n

 

i

d

=

"

A

c

c

e

l

e

r

a

t

e

"

>







`

`

`

p

y

t

h

o

n




m

o

d

e

l

 

=

 

m

o

d

e

l

s

.

r

e

s

n

e

t

1

8

(

)




i

n

p

u

t

s

 

=

 

t

o

r

c

h

.

r

a

n

d

n

(

5

,

 

3

,

 

2

2

4

,

 

2

2

4

)







p

r

o

f

i

l

e

_

k

w

a

r

g

s

 

=

 

P

r

o

f

i

l

e

K

w

a

r

g

s

(




 

 

 

 

a

c

t

i

v

i

t

i

e

s

=

[

"

c

p

u

"

]

,




 

 

 

 

p

r

o

f

i

l

e

_

m

e

m

o

r

y

=

T

r

u

e

,




 

 

 

 

r

e

c

o

r

d

_

s

h

a

p

e

s

=

T

r

u

e




)







a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

c

p

u

=

T

r

u

e

,

 

k

w

a

r

g

s

_

h

a

n

d

l

e

r

s

=

[

p

r

o

f

i

l

e

_

k

w

a

r

g

s

]

)




m

o

d

e

l

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(

m

o

d

e

l

)







w

i

t

h

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

o

f

i

l

e

(

)

 

a

s

 

p

r

o

f

:




 

 

 

 

m

o

d

e

l

(

i

n

p

u

t

s

)







p

r

i

n

t

(

p

r

o

f

.

k

e

y

_

a

v

e

r

a

g

e

s

(

)

.

t

a

b

l

e

(

s

o

r

t

_

b

y

=

"

s

e

l

f

_

c

p

u

_

m

e

m

o

r

y

_

u

s

a

g

e

"

,

 

r

o

w

_

l

i

m

i

t

=

1

0

)

)




`

`

`







<

/

h

f

o

p

t

i

o

n

>




<

/

h

f

o

p

t

i

o

n

s

>







T

h

e

 

r

e

s

u

l

t

i

n

g

 

t

a

b

l

e

 

o

u

t

p

u

t

 

(

o

m

i

t

t

i

n

g

 

s

o

m

e

 

c

o

l

u

m

n

s

)

:







`

`

`




-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

 

 

-

-

-

-

-

-

-

-

-

-

-

-

 

 

-

-

-

-

-

-

-

-

-

-

-

-

 

 

-

-

-

-

-

-

-

-

-

-

-

-

 

 




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

N

a

m

e

 

 

 

 

 

 

 

C

P

U

 

M

e

m

 

 

S

e

l

f

 

C

P

U

 

M

e

m

 

 

 

 

#

 

o

f

 

C

a

l

l

s

 

 




-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

 

 

-

-

-

-

-

-

-

-

-

-

-

-

 

 

-

-

-

-

-

-

-

-

-

-

-

-

 

 

-

-

-

-

-

-

-

-

-

-

-

-

 

 




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

a

t

e

n

:

:

e

m

p

t

y

 

 

 

 

 

 

9

4

.

8

5

 

M

b

 

 

 

 

 

 

9

4

.

8

5

 

M

b

 

 

 

 

 

 

 

 

 

 

 

2

0

5

 

 




 

 

 

 

a

t

e

n

:

:

m

a

x

_

p

o

o

l

2

d

_

w

i

t

h

_

i

n

d

i

c

e

s

 

 

 

 

 

 

1

1

.

4

8

 

M

b

 

 

 

 

 

 

1

1

.

4

8

 

M

b

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

a

t

e

n

:

:

a

d

d

m

m

 

 

 

 

 

 

1

9

.

5

3

 

K

b

 

 

 

 

 

 

1

9

.

5

3

 

K

b

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

a

t

e

n

:

:

m

e

a

n

 

 

 

 

 

 

1

0

.

0

0

 

K

b

 

 

 

 

 

 

1

0

.

0

0

 

K

b

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 




 

 

 

 

 

 

 

 

 

 

 

 

 

 

a

t

e

n

:

:

e

m

p

t

y

_

s

t

r

i

d

e

d

 

 

 

 

 

 

 

 

 

4

9

2

 

b

 

 

 

 

 

 

 

 

 

4

9

2

 

b

 

 

 

 

 

 

 

 

 

 

 

 

 

5

 

 




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

a

t

e

n

:

:

c

a

t

 

 

 

 

 

 

 

 

 

2

4

0

 

b

 

 

 

 

 

 

 

 

 

2

4

0

 

b

 

 

 

 

 

 

 

 

 

 

 

 

 

6

 

 




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

a

t

e

n

:

:

a

b

s

 

 

 

 

 

 

 

 

 

4

8

0

 

b

 

 

 

 

 

 

 

 

 

2

4

0

 

b

 

 

 

 

 

 

 

 

 

 

 

 

 

4

 

 




 

 

 

 

 

 

 

 

 

 

 

 

 

 

a

t

e

n

:

:

m

a

s

k

e

d

_

s

e

l

e

c

t

 

 

 

 

 

 

 

 

 

1

2

0

 

b

 

 

 

 

 

 

 

 

 

1

1

2

 

b

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

a

t

e

n

:

:

n

e

 

 

 

 

 

 

 

 

 

 

6

1

 

b

 

 

 

 

 

 

 

 

 

 

5

3

 

b

 

 

 

 

 

 

 

 

 

 

 

 

 

3

 

 




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

a

t

e

n

:

:

e

q

 

 

 

 

 

 

 

 

 

 

3

0

 

b

 

 

 

 

 

 

 

 

 

 

3

0

 

b

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 




-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

 

 

-

-

-

-

-

-

-

-

-

-

-

-

 

 

-

-

-

-

-

-

-

-

-

-

-

-

 

 

-

-

-

-

-

-

-

-

-

-

-

-

 

 




S

e

l

f

 

C

P

U

 

t

i

m

e

 

t

o

t

a

l

:

 

6

9

.

3

3

2

m

s




`

`

`










#

#

 

E

x

p

o

r

t

i

n

g

 

c

h

r

o

m

e

 

t

r

a

c

e







Y

o

u

 

c

a

n

 

e

x

a

m

i

n

e

 

t

h

e

 

s

e

q

u

e

n

c

e

 

o

f

 

p

r

o

f

i

l

e

d

 

o

p

e

r

a

t

o

r

s

 

a

n

d

 

C

U

D

A

 

k

e

r

n

e

l

s

 

i

n

 

C

h

r

o

m

e

 

t

r

a

c

e

 

v

i

e

w

e

r

 

(

`

c

h

r

o

m

e

:

/

/

t

r

a

c

i

n

g

`

)

:







!

[

p

r

o

f

i

l

e

_

e

x

p

o

r

t

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

a

c

c

e

l

e

r

a

t

e

/

a

s

s

e

t

s

/

1

0

0

3

8

9

9

7

7

/

5

a

c

b

1

9

3

f

-

6

d

1

1

-

4

f

7

b

-

9

8

7

3

-

c

6

0

0

c

1

9

e

8

1

7

2

)







<

h

f

o

p

t

i

o

n

s

 

i

d

=

"

e

x

p

o

r

t

i

n

g

 

c

h

r

o

m

e

 

t

r

a

c

e

"

>




<

h

f

o

p

t

i

o

n

 

i

d

=

"

P

y

T

o

r

c

h

"

>







`

`

`

p

y

t

h

o

n




m

o

d

e

l

 

=

 

m

o

d

e

l

s

.

r

e

s

n

e

t

1

8

(

)

.

c

u

d

a

(

)




i

n

p

u

t

s

 

=

 

t

o

r

c

h

.

r

a

n

d

n

(

5

,

 

3

,

 

2

2

4

,

 

2

2

4

)

.

c

u

d

a

(

)







w

i

t

h

 

p

r

o

f

i

l

e

(

a

c

t

i

v

i

t

i

e

s

=

[

P

r

o

f

i

l

e

r

A

c

t

i

v

i

t

y

.

C

P

U

,

 

P

r

o

f

i

l

e

r

A

c

t

i

v

i

t

y

.

C

U

D

A

]

)

 

a

s

 

p

r

o

f

:




 

 

 

 

m

o

d

e

l

(

i

n

p

u

t

s

)







p

r

o

f

.

e

x

p

o

r

t

_

c

h

r

o

m

e

_

t

r

a

c

e

(

"

t

r

a

c

e

.

j

s

o

n

"

)




`

`

`







<

/

h

f

o

p

t

i

o

n

>




<

h

f

o

p

t

i

o

n

 

i

d

=

"

A

c

c

e

l

e

r

a

t

e

"

>







`

`

`

p

y

t

h

o

n




p

r

o

f

i

l

e

_

k

w

a

r

g

s

 

=

 

P

r

o

f

i

l

e

K

w

a

r

g

s

(




 

 

 

 

a

c

t

i

v

i

t

i

e

s

=

[

"

c

p

u

"

,

 

"

c

u

d

a

"

]

,




 

 

 

 

o

u

t

p

u

t

_

t

r

a

c

e

_

d

i

r

=

"

t

r

a

c

e

"




)







a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

k

w

a

r

g

s

_

h

a

n

d

l

e

r

s

=

[

p

r

o

f

i

l

e

_

k

w

a

r

g

s

]

)




m

o

d

e

l

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(

m

o

d

e

l

)







w

i

t

h

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

o

f

i

l

e

(

)

 

a

s

 

p

r

o

f

:




 

 

 

 

m

o

d

e

l

(

i

n

p

u

t

s

)







#

 

T

h

e

 

t

r

a

c

e

 

w

i

l

l

 

b

e

 

s

a

v

e

d

 

t

o

 

t

h

e

 

s

p

e

c

i

f

i

e

d

 

d

i

r

e

c

t

o

r

y




`

`

`







<

/

h

f

o

p

t

i

o

n

>




<

/

h

f

o

p

t

i

o

n

s

>







#

#

 

U

s

i

n

g

 

P

r

o

f

i

l

e

r

 

t

o

 

A

n

a

l

y

z

e

 

L

o

n

g

-

R

u

n

n

i

n

g

 

J

o

b

s







P

r

o

f

i

l

e

r

 

o

f

f

e

r

s

 

a

n

 

a

d

d

i

t

i

o

n

a

l

 

A

P

I

 

t

o

 

h

a

n

d

l

e

 

l

o

n

g

-

r

u

n

n

i

n

g

 

j

o

b

s

 

(

s

u

c

h

 

a

s

 

t

r

a

i

n

i

n

g

 

l

o

o

p

s

)

.

 

T

r

a

c

i

n

g

 

a

l

l

 

o

f

 

t

h

e

 

e

x

e

c

u

t

i

o

n

 

c

a

n

 

b

e

 

s

l

o

w

 

a

n

d

 

r

e

s

u

l

t

 

i

n

 

v

e

r

y

 

l

a

r

g

e

 

t

r

a

c

e

 

f

i

l

e

s

.

 

T

o

 

a

v

o

i

d

 

t

h

i

s

,

 

u

s

e

 

o

p

t

i

o

n

a

l

 

a

r

g

u

m

e

n

t

s

:







-

 

`

s

c

h

e

d

u

l

e

_

o

p

t

i

o

n

`

:

 

S

c

h

e

d

u

l

i

n

g

 

o

p

t

i

o

n

s

 

a

l

l

o

w

 

y

o

u

 

t

o

 

c

o

n

t

r

o

l

 

w

h

e

n

 

p

r

o

f

i

l

i

n

g

 

i

s

 

a

c

t

i

v

e

.

 

T

h

i

s

 

i

s

 

u

s

e

f

u

l

 

f

o

r

 

l

o

n

g

-

r

u

n

n

i

n

g

 

j

o

b

s

 

t

o

 

a

v

o

i

d

 

c

o

l

l

e

c

t

i

n

g

 

t

o

o

 

m

u

c

h

 

d

a

t

a

.

 

A

v

a

i

l

a

b

l

e

 

k

e

y

s

 

a

r

e

 

`

w

a

i

t

`

,

 

`

w

a

r

m

u

p

`

,

 

`

a

c

t

i

v

e

`

,

 

`

r

e

p

e

a

t

`

 

a

n

d

 

`

s

k

i

p

_

f

i

r

s

t

`

.

 

T

h

e

 

p

r

o

f

i

l

e

r

 

w

i

l

l

 

s

k

i

p

 

t

h

e

 

f

i

r

s

t

 

`

s

k

i

p

_

f

i

r

s

t

`

 

s

t

e

p

s

,

 

t

h

e

n

 

w

a

i

t

 

f

o

r

 

`

w

a

i

t

`

 

s

t

e

p

s

,

 

t

h

e

n

 

d

o

 

t

h

e

 

w

a

r

m

u

p

 

f

o

r

 

t

h

e

 

n

e

x

t

 

`

w

a

r

m

u

p

`

 

s

t

e

p

s

,

 

t

h

e

n

 

d

o

 

t

h

e

 

a

c

t

i

v

e

 

r

e

c

o

r

d

i

n

g

 

f

o

r

 

t

h

e

 

n

e

x

t

 

`

a

c

t

i

v

e

`

 

s

t

e

p

s

 

a

n

d

 

t

h

e

n

 

r

e

p

e

a

t

 

t

h

e

 

c

y

c

l

e

 

s

t

a

r

t

i

n

g

 

w

i

t

h

 

`

w

a

i

t

`

 

s

t

e

p

s

.

 

T

h

e

 

o

p

t

i

o

n

a

l

 

n

u

m

b

e

r

 

o

f

 

c

y

c

l

e

s

 

i

s

 

s

p

e

c

i

f

i

e

d

 

w

i

t

h

 

t

h

e

 

`

r

e

p

e

a

t

`

 

p

a

r

a

m

e

t

e

r

,

 

t

h

e

 

z

e

r

o

 

v

a

l

u

e

 

m

e

a

n

s

 

t

h

a

t

 

t

h

e

 

c

y

c

l

e

s

 

w

i

l

l

 

c

o

n

t

i

n

u

e

 

u

n

t

i

l

 

t

h

e

 

p

r

o

f

i

l

i

n

g

 

i

s

 

f

i

n

i

s

h

e

d

.




-

 

`

o

n

_

t

r

a

c

e

_

r

e

a

d

y

`

:

 

s

p

e

c

i

f

i

e

s

 

a

 

f

u

n

c

t

i

o

n

 

t

h

a

t

 

t

a

k

e

s

 

a

 

r

e

f

e

r

e

n

c

e

 

t

o

 

t

h

e

 

p

r

o

f

i

l

e

r

 

a

s

 

a

n

 

i

n

p

u

t

 

a

n

d

 

i

s

 

c

a

l

l

e

d

 

b

y

 

t

h

e

 

p

r

o

f

i

l

e

r

 

e

a

c

h

 

t

i

m

e

 

t

h

e

 

n

e

w

 

t

r

a

c

e

 

i

s

 

r

e

a

d

y

.







T

o

 

i

l

l

u

s

t

r

a

t

e

 

h

o

w

 

t

h

e

 

A

P

I

 

w

o

r

k

s

,

 

c

o

n

s

i

d

e

r

 

t

h

e

 

f

o

l

l

o

w

i

n

g

 

e

x

a

m

p

l

e

:







<

h

f

o

p

t

i

o

n

s

 

i

d

=

"

c

u

s

t

o

m

 

h

a

n

d

l

e

r

"

>




<

h

f

o

p

t

i

o

n

 

i

d

=

"

P

y

T

o

r

c

h

"

>







`

`

`

p

y

t

h

o

n




f

r

o

m

 

t

o

r

c

h

.

p

r

o

f

i

l

e

r

 

i

m

p

o

r

t

 

s

c

h

e

d

u

l

e







m

y

_

s

c

h

e

d

u

l

e

 

=

 

s

c

h

e

d

u

l

e

(




 

 

 

 

s

k

i

p

_

f

i

r

s

t

=

1

0

,




 

 

 

 

w

a

i

t

=

5

,




 

 

 

 

w

a

r

m

u

p

=

1

,




 

 

 

 

a

c

t

i

v

e

=

3

,




 

 

 

 

r

e

p

e

a

t

=

2




)







d

e

f

 

t

r

a

c

e

_

h

a

n

d

l

e

r

(

p

)

:




 

 

 

 

o

u

t

p

u

t

 

=

 

p

.

k

e

y

_

a

v

e

r

a

g

e

s

(

)

.

t

a

b

l

e

(

s

o

r

t

_

b

y

=

"

s

e

l

f

_

c

u

d

a

_

t

i

m

e

_

t

o

t

a

l

"

,

 

r

o

w

_

l

i

m

i

t

=

1

0

)




 

 

 

 

p

r

i

n

t

(

o

u

t

p

u

t

)




 

 

 

 

p

.

e

x

p

o

r

t

_

c

h

r

o

m

e

_

t

r

a

c

e

(

"

/

t

m

p

/

t

r

a

c

e

_

"

 

+

 

s

t

r

(

p

.

s

t

e

p

_

n

u

m

)

 

+

 

"

.

j

s

o

n

"

)







w

i

t

h

 

p

r

o

f

i

l

e

(




 

 

 

 

a

c

t

i

v

i

t

i

e

s

=

[

P

r

o

f

i

l

e

r

A

c

t

i

v

i

t

y

.

C

P

U

,

 

P

r

o

f

i

l

e

r

A

c

t

i

v

i

t

y

.

C

U

D

A

]

,




 

 

 

 

s

c

h

e

d

u

l

e

=

m

y

_

s

c

h

e

d

u

l

e

,




 

 

 

 

o

n

_

t

r

a

c

e

_

r

e

a

d

y

=

t

r

a

c

e

_

h

a

n

d

l

e

r




)

 

a

s

 

p

:




 

 

 

 

f

o

r

 

i

d

x

 

i

n

 

r

a

n

g

e

(

8

)

:




 

 

 

 

 

 

 

 

m

o

d

e

l

(

i

n

p

u

t

s

)




 

 

 

 

 

 

 

 

p

.

s

t

e

p

(

)




`

`

`







<

/

h

f

o

p

t

i

o

n

>




<

h

f

o

p

t

i

o

n

 

i

d

=

"

A

c

c

e

l

e

r

a

t

e

"

>







`

`

`

p

y

t

h

o

n




d

e

f

 

t

r

a

c

e

_

h

a

n

d

l

e

r

(

p

)

:




 

 

 

 

o

u

t

p

u

t

 

=

 

p

.

k

e

y

_

a

v

e

r

a

g

e

s

(

)

.

t

a

b

l

e

(

s

o

r

t

_

b

y

=

"

s

e

l

f

_

c

u

d

a

_

t

i

m

e

_

t

o

t

a

l

"

,

 

r

o

w

_

l

i

m

i

t

=

1

0

)




 

 

 

 

p

r

i

n

t

(

o

u

t

p

u

t

)




 

 

 

 

p

.

e

x

p

o

r

t

_

c

h

r

o

m

e

_

t

r

a

c

e

(

"

/

t

m

p

/

t

r

a

c

e

_

"

 

+

 

s

t

r

(

p

.

s

t

e

p

_

n

u

m

)

 

+

 

"

.

j

s

o

n

"

)







p

r

o

f

i

l

e

_

k

w

a

r

g

s

 

=

 

P

r

o

f

i

l

e

K

w

a

r

g

s

(




 

 

 

 

a

c

t

i

v

i

t

i

e

s

=

[

"

c

p

u

"

,

 

"

c

u

d

a

"

]

,




 

 

 

 

s

c

h

e

d

u

l

e

_

o

p

t

i

o

n

=

{

"

w

a

i

t

"

:

 

5

,

 

"

w

a

r

m

u

p

"

:

 

1

,

 

"

a

c

t

i

v

e

"

:

 

3

,

 

"

r

e

p

e

a

t

"

:

 

2

,

 

"

s

k

i

p

_

f

i

r

s

t

"

:

 

1

0

}

,




 

 

 

 

o

n

_

t

r

a

c

e

_

r

e

a

d

y

=

t

r

a

c

e

_

h

a

n

d

l

e

r




)







a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

k

w

a

r

g

s

_

h

a

n

d

l

e

r

s

=

[

p

r

o

f

i

l

e

_

k

w

a

r

g

s

]

)




m

o

d

e

l

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(

m

o

d

e

l

)







w

i

t

h

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

o

f

i

l

e

(

)

 

a

s

 

p

r

o

f

:




 

 

 

 

f

o

r

 

i

d

x

 

i

n

 

r

a

n

g

e

(

8

)

:




 

 

 

 

 

 

 

 

m

o

d

e

l

(

i

n

p

u

t

s

)




 

 

 

 

 

 

 

 

p

r

o

f

.

s

t

e

p

(

)




`

`

`







<

/

h

f

o

p

t

i

o

n

>




<

/

h

f

o

p

t

i

o

n

s

>







#

#

 

F

L

O

P

S







U

s

e

 

f

o

r

m

u

l

a

 

t

o

 

e

s

t

i

m

a

t

e

 

t

h

e

 

F

L

O

P

s

 

(

f

l

o

a

t

i

n

g

 

p

o

i

n

t

 

o

p

e

r

a

t

i

o

n

s

)

 

o

f

 

s

p

e

c

i

f

i

c

 

o

p

e

r

a

t

o

r

s

 

(

m

a

t

r

i

x

 

m

u

l

t

i

p

l

i

c

a

t

i

o

n

 

a

n

d

 

2

D

 

c

o

n

v

o

l

u

t

i

o

n

)

.







T

o

 

m

e

a

s

u

r

e

 

f

l

o

a

t

i

n

g

-

p

o

i

n

t

 

o

p

e

r

a

t

i

o

n

s

 

(

F

L

O

P

S

)

:







<

h

f

o

p

t

i

o

n

s

 

i

d

=

"

F

L

O

P

S

"

>




<

h

f

o

p

t

i

o

n

 

i

d

=

"

P

y

T

o

r

c

h

"

>







`

`

`

p

y

t

h

o

n




w

i

t

h

 

p

r

o

f

i

l

e

(




 

 

 

 

a

c

t

i

v

i

t

i

e

s

=

[

P

r

o

f

i

l

e

r

A

c

t

i

v

i

t

y

.

C

P

U

,

 

P

r

o

f

i

l

e

r

A

c

t

i

v

i

t

y

.

C

U

D

A

]

,




 

 

 

 

w

i

t

h

_

f

l

o

p

s

=

T

r

u

e




)

 

a

s

 

p

r

o

f

:




 

 

 

 

m

o

d

e

l

(

i

n

p

u

t

s

)







p

r

i

n

t

(

p

r

o

f

.

k

e

y

_

a

v

e

r

a

g

e

s

(

)

.

t

a

b

l

e

(

s

o

r

t

_

b

y

=

"

f

l

o

p

s

"

,

 

r

o

w

_

l

i

m

i

t

=

1

0

)

)




`

`

`







<

/

h

f

o

p

t

i

o

n

>




<

h

f

o

p

t

i

o

n

 

i

d

=

"

A

c

c

e

l

e

r

a

t

e

"

>







`

`

`

p

y

t

h

o

n




p

r

o

f

i

l

e

_

k

w

a

r

g

s

 

=

 

P

r

o

f

i

l

e

K

w

a

r

g

s

(




 

 

 

 

w

i

t

h

_

f

l

o

p

s

=

T

r

u

e




)




a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

k

w

a

r

g

s

_

h

a

n

d

l

e

r

s

=

[

p

r

o

f

i

l

e

_

k

w

a

r

g

s

]

)







w

i

t

h

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

o

f

i

l

e

(

)

 

a

s

 

p

r

o

f

:




 

 

 

 

m

o

d

e

l

(

i

n

p

u

t

s

)







p

r

i

n

t

(

p

r

o

f

.

k

e

y

_

a

v

e

r

a

g

e

s

(

)

.

t

a

b

l

e

(

s

o

r

t

_

b

y

=

"

f

l

o

p

s

"

,

 

r

o

w

_

l

i

m

i

t

=

1

0

)

)




`

`

`







<

/

h

f

o

p

t

i

o

n

>




<

/

h

f

o

p

t

i

o

n

s

>







T

h

e

 

r

e

s

u

l

t

i

n

g

 

t

a

b

l

e

 

o

u

t

p

u

t

 

(

o

m

i

t

t

i

n

g

 

s

o

m

e

 

c

o

l

u

m

n

s

)

:







`

`

`




-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

 

 

-

-

-

-

-

-

-

-

-

-

-

-

 

 

-

-

-

-

-

-

-

-

-

-

-

-

 

 

-

-

-

-

-

-

-

-

-

-

-

-

 

 




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

N

a

m

e

 

 

 

 

 

 

S

e

l

f

 

C

P

U

 

 

 

 

 

S

e

l

f

 

C

U

D

A

 

 

 

 

T

o

t

a

l

 

F

L

O

P

s

 

 




-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

 

 

-

-

-

-

-

-

-

-

-

-

-

-

 

 

-

-

-

-

-

-

-

-

-

-

-

-

 

 

-

-

-

-

-

-

-

-

-

-

-

-

 

 




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

a

t

e

n

:

:

c

o

n

v

2

d

 

 

 

 

 

1

9

7

.

0

0

0

u

s

 

 

 

 

 

 

 

0

.

0

0

0

u

s

 

 

1

8

1

3

5

6

1

3

4

4

0

.

0

0

0

 

 




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

a

t

e

n

:

:

a

d

d

m

m

 

 

 

 

 

1

0

3

.

0

0

0

u

s

 

 

 

 

 

 

1

7

.

0

0

0

u

s

 

 

 

 

 

5

1

2

0

0

0

0

.

0

0

0

 

 




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

a

t

e

n

:

:

m

u

l

 

 

 

 

 

 

2

9

.

0

0

0

u

s

 

 

 

 

 

 

 

2

.

0

0

0

u

s

 

 

 

 

 

 

 

 

 

 

3

0

.

0

0

0

 

 




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

a

t

e

n

:

:

c

o

n

v

o

l

u

t

i

o

n

 

 

 

 

 

4

0

9

.

0

0

0

u

s

 

 

 

 

 

 

 

0

.

0

0

0

u

s

 

 

 

 

 

 

 

 

 

 

 

 

-

-

 

 




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

a

t

e

n

:

:

_

c

o

n

v

o

l

u

t

i

o

n

 

 

 

 

 

2

5

3

.

0

0

0

u

s

 

 

 

 

 

 

 

0

.

0

0

0

u

s

 

 

 

 

 

 

 

 

 

 

 

 

-

-

 

 




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

a

t

e

n

:

:

c

u

d

n

n

_

c

o

n

v

o

l

u

t

i

o

n

 

 

 

 

 

 

 

5

.

4

6

5

m

s

 

 

 

 

 

 

 

2

.

9

7

0

m

s

 

 

 

 

 

 

 

 

 

 

 

 

-

-

 

 




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

c

u

d

a

E

v

e

n

t

R

e

c

o

r

d

 

 

 

 

 

1

3

8

.

0

0

0

u

s

 

 

 

 

 

 

 

0

.

0

0

0

u

s

 

 

 

 

 

 

 

 

 

 

 

 

-

-

 

 




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

c

u

d

a

S

t

r

e

a

m

I

s

C

a

p

t

u

r

i

n

g

 

 

 

 

 

 

4

3

.

0

0

0

u

s

 

 

 

 

 

 

 

0

.

0

0

0

u

s

 

 

 

 

 

 

 

 

 

 

 

 

-

-

 

 




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

c

u

d

a

S

t

r

e

a

m

G

e

t

P

r

i

o

r

i

t

y

 

 

 

 

 

 

4

0

.

0

0

0

u

s

 

 

 

 

 

 

 

0

.

0

0

0

u

s

 

 

 

 

 

 

 

 

 

 

 

 

-

-

 

 




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

c

u

d

a

D

e

v

i

c

e

G

e

t

S

t

r

e

a

m

P

r

i

o

r

i

t

y

R

a

n

g

e

 

 

 

 

 

 

1

0

.

0

0

0

u

s

 

 

 

 

 

 

 

0

.

0

0

0

u

s

 

 

 

 

 

 

 

 

 

 

 

 

-

-

 

 




-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

 

 

-

-

-

-

-

-

-

-

-

-

-

-

 

 

-

-

-

-

-

-

-

-

-

-

-

-

 

 

-

-

-

-

-

-

-

-

-

-

-

-

 

 




S

e

l

f

 

C

P

U

 

t

i

m

e

 

t

o

t

a

l

:

 

2

1

.

9

3

8

m

s




S

e

l

f

 

C

U

D

A

 

t

i

m

e

 

t

o

t

a

l

:

 

4

.

1

6

5

m

s




`

`

`













#

#

 

C

o

n

c

l

u

s

i

o

n

 

a

n

d

 

F

u

r

t

h

e

r

 

I

n

f

o

r

m

a

t

i

o

n







P

y

T

o

r

c

h

 

P

r

o

f

i

l

e

r

 

i

s

 

a

 

p

o

w

e

r

f

u

l

 

t

o

o

l

 

f

o

r

 

a

n

a

l

y

z

i

n

g

 

t

h

e

 

p

e

r

f

o

r

m

a

n

c

e

 

o

f

 

y

o

u

r

 

m

o

d

e

l

s

.

 

B

y

 

i

n

t

e

g

r

a

t

i

n

g

 

i

t

 

w

i

t

h

 

A

c

c

e

l

e

r

a

t

e

,

 

y

o

u

 

c

a

n

 

e

a

s

i

l

y

 

p

r

o

f

i

l

e

 

y

o

u

r

 

m

o

d

e

l

s

 

a

n

d

 

g

a

i

n

 

i

n

s

i

g

h

t

s

 

i

n

t

o

 

t

h

e

i

r

 

p

e

r

f

o

r

m

a

n

c

e

,

 

h

e

l

p

i

n

g

 

y

o

u

 

t

o

 

o

p

t

i

m

i

z

e

 

a

n

d

 

i

m

p

r

o

v

e

 

t

h

e

m

.







F

o

r

 

m

o

r

e

 

d

e

t

a

i

l

e

d

 

i

n

f

o

r

m

a

t

i

o

n

,

 

r

e

f

e

r

 

t

o

 

t

h

e

 

[

P

y

T

o

r

c

h

 

P

r

o

f

i

l

e

r

 

d

o

c

u

m

e

n

t

a

t

i

o

n

]

(

h

t

t

p

s

:

/

/

p

y

t

o

r

c

h

.

o

r

g

/

d

o

c

s

/

s

t

a

b

l

e

/

p

r

o

f

i

l

e

r

.

h

t

m

l

)

.







#

 

M

e

g

a

t

r

o

n

-

L

M







[

M

e

g

a

t

r

o

n

-

L

M

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

N

V

I

D

I

A

/

M

e

g

a

t

r

o

n

-

L

M

)

 

e

n

a

b

l

e

s

 

t

r

a

i

n

i

n

g

 

l

a

r

g

e

 

t

r

a

n

s

f

o

r

m

e

r

 

l

a

n

g

u

a

g

e

 

m

o

d

e

l

s

 

a

t

 

s

c

a

l

e

.




I

t

 

p

r

o

v

i

d

e

s

 

e

f

f

i

c

i

e

n

t

 

t

e

n

s

o

r

,

 

p

i

p

e

l

i

n

e

 

a

n

d

 

s

e

q

u

e

n

c

e

 

b

a

s

e

d

 

m

o

d

e

l

 

p

a

r

a

l

l

e

l

i

s

m

 

f

o

r

 

p

r

e

-

t

r

a

i

n

i

n

g

 

t

r

a

n

s

f

o

r

m

e

r

 

b

a

s

e

d




L

a

n

g

u

a

g

e

 

M

o

d

e

l

s

 

s

u

c

h

 

a

s

 

[

G

P

T

]

(

h

t

t

p

s

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

0

0

5

.

1

4

1

6

5

)

 

(

D

e

c

o

d

e

r

 

O

n

l

y

)

,

 

[

B

E

R

T

]

(

h

t

t

p

s

:

/

/

a

r

x

i

v

.

o

r

g

/

p

d

f

/

1

8

1

0

.

0

4

8

0

5

.

p

d

f

)

 

(

E

n

c

o

d

e

r

 

O

n

l

y

)

 

a

n

d

 

[

T

5

]

(

h

t

t

p

s

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

1

9

1

0

.

1

0

6

8

3

)

 

(

E

n

c

o

d

e

r

-

D

e

c

o

d

e

r

)

.




F

o

r

 

d

e

t

a

i

l

e

d

 

i

n

f

o

r

m

a

t

i

o

n

 

a

n

d

 

h

o

w

 

t

h

i

n

g

s

 

w

o

r

k

 

b

e

h

i

n

d

 

t

h

e

 

s

c

e

n

e

 

p

l

e

a

s

e

 

r

e

f

e

r

 

t

h

e

 

g

i

t

h

u

b

 

[

r

e

p

o

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

N

V

I

D

I

A

/

M

e

g

a

t

r

o

n

-

L

M

)

.







#

#

 

W

h

a

t

 

i

s

 

i

n

t

e

g

r

a

t

e

d

?







A

c

c

e

l

e

r

a

t

e

 

i

n

t

e

g

r

a

t

e

s

 

f

o

l

l

o

w

i

n

g

 

f

e

a

t

u

r

e

 

o

f

 

M

e

g

a

t

r

o

n

-

L

M

 

t

o

 

e

n

a

b

l

e

 

l

a

r

g

e

 

s

c

a

l

e

 

p

r

e

-

t

r

a

i

n

i

n

g

/

f

i

n

e

t

u

n

i

n

g




o

f

 

B

E

R

T

 

(

E

n

c

o

d

e

r

)

,

 

G

P

T

 

(

D

e

c

o

d

e

r

)

 

o

r

 

T

5

 

m

o

d

e

l

s

 

(

E

n

c

o

d

e

r

 

a

n

d

 

D

e

c

o

d

e

r

)

:







a

.

 

*

*

T

e

n

s

o

r

 

P

a

r

a

l

l

e

l

i

s

m

 

(

T

P

)

*

*

:

 

R

e

d

u

c

e

s

 

m

e

m

o

r

y

 

f

o

o

t

p

r

i

n

t

 

w

i

t

h

o

u

t

 

m

u

c

h

 

a

d

d

i

t

i

o

n

a

l

 

c

o

m

m

u

n

i

c

a

t

i

o

n

 

o

n

 

i

n

t

r

a

-

n

o

d

e

 

r

a

n

k

s

.




E

a

c

h

 

t

e

n

s

o

r

 

i

s

 

s

p

l

i

t

 

i

n

t

o

 

m

u

l

t

i

p

l

e

 

c

h

u

n

k

s

 

w

i

t

h

 

e

a

c

h

 

s

h

a

r

d

 

r

e

s

i

d

i

n

g

 

o

n

 

s

e

p

a

r

a

t

e

 

G

P

U

.

 

A

t

 

e

a

c

h

 

s

t

e

p

,

 

t

h

e

 

s

a

m

e

 

m

i

n

i

-

b

a

t

c

h

 

o

f

 

d

a

t

a

 

i

s

 

p

r

o

c

e

s

s

e

d




i

n

d

e

p

e

n

d

e

n

t

l

y

 

a

n

d

 

i

n

 

p

a

r

a

l

l

e

l

 

b

y

 

e

a

c

h

 

s

h

a

r

d

 

f

o

l

l

o

w

e

d

 

b

y

 

s

y

n

c

i

n

g

 

a

c

r

o

s

s

 

a

l

l

 

G

P

U

s

 

(

`

a

l

l

-

r

e

d

u

c

e

`

 

o

p

e

r

a

t

i

o

n

)

.

 




I

n

 

a

 

s

i

m

p

l

e

 

t

r

a

n

s

f

o

r

m

e

r

 

l

a

y

e

r

,

 

t

h

i

s

 

l

e

a

d

s

 

t

o

 

2

 

`

a

l

l

-

r

e

d

u

c

e

s

`

 

i

n

 

t

h

e

 

f

o

r

w

a

r

d

 

p

a

t

h

 

a

n

d

 

2

 

i

n

 

t

h

e

 

b

a

c

k

w

a

r

d

 

p

a

t

h

.




F

o

r

 

m

o

r

e

 

d

e

t

a

i

l

s

,

 

p

l

e

a

s

e

 

r

e

f

e

r

 

r

e

s

e

a

r

c

h

 

p

a

p

e

r

 

[

M

e

g

a

t

r

o

n

-

L

M

:

 

T

r

a

i

n

i

n

g

 

M

u

l

t

i

-

B

i

l

l

i

o

n

 

P

a

r

a

m

e

t

e

r

 

L

a

n

g

u

a

g

e

 

M

o

d

e

l

s

 

U

s

i

n

g




M

o

d

e

l

 

P

a

r

a

l

l

e

l

i

s

m

]

(

h

t

t

p

s

:

/

/

a

r

x

i

v

.

o

r

g

/

p

d

f

/

1

9

0

9

.

0

8

0

5

3

.

p

d

f

)

 

a

n

d

 




t

h

i

s

 

s

e

c

t

i

o

n

 

o

f

 

b

l

o

g

p

o

s

t

 

[

T

h

e

 

T

e

c

h

n

o

l

o

g

y

 

B

e

h

i

n

d

 

B

L

O

O

M

 

T

r

a

i

n

i

n

g

]

(

h

t

t

p

s

:

/

/

h

u

g

g

i

n

g

f

a

c

e

.

c

o

/

b

l

o

g

/

b

l

o

o

m

-

m

e

g

a

t

r

o

n

-

d

e

e

p

s

p

e

e

d

#

t

e

n

s

o

r

-

p

a

r

a

l

l

e

l

i

s

m

)

.










b

.

 

*

*

P

i

p

e

l

i

n

e

 

P

a

r

a

l

l

e

l

i

s

m

 

(

P

P

)

*

*

:

 

R

e

d

u

c

e

s

 

m

e

m

o

r

y

 

f

o

o

t

p

r

i

n

t

 

a

n

d

 

e

n

a

b

l

e

s

 

l

a

r

g

e

 

s

c

a

l

e

 

t

r

a

i

n

i

n

g

 

v

i

a

 

i

n

t

e

r

-

n

o

d

e

 

p

a

r

a

l

l

e

l

i

z

a

t

i

o

n

.

 




R

e

d

u

c

e

s

 

t

h

e

 

b

u

b

b

l

e

 

o

f

 

n

a

i

v

e

 

P

P

 

v

i

a

 

P

i

p

e

D

r

e

a

m

-

F

l

u

s

h

 

s

c

h

e

d

u

l

e

/

1

F

1

B

 

s

c

h

e

d

u

l

e

 

a

n

d

 

I

n

t

e

r

l

e

a

v

e

d

 

1

F

1

B

 

s

c

h

e

d

u

l

e

.

 




L

a

y

e

r

s

 

a

r

e

 

d

i

s

t

r

i

b

u

t

e

d

 

u

n

i

f

o

r

m

l

y

 

a

c

r

o

s

s

 

P

P

 

s

t

a

g

e

s

.

 

F

o

r

 

e

x

a

m

p

l

e

,

 

i

f

 

a

 

m

o

d

e

l

 

h

a

s

 

`

2

4

`

 

l

a

y

e

r

s

 

a

n

d

 

w

e

 

h

a

v

e

 

`

4

`

 

G

P

U

s

 

f

o

r




p

i

p

e

l

i

n

e

 

p

a

r

a

l

l

e

l

i

s

m

,

 

e

a

c

h

 

G

P

U

 

w

i

l

l

 

h

a

v

e

 

`

6

`

 

l

a

y

e

r

s

 

(

2

4

/

4

)

.

 

F

o

r

 

m

o

r

e

 

d

e

t

a

i

l

s

 

o

n

 

s

c

h

e

d

u

l

e

s

 

t

o

 

r

e

d

u

c

e

 

t

h

e

 

i

d

l

e

 

t

i

m

e

 

o

f

 

P

P

,




p

l

e

a

s

e

 

r

e

f

e

r

 

t

o

 

t

h

e

 

r

e

s

e

a

r

c

h

 

p

a

p

e

r

 

[

E

f

f

i

c

i

e

n

t

 

L

a

r

g

e

-

S

c

a

l

e

 

L

a

n

g

u

a

g

e

 

M

o

d

e

l

 

T

r

a

i

n

i

n

g

 

o

n

 

G

P

U

 

C

l

u

s

t

e

r

s




U

s

i

n

g

 

M

e

g

a

t

r

o

n

-

L

M

]

(

h

t

t

p

s

:

/

/

a

r

x

i

v

.

o

r

g

/

p

d

f

/

2

1

0

4

.

0

4

4

7

3

.

p

d

f

)

 

a

n

d

 




t

h

i

s

 

s

e

c

t

i

o

n

 

o

f

 

b

l

o

g

p

o

s

t

 

[

T

h

e

 

T

e

c

h

n

o

l

o

g

y

 

B

e

h

i

n

d

 

B

L

O

O

M

 

T

r

a

i

n

i

n

g

]

(

h

t

t

p

s

:

/

/

h

u

g

g

i

n

g

f

a

c

e

.

c

o

/

b

l

o

g

/

b

l

o

o

m

-

m

e

g

a

t

r

o

n

-

d

e

e

p

s

p

e

e

d

#

p

i

p

e

l

i

n

e

-

p

a

r

a

l

l

e

l

i

s

m

)

.







c

.

 

*

*

S

e

q

u

e

n

c

e

 

P

a

r

a

l

l

e

l

i

s

m

 

(

S

P

)

*

*

:

 

R

e

d

u

c

e

s

 

m

e

m

o

r

y

 

f

o

o

t

p

r

i

n

t

 

w

i

t

h

o

u

t

 

a

n

y

 

a

d

d

i

t

i

o

n

a

l

 

c

o

m

m

u

n

i

c

a

t

i

o

n

.

 

O

n

l

y

 

a

p

p

l

i

c

a

b

l

e

 

w

h

e

n

 

u

s

i

n

g

 

T

P

.




I

t

 

r

e

d

u

c

e

s

 

a

c

t

i

v

a

t

i

o

n

 

m

e

m

o

r

y

 

r

e

q

u

i

r

e

d

 

a

s

 

i

t

 

p

r

e

v

e

n

t

s

 

t

h

e

 

s

a

m

e

 

c

o

p

i

e

s

 

t

o

 

b

e

 

o

n

 

t

h

e

 

t

e

n

s

o

r

 

p

a

r

a

l

l

e

l

 

r

a

n

k

s

 




p

o

s

t

 

`

a

l

l

-

r

e

d

u

c

e

`

 

b

y

 

r

e

p

l

a

c

i

n

g

 

t

h

e

n

 

w

i

t

h

 

`

r

e

d

u

c

e

-

s

c

a

t

t

e

r

`

 

a

n

d

 

`

n

o

-

o

p

`

 

o

p

e

r

a

t

i

o

n

 

w

o

u

l

d

 

b

e

 

r

e

p

l

a

c

e

d

 

b

y

 

`

a

l

l

-

g

a

t

h

e

r

`

.

 




A

s

 

`

a

l

l

-

r

e

d

u

c

e

 

=

 

r

e

d

u

c

e

-

s

c

a

t

t

e

r

 

+

 

a

l

l

-

g

a

t

h

e

r

`

,

 

t

h

i

s

 

s

a

v

e

s

 

a

 

t

o

n

 

o

f

 

a

c

t

i

v

a

t

i

o

n

 

m

e

m

o

r

y

 

a

t

 

n

o

 

a

d

d

e

d

 

c

o

m

m

u

n

i

c

a

t

i

o

n

 

c

o

s

t

.

 




T

o

 

p

u

t

 

i

t

 

s

i

m

p

l

y

,

 

i

t

 

s

h

a

r

d

s

 

t

h

e

 

o

u

t

p

u

t

s

 

o

f

 

e

a

c

h

 

t

r

a

n

s

f

o

r

m

e

r

 

l

a

y

e

r

 

a

l

o

n

g

 

s

e

q

u

e

n

c

e

 

d

i

m

e

n

s

i

o

n

,

 

e

.

g

.

,

 




i

f

 

t

h

e

 

s

e

q

u

e

n

c

e

 

l

e

n

g

t

h

 

i

s

 

`

1

0

2

4

`

 

a

n

d

 

t

h

e

 

T

P

 

s

i

z

e

 

i

s

 

`

4

`

,

 

e

a

c

h

 

G

P

U

 

w

i

l

l

 

h

a

v

e

 

`

2

5

6

`

 

t

o

k

e

n

s

 

(

1

0

2

4

/

4

)

 

f

o

r

 

e

a

c

h

 

s

a

m

p

l

e

.

 




T

h

i

s

 

i

n

c

r

e

a

s

e

s

 

t

h

e

 

b

a

t

c

h

 

s

i

z

e

 

t

h

a

t

 

c

a

n

 

b

e

 

s

u

p

p

o

r

t

e

d

 

f

o

r

 

t

r

a

i

n

i

n

g

.

 

F

o

r

 

m

o

r

e

 

d

e

t

a

i

l

s

,

 

p

l

e

a

s

e

 

r

e

f

e

r

 

t

o

 

t

h

e

 

r

e

s

e

a

r

c

h

 

p

a

p

e

r




[

R

e

d

u

c

i

n

g

 

A

c

t

i

v

a

t

i

o

n

 

R

e

c

o

m

p

u

t

a

t

i

o

n

 

i

n

 

L

a

r

g

e

 

T

r

a

n

s

f

o

r

m

e

r

 

M

o

d

e

l

s

]

(

h

t

t

p

s

:

/

/

a

r

x

i

v

.

o

r

g

/

p

d

f

/

2

2

0

5

.

0

5

1

9

8

.

p

d

f

)

.

 







d

.

 

*

*

D

a

t

a

 

P

a

r

a

l

l

e

l

i

s

m

 

(

D

P

)

*

*

 

v

i

a

 

D

i

s

t

r

i

b

u

t

e

d

 

O

p

t

i

m

i

z

e

r

:

 

R

e

d

u

c

e

s

 

t

h

e

 

m

e

m

o

r

y

 

f

o

o

t

p

r

i

n

t

 

b

y

 

s

h

a

r

d

i

n

g

 

o

p

t

i

m

i

z

e

r

 

s

t

a

t

e

s

 

a

n

d

 

g

r

a

d

i

e

n

t

s

 

a

c

r

o

s

s

 

D

P

 

r

a

n

k

s




(

v

e

r

s

u

s

 

t

h

e

 

t

r

a

d

i

t

i

o

n

a

l

 

m

e

t

h

o

d

 

o

f

 

r

e

p

l

i

c

a

t

i

n

g

 

t

h

e

 

o

p

t

i

m

i

z

e

r

 

s

t

a

t

e

 

a

c

r

o

s

s

 

d

a

t

a

 

p

a

r

a

l

l

e

l

 

r

a

n

k

s

)

.

 




F

o

r

 

e

x

a

m

p

l

e

,

 

w

h

e

n

 

u

s

i

n

g

 

A

d

a

m

 

o

p

t

i

m

i

z

e

r

 

w

i

t

h

 

m

i

x

e

d

-

p

r

e

c

i

s

i

o

n

 

t

r

a

i

n

i

n

g

,

 

e

a

c

h

 

p

a

r

a

m

e

t

e

r

 

a

c

c

o

u

n

t

s

 

f

o

r

 

1

2

 

b

y

t

e

s

 

o

f

 

m

e

m

o

r

y

.




T

h

i

s

 

g

e

t

s

 

d

i

s

t

r

i

b

u

t

e

d

 

e

q

u

a

l

l

y

 

a

c

r

o

s

s

 

t

h

e

 

G

P

U

s

,

 

i

.

e

.

,

 

e

a

c

h

 

p

a

r

a

m

e

t

e

r

 

w

o

u

l

d

 

a

c

c

o

u

n

t

 

f

o

r

 

3

 

b

y

t

e

s

 

(

1

2

/

4

)

 

i

f

 

w

e

 

h

a

v

e

 

4

 

G

P

U

s

.




F

o

r

 

m

o

r

e

 

d

e

t

a

i

l

s

,

 

p

l

e

a

s

e

 

r

e

f

e

r

 

t

h

e

 

r

e

s

e

a

r

c

h

 

p

a

p

e

r

 

[

Z

e

R

O

:

 

M

e

m

o

r

y

 

O

p

t

i

m

i

z

a

t

i

o

n

s

 

T

o

w

a

r

d

 

T

r

a

i

n

i

n

g

 

T

r

i

l

l

i

o

n




P

a

r

a

m

e

t

e

r

 

M

o

d

e

l

s

]

(

h

t

t

p

s

:

/

/

a

r

x

i

v

.

o

r

g

/

p

d

f

/

1

9

1

0

.

0

2

0

5

4

.

p

d

f

)

 

a

n

d

 

f

o

l

l

o

w

i

n

g

 

s

e

c

t

i

o

n

 

o

f

 

b

l

o

g

 




[

T

h

e

 

T

e

c

h

n

o

l

o

g

y

 

B

e

h

i

n

d

 

B

L

O

O

M

 

T

r

a

i

n

i

n

g

]

(

h

t

t

p

s

:

/

/

h

u

g

g

i

n

g

f

a

c

e

.

c

o

/

b

l

o

g

/

b

l

o

o

m

-

m

e

g

a

t

r

o

n

-

d

e

e

p

s

p

e

e

d

#

z

e

r

o

-

d

a

t

a

-

p

a

r

a

l

l

e

l

i

s

m

)

.







e

.

 

*

*

S

e

l

e

c

t

i

v

e

 

A

c

t

i

v

a

t

i

o

n

 

R

e

c

o

m

p

u

t

a

t

i

o

n

*

*

:

 

R

e

d

u

c

e

s

 

t

h

e

 

m

e

m

o

r

y

 

f

o

o

t

p

r

i

n

t

 

o

f

 

a

c

t

i

v

a

t

i

o

n

s

 

s

i

g

n

i

f

i

c

a

n

t

l

y

 

v

i

a

 

s

m

a

r

t

 

a

c

t

i

v

a

t

i

o

n

 

c

h

e

c

k

p

o

i

n

t

i

n

g

.




I

t

 

d

o

e

s

n

'

t

 

s

t

o

r

e

 

a

c

t

i

v

a

t

i

o

n

s

 

o

c

c

u

p

y

i

n

g

 

l

a

r

g

e

 

m

e

m

o

r

y

 

w

h

i

l

e

 

b

e

i

n

g

 

f

a

s

t

 

t

o

 

r

e

c

o

m

p

u

t

e

 

t

h

e

r

e

b

y

 

a

c

h

i

e

v

i

n

g

 

g

r

e

a

t

 

t

r

a

d

e

o

f

f

 

b

e

t

w

e

e

n

 

m

e

m

o

r

y

 

a

n

d

 

r

e

c

o

m

p

u

t

a

t

i

o

n

.




F

o

r

 

e

x

a

m

p

l

e

,

 

f

o

r

 

G

P

T

-

3

,

 

t

h

i

s

 

l

e

a

d

s

 

t

o

 

7

0

%

 

r

e

d

u

c

t

i

o

n

 

i

n

 

r

e

q

u

i

r

e

d

 

m

e

m

o

r

y

 

f

o

r

 

a

c

t

i

v

a

t

i

o

n

s

 

a

t

 

t

h

e

 

e

x

p

e

n

s

e

 

o

f




o

n

l

y

 

2

.

7

%

 

F

L

O

P

s

 

o

v

e

r

h

e

a

d

 

f

o

r

 

r

e

c

o

m

p

u

t

a

t

i

o

n

 

o

f

 

a

c

t

i

v

a

t

i

o

n

s

.

 

F

o

r

 

m

o

r

e

 

d

e

t

a

i

l

s

,

 

p

l

e

a

s

e

 

r

e

f

e

r

 

t

o

 

t

h

e

 

r

e

s

e

a

r

c

h

 

p

a

p

e

r

 




[

R

e

d

u

c

i

n

g

 

A

c

t

i

v

a

t

i

o

n

 

R

e

c

o

m

p

u

t

a

t

i

o

n

 

i

n

 

L

a

r

g

e

 

T

r

a

n

s

f

o

r

m

e

r

 

M

o

d

e

l

s

]

(

h

t

t

p

s

:

/

/

a

r

x

i

v

.

o

r

g

/

p

d

f

/

2

2

0

5

.

0

5

1

9

8

.

p

d

f

)

.







f

.

 

*

*

F

u

s

e

d

 

K

e

r

n

e

l

s

*

*

:

 

F

u

s

e

d

 

S

o

f

t

m

a

x

,

 

M

i

x

e

d

 

P

r

e

c

i

s

i

o

n

 

F

u

s

e

d

 

L

a

y

e

r

 

N

o

r

m

 

a

n

d

 

 

F

u

s

e

d

 

g

r

a

d

i

e

n

t

 

a

c

c

u

m

u

l

a

t

i

o

n

 

t

o

 

w

e

i

g

h

t

 

g

r

a

d

i

e

n

t

 

c

o

m

p

u

t

a

t

i

o

n

 

o

f

 

l

i

n

e

a

r

 

l

a

y

e

r

.




P

y

T

o

r

c

h

 

J

I

T

 

c

o

m

p

i

l

e

d

 

F

u

s

e

d

 

G

e

L

U

 

a

n

d

 

F

u

s

e

d

 

B

i

a

s

+

D

r

o

p

o

u

t

+

R

e

s

i

d

u

a

l

 

a

d

d

i

t

i

o

n

.







g

.

 

*

*

S

u

p

p

o

r

t

 

f

o

r

 

I

n

d

e

x

e

d

 

d

a

t

a

s

e

t

s

*

*

:

 

E

f

f

i

c

i

e

n

t

 

b

i

n

a

r

y

 

f

o

r

m

a

t

 

o

f

 

d

a

t

a

s

e

t

s

 

f

o

r

 

l

a

r

g

e

 

s

c

a

l

e

 

t

r

a

i

n

i

n

g

.

 

S

u

p

p

o

r

t

 

f

o

r

 

t

h

e

 

`

m

m

a

p

`

,

 

`

c

a

c

h

e

d

`

 

i

n

d

e

x

 

f

i

l

e

 

a

n

d

 

t

h

e

 

`

l

a

z

y

`

 

l

o

a

d

e

r

 

f

o

r

m

a

t

.







h

.

 

*

*

C

h

e

c

k

p

o

i

n

t

 

r

e

s

h

a

p

i

n

g

 

a

n

d

 

i

n

t

e

r

o

p

e

r

a

b

i

l

i

t

y

*

*

:

 

U

t

i

l

i

t

y

 

f

o

r

 

r

e

s

h

a

p

i

n

g

 

M

e

g

a

t

r

o

n

-

L

M

 

c

h

e

c

k

p

o

i

n

t

s

 

o

f

 

v

a

r

i

a

b

l

e

 




t

e

n

s

o

r

 

a

n

d

 

p

i

p

e

l

i

n

e

 

p

a

r

a

l

l

e

l

 

s

i

z

e

s

 

t

o

 

t

h

e

 

b

e

l

o

v

e

d

 

T

r

a

n

s

f

o

r

m

e

r

s

 

s

h

a

r

d

e

d

 

c

h

e

c

k

p

o

i

n

t

s

 

a

s

 

i

t

 

h

a

s

 

g

r

e

a

t

 

s

u

p

p

o

r

t

 

w

i

t

h

 

p

l

e

t

h

o

r

a

 

o

f

 

t

o

o

l

s




s

u

c

h

 

a

s

 

A

c

c

e

l

e

r

a

t

e

 

B

i

g

 

M

o

d

e

l

 

I

n

f

e

r

e

n

c

e

,

 

M

e

g

a

t

r

o

n

-

D

e

e

p

S

p

e

e

d

 

I

n

f

e

r

e

n

c

e

 

e

t

c

.

 




S

u

p

p

o

r

t

 

i

s

 

a

l

s

o

 

a

v

a

i

l

a

b

l

e

 

f

o

r

 

c

o

n

v

e

r

t

i

n

g

 

T

r

a

n

s

f

o

r

m

e

r

s

 

s

h

a

r

d

e

d

 

c

h

e

c

k

p

o

i

n

t

s

 

t

o

 

M

e

g

a

t

r

o

n

-

L

M

 

c

h

e

c

k

p

o

i

n

t

 

o

f

 

v

a

r

i

a

b

l

e

 

t

e

n

s

o

r

 

a

n

d

 

p

i

p

e

l

i

n

e

 

p

a

r

a

l

l

e

l

 

s

i

z

e

s




f

o

r

 

l

a

r

g

e

 

s

c

a

l

e

 

t

r

a

i

n

i

n

g

.

 

 










#

#

 

P

r

e

-

R

e

q

u

i

s

i

t

e

s

 







Y

o

u

 

w

i

l

l

 

n

e

e

d

 

t

o

 

i

n

s

t

a

l

l

 

t

h

e

 

l

a

t

e

s

t

 

p

y

t

o

r

c

h

,

 

c

u

d

a

,

 

n

c

c

l

,

 

a

n

d

 

N

V

I

D

I

A

 

[

A

P

E

X

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

N

V

I

D

I

A

/

a

p

e

x

#

q

u

i

c

k

-

s

t

a

r

t

)

 

r

e

l

e

a

s

e

s

 

a

n

d

 

t

h

e

 

n

l

t

k

 

l

i

b

r

a

r

y

.




S

e

e

 

[

d

o

c

u

m

e

n

t

a

t

i

o

n

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

N

V

I

D

I

A

/

M

e

g

a

t

r

o

n

-

L

M

#

s

e

t

u

p

)

 

f

o

r

 

m

o

r

e

 

d

e

t

a

i

l

s

.

 




A

n

o

t

h

e

r

 

w

a

y

 

t

o

 

s

e

t

u

p

 

t

h

e

 

e

n

v

i

r

o

n

m

e

n

t

 

i

s

 

t

o

 

p

u

l

l

 

a

n

 

N

V

I

D

I

A

 

P

y

T

o

r

c

h

 

C

o

n

t

a

i

n

e

r

 

t

h

a

t

 

c

o

m

e

s

 

w

i

t

h

 

a

l

l

 

t

h

e

 

r

e

q

u

i

r

e

d

 

i

n

s

t

a

l

l

a

t

i

o

n

s

 

f

r

o

m

 

N

G

C

.







B

e

l

o

w

 

i

s

 

a

 

s

t

e

p

-

b

y

-

s

t

e

p

 

m

e

t

h

o

d

 

t

o

 

s

e

t

 

u

p

 

t

h

e

 

c

o

n

d

a

 

e

n

v

i

r

o

n

m

e

n

t

:







1

.

 

C

r

e

a

t

e

 

a

 

v

i

r

t

u

a

l

 

e

n

v

i

r

o

n

m

e

n

t




`

`

`




c

o

n

d

a

 

c

r

e

a

t

e

 

-

-

n

a

m

e

 

m

l




`

`

`







2

.

 

A

s

s

u

m

i

n

g

 

t

h

a

t

 

t

h

e

 

m

a

c

h

i

n

e

 

h

a

s

 

C

U

D

A

 

1

1

.

3

 

i

n

s

t

a

l

l

e

d

,

 

i

n

s

t

a

l

l

i

n

g

 

t

h

e

 

c

o

r

r

e

s

p

o

n

d

i

n

g

 

P

y

T

o

r

c

h

 

G

P

U

 

V

e

r

s

i

o

n




`

`

`




c

o

n

d

a

 

i

n

s

t

a

l

l

 

p

y

t

o

r

c

h

 

t

o

r

c

h

v

i

s

i

o

n

 

t

o

r

c

h

a

u

d

i

o

 

c

u

d

a

t

o

o

l

k

i

t

=

1

1

.

3

 

-

c

 

p

y

t

o

r

c

h




`

`

`







3

.

 

I

n

s

t

a

l

l

 

N

v

i

d

i

a

 

A

P

E

X




`

`

`




g

i

t

 

c

l

o

n

e

 

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

N

V

I

D

I

A

/

a

p

e

x




c

d

 

a

p

e

x




p

i

p

 

i

n

s

t

a

l

l

 

-

v

 

-

-

d

i

s

a

b

l

e

-

p

i

p

-

v

e

r

s

i

o

n

-

c

h

e

c

k

 

-

-

n

o

-

c

a

c

h

e

-

d

i

r

 

-

-

g

l

o

b

a

l

-

o

p

t

i

o

n

=

"

-

-

c

p

p

_

e

x

t

"

 

-

-

g

l

o

b

a

l

-

o

p

t

i

o

n

=

"

-

-

c

u

d

a

_

e

x

t

"

 

.

/




c

d

 

.

.




`

`

`







4

.

 

I

n

s

t

a

l

l

i

n

g

 

M

e

g

a

t

r

o

n

-

L

M







`

`

`




g

i

t

 

c

l

o

n

e

 

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

N

V

I

D

I

A

/

M

e

g

a

t

r

o

n

-

L

M

.

g

i

t




c

d

 

M

e

g

a

t

r

o

n

-

L

M




g

i

t

 

c

h

e

c

k

o

u

t

 

c

o

r

e

_

r

0

.

5

.

0




p

i

p

 

i

n

s

t

a

l

l

 

-

-

n

o

-

u

s

e

-

p

e

p

5

1

7

 

-

e

 

.




`

`

`







#

#

 

A

c

c

e

l

e

r

a

t

e

 

M

e

g

a

t

r

o

n

-

L

M

 

P

l

u

g

i

n







I

m

p

o

r

t

a

n

t

 

f

e

a

t

u

r

e

s

 

a

r

e

 

d

i

r

e

c

t

l

y

 

s

u

p

p

o

r

t

e

d

 

v

i

a

 

t

h

e

 

`

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

`

 

c

o

m

m

a

n

d

.

 




A

n

 

e

x

a

m

p

l

e

 

o

f

 

t

h

e

 

c

o

r

r

e

s

p

o

n

d

i

n

g

 

q

u

e

s

t

i

o

n

s

 

f

o

r

 

u

s

i

n

g

 

M

e

g

a

t

r

o

n

-

L

M

 

f

e

a

t

u

r

e

s

 

i

s

 

s

h

o

w

n

 

b

e

l

o

w

:







`

`

`

b

a

s

h




:

~

$

 

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

 

-

-

c

o

n

f

i

g

_

f

i

l

e

 

"

m

e

g

a

t

r

o

n

_

g

p

t

_

c

o

n

f

i

g

.

y

a

m

l

"




I

n

 

w

h

i

c

h

 

c

o

m

p

u

t

e

 

e

n

v

i

r

o

n

m

e

n

t

 

a

r

e

 

y

o

u

 

r

u

n

n

i

n

g

?

 

(

[

0

]

 

T

h

i

s

 

m

a

c

h

i

n

e

,

 

[

1

]

 

A

W

S

 

(

A

m

a

z

o

n

 

S

a

g

e

M

a

k

e

r

)

)

:

 

0




W

h

i

c

h

 

t

y

p

e

 

o

f

 

m

a

c

h

i

n

e

 

a

r

e

 

y

o

u

 

u

s

i

n

g

?

 

(

[

0

]

 

N

o

 

d

i

s

t

r

i

b

u

t

e

d

 

t

r

a

i

n

i

n

g

,

 

[

1

]

 

m

u

l

t

i

-

C

P

U

,

 

[

2

]

 

m

u

l

t

i

-

G

P

U

,

 

[

3

]

 

T

P

U

)

:

 

2




H

o

w

 

m

a

n

y

 

d

i

f

f

e

r

e

n

t

 

m

a

c

h

i

n

e

s

 

w

i

l

l

 

y

o

u

 

u

s

e

 

(

u

s

e

 

m

o

r

e

 

t

h

a

n

 

1

 

f

o

r

 

m

u

l

t

i

-

n

o

d

e

 

t

r

a

i

n

i

n

g

)

?

 

[

1

]

:

 




D

o

 

y

o

u

 

w

a

n

t

 

t

o

 

u

s

e

 

D

e

e

p

S

p

e

e

d

?

 

[

y

e

s

/

N

O

]

:

 




D

o

 

y

o

u

 

w

a

n

t

 

t

o

 

u

s

e

 

F

u

l

l

y

S

h

a

r

d

e

d

D

a

t

a

P

a

r

a

l

l

e

l

?

 

[

y

e

s

/

N

O

]

:

 




D

o

 

y

o

u

 

w

a

n

t

 

t

o

 

u

s

e

 

M

e

g

a

t

r

o

n

-

L

M

 

?

 

[

y

e

s

/

N

O

]

:

 

y

e

s




W

h

a

t

 

i

s

 

t

h

e

 

T

e

n

s

o

r

 

P

a

r

a

l

l

e

l

i

s

m

 

d

e

g

r

e

e

/

s

i

z

e

?

 

[

1

]

:

2




D

o

 

y

o

u

 

w

a

n

t

 

t

o

 

e

n

a

b

l

e

 

S

e

q

u

e

n

c

e

 

P

a

r

a

l

l

e

l

i

s

m

?

 

[

Y

E

S

/

n

o

]

:

 




W

h

a

t

 

i

s

 

t

h

e

 

P

i

p

e

l

i

n

e

 

P

a

r

a

l

l

e

l

i

s

m

 

d

e

g

r

e

e

/

s

i

z

e

?

 

[

1

]

:

2




W

h

a

t

 

i

s

 

t

h

e

 

n

u

m

b

e

r

 

o

f

 

m

i

c

r

o

-

b

a

t

c

h

e

s

?

 

[

1

]

:

2




D

o

 

y

o

u

 

w

a

n

t

 

t

o

 

e

n

a

b

l

e

 

s

e

l

e

c

t

i

v

e

 

a

c

t

i

v

a

t

i

o

n

 

r

e

c

o

m

p

u

t

a

t

i

o

n

?

 

[

Y

E

S

/

n

o

]

:

 




D

o

 

y

o

u

 

w

a

n

t

 

t

o

 

u

s

e

 

d

i

s

t

r

i

b

u

t

e

d

 

o

p

t

i

m

i

z

e

r

 

w

h

i

c

h

 

s

h

a

r

d

s

 

o

p

t

i

m

i

z

e

r

 

s

t

a

t

e

 

a

n

d

 

g

r

a

d

i

e

n

t

s

 

a

c

r

o

s

s

 

d

a

t

a

 

p

a

r

a

l

l

e

l

 

r

a

n

k

s

?

 

[

Y

E

S

/

n

o

]

:

 




W

h

a

t

 

i

s

 

t

h

e

 

g

r

a

d

i

e

n

t

 

c

l

i

p

p

i

n

g

 

v

a

l

u

e

 

b

a

s

e

d

 

o

n

 

g

l

o

b

a

l

 

L

2

 

N

o

r

m

 

(

0

 

t

o

 

d

i

s

a

b

l

e

)

?

 

[

1

.

0

]

:

 




H

o

w

 

m

a

n

y

 

G

P

U

(

s

)

 

s

h

o

u

l

d

 

b

e

 

u

s

e

d

 

f

o

r

 

d

i

s

t

r

i

b

u

t

e

d

 

t

r

a

i

n

i

n

g

?

 

[

1

]

:

4




D

o

 

y

o

u

 

w

i

s

h

 

t

o

 

u

s

e

 

F

P

1

6

 

o

r

 

B

F

1

6

 

(

m

i

x

e

d

 

p

r

e

c

i

s

i

o

n

)

?

 

[

N

O

/

f

p

1

6

/

b

f

1

6

]

:

 

b

f

1

6




`

`

`







T

h

e

 

r

e

s

u

l

t

i

n

g

 

c

o

n

f

i

g

 

i

s

 

s

h

o

w

n

 

b

e

l

o

w

:







`

`

`




~

$

 

c

a

t

 

m

e

g

a

t

r

o

n

_

g

p

t

_

c

o

n

f

i

g

.

y

a

m

l

 




c

o

m

p

u

t

e

_

e

n

v

i

r

o

n

m

e

n

t

:

 

L

O

C

A

L

_

M

A

C

H

I

N

E




d

e

e

p

s

p

e

e

d

_

c

o

n

f

i

g

:

 

{

}




d

i

s

t

r

i

b

u

t

e

d

_

t

y

p

e

:

 

M

E

G

A

T

R

O

N

_

L

M




d

o

w

n

c

a

s

t

_

b

f

1

6

:

 

'

n

o

'




f

s

d

p

_

c

o

n

f

i

g

:

 

{

}




m

a

c

h

i

n

e

_

r

a

n

k

:

 

0




m

a

i

n

_

p

r

o

c

e

s

s

_

i

p

:

 

n

u

l

l




m

a

i

n

_

p

r

o

c

e

s

s

_

p

o

r

t

:

 

n

u

l

l




m

a

i

n

_

t

r

a

i

n

i

n

g

_

f

u

n

c

t

i

o

n

:

 

m

a

i

n




m

e

g

a

t

r

o

n

_

l

m

_

c

o

n

f

i

g

:




 

 

m

e

g

a

t

r

o

n

_

l

m

_

g

r

a

d

i

e

n

t

_

c

l

i

p

p

i

n

g

:

 

1

.

0




 

 

m

e

g

a

t

r

o

n

_

l

m

_

n

u

m

_

m

i

c

r

o

_

b

a

t

c

h

e

s

:

 

2




 

 

m

e

g

a

t

r

o

n

_

l

m

_

p

p

_

d

e

g

r

e

e

:

 

2




 

 

m

e

g

a

t

r

o

n

_

l

m

_

r

e

c

o

m

p

u

t

e

_

a

c

t

i

v

a

t

i

o

n

s

:

 

t

r

u

e




 

 

m

e

g

a

t

r

o

n

_

l

m

_

s

e

q

u

e

n

c

e

_

p

a

r

a

l

l

e

l

i

s

m

:

 

t

r

u

e




 

 

m

e

g

a

t

r

o

n

_

l

m

_

t

p

_

d

e

g

r

e

e

:

 

2




 

 

m

e

g

a

t

r

o

n

_

l

m

_

u

s

e

_

d

i

s

t

r

i

b

u

t

e

d

_

o

p

t

i

m

i

z

e

r

:

 

t

r

u

e




m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

:

 

b

f

1

6




n

u

m

_

m

a

c

h

i

n

e

s

:

 

1




n

u

m

_

p

r

o

c

e

s

s

e

s

:

 

4




r

d

z

v

_

b

a

c

k

e

n

d

:

 

s

t

a

t

i

c




s

a

m

e

_

n

e

t

w

o

r

k

:

 

t

r

u

e




u

s

e

_

c

p

u

:

 

f

a

l

s

e




`

`

`







W

e

 

w

i

l

l

 

t

a

k

e

 

t

h

e

 

e

x

a

m

p

l

e

 

o

f

 

G

P

T

 

p

r

e

-

t

r

a

i

n

i

n

g

.

 

T

h

e

 

m

i

n

i

m

a

l

 

c

h

a

n

g

e

s

 

r

e

q

u

i

r

e

d

 

t

o

 

t

h

e

 

o

f

f

i

c

i

a

l

 

`

r

u

n

_

c

l

m

_

n

o

_

t

r

a

i

n

e

r

.

p

y

`

 




t

o

 

u

s

e

 

M

e

g

a

t

r

o

n

-

L

M

 

a

r

e

 

a

s

 

f

o

l

l

o

w

s

:







1

.

 

A

s

 

M

e

g

a

t

r

o

n

-

L

M

 

u

s

e

s

 

i

t

s

 

o

w

n

 

i

m

p

l

e

m

e

n

t

a

t

i

o

n

 

o

f

 

O

p

t

i

m

i

z

e

r

,

 

t

h

e

 

c

o

r

r

e

s

p

o

n

d

i

n

g

 

s

c

h

e

d

u

l

e

r

 

c

o

m

p

a

t

i

b

l

e

 

w

i

t

h

 

i

t

 

n

e

e

d

s

 

t

o

 

b

e

 

u

s

e

d

.




A

s

 

s

u

c

h

,

 

s

u

p

p

o

r

t

 

f

o

r

 

o

n

l

y

 

t

h

e

 

M

e

g

a

t

r

o

n

-

L

M

'

s

 

s

c

h

e

d

u

l

e

r

 

i

s

 

p

r

e

s

e

n

t

.

 

U

s

e

r

 

w

i

l

l

 

n

e

e

d

 

t

o

 

c

r

e

a

t

e

 

`

a

c

c

e

l

e

r

a

t

e

.

u

t

i

l

s

.

M

e

g

a

t

r

o

n

L

M

D

u

m

m

y

S

c

h

e

d

u

l

e

r

`

.




E

x

a

m

p

l

e

 

i

s

 

g

i

v

e

n

 

b

e

l

o

w

:







`

`

`

p

y

t

h

o

n




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

.

u

t

i

l

s

 

i

m

p

o

r

t

 

M

e

g

a

t

r

o

n

L

M

D

u

m

m

y

S

c

h

e

d

u

l

e

r







i

f

 

a

c

c

e

l

e

r

a

t

o

r

.

d

i

s

t

r

i

b

u

t

e

d

_

t

y

p

e

 

=

=

 

D

i

s

t

r

i

b

u

t

e

d

T

y

p

e

.

M

E

G

A

T

R

O

N

_

L

M

:




 

 

 

 

l

r

_

s

c

h

e

d

u

l

e

r

 

=

 

M

e

g

a

t

r

o

n

L

M

D

u

m

m

y

S

c

h

e

d

u

l

e

r

(




 

 

 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

=

o

p

t

i

m

i

z

e

r

,




 

 

 

 

 

 

 

 

t

o

t

a

l

_

n

u

m

_

s

t

e

p

s

=

a

r

g

s

.

m

a

x

_

t

r

a

i

n

_

s

t

e

p

s

,




 

 

 

 

 

 

 

 

w

a

r

m

u

p

_

n

u

m

_

s

t

e

p

s

=

a

r

g

s

.

n

u

m

_

w

a

r

m

u

p

_

s

t

e

p

s

,




 

 

 

 

)




e

l

s

e

:




 

 

 

 

l

r

_

s

c

h

e

d

u

l

e

r

 

=

 

g

e

t

_

s

c

h

e

d

u

l

e

r

(




 

 

 

 

 

 

 

 

n

a

m

e

=

a

r

g

s

.

l

r

_

s

c

h

e

d

u

l

e

r

_

t

y

p

e

,




 

 

 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

=

o

p

t

i

m

i

z

e

r

,




 

 

 

 

 

 

 

 

n

u

m

_

w

a

r

m

u

p

_

s

t

e

p

s

=

a

r

g

s

.

n

u

m

_

w

a

r

m

u

p

_

s

t

e

p

s

 

*

 

a

r

g

s

.

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

,




 

 

 

 

 

 

 

 

n

u

m

_

t

r

a

i

n

i

n

g

_

s

t

e

p

s

=

a

r

g

s

.

m

a

x

_

t

r

a

i

n

_

s

t

e

p

s

 

*

 

a

r

g

s

.

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

,




 

 

 

 

)




`

`

`







2

.

 

G

e

t

t

i

n

g

 

t

h

e

 

d

e

t

a

i

l

s

 

o

f

 

t

h

e

 

t

o

t

a

l

 

b

a

t

c

h

 

s

i

z

e

 

n

o

w

 

n

e

e

d

s

 

t

o

 

b

e

 

c

o

g

n

i

z

a

t

i

o

n

 

o

f

 

t

e

n

s

o

r

 

a

n

d

 

p

i

p

e

l

i

n

e

 

p

a

r

a

l

l

e

l

 

s

i

z

e

s

.




E

x

a

m

p

l

e

 

o

f

 

g

e

t

t

i

n

g

 

t

h

e

 

e

f

f

e

c

t

i

v

e

 

t

o

t

a

l

 

b

a

t

c

h

 

s

i

z

e

 

i

s

 

s

h

o

w

n

 

b

e

l

o

w

:







`

`

`

p

y

t

h

o

n




i

f

 

a

c

c

e

l

e

r

a

t

o

r

.

d

i

s

t

r

i

b

u

t

e

d

_

t

y

p

e

 

=

=

 

D

i

s

t

r

i

b

u

t

e

d

T

y

p

e

.

M

E

G

A

T

R

O

N

_

L

M

:




 

 

 

 

t

o

t

a

l

_

b

a

t

c

h

_

s

i

z

e

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

s

t

a

t

e

.

m

e

g

a

t

r

o

n

_

l

m

_

p

l

u

g

i

n

.

g

l

o

b

a

l

_

b

a

t

c

h

_

s

i

z

e




e

l

s

e

:




 

 

 

 

t

o

t

a

l

_

b

a

t

c

h

_

s

i

z

e

 

=

 

a

r

g

s

.

p

e

r

_

d

e

v

i

c

e

_

t

r

a

i

n

_

b

a

t

c

h

_

s

i

z

e

 

*

 

a

c

c

e

l

e

r

a

t

o

r

.

n

u

m

_

p

r

o

c

e

s

s

e

s

 

*

 

a

r

g

s

.

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s




`

`

`







3

.

 

W

h

e

n

 

u

s

i

n

g

 

M

e

g

a

t

r

o

n

-

L

M

,

 

t

h

e

 

l

o

s

s

e

s

 

a

r

e

 

a

l

r

e

a

d

y

 

a

v

e

r

a

g

e

d

 

a

c

r

o

s

s

 

t

h

e

 

d

a

t

a

 

p

a

r

a

l

l

e

l

 

g

r

o

u

p







`

`

`

p

y

t

h

o

n




i

f

 

a

c

c

e

l

e

r

a

t

o

r

.

d

i

s

t

r

i

b

u

t

e

d

_

t

y

p

e

 

=

=

 

D

i

s

t

r

i

b

u

t

e

d

T

y

p

e

.

M

E

G

A

T

R

O

N

_

L

M

:




 

 

 

 

l

o

s

s

e

s

.

a

p

p

e

n

d

(

l

o

s

s

)




e

l

s

e

:




 

 

 

 

l

o

s

s

e

s

.

a

p

p

e

n

d

(

a

c

c

e

l

e

r

a

t

o

r

.

g

a

t

h

e

r

_

f

o

r

_

m

e

t

r

i

c

s

(

l

o

s

s

.

r

e

p

e

a

t

(

a

r

g

s

.

p

e

r

_

d

e

v

i

c

e

_

e

v

a

l

_

b

a

t

c

h

_

s

i

z

e

)

)

)







i

f

 

a

c

c

e

l

e

r

a

t

o

r

.

d

i

s

t

r

i

b

u

t

e

d

_

t

y

p

e

 

=

=

 

D

i

s

t

r

i

b

u

t

e

d

T

y

p

e

.

M

E

G

A

T

R

O

N

_

L

M

:




 

 

 

 

l

o

s

s

e

s

 

=

 

t

o

r

c

h

.

t

e

n

s

o

r

(

l

o

s

s

e

s

)




e

l

s

e

:




 

 

 

 

l

o

s

s

e

s

 

=

 

t

o

r

c

h

.

c

a

t

(

l

o

s

s

e

s

)




`

`

`







4

.

 

F

o

r

 

M

e

g

a

t

r

o

n

-

L

M

,

 

w

e

 

n

e

e

d

 

t

o

 

s

a

v

e

 

t

h

e

 

m

o

d

e

l

 

u

s

i

n

g

 

`

a

c

c

e

l

e

r

a

t

o

r

.

s

a

v

e

_

s

t

a

t

e

`







`

`

`

p

y

t

h

o

n




i

f

 

a

c

c

e

l

e

r

a

t

o

r

.

d

i

s

t

r

i

b

u

t

e

d

_

t

y

p

e

 

=

=

 

D

i

s

t

r

i

b

u

t

e

d

T

y

p

e

.

M

E

G

A

T

R

O

N

_

L

M

:




 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

s

a

v

e

_

s

t

a

t

e

(

a

r

g

s

.

o

u

t

p

u

t

_

d

i

r

)




e

l

s

e

:




 

 

 

 

u

n

w

r

a

p

p

e

d

_

m

o

d

e

l

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

u

n

w

r

a

p

_

m

o

d

e

l

(

m

o

d

e

l

)




 

 

 

 

u

n

w

r

a

p

p

e

d

_

m

o

d

e

l

.

s

a

v

e

_

p

r

e

t

r

a

i

n

e

d

(




 

 

 

 

 

 

 

 

a

r

g

s

.

o

u

t

p

u

t

_

d

i

r

,

 

i

s

_

m

a

i

n

_

p

r

o

c

e

s

s

=

a

c

c

e

l

e

r

a

t

o

r

.

i

s

_

m

a

i

n

_

p

r

o

c

e

s

s

,

 

s

a

v

e

_

f

u

n

c

t

i

o

n

=

a

c

c

e

l

e

r

a

t

o

r

.

s

a

v

e




 

 

 

 

)




`

`

`







T

h

a

t

'

s

 

i

t

!

 

W

e

 

a

r

e

 

g

o

o

d

 

t

o

 

g

o

 

🚀

.

 

P

l

e

a

s

e

 

f

i

n

d

 

t

h

e

 

e

x

a

m

p

l

e

 

s

c

r

i

p

t

 

i

n

 

t

h

e

 

e

x

a

m

p

l

e

s

 

f

o

l

d

e

r

 

a

t

 

t

h

e

 

p

a

t

h

 

`

a

c

c

e

l

e

r

a

t

e

/

e

x

a

m

p

l

e

s

/

b

y

_

f

e

a

t

u

r

e

/

m

e

g

a

t

r

o

n

_

l

m

_

g

p

t

_

p

r

e

t

r

a

i

n

i

n

g

.

p

y

`

.




L

e

t

'

s

 

r

u

n

 

i

t

 

f

o

r

 

`

g

p

t

-

l

a

r

g

e

`

 

m

o

d

e

l

 

a

r

c

h

i

t

e

c

t

u

r

e

 

u

s

i

n

g

 

4

 

A

1

0

0

-

8

0

G

B

 

G

P

U

s

.







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

-

-

c

o

n

f

i

g

_

f

i

l

e

 

m

e

g

a

t

r

o

n

_

g

p

t

_

c

o

n

f

i

g

.

y

a

m

l

 

\




e

x

a

m

p

l

e

s

/

b

y

_

f

e

a

t

u

r

e

/

m

e

g

a

t

r

o

n

_

l

m

_

g

p

t

_

p

r

e

t

r

a

i

n

i

n

g

.

p

y

 

\




-

-

c

o

n

f

i

g

_

n

a

m

e

 

"

g

p

t

2

-

l

a

r

g

e

"

 

\




-

-

t

o

k

e

n

i

z

e

r

_

n

a

m

e

 

"

g

p

t

2

-

l

a

r

g

e

"

 

\




-

-

d

a

t

a

s

e

t

_

n

a

m

e

 

w

i

k

i

t

e

x

t

 

\




-

-

d

a

t

a

s

e

t

_

c

o

n

f

i

g

_

n

a

m

e

 

w

i

k

i

t

e

x

t

-

2

-

r

a

w

-

v

1

 

\




-

-

b

l

o

c

k

_

s

i

z

e

 

1

0

2

4

 

\




-

-

l

e

a

r

n

i

n

g

_

r

a

t

e

 

5

e

-

5

 

\




-

-

p

e

r

_

d

e

v

i

c

e

_

t

r

a

i

n

_

b

a

t

c

h

_

s

i

z

e

 

2

4

 

\




-

-

p

e

r

_

d

e

v

i

c

e

_

e

v

a

l

_

b

a

t

c

h

_

s

i

z

e

 

2

4

 

\




-

-

n

u

m

_

t

r

a

i

n

_

e

p

o

c

h

s

 

5

 

\




-

-

w

i

t

h

_

t

r

a

c

k

i

n

g

 

\




-

-

r

e

p

o

r

t

_

t

o

 

"

w

a

n

d

b

"

 

\




-

-

o

u

t

p

u

t

_

d

i

r

 

"

a

w

e

s

o

m

e

_

m

o

d

e

l

"




`

`

`







B

e

l

o

w

 

a

r

e

 

s

o

m

e

 

i

m

p

o

r

t

a

n

t

 

e

x

c

e

r

p

t

s

 

f

r

o

m

 

t

h

e

 

o

u

t

p

u

t

 

l

o

g

s

:







`

`

`

b

a

s

h




L

o

a

d

i

n

g

 

e

x

t

e

n

s

i

o

n

 

m

o

d

u

l

e

 

f

u

s

e

d

_

d

e

n

s

e

_

c

u

d

a

.

.

.




>

>

>

 

d

o

n

e

 

w

i

t

h

 

c

o

m

p

i

l

i

n

g

 

a

n

d

 

l

o

a

d

i

n

g

 

f

u

s

e

d

 

k

e

r

n

e

l

s

.

 

C

o

m

p

i

l

a

t

i

o

n

 

t

i

m

e

:

 

3

.

5

6

9

 

s

e

c

o

n

d

s




 

>

 

p

a

d

d

e

d

 

v

o

c

a

b

 

(

s

i

z

e

:

 

5

0

2

5

7

)

 

w

i

t

h

 

1

7

5

 

d

u

m

m

y

 

t

o

k

e

n

s

 

(

n

e

w

 

s

i

z

e

:

 

5

0

4

3

2

)




B

u

i

l

d

i

n

g

 

g

p

t

 

m

o

d

e

l

 

i

n

 

t

h

e

 

p

r

e

-

t

r

a

i

n

i

n

g

 

m

o

d

e

.




T

h

e

 

M

e

g

a

t

r

o

n

 

L

M

 

m

o

d

e

l

 

w

e

i

g

h

t

s

 

a

r

e

 

i

n

i

t

i

a

l

i

z

e

d

 

a

t

 

r

a

n

d

o

m

 

i

n

 

`

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

`

.

 

P

l

e

a

s

e

 

u

s

e

 

`

a

c

c

e

l

e

r

a

t

o

r

.

l

o

a

d

_

c

h

e

c

k

p

o

i

n

t

`

 

t

o

 

l

o

a

d

 

a

 

p

r

e

-

t

r

a

i

n

e

d

 

c

h

e

c

k

p

o

i

n

t

 

m

a

t

c

h

i

n

g

 

t

h

e

 

d

i

s

t

r

i

b

u

t

e

d

 

s

e

t

u

p

.




P

r

e

p

a

r

i

n

g

 

d

a

t

a

l

o

a

d

e

r




P

r

e

p

a

r

i

n

g

 

d

a

t

a

l

o

a

d

e

r




P

r

e

p

a

r

i

n

g

 

m

o

d

e

l




 

>

 

n

u

m

b

e

r

 

o

f

 

p

a

r

a

m

e

t

e

r

s

 

o

n

 

(

t

e

n

s

o

r

,

 

p

i

p

e

l

i

n

e

)

 

m

o

d

e

l

 

p

a

r

a

l

l

e

l

 

r

a

n

k

 

(

1

,

 

0

)

:

 

2

1

0

7

5

3

2

8

0




 

>

 

n

u

m

b

e

r

 

o

f

 

p

a

r

a

m

e

t

e

r

s

 

o

n

 

(

t

e

n

s

o

r

,

 

p

i

p

e

l

i

n

e

)

 

m

o

d

e

l

 

p

a

r

a

l

l

e

l

 

r

a

n

k

 

(

1

,

 

1

)

:

 

2

0

9

4

4

5

1

2

0




 

>

 

n

u

m

b

e

r

 

o

f

 

p

a

r

a

m

e

t

e

r

s

 

o

n

 

(

t

e

n

s

o

r

,

 

p

i

p

e

l

i

n

e

)

 

m

o

d

e

l

 

p

a

r

a

l

l

e

l

 

r

a

n

k

 

(

0

,

 

0

)

:

 

2

1

0

7

5

3

2

8

0




 

>

 

n

u

m

b

e

r

 

o

f

 

p

a

r

a

m

e

t

e

r

s

 

o

n

 

(

t

e

n

s

o

r

,

 

p

i

p

e

l

i

n

e

)

 

m

o

d

e

l

 

p

a

r

a

l

l

e

l

 

r

a

n

k

 

(

0

,

 

1

)

:

 

2

0

9

4

4

5

1

2

0




P

r

e

p

a

r

i

n

g

 

o

p

t

i

m

i

z

e

r




P

r

e

p

a

r

i

n

g

 

s

c

h

e

d

u

l

e

r




>

 

l

e

a

r

n

i

n

g

 

r

a

t

e

 

d

e

c

a

y

 

s

t

y

l

e

:

 

l

i

n

e

a

r




1

0

/

1

0

/

2

0

2

2

 

2

2

:

5

7

:

2

2

 

-

 

I

N

F

O

 

-

 

_

_

m

a

i

n

_

_

 

-

 

*

*

*

*

*

 

R

u

n

n

i

n

g

 

t

r

a

i

n

i

n

g

 

*

*

*

*

*




1

0

/

1

0

/

2

0

2

2

 

2

2

:

5

7

:

2

2

 

-

 

I

N

F

O

 

-

 

_

_

m

a

i

n

_

_

 

-

 

 

 

N

u

m

 

e

x

a

m

p

l

e

s

 

=

 

2

3

1

8




1

0

/

1

0

/

2

0

2

2

 

2

2

:

5

7

:

2

2

 

-

 

I

N

F

O

 

-

 

_

_

m

a

i

n

_

_

 

-

 

 

 

N

u

m

 

E

p

o

c

h

s

 

=

 

5




1

0

/

1

0

/

2

0

2

2

 

2

2

:

5

7

:

2

2

 

-

 

I

N

F

O

 

-

 

_

_

m

a

i

n

_

_

 

-

 

 

 

I

n

s

t

a

n

t

a

n

e

o

u

s

 

b

a

t

c

h

 

s

i

z

e

 

p

e

r

 

d

e

v

i

c

e

 

=

 

2

4




1

0

/

1

0

/

2

0

2

2

 

2

2

:

5

7

:

2

2

 

-

 

I

N

F

O

 

-

 

_

_

m

a

i

n

_

_

 

-

 

 

 

T

o

t

a

l

 

t

r

a

i

n

 

b

a

t

c

h

 

s

i

z

e

 

(

w

.

 

p

a

r

a

l

l

e

l

,

 

d

i

s

t

r

i

b

u

t

e

d

 

&

 

a

c

c

u

m

u

l

a

t

i

o

n

)

 

=

 

4

8




1

0

/

1

0

/

2

0

2

2

 

2

2

:

5

7

:

2

2

 

-

 

I

N

F

O

 

-

 

_

_

m

a

i

n

_

_

 

-

 

 

 

G

r

a

d

i

e

n

t

 

A

c

c

u

m

u

l

a

t

i

o

n

 

s

t

e

p

s

 

=

 

1




1

0

/

1

0

/

2

0

2

2

 

2

2

:

5

7

:

2

2

 

-

 

I

N

F

O

 

-

 

_

_

m

a

i

n

_

_

 

-

 

 

 

T

o

t

a

l

 

o

p

t

i

m

i

z

a

t

i

o

n

 

s

t

e

p

s

 

=

 

2

4

5




 

2

0

%

|

█

█

█

█

█

█

█

█

█

█

█

█

▍

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

|

 

4

9

/

2

4

5

 

[

0

1

:

0

4

<

0

4

:

0

9

,

 

 

1

.

2

7

s

/

i

t

]




 

1

0

/

1

0

/

2

0

2

2

 

2

2

:

5

8

:

2

9

 

-

 

I

N

F

O

 

-

 

_

_

m

a

i

n

_

_

 

-

 

e

p

o

c

h

 

0

:

 

p

e

r

p

l

e

x

i

t

y

:

 

1

2

2

2

.

1

5

9

4

2

7

5

2

1

5

9

6

2

 

e

v

a

l

_

l

o

s

s

:

 

7

.

1

0

8

3

7

4

5

9

5

6

4

2

0

9




 

4

0

%

|

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

▊

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

|

 

9

8

/

2

4

5

 

[

0

2

:

1

0

<

0

3

:

0

7

,

 

 

1

.

2

8

s

/

i

t

]




 

1

0

/

1

0

/

2

0

2

2

 

2

2

:

5

9

:

3

5

 

-

 

I

N

F

O

 

-

 

_

_

m

a

i

n

_

_

 

-

 

e

p

o

c

h

 

1

:

 

p

e

r

p

l

e

x

i

t

y

:

 

8

9

4

.

5

2

3

6

5

8

3

7

9

4

5

5

7

 

e

v

a

l

_

l

o

s

s

:

 

6

.

7

9

6

2

9

1

3

5

1

3

1

8

3

5

9




 

6

0

%

|

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

▌

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

|

 

1

4

7

/

2

4

5

 

[

0

3

:

1

6

<

0

2

:

0

5

,

 

 

1

.

2

8

s

/

i

t

]




 

1

0

/

1

0

/

2

0

2

2

 

2

3

:

0

0

:

4

0

 

-

 

I

N

F

O

 

-

 

_

_

m

a

i

n

_

_

 

-

 

e

p

o

c

h

 

2

:

 

p

e

r

p

l

e

x

i

t

y

:

 

7

0

2

.

8

4

5

8

7

8

8

5

0

8

0

4

2

 

e

v

a

l

_

l

o

s

s

:

 

6

.

5

5

5

1

3

7

6

3

4

2

7

7

3

4

4




 

8

0

%

|

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

▊

 

 

 

 

 

 

 

 

 

 

 

 

|

 

1

9

6

/

2

4

5

 

[

0

4

:

2

2

<

0

1

:

0

2

,

 

 

1

.

2

8

s

/

i

t

]




 

1

0

/

1

0

/

2

0

2

2

 

2

3

:

0

1

:

4

6

 

-

 

I

N

F

O

 

-

 

_

_

m

a

i

n

_

_

 

-

 

e

p

o

c

h

 

3

:

 

p

e

r

p

l

e

x

i

t

y

:

 

6

0

0

.

3

2

2

0

0

2

8

6

9

5

2

8

1

 

e

v

a

l

_

l

o

s

s

:

 

6

.

3

9

7

4

6

6

1

8

2

7

0

8

7

4




1

0

0

%

|

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

█

|

 

2

4

5

/

2

4

5

 

[

0

5

:

2

7

<

0

0

:

0

0

,

 

 

1

.

2

8

s

/

i

t

]




`

`

`







T

h

e

r

e

 

a

r

e

 

a

 

l

a

r

g

e

 

n

u

m

b

e

r

 

o

f

 

o

t

h

e

r

 

o

p

t

i

o

n

s

/

f

e

a

t

u

r

e

s

 

t

h

a

t

 

o

n

e

 

c

a

n

 

s

e

t

 

u

s

i

n

g

 

`

a

c

c

e

l

e

r

a

t

e

.

u

t

i

l

s

.

M

e

g

a

t

r

o

n

L

M

P

l

u

g

i

n

`

.







#

#

 

A

d

v

a

n

c

e

d

 

f

e

a

t

u

r

e

s

 

t

o

 

l

e

v

e

r

a

g

e

 

w

r

i

t

i

n

g

 

c

u

s

t

o

m

 

t

r

a

i

n

 

s

t

e

p

 

a

n

d

 

M

e

g

a

t

r

o

n

-

L

M

 

I

n

d

e

x

e

d

 

D

a

t

a

s

e

t

s







F

o

r

 

l

e

v

e

r

a

g

i

n

g

 

m

o

r

e

 

f

e

a

t

u

r

e

s

,

 

p

l

e

a

s

e

 

g

o

 

t

h

r

o

u

g

h

 

b

e

l

o

w

 

d

e

t

a

i

l

s

.







1

.

 

B

e

l

o

w

 

i

s

 

a

n

 

e

x

a

m

p

l

e

 

o

f

 

c

h

a

n

g

e

s

 

r

e

q

u

i

r

e

d

 

t

o

 

c

u

s

t

o

m

i

z

e

 

t

h

e

 

T

r

a

i

n

 

S

t

e

p

 

w

h

i

l

e

 

u

s

i

n

g

 

M

e

g

a

t

r

o

n

-

L

M

.

 




Y

o

u

 

w

i

l

l

 

i

m

p

l

e

m

e

n

t

 

t

h

e

 

`

a

c

c

e

l

e

r

a

t

e

.

u

t

i

l

s

.

A

b

s

t

r

a

c

t

T

r

a

i

n

S

t

e

p

`

 

o

r

 

i

n

h

e

r

i

t

 

f

r

o

m

 

t

h

e

i

r

 

c

o

r

r

e

s

p

o

n

d

i

n

g

 

c

h

i

l

d

r

e

n

 




`

a

c

c

e

l

e

r

a

t

e

.

u

t

i

l

s

.

G

P

T

T

r

a

i

n

S

t

e

p

`

,

 

`

a

c

c

e

l

e

r

a

t

e

.

u

t

i

l

s

.

B

e

r

t

T

r

a

i

n

S

t

e

p

`

 

o

r

 

`

a

c

c

e

l

e

r

a

t

e

.

u

t

i

l

s

.

T

5

T

r

a

i

n

S

t

e

p

`

.







`

`

`

p

y

t

h

o

n




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

.

u

t

i

l

s

 

i

m

p

o

r

t

 

M

e

g

a

t

r

o

n

L

M

D

u

m

m

y

S

c

h

e

d

u

l

e

r

,

 

G

P

T

T

r

a

i

n

S

t

e

p

,

 

a

v

g

_

l

o

s

s

e

s

_

a

c

r

o

s

s

_

d

a

t

a

_

p

a

r

a

l

l

e

l

_

g

r

o

u

p










#

 

C

u

s

t

o

m

 

l

o

s

s

 

f

u

n

c

t

i

o

n

 

f

o

r

 

t

h

e

 

M

e

g

a

t

r

o

n

 

m

o

d

e

l




c

l

a

s

s

 

G

P

T

T

r

a

i

n

S

t

e

p

W

i

t

h

C

u

s

t

o

m

L

o

s

s

(

G

P

T

T

r

a

i

n

S

t

e

p

)

:




 

 

 

 

d

e

f

 

_

_

i

n

i

t

_

_

(

s

e

l

f

,

 

m

e

g

a

t

r

o

n

_

a

r

g

s

,

 

*

*

k

w

a

r

g

s

)

:




 

 

 

 

 

 

 

 

s

u

p

e

r

(

)

.

_

_

i

n

i

t

_

_

(

m

e

g

a

t

r

o

n

_

a

r

g

s

)




 

 

 

 

 

 

 

 

s

e

l

f

.

k

w

a

r

g

s

 

=

 

k

w

a

r

g

s







 

 

 

 

d

e

f

 

g

e

t

_

l

o

s

s

_

f

u

n

c

(

s

e

l

f

)

:




 

 

 

 

 

 

 

 

d

e

f

 

l

o

s

s

_

f

u

n

c

(

i

n

p

u

t

s

,

 

l

o

s

s

_

m

a

s

k

,

 

o

u

t

p

u

t

_

t

e

n

s

o

r

)

:




 

 

 

 

 

 

 

 

 

 

 

 

b

a

t

c

h

_

s

i

z

e

,

 

s

e

q

_

l

e

n

g

t

h

 

=

 

o

u

t

p

u

t

_

t

e

n

s

o

r

.

s

h

a

p

e




 

 

 

 

 

 

 

 

 

 

 

 

l

o

s

s

e

s

 

=

 

o

u

t

p

u

t

_

t

e

n

s

o

r

.

f

l

o

a

t

(

)




 

 

 

 

 

 

 

 

 

 

 

 

l

o

s

s

_

m

a

s

k

 

=

 

l

o

s

s

_

m

a

s

k

.

v

i

e

w

(

-

1

)

.

f

l

o

a

t

(

)




 

 

 

 

 

 

 

 

 

 

 

 

l

o

s

s

 

=

 

l

o

s

s

e

s

.

v

i

e

w

(

-

1

)

 

*

 

l

o

s

s

_

m

a

s

k







 

 

 

 

 

 

 

 

 

 

 

 

#

 

R

e

s

i

z

e

 

a

n

d

 

a

v

e

r

a

g

e

 

l

o

s

s

 

p

e

r

 

s

a

m

p

l

e




 

 

 

 

 

 

 

 

 

 

 

 

l

o

s

s

_

p

e

r

_

s

a

m

p

l

e

 

=

 

l

o

s

s

.

v

i

e

w

(

b

a

t

c

h

_

s

i

z

e

,

 

s

e

q

_

l

e

n

g

t

h

)

.

s

u

m

(

a

x

i

s

=

1

)




 

 

 

 

 

 

 

 

 

 

 

 

l

o

s

s

_

m

a

s

k

_

p

e

r

_

s

a

m

p

l

e

 

=

 

l

o

s

s

_

m

a

s

k

.

v

i

e

w

(

b

a

t

c

h

_

s

i

z

e

,

 

s

e

q

_

l

e

n

g

t

h

)

.

s

u

m

(

a

x

i

s

=

1

)




 

 

 

 

 

 

 

 

 

 

 

 

l

o

s

s

_

p

e

r

_

s

a

m

p

l

e

 

=

 

l

o

s

s

_

p

e

r

_

s

a

m

p

l

e

 

/

 

l

o

s

s

_

m

a

s

k

_

p

e

r

_

s

a

m

p

l

e







 

 

 

 

 

 

 

 

 

 

 

 

#

 

C

a

l

c

u

l

a

t

e

 

a

n

d

 

s

c

a

l

e

 

w

e

i

g

h

t

i

n

g




 

 

 

 

 

 

 

 

 

 

 

 

w

e

i

g

h

t

s

 

=

 

t

o

r

c

h

.

s

t

a

c

k

(

[

(

i

n

p

u

t

s

 

=

=

 

k

t

)

.

f

l

o

a

t

(

)

 

f

o

r

 

k

t

 

i

n

 

s

e

l

f

.

k

w

a

r

g

s

[

"

k

e

y

t

o

k

e

n

_

i

d

s

"

]

]

)

.

s

u

m

(

a

x

i

s

=

[

0

,

 

2

]

)




 

 

 

 

 

 

 

 

 

 

 

 

w

e

i

g

h

t

s

 

=

 

1

.

0

 

+

 

s

e

l

f

.

k

w

a

r

g

s

[

"

a

l

p

h

a

"

]

 

*

 

w

e

i

g

h

t

s




 

 

 

 

 

 

 

 

 

 

 

 

#

 

C

a

l

c

u

l

a

t

e

 

w

e

i

g

h

t

e

d

 

a

v

e

r

a

g

e




 

 

 

 

 

 

 

 

 

 

 

 

w

e

i

g

h

t

e

d

_

l

o

s

s

 

=

 

(

l

o

s

s

_

p

e

r

_

s

a

m

p

l

e

 

*

 

w

e

i

g

h

t

s

)

.

m

e

a

n

(

)







 

 

 

 

 

 

 

 

 

 

 

 

#

 

R

e

d

u

c

e

 

l

o

s

s

 

a

c

r

o

s

s

 

d

a

t

a

 

p

a

r

a

l

l

e

l

 

g

r

o

u

p

s




 

 

 

 

 

 

 

 

 

 

 

 

a

v

e

r

a

g

e

d

_

l

o

s

s

 

=

 

a

v

g

_

l

o

s

s

e

s

_

a

c

r

o

s

s

_

d

a

t

a

_

p

a

r

a

l

l

e

l

_

g

r

o

u

p

(

[

w

e

i

g

h

t

e

d

_

l

o

s

s

]

)







 

 

 

 

 

 

 

 

 

 

 

 

r

e

t

u

r

n

 

w

e

i

g

h

t

e

d

_

l

o

s

s

,

 

{

"

l

m

 

l

o

s

s

"

:

 

a

v

e

r

a

g

e

d

_

l

o

s

s

[

0

]

}







 

 

 

 

 

 

 

 

r

e

t

u

r

n

 

l

o

s

s

_

f

u

n

c







 

 

 

 

d

e

f

 

g

e

t

_

f

o

r

w

a

r

d

_

s

t

e

p

_

f

u

n

c

(

s

e

l

f

)

:




 

 

 

 

 

 

 

 

d

e

f

 

f

o

r

w

a

r

d

_

s

t

e

p

(

d

a

t

a

_

i

t

e

r

a

t

o

r

,

 

m

o

d

e

l

)

:




 

 

 

 

 

 

 

 

 

 

 

 

"

"

"

F

o

r

w

a

r

d

 

s

t

e

p

.

"

"

"




 

 

 

 

 

 

 

 

 

 

 

 

#

 

G

e

t

 

t

h

e

 

b

a

t

c

h

.




 

 

 

 

 

 

 

 

 

 

 

 

t

o

k

e

n

s

,

 

l

a

b

e

l

s

,

 

l

o

s

s

_

m

a

s

k

,

 

a

t

t

e

n

t

i

o

n

_

m

a

s

k

,

 

p

o

s

i

t

i

o

n

_

i

d

s

 

=

 

s

e

l

f

.

g

e

t

_

b

a

t

c

h

(

d

a

t

a

_

i

t

e

r

a

t

o

r

)




 

 

 

 

 

 

 

 

 

 

 

 

o

u

t

p

u

t

_

t

e

n

s

o

r

 

=

 

m

o

d

e

l

(

t

o

k

e

n

s

,

 

p

o

s

i

t

i

o

n

_

i

d

s

,

 

a

t

t

e

n

t

i

o

n

_

m

a

s

k

,

 

l

a

b

e

l

s

=

l

a

b

e

l

s

)







 

 

 

 

 

 

 

 

 

 

 

 

r

e

t

u

r

n

 

o

u

t

p

u

t

_

t

e

n

s

o

r

,

 

p

a

r

t

i

a

l

(

s

e

l

f

.

l

o

s

s

_

f

u

n

c

,

 

t

o

k

e

n

s

,

 

l

o

s

s

_

m

a

s

k

)







 

 

 

 

 

 

 

 

r

e

t

u

r

n

 

f

o

r

w

a

r

d

_

s

t

e

p










d

e

f

 

m

a

i

n

(

)

:




 

 

 

 

#

 

C

u

s

t

o

m

 

l

o

s

s

 

f

u

n

c

t

i

o

n

 

f

o

r

 

t

h

e

 

M

e

g

a

t

r

o

n

 

m

o

d

e

l




 

 

 

 

k

e

y

t

o

k

e

n

_

i

d

s

 

=

 

[

]




 

 

 

 

k

e

y

w

o

r

d

s

 

=

 

[

"

p

l

t

"

,

 

"

p

d

"

,

 

"

s

k

"

,

 

"

f

i

t

"

,

 

"

p

r

e

d

i

c

t

"

,

 

"

 

p

l

t

"

,

 

"

 

p

d

"

,

 

"

 

s

k

"

,

 

"

 

f

i

t

"

,

 

"

 

p

r

e

d

i

c

t

"

]




 

 

 

 

f

o

r

 

k

e

y

w

o

r

d

 

i

n

 

k

e

y

w

o

r

d

s

:




 

 

 

 

 

 

 

 

i

d

s

 

=

 

t

o

k

e

n

i

z

e

r

(

[

k

e

y

w

o

r

d

]

)

.

i

n

p

u

t

_

i

d

s

[

0

]




 

 

 

 

 

 

 

 

i

f

 

l

e

n

(

i

d

s

)

 

=

=

 

1

:




 

 

 

 

 

 

 

 

 

 

 

 

k

e

y

t

o

k

e

n

_

i

d

s

.

a

p

p

e

n

d

(

i

d

s

[

0

]

)




 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

i

n

t

(

f

"

K

e

y

t

o

k

e

n

 

i

d

s

:

 

{

k

e

y

t

o

k

e

n

_

i

d

s

}

"

)




 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

s

t

a

t

e

.

m

e

g

a

t

r

o

n

_

l

m

_

p

l

u

g

i

n

.

c

u

s

t

o

m

_

t

r

a

i

n

_

s

t

e

p

_

c

l

a

s

s

 

=

 

G

P

T

T

r

a

i

n

S

t

e

p

W

i

t

h

C

u

s

t

o

m

L

o

s

s




 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

s

t

a

t

e

.

m

e

g

a

t

r

o

n

_

l

m

_

p

l

u

g

i

n

.

c

u

s

t

o

m

_

t

r

a

i

n

_

s

t

e

p

_

k

w

a

r

g

s

 

=

 

{




 

 

 

 

 

 

 

 

"

k

e

y

t

o

k

e

n

_

i

d

s

"

:

 

k

e

y

t

o

k

e

n

_

i

d

s

,




 

 

 

 

 

 

 

 

"

a

l

p

h

a

"

:

 

0

.

2

5

,




 

 

 

 

}




`

`

`







2

.

 

F

o

r

 

u

s

i

n

g

 

t

h

e

 

M

e

g

a

t

r

o

n

-

L

M

 

d

a

t

a

s

e

t

s

,

 

a

 

f

e

w

 

m

o

r

e

 

c

h

a

n

g

e

s

 

a

r

e

 

r

e

q

u

i

r

e

d

.

 

D

a

t

a

l

o

a

d

e

r

s

 

f

o

r

 

t

h

e

s

e

 

d

a

t

a

s

e

t

s




a

r

e

 

a

v

a

i

l

a

b

l

e

 

o

n

l

y

 

o

n

 

r

a

n

k

 

0

 

o

f

 

e

a

c

h

 

t

e

n

s

o

r

 

p

a

r

a

l

l

e

l

 

g

r

o

u

p

.

 

A

s

 

s

u

c

h

,

 

t

h

e

r

e

 

a

r

e

 

r

a

n

k

 

w

h

e

r

e

 

d

a

t

a

l

o

a

d

e

r

 

w

o

n

'

t

 

b

e




a

v

a

i

l

a

b

l

e

 

a

n

d

 

t

h

i

s

 

r

e

q

u

i

r

e

s

 

t

w

e

a

k

s

 

t

o

 

t

h

e

 

t

r

a

i

n

i

n

g

 

l

o

o

p

.

 

B

e

i

n

g

 

a

b

l

e

 

t

o

 

d

o

 

a

l

l

 

t

h

i

s

 

s

h

o

w

s

 

h

o

w




f

l

e

x

i

b

l

e

 

a

n

d

 

e

x

t

e

n

s

i

b

l

e

 

A

c

c

e

l

e

r

a

t

e

 

i

s

.

 

T

h

e

 

c

h

a

n

g

e

s

 

r

e

q

u

i

r

e

d

 

a

r

e

 

a

s

 

f

o

l

l

o

w

s

.







a

.

 

F

o

r

 

M

e

g

a

t

r

o

n

-

L

M

 

i

n

d

e

x

e

d

 

d

a

t

a

s

e

t

s

,

 

w

e

 

n

e

e

d

 

t

o

 

u

s

e

 

`

M

e

g

a

t

r

o

n

L

M

D

u

m

m

y

D

a

t

a

L

o

a

d

e

r

`

 




a

n

d

 

p

a

s

s

 

t

h

e

 

r

e

q

u

i

r

e

d

 

d

a

t

a

s

e

t

 

a

r

g

s

 

t

o

 

i

t

 

s

u

c

h

 

a

s

 

`

d

a

t

a

_

p

a

t

h

`

,

 

`

s

e

q

_

l

e

n

g

t

h

`

 

e

t

c

.

 




S

e

e

 

[

h

e

r

e

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

N

V

I

D

I

A

/

M

e

g

a

t

r

o

n

-

L

M

/

b

l

o

b

/

m

a

i

n

/

m

e

g

a

t

r

o

n

/

a

r

g

u

m

e

n

t

s

.

p

y

#

L

8

0

4

)

 

f

o

r

 

t

h

e

 

l

i

s

t

 

o

f

 

a

v

a

i

l

a

b

l

e

 

a

r

g

s

.

 




 

 

 

 




`

`

`

p

y

t

h

o

n




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

.

u

t

i

l

s

 

i

m

p

o

r

t

 

M

e

g

a

t

r

o

n

L

M

D

u

m

m

y

D

a

t

a

L

o

a

d

e

r







m

e

g

a

t

r

o

n

_

d

a

t

a

l

o

a

d

e

r

_

c

o

n

f

i

g

 

=

 

{




 

 

 

 

"

d

a

t

a

_

p

a

t

h

"

:

 

a

r

g

s

.

d

a

t

a

_

p

a

t

h

,




 

 

 

 

"

s

p

l

i

t

s

_

s

t

r

i

n

g

"

:

 

a

r

g

s

.

s

p

l

i

t

s

_

s

t

r

i

n

g

,




 

 

 

 

"

s

e

q

_

l

e

n

g

t

h

"

:

 

a

r

g

s

.

b

l

o

c

k

_

s

i

z

e

,




 

 

 

 

"

m

i

c

r

o

_

b

a

t

c

h

_

s

i

z

e

"

:

 

a

r

g

s

.

p

e

r

_

d

e

v

i

c

e

_

t

r

a

i

n

_

b

a

t

c

h

_

s

i

z

e

,




}




m

e

g

a

t

r

o

n

_

d

a

t

a

l

o

a

d

e

r

 

=

 

M

e

g

a

t

r

o

n

L

M

D

u

m

m

y

D

a

t

a

L

o

a

d

e

r

(

*

*

m

e

g

a

t

r

o

n

_

d

a

t

a

l

o

a

d

e

r

_

c

o

n

f

i

g

)




a

c

c

e

l

e

r

a

t

o

r

.

s

t

a

t

e

.

m

e

g

a

t

r

o

n

_

l

m

_

p

l

u

g

i

n

.

m

e

g

a

t

r

o

n

_

d

a

t

a

s

e

t

_

f

l

a

g

 

=

 

T

r

u

e




`

`

`







b

.

 

`

m

e

g

a

t

r

o

n

_

d

a

t

a

l

o

a

d

e

r

`

 

i

s

 

r

e

p

e

a

t

e

d

 

3

 

t

i

m

e

s

 

t

o

 

g

e

t

 

t

r

a

i

n

i

n

g

,

 

v

a

l

i

d

a

t

i

o

n

 

a

n

d

 

t

e

s

t

 

d

a

t

a

l

o

a

d

e

r

s




a

s

 

p

e

r

 

t

h

e

 

`

a

r

g

s

.

s

p

l

i

t

s

_

s

t

r

i

n

g

`

 

p

r

o

p

o

r

t

i

o

n

s




 

 

 

 




`

`

`

p

y

t

h

o

n




m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

l

r

_

s

c

h

e

d

u

l

e

r

,

 

t

r

a

i

n

_

d

a

t

a

l

o

a

d

e

r

,

 

e

v

a

l

_

d

a

t

a

l

o

a

d

e

r

,

 

_

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(




 

 

 

 

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

l

r

_

s

c

h

e

d

u

l

e

r

,

 

m

e

g

a

t

r

o

n

_

d

a

t

a

l

o

a

d

e

r

,

 

m

e

g

a

t

r

o

n

_

d

a

t

a

l

o

a

d

e

r

,

 

m

e

g

a

t

r

o

n

_

d

a

t

a

l

o

a

d

e

r




)




`

`

`







c

.

 

C

h

a

n

g

e

s

 

t

o

 

t

r

a

i

n

i

n

g

 

a

n

d

 

e

v

a

l

u

a

t

i

o

n

 

l

o

o

p

s

 

a

s

 

d

a

t

a

l

o

a

d

e

r

 

i

s

 

o

n

l

y

 

a

v

a

i

l

a

b

l

e

 

o

n

 

t

e

n

s

o

r

 

p

a

r

a

l

l

e

l

 

r

a

n

k

s

 

0




S

o

,

 

w

e

 

n

e

e

d

 

t

o

 

i

t

e

r

a

t

e

 

o

n

l

y

 

i

f

 

t

h

e

 

d

a

t

a

l

o

a

d

e

r

 

i

s

n

'

t

 

`

N

o

n

e

`

 

e

l

s

e

 

p

r

o

v

i

d

e

 

e

m

p

t

y

 

d

i

c

t




A

s

 

s

u

c

h

,

 

w

e

 

l

o

o

p

 

u

s

i

n

g

 

`

w

h

i

l

e

`

 

l

o

o

p

 

a

n

d

 

b

r

e

a

k

 

w

h

e

n

 

`

c

o

m

p

l

e

t

e

d

_

s

t

e

p

s

`

 

i

s

 

e

q

u

a

l

 

t

o

 

`

a

r

g

s

.

m

a

x

_

t

r

a

i

n

_

s

t

e

p

s

`




T

h

i

s

 

i

s

 

s

i

m

i

l

a

r

 

t

o

 

t

h

e

 

M

e

g

a

t

r

o

n

-

L

M

 

s

e

t

u

p

 

w

h

e

r

e

i

n

 

u

s

e

r

 

h

a

s

 

t

o

 

p

r

o

v

i

d

e

 

`

m

a

x

_

t

r

a

i

n

_

s

t

e

p

s

`

 

w

h

e

n

 

u

s

i

n

g

 

M

e

g

a

t

o

n

-

L

M

 

i

n

d

e

x

e

d

 

d

a

t

a

s

e

t

s

.




T

h

i

s

 

d

i

s

p

l

a

y

s

 

h

o

w

 

f

l

e

x

i

b

l

e

 

a

n

d

 

e

x

t

e

n

s

i

b

l

e

 

A

c

c

e

l

e

r

a

t

e

 

i

s

.







`

`

`

p

y

t

h

o

n




w

h

i

l

e

 

c

o

m

p

l

e

t

e

d

_

s

t

e

p

s

 

<

 

a

r

g

s

.

m

a

x

_

t

r

a

i

n

_

s

t

e

p

s

:




 

 

 

 

m

o

d

e

l

.

t

r

a

i

n

(

)




 

 

 

 

b

a

t

c

h

 

=

 

n

e

x

t

(

t

r

a

i

n

_

d

a

t

a

l

o

a

d

e

r

)

 

i

f

 

t

r

a

i

n

_

d

a

t

a

l

o

a

d

e

r

 

i

s

 

n

o

t

 

N

o

n

e

 

e

l

s

e

 

{

}




 

 

 

 

o

u

t

p

u

t

s

 

=

 

m

o

d

e

l

(

*

*

b

a

t

c

h

)




 

 

 

 

l

o

s

s

 

=

 

o

u

t

p

u

t

s

.

l

o

s

s




 

 

 

 

.

.

.







 

 

 

 

i

f

 

c

o

m

p

l

e

t

e

d

_

s

t

e

p

s

 

%

 

e

v

a

l

_

i

n

t

e

r

v

a

l

 

=

=

 

0

:




 

 

 

 

 

 

 

 

e

v

a

l

_

c

o

m

p

l

e

t

e

d

_

s

t

e

p

s

 

=

 

0




 

 

 

 

 

 

 

 

l

o

s

s

e

s

 

=

 

[

]




 

 

 

 

 

 

 

 

w

h

i

l

e

 

e

v

a

l

_

c

o

m

p

l

e

t

e

d

_

s

t

e

p

s

 

<

 

e

v

a

l

_

i

t

e

r

s

:




 

 

 

 

 

 

 

 

 

 

 

 

m

o

d

e

l

.

e

v

a

l

(

)




 

 

 

 

 

 

 

 

 

 

 

 

w

i

t

h

 

t

o

r

c

h

.

n

o

_

g

r

a

d

(

)

:




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

b

a

t

c

h

 

=

 

n

e

x

t

(

e

v

a

l

_

d

a

t

a

l

o

a

d

e

r

)

 

i

f

 

e

v

a

l

_

d

a

t

a

l

o

a

d

e

r

 

i

s

 

n

o

t

 

N

o

n

e

 

e

l

s

e

 

{

}




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

o

u

t

p

u

t

s

 

=

 

m

o

d

e

l

(

*

*

b

a

t

c

h

)




`

`

`







 

 

 

 




#

#

 

U

t

i

l

i

t

y

 

f

o

r

 

C

h

e

c

k

p

o

i

n

t

 

r

e

s

h

a

p

i

n

g

 

a

n

d

 

i

n

t

e

r

o

p

e

r

a

b

i

l

i

t

y







1

.

 

T

h

e

 

s

c

r

i

p

t

s

 

f

o

r

 

t

h

e

s

e

 

a

r

e

 

p

r

e

s

e

n

t

 

i

n

 

T

r

a

n

s

f

o

r

m

e

r

s

 

l

i

b

r

a

r

y

 

u

n

d

e

r

 

r

e

s

p

e

c

t

i

v

e

 

m

o

d

e

l

s

.

 




C

u

r

r

e

n

t

l

y

,

 

i

t

 

i

s

 

a

v

a

i

l

a

b

l

e

 

f

o

r

 

G

P

T

 

m

o

d

e

l

 

[

c

h

e

c

k

p

o

i

n

t

_

r

e

s

h

a

p

i

n

g

_

a

n

d

_

i

n

t

e

r

o

p

e

r

a

b

i

l

i

t

y

.

p

y

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

t

r

a

n

s

f

o

r

m

e

r

s

/

b

l

o

b

/

m

a

i

n

/

s

r

c

/

t

r

a

n

s

f

o

r

m

e

r

s

/

m

o

d

e

l

s

/

m

e

g

a

t

r

o

n

_

g

p

t

2

/

c

h

e

c

k

p

o

i

n

t

_

r

e

s

h

a

p

i

n

g

_

a

n

d

_

i

n

t

e

r

o

p

e

r

a

b

i

l

i

t

y

.

p

y

)







2

.

 

B

e

l

o

w

 

i

s

 

a

n

 

e

x

a

m

p

l

e

 

o

f

 

c

o

n

v

e

r

s

i

o

n

 

o

f

 

c

h

e

c

k

p

o

i

n

t

 

f

r

o

m

 

M

e

g

a

t

r

o

n

-

L

M

 

t

o

 

u

n

i

v

e

r

s

a

l

 

T

r

a

n

s

f

o

r

m

e

r

s

 

s

h

a

r

d

e

d

 

c

h

e

c

k

p

o

i

n

t

.




`

`

`

b

a

s

h




p

y

t

h

o

n

 

c

h

e

c

k

p

o

i

n

t

_

r

e

s

h

a

p

i

n

g

_

a

n

d

_

i

n

t

e

r

o

p

e

r

a

b

i

l

i

t

y

.

p

y

 

\




-

-

c

o

n

v

e

r

t

_

c

h

e

c

k

p

o

i

n

t

_

f

r

o

m

_

m

e

g

a

t

r

o

n

_

t

o

_

t

r

a

n

s

f

o

r

m

e

r

s

 

\




-

-

l

o

a

d

_

p

a

t

h

 

"

g

p

t

/

i

t

e

r

_

0

0

0

5

0

0

0

"

 

\




-

-

s

a

v

e

_

p

a

t

h

 

"

g

p

t

/

t

r

f

s

_

c

h

e

c

k

p

o

i

n

t

"

 

\




-

-

m

a

x

_

s

h

a

r

d

_

s

i

z

e

 

"

2

0

0

M

B

"

 

\




-

-

t

o

k

e

n

i

z

e

r

_

n

a

m

e

 

"

g

p

t

2

"

 

\




-

-

p

r

i

n

t

-

c

h

e

c

k

p

o

i

n

t

-

s

t

r

u

c

t

u

r

e




`

`

`







3

.

 

C

o

n

v

e

r

s

i

o

n

 

o

f

 

c

h

e

c

k

p

o

i

n

t

 

f

r

o

m

 

t

r

a

n

s

f

o

r

m

e

r

s

 

t

o

 

m

e

g

a

t

r

o

n

 

w

i

t

h

 

`

t

p

_

s

i

z

e

=

2

`

,

 

`

p

p

_

s

i

z

e

=

2

`

 

a

n

d

 

`

d

p

_

s

i

z

e

=

2

`

.




`

`

`

b

a

s

h




p

y

t

h

o

n

 

c

h

e

c

k

p

o

i

n

t

_

u

t

i

l

s

/

m

e

g

a

t

g

r

o

n

_

g

p

t

2

/

c

h

e

c

k

p

o

i

n

t

_

r

e

s

h

a

p

i

n

g

_

a

n

d

_

i

n

t

e

r

o

p

e

r

a

b

i

l

i

t

y

.

p

y

 

\




-

-

l

o

a

d

_

p

a

t

h

 

"

g

p

t

/

t

r

f

s

_

c

h

e

c

k

p

o

i

n

t

"

 

\




-

-

s

a

v

e

_

p

a

t

h

 

"

g

p

t

/

m

e

g

a

t

r

o

n

_

l

m

_

c

h

e

c

k

p

o

i

n

t

"

 

\




-

-

t

a

r

g

e

t

_

t

e

n

s

o

r

_

m

o

d

e

l

_

p

a

r

a

l

l

e

l

_

s

i

z

e

 

2

 

\




-

-

t

a

r

g

e

t

_

p

i

p

e

l

i

n

e

_

m

o

d

e

l

_

p

a

r

a

l

l

e

l

_

s

i

z

e

 

2

 

\




-

-

t

a

r

g

e

t

_

d

a

t

a

_

p

a

r

a

l

l

e

l

_

s

i

z

e

 

2

 

\




-

-

t

a

r

g

e

t

_

p

a

r

a

m

s

_

d

t

y

p

e

 

"

b

f

1

6

"

 

\




-

-

m

a

k

e

_

v

o

c

a

b

_

s

i

z

e

_

d

i

v

i

s

i

b

l

e

_

b

y

 

1

2

8

 

\




-

-

u

s

e

_

d

i

s

t

r

i

b

u

t

e

d

_

o

p

t

i

m

i

z

e

r

 

\




-

-

p

r

i

n

t

-

c

h

e

c

k

p

o

i

n

t

-

s

t

r

u

c

t

u

r

e




`

`

`







#

#

 

M

e

g

a

t

r

o

n

-

L

M

 

G

P

T

 

m

o

d

e

l

s

 

s

u

p

p

o

r

t

 

r

e

t

u

r

n

i

n

g

 

l

o

g

i

t

s

 

a

n

d

 

`

m

e

g

a

t

r

o

n

_

g

e

n

e

r

a

t

e

`

 

f

u

n

c

t

i

o

n

 

f

o

r

 

t

e

x

t

 

g

e

n

e

r

a

t

i

o

n







1

.

 

R

e

t

u

r

n

i

n

g

 

l

o

g

i

t

s

 

r

e

q

u

i

r

e

 

s

e

t

t

i

n

g

 

`

r

e

q

u

i

r

e

_

l

o

g

i

t

s

=

T

r

u

e

`

 

i

n

 

M

e

g

a

t

r

o

n

L

M

P

l

u

g

i

n

 

a

s

 

s

h

o

w

n

 

b

e

l

o

w

.

 




T

h

e

s

e

 

w

o

u

l

d

 

b

e

 

a

v

a

i

l

a

b

l

e

 

o

n

 

t

h

e

 

i

n

 

t

h

e

 

l

a

s

t

 

s

t

a

g

e

 

o

f

 

p

i

p

e

l

i

n

e

.




`

`

`

p

y

t

h

o

n




m

e

g

a

t

r

o

n

_

l

m

_

p

l

u

g

i

n

 

=

 

M

e

g

a

t

r

o

n

L

M

P

l

u

g

i

n

(

r

e

t

u

r

n

_

l

o

g

i

t

s

=

T

r

u

e

)




`

`

`







2

.

 

`

m

e

g

a

t

r

o

n

_

g

e

n

e

r

a

t

e

`

 

m

e

t

h

o

d

 

f

o

r

 

M

e

g

a

t

r

o

n

-

L

M

 

G

P

T

 

m

o

d

e

l

:

 

T

h

i

s

 

w

i

l

l

 

u

s

e

 

T

e

n

s

o

r

 

a

n

d

 

P

i

p

e

l

i

n

e

 

P

a

r

a

l

l

e

l

i

s

m

 

t

o

 

c

o

m

p

l

e

t

e

 




g

e

n

e

r

a

t

i

o

n

s

 

f

o

r

 

a

 

b

a

t

c

h

 

o

f

 

i

n

p

u

t

s

 

w

h

e

n

 

u

s

i

n

g

 

g

r

e

e

d

y

 

w

i

t

h

/

w

i

t

h

o

u

t

 

t

o

p

_

k

/

t

o

p

_

p

 

s

a

m

p

l

i

n

g

 

a

n

d

 

f

o

r

 

i

n

d

i

v

i

d

u

a

l

 

p

r

o

m

p

t

 

i

n

p

u

t

s

 

w

h

e

n

 

u

s

i

n

g

 

b

e

a

m

 

s

e

a

r

c

h

 

d

e

c

o

d

i

n

g

.

 




O

n

l

y

 

a

 

s

u

b

s

e

t

 

o

f

 

f

e

a

t

u

r

e

s

 

o

f

 

t

r

a

n

s

f

o

r

m

e

r

s

 

g

e

n

e

r

a

t

e

 

i

s

 

s

u

p

p

o

r

t

e

d

.

 

T

h

i

s

 

w

i

l

l

 

h

e

l

p

 

i

n

 

u

s

i

n

g

 

l

a

r

g

e

 

m

o

d

e

l

s

 

v

i

a

 

t

e

n

s

o

r

 

a

n

d

 

p

i

p

e

l

i

n

e

 

p

a

r

a

l

l

e

l

i

s

m

 




f

o

r

 

g

e

n

e

r

a

t

i

o

n

 

(

a

l

r

e

a

d

y

 

d

o

e

s

 

k

e

y

-

v

a

l

u

e

 

c

a

c

h

i

n

g

 

a

n

d

 

u

s

e

s

 

f

u

s

e

d

 

k

e

r

n

e

l

s

 

b

y

 

d

e

f

a

u

l

t

)

.




T

h

i

s

 

r

e

q

u

i

r

e

s

 

d

a

t

a

 

p

a

r

a

l

l

e

l

 

s

i

z

e

 

t

o

 

b

e

 

1

,

 

s

e

q

u

e

n

c

e

 

p

a

r

a

l

l

e

l

i

s

m

 

a

n

d

 

a

c

t

i

v

a

t

i

o

n

 

c

h

e

c

k

p

o

i

n

t

i

n

g

 

t

o

 

b

e

 

d

i

s

a

b

l

e

d

.




I

t

 

a

l

s

o

 

r

e

q

u

i

r

e

s

 

s

p

e

c

i

f

y

i

n

g

 

p

a

t

h

 

t

o

 

t

o

k

e

n

i

z

e

r

'

s

 

v

o

c

a

b

 

f

i

l

e

 

a

n

d

 

m

e

r

g

e

s

 

f

i

l

e

.

 




B

e

l

o

w

 

e

x

a

m

p

l

e

 

s

h

o

w

s

 

h

o

w

 

t

o

 

c

o

n

f

i

g

u

r

e

 

a

n

d

 

u

s

e

 

`

m

e

g

a

t

r

o

n

_

g

e

n

e

r

a

t

e

`

 

m

e

t

h

o

d

 

f

o

r

 

M

e

g

a

t

r

o

n

-

L

M

 

G

P

T

 

m

o

d

e

l

.




`

`

`

p

y

t

h

o

n




#

 

s

p

e

c

i

f

y

i

n

g

 

t

o

k

e

n

i

z

e

r

'

s

 

v

o

c

a

b

 

a

n

d

 

m

e

r

g

e

s

 

f

i

l

e




v

o

c

a

b

_

f

i

l

e

 

=

 

o

s

.

p

a

t

h

.

j

o

i

n

(

a

r

g

s

.

r

e

s

u

m

e

_

f

r

o

m

_

c

h

e

c

k

p

o

i

n

t

,

 

"

v

o

c

a

b

.

j

s

o

n

"

)




m

e

r

g

e

_

f

i

l

e

 

=

 

o

s

.

p

a

t

h

.

j

o

i

n

(

a

r

g

s

.

r

e

s

u

m

e

_

f

r

o

m

_

c

h

e

c

k

p

o

i

n

t

,

 

"

m

e

r

g

e

s

.

t

x

t

"

)




o

t

h

e

r

_

m

e

g

a

t

r

o

n

_

a

r

g

s

 

=

 

{

"

v

o

c

a

b

_

f

i

l

e

"

:

 

v

o

c

a

b

_

f

i

l

e

,

 

"

m

e

r

g

e

_

f

i

l

e

"

:

 

m

e

r

g

e

_

f

i

l

e

}




m

e

g

a

t

r

o

n

_

l

m

_

p

l

u

g

i

n

 

=

 

M

e

g

a

t

r

o

n

L

M

P

l

u

g

i

n

(

o

t

h

e

r

_

m

e

g

a

t

r

o

n

_

a

r

g

s

=

o

t

h

e

r

_

m

e

g

a

t

r

o

n

_

a

r

g

s

)







#

 

i

n

f

e

r

e

n

c

e

 

u

s

i

n

g

 

`

m

e

g

a

t

r

o

n

_

g

e

n

e

r

a

t

e

`

 

f

u

n

c

t

i

o

n

a

l

i

t

y




t

o

k

e

n

i

z

e

r

.

p

a

d

_

t

o

k

e

n

 

=

 

t

o

k

e

n

i

z

e

r

.

e

o

s

_

t

o

k

e

n




m

a

x

_

n

e

w

_

t

o

k

e

n

s

 

=

 

6

4




b

a

t

c

h

_

t

e

x

t

s

 

=

 

[




 

 

 

 

"

A

r

e

 

y

o

u

 

h

u

m

a

n

?

"

,




 

 

 

 

"

T

h

e

 

p

u

r

p

o

s

e

 

o

f

 

l

i

f

e

 

i

s

"

,




 

 

 

 

"

T

h

e

 

a

r

s

e

n

a

l

 

w

a

s

 

c

o

n

s

t

r

u

c

t

e

d

 

a

t

 

t

h

e

 

r

e

q

u

e

s

t

 

o

f

"

,




 

 

 

 

"

H

o

w

 

a

r

e

 

y

o

u

 

d

o

i

n

g

 

t

h

e

s

e

 

d

a

y

s

?

"

,




]




b

a

t

c

h

_

e

n

c

o

d

i

n

g

s

 

=

 

t

o

k

e

n

i

z

e

r

(

b

a

t

c

h

_

t

e

x

t

s

,

 

r

e

t

u

r

n

_

t

e

n

s

o

r

s

=

"

p

t

"

,

 

p

a

d

d

i

n

g

=

T

r

u

e

)







#

 

t

o

p

-

p

 

s

a

m

p

l

i

n

g




g

e

n

e

r

a

t

e

d

_

t

o

k

e

n

s

 

=

 

m

o

d

e

l

.

m

e

g

a

t

r

o

n

_

g

e

n

e

r

a

t

e

(




 

 

 

 

b

a

t

c

h

_

e

n

c

o

d

i

n

g

s

[

"

i

n

p

u

t

_

i

d

s

"

]

,




 

 

 

 

b

a

t

c

h

_

e

n

c

o

d

i

n

g

s

[

"

a

t

t

e

n

t

i

o

n

_

m

a

s

k

"

]

,




 

 

 

 

m

a

x

_

n

e

w

_

t

o

k

e

n

s

=

m

a

x

_

n

e

w

_

t

o

k

e

n

s

,




 

 

 

 

t

o

p

_

p

=

0

.

8

,




 

 

 

 

t

o

p

_

p

_

d

e

c

a

y

=

0

.

5

,




 

 

 

 

t

e

m

p

e

r

a

t

u

r

e

=

0

.

9

,




)




d

e

c

o

d

e

d

_

p

r

e

d

s

 

=

 

t

o

k

e

n

i

z

e

r

.

b

a

t

c

h

_

d

e

c

o

d

e

(

g

e

n

e

r

a

t

e

d

_

t

o

k

e

n

s

.

c

p

u

(

)

.

n

u

m

p

y

(

)

)




a

c

c

e

l

e

r

a

t

o

r

.

p

r

i

n

t

(

d

e

c

o

d

e

d

_

p

r

e

d

s

)







#

 

t

o

p

-

k

 

s

a

m

p

l

i

n

g




g

e

n

e

r

a

t

e

d

_

t

o

k

e

n

s

 

=

 

m

o

d

e

l

.

m

e

g

a

t

r

o

n

_

g

e

n

e

r

a

t

e

(




 

 

 

 

b

a

t

c

h

_

e

n

c

o

d

i

n

g

s

[

"

i

n

p

u

t

_

i

d

s

"

]

,




 

 

 

 

b

a

t

c

h

_

e

n

c

o

d

i

n

g

s

[

"

a

t

t

e

n

t

i

o

n

_

m

a

s

k

"

]

,




 

 

 

 

m

a

x

_

n

e

w

_

t

o

k

e

n

s

=

m

a

x

_

n

e

w

_

t

o

k

e

n

s

,




 

 

 

 

t

o

p

_

k

=

5

0

,




 

 

 

 

t

e

m

p

e

r

a

t

u

r

e

=

0

.

9

,




)




d

e

c

o

d

e

d

_

p

r

e

d

s

 

=

 

t

o

k

e

n

i

z

e

r

.

b

a

t

c

h

_

d

e

c

o

d

e

(

g

e

n

e

r

a

t

e

d

_

t

o

k

e

n

s

.

c

p

u

(

)

.

n

u

m

p

y

(

)

)




a

c

c

e

l

e

r

a

t

o

r

.

p

r

i

n

t

(

d

e

c

o

d

e

d

_

p

r

e

d

s

)







#

 

a

d

d

i

n

g

 

`

b

o

s

`

 

t

o

k

e

n

 

a

t

 

t

h

e

 

s

t

a

r

t




g

e

n

e

r

a

t

e

d

_

t

o

k

e

n

s

 

=

 

m

o

d

e

l

.

m

e

g

a

t

r

o

n

_

g

e

n

e

r

a

t

e

(




 

 

 

 

b

a

t

c

h

_

e

n

c

o

d

i

n

g

s

[

"

i

n

p

u

t

_

i

d

s

"

]

,

 

b

a

t

c

h

_

e

n

c

o

d

i

n

g

s

[

"

a

t

t

e

n

t

i

o

n

_

m

a

s

k

"

]

,

 

m

a

x

_

n

e

w

_

t

o

k

e

n

s

=

m

a

x

_

n

e

w

_

t

o

k

e

n

s

,

 

a

d

d

_

B

O

S

=

T

r

u

e




)




d

e

c

o

d

e

d

_

p

r

e

d

s

 

=

 

t

o

k

e

n

i

z

e

r

.

b

a

t

c

h

_

d

e

c

o

d

e

(

g

e

n

e

r

a

t

e

d

_

t

o

k

e

n

s

.

c

p

u

(

)

.

n

u

m

p

y

(

)

)




a

c

c

e

l

e

r

a

t

o

r

.

p

r

i

n

t

(

d

e

c

o

d

e

d

_

p

r

e

d

s

)







#

 

b

e

a

m

 

s

e

a

r

c

h

 

=

>

 

o

n

l

y

 

t

a

k

e

s

 

s

i

n

g

l

e

 

p

r

o

m

p

t




b

a

t

c

h

_

t

e

x

t

s

 

=

 

[

"

T

h

e

 

p

u

r

p

o

s

e

 

o

f

 

l

i

f

e

 

i

s

"

]




b

a

t

c

h

_

e

n

c

o

d

i

n

g

s

 

=

 

t

o

k

e

n

i

z

e

r

(

b

a

t

c

h

_

t

e

x

t

s

,

 

r

e

t

u

r

n

_

t

e

n

s

o

r

s

=

"

p

t

"

,

 

p

a

d

d

i

n

g

=

T

r

u

e

)




g

e

n

e

r

a

t

e

d

_

t

o

k

e

n

s

 

=

 

m

o

d

e

l

.

m

e

g

a

t

r

o

n

_

g

e

n

e

r

a

t

e

(




 

 

 

 

b

a

t

c

h

_

e

n

c

o

d

i

n

g

s

[

"

i

n

p

u

t

_

i

d

s

"

]

,




 

 

 

 

b

a

t

c

h

_

e

n

c

o

d

i

n

g

s

[

"

a

t

t

e

n

t

i

o

n

_

m

a

s

k

"

]

,




 

 

 

 

m

a

x

_

n

e

w

_

t

o

k

e

n

s

=

m

a

x

_

n

e

w

_

t

o

k

e

n

s

,




 

 

 

 

n

u

m

_

b

e

a

m

s

=

2

0

,




 

 

 

 

l

e

n

g

t

h

_

p

e

n

a

l

t

y

=

1

.

5

,




)




d

e

c

o

d

e

d

_

p

r

e

d

s

 

=

 

t

o

k

e

n

i

z

e

r

.

b

a

t

c

h

_

d

e

c

o

d

e

(

g

e

n

e

r

a

t

e

d

_

t

o

k

e

n

s

.

c

p

u

(

)

.

n

u

m

p

y

(

)

)




a

c

c

e

l

e

r

a

t

o

r

.

p

r

i

n

t

(

d

e

c

o

d

e

d

_

p

r

e

d

s

)




`

`

`







3

.

 

A

n

 

e

n

d

-

t

o

-

e

n

d

 

e

x

a

m

p

l

e

 

o

f

 

u

s

i

n

g

 

`

m

e

g

a

t

r

o

n

_

g

e

n

e

r

a

t

e

`

 

m

e

t

h

o

d

 

f

o

r

 

M

e

g

a

t

r

o

n

-

L

M

 

G

P

T

 

m

o

d

e

l

 

i

s

 

a

v

a

i

l

a

b

l

e

 

a

t




[

m

e

g

a

t

r

o

n

_

g

p

t

2

_

g

e

n

e

r

a

t

i

o

n

.

p

y

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

p

a

c

m

a

n

1

0

0

/

a

c

c

e

l

e

r

a

t

e

-

m

e

g

a

t

r

o

n

-

t

e

s

t

/

b

l

o

b

/

m

a

i

n

/

s

r

c

/

i

n

f

e

r

e

n

c

e

/

m

e

g

a

t

r

o

n

_

g

p

t

2

_

g

e

n

e

r

a

t

i

o

n

.

p

y

)

 

w

i

t

h

 




c

o

n

f

i

g

 

f

i

l

e

 

[

m

e

g

a

t

r

o

n

_

l

m

_

g

p

t

_

g

e

n

e

r

a

t

e

_

c

o

n

f

i

g

.

y

a

m

l

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

p

a

c

m

a

n

1

0

0

/

a

c

c

e

l

e

r

a

t

e

-

m

e

g

a

t

r

o

n

-

t

e

s

t

/

b

l

o

b

/

m

a

i

n

/

s

r

c

/

C

o

n

f

i

g

s

/

m

e

g

a

t

r

o

n

_

l

m

_

g

p

t

_

g

e

n

e

r

a

t

e

_

c

o

n

f

i

g

.

y

a

m

l

)

.




T

h

e

 

b

a

s

h

 

s

c

r

i

p

t

 

w

i

t

h

 

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

c

o

m

m

a

n

d

 

i

s

 

a

v

a

i

l

a

b

l

e

 

a

t

 

[

m

e

g

a

t

r

o

n

_

l

m

_

g

p

t

_

g

e

n

e

r

a

t

e

.

s

h

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

p

a

c

m

a

n

1

0

0

/

a

c

c

e

l

e

r

a

t

e

-

m

e

g

a

t

r

o

n

-

t

e

s

t

/

b

l

o

b

/

m

a

i

n

/

m

e

g

a

t

r

o

n

_

l

m

_

g

p

t

_

g

e

n

e

r

a

t

e

.

s

h

)

.




T

h

e

 

o

u

t

p

u

t

 

l

o

g

s

 

o

f

 

t

h

e

 

s

c

r

i

p

t

 

a

r

e

 

a

v

a

i

l

a

b

l

e

 

a

t

 

[

m

e

g

a

t

r

o

n

_

l

m

_

g

p

t

_

g

e

n

e

r

a

t

e

.

l

o

g

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

p

a

c

m

a

n

1

0

0

/

a

c

c

e

l

e

r

a

t

e

-

m

e

g

a

t

r

o

n

-

t

e

s

t

/

b

l

o

b

/

m

a

i

n

/

o

u

t

p

u

t

_

l

o

g

s

/

m

e

g

a

t

r

o

n

_

l

m

_

g

p

t

_

g

e

n

e

r

a

t

e

.

l

o

g

)

.







#

#

 

S

u

p

p

o

r

t

 

f

o

r

 

R

O

P

E

 

a

n

d

 

A

L

i

B

i

 

P

o

s

i

t

i

o

n

a

l

 

e

m

b

e

d

d

i

n

g

s

 

a

n

d

 

M

u

l

t

i

-

Q

u

e

r

y

 

A

t

t

e

n

t

i

o

n







1

.

 

F

o

r

 

R

O

P

E

/

A

L

i

B

i

 

a

t

t

e

n

t

i

o

n

,

 

p

a

s

s

 

`

p

o

s

i

t

i

o

n

_

e

m

b

e

d

d

i

n

g

_

t

y

p

e

`

 

w

i

t

h

 

`

(

"

a

b

s

o

l

u

t

e

"

 

|

 

"

r

o

t

a

r

y

"

 

|

 

"

a

l

i

b

i

"

)

`

 

t

o

 

`

M

e

g

a

t

r

o

n

L

M

P

l

u

g

i

n

`

 

a

s

 

s

h

o

w

n

 

b

e

l

o

w

.




`

`

`

p

y

t

h

o

n




o

t

h

e

r

_

m

e

g

a

t

r

o

n

_

a

r

g

s

 

=

 

{

"

p

o

s

i

t

i

o

n

_

e

m

b

e

d

d

i

n

g

_

t

y

p

e

"

:

 

"

a

l

i

b

i

"

}




m

e

g

a

t

r

o

n

_

l

m

_

p

l

u

g

i

n

 

=

 

M

e

g

a

t

r

o

n

L

M

P

l

u

g

i

n

(

o

t

h

e

r

_

m

e

g

a

t

r

o

n

_

a

r

g

s

=

o

t

h

e

r

_

m

e

g

a

t

r

o

n

_

a

r

g

s

)




`

`

`







2

.

 

F

o

r

 

M

u

l

t

i

-

Q

u

e

r

y

 

A

t

t

e

n

t

i

o

n

,

 

p

a

s

s

 

`

a

t

t

e

n

t

i

o

n

_

h

e

a

d

_

t

y

p

e

`

 

w

i

t

h

 

`

(

"

m

u

l

t

i

h

e

a

d

"

 

|

 

"

m

u

l

t

i

q

u

e

r

y

"

)

`

 

t

o

 

`

M

e

g

a

t

r

o

n

L

M

P

l

u

g

i

n

`

 

a

s

 

s

h

o

w

n

 

b

e

l

o

w

.




`

`

`

p

y

t

h

o

n




o

t

h

e

r

_

m

e

g

a

t

r

o

n

_

a

r

g

s

 

=

 

{

"

a

t

t

e

n

t

i

o

n

_

h

e

a

d

_

t

y

p

e

"

:

 

"

m

u

l

t

i

q

u

e

r

y

"

}




m

e

g

a

t

r

o

n

_

l

m

_

p

l

u

g

i

n

 

=

 

M

e

g

a

t

r

o

n

L

M

P

l

u

g

i

n

(

o

t

h

e

r

_

m

e

g

a

t

r

o

n

_

a

r

g

s

=

o

t

h

e

r

_

m

e

g

a

t

r

o

n

_

a

r

g

s

)




`

`

`







#

#

 

C

a

v

e

a

t

s







1

.

 

S

u

p

p

o

r

t

s

 

T

r

a

n

s

f

o

r

m

e

r

s

 

G

P

T

2

,

 

M

e

g

a

t

r

o

n

-

B

E

R

T

 

a

n

d

 

T

5

 

m

o

d

e

l

s

.




T

h

i

s

 

c

o

v

e

r

s

 

D

e

c

o

d

e

r

 

o

n

l

y

,

 

E

n

c

o

d

e

 

o

n

l

y

 

a

n

d

 

E

n

c

o

d

e

r

-

D

e

c

o

d

e

r

 

m

o

d

e

l

 

c

l

a

s

s

e

s

.







2

.

 

O

n

l

y

 

l

o

s

s

 

i

s

 

r

e

t

u

r

n

e

d

 

f

r

o

m

 

m

o

d

e

l

 

f

o

r

w

a

r

d

 

p

a

s

s

 

a

s

 




t

h

e

r

e

 

i

s

 

q

u

i

t

e

 

c

o

m

p

l

e

x

 

i

n

t

e

r

p

l

a

y

 

o

f

 

p

i

p

e

l

i

n

e

,

 

t

e

n

s

o

r

 

a

n

d

 

d

a

t

a

 

p

a

r

a

l

l

e

l

i

s

m

 

b

e

h

i

n

d

 

t

h

e

 

s

c

e

n

e

s

.




T

h

e

 

`

m

o

d

e

l

(

*

*

b

a

t

c

h

_

d

a

t

a

)

`

 

c

a

l

l

 

r

e

t

u

r

n

 

l

o

s

s

(

e

s

)

 

a

v

e

r

a

g

e

d

 

a

c

r

o

s

s

 

t

h

e

 

d

a

t

a

 

p

a

r

a

l

l

e

l

 

r

a

n

k

s

.




T

h

i

s

 

i

s

 

f

i

n

e

 

f

o

r

 

m

o

s

t

 

c

a

s

e

s

 

w

h

e

r

e

i

n

 

p

r

e

-

t

r

a

i

n

i

n

g

 

j

o

b

s

 

a

r

e

 

r

u

n

 

u

s

i

n

g

 

M

e

g

a

t

r

o

n

-

L

M

 

f

e

a

t

u

r

e

s

 

a

n

d




y

o

u

 

c

a

n

 

e

a

s

i

l

y

 

c

o

m

p

u

t

e

 

t

h

e

 

`

p

e

r

p

l

e

x

i

t

y

`

 

u

s

i

n

g

 

t

h

e

 

l

o

s

s

.

 




F

o

r

 

G

P

T

 

m

o

d

e

l

,

 

r

e

t

u

r

n

i

n

g

 

l

o

g

i

t

s

 

i

n

 

a

d

d

i

t

i

o

n

 

t

o

 

l

o

s

s

(

e

s

)

 

i

s

 

s

u

p

p

o

r

t

e

d

.

 




T

h

e

s

e

 

l

o

g

i

t

s

 

a

r

e

n

'

t

 

g

a

t

h

e

r

e

d

 

a

c

r

o

s

s

 

d

a

t

a

 

p

a

r

a

l

l

e

l

 

r

a

n

k

s

.

 

U

s

e

 

`

a

c

c

e

l

e

r

a

t

o

r

.

u

t

i

l

s

.

g

a

t

h

e

r

_

a

c

r

o

s

s

_

d

a

t

a

_

p

a

r

a

l

l

e

l

_

g

r

o

u

p

s

`




t

o

 

g

a

t

h

e

r

 

l

o

g

i

t

s

 

a

c

r

o

s

s

 

d

a

t

a

 

p

a

r

a

l

l

e

l

 

r

a

n

k

s

.

 

T

h

e

s

e

 

l

o

g

i

t

s

 

a

l

o

n

g

 

w

i

t

h

 

l

a

b

e

l

s

 

c

a

n

 

b

e

 

u

s

e

d

 

f

o

r

 

c

o

m

p

u

t

i

n

g

 

v

a

r

i

o

u

s

 




p

e

r

f

o

r

m

a

n

c

e

 

m

e

t

r

i

c

s

.

 







3

.

 

T

h

e

 

m

a

i

n

 

p

r

o

c

e

s

s

 

i

s

 

t

h

e

 

l

a

s

t

 

r

a

n

k

 

a

s

 

t

h

e

 

l

o

s

s

e

s

/

l

o

g

i

t

s

 

a

r

e

 

a

v

a

i

l

a

b

l

e

 

i

n

 

t

h

e

 

l

a

s

t

 

s

t

a

g

e

 

o

f

 

p

i

p

e

l

i

n

e

.




`

a

c

c

e

l

e

r

a

t

o

r

.

i

s

_

m

a

i

n

_

p

r

o

c

e

s

s

`

 

a

n

d

 

`

a

c

c

e

l

e

r

a

t

o

r

.

i

s

_

l

o

c

a

l

_

m

a

i

n

_

p

r

o

c

e

s

s

`

 

r

e

t

u

r

n

 

`

T

r

u

e

`

 

f

o

r

 

l

a

s

t

 

r

a

n

k

 

w

h

e

n

 

u

s

i

n

g

 




M

e

g

a

t

r

o

n

-

L

M

 

i

n

t

e

g

r

a

t

i

o

n

.







4

.

 

I

n

 

`

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

`

 

c

a

l

l

,

 

a

 

M

e

g

a

t

r

o

n

-

L

M

 

m

o

d

e

l

 

c

o

r

r

e

s

p

o

n

d

i

n

g

 

t

o

 

a

 

g

i

v

e

n

 

T

r

a

n

s

f

o

r

m

e

r

s

 

m

o

d

e

l

 

i

s

 

c

r

e

a

t

e

d




w

i

t

h

 

r

a

n

d

o

m

 

w

e

i

g

h

t

s

.

 

P

l

e

a

s

e

 

u

s

e

 

`

a

c

c

e

l

e

r

a

t

o

r

.

l

o

a

d

_

s

t

a

t

e

`

 

t

o

 

l

o

a

d

 

t

h

e

 

M

e

g

a

t

r

o

n

-

L

M

 

c

h

e

c

k

p

o

i

n

t

 

w

i

t

h

 

m

a

t

c

h

i

n

g

 

T

P

,

 

P

P

 

a

n

d

 

D

P

 

p

a

r

t

i

t

i

o

n

s

.







5

.

 

C

u

r

r

e

n

t

l

y

,

 

c

h

e

c

k

p

o

i

n

t

 

r

e

s

h

a

p

i

n

g

 

a

n

d

 

i

n

t

e

r

o

p

e

r

a

b

i

l

i

t

y

 

s

u

p

p

o

r

t

 

i

s

 

o

n

l

y

 

a

v

a

i

l

a

b

l

e

 

f

o

r

 

G

P

T

.

 




S

o

o

n

 

i

t

 

w

i

l

l

 

b

e

 

e

x

t

e

n

d

e

d

 

t

o

 

B

E

R

T

 

a

n

d

 

T

5

.







6

.

 

`

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

`

 

n

e

e

d

s

 

t

o

 

b

e

 

1

.

 

W

h

e

n

 

u

s

i

n

g

 

M

e

g

a

t

r

o

n

-

L

M

,

 

m

i

c

r

o

 

b

a

t

c

h

e

s

 

i

n

 

p

i

p

e

l

i

n

e

 

p

a

r

a

l

l

e

l

i

s

m

 




s

e

t

t

i

n

g

 

i

s

 

s

y

n

o

n

y

m

o

u

s

 

w

i

t

h

 

g

r

a

d

i

e

n

t

 

a

c

c

u

m

u

l

a

t

i

o

n

.

 







7

.

 

W

h

e

n

 

u

s

i

n

g

 

M

e

g

a

t

r

o

n

-

L

M

,

 

u

s

e

 

`

a

c

c

e

l

e

r

a

t

o

r

.

s

a

v

e

_

s

t

a

t

e

`

 

a

n

d

 

`

a

c

c

e

l

e

r

a

t

o

r

.

l

o

a

d

_

s

t

a

t

e

`

 

f

o

r

 

s

a

v

i

n

g

 

a

n

d

 

l

o

a

d

i

n

g

 

c

h

e

c

k

p

o

i

n

t

s

.







8

.

 

B

e

l

o

w

 

a

r

e

 

t

h

e

 

m

a

p

p

i

n

g

 

f

r

o

m

 

M

e

g

a

t

r

o

n

-

L

M

 

m

o

d

e

l

 

a

r

c

h

i

t

e

c

t

u

r

e

s

 

t

o

 

t

h

e

 

t

h

e

 

e

q

u

i

v

a

l

e

n

t

 

t

r

a

n

s

f

o

r

m

e

r

s

 

m

o

d

e

l

 

a

r

c

h

i

t

e

c

t

u

r

e

s

.




O

n

l

y

 

t

h

e

s

e

 

t

r

a

n

s

f

o

r

m

e

r

s

 

m

o

d

e

l

 

a

r

c

h

i

t

e

c

t

u

r

e

s

 

a

r

e

 

s

u

p

p

o

r

t

e

d

.







a

.

 

M

e

g

a

t

r

o

n

-

L

M

 

[

B

e

r

t

M

o

d

e

l

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

N

V

I

D

I

A

/

M

e

g

a

t

r

o

n

-

L

M

/

b

l

o

b

/

m

a

i

n

/

m

e

g

a

t

r

o

n

/

m

o

d

e

l

/

b

e

r

t

_

m

o

d

e

l

.

p

y

)

 

:

 




t

r

a

n

s

f

o

r

m

e

r

s

 

m

o

d

e

l

s

 

w

i

t

h

 

`

m

e

g

a

t

r

o

n

-

b

e

r

t

`

 

i

n

 

c

o

n

f

i

g

'

s

 

m

o

d

e

l

 

t

y

p

e

,

 

e

.

g

.

,

 




[

M

e

g

a

t

r

o

n

B

E

R

T

]

(

h

t

t

p

s

:

/

/

h

u

g

g

i

n

g

f

a

c

e

.

c

o

/

d

o

c

s

/

t

r

a

n

s

f

o

r

m

e

r

s

/

m

o

d

e

l

_

d

o

c

/

m

e

g

a

t

r

o

n

-

b

e

r

t

)




 

 

 

 




b

.

 

M

e

g

a

t

r

o

n

-

L

M

 

[

G

P

T

M

o

d

e

l

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

N

V

I

D

I

A

/

M

e

g

a

t

r

o

n

-

L

M

/

b

l

o

b

/

m

a

i

n

/

m

e

g

a

t

r

o

n

/

m

o

d

e

l

/

g

p

t

_

m

o

d

e

l

.

p

y

)

 

:

 




t

r

a

n

s

f

o

r

m

e

r

s

 

m

o

d

e

l

s

 

w

i

t

h

 

`

g

p

t

2

`

 

i

n

 

c

o

n

f

i

g

'

s

 

m

o

d

e

l

 

t

y

p

e

,

 

e

.

g

.

,

 




[

O

p

e

n

A

I

 

G

P

T

2

]

(

h

t

t

p

s

:

/

/

h

u

g

g

i

n

g

f

a

c

e

.

c

o

/

d

o

c

s

/

t

r

a

n

s

f

o

r

m

e

r

s

/

m

o

d

e

l

_

d

o

c

/

g

p

t

2

)




 

 

 




c

.

 

M

e

g

a

t

r

o

n

-

L

M

 

[

T

5

M

o

d

e

l

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

N

V

I

D

I

A

/

M

e

g

a

t

r

o

n

-

L

M

/

b

l

o

b

/

m

a

i

n

/

m

e

g

a

t

r

o

n

/

m

o

d

e

l

/

t

5

_

m

o

d

e

l

.

p

y

)

 

:

 




t

r

a

n

s

f

o

r

m

e

r

s

 

m

o

d

e

l

s

 

w

i

t

h

 

`

t

5

`

 

i

n

 

 

c

o

n

f

i

g

'

s

 

m

o

d

e

l

 

t

y

p

e

,

 

e

.

g

.

,

 




[

T

5

]

(

h

t

t

p

s

:

/

/

h

u

g

g

i

n

g

f

a

c

e

.

c

o

/

d

o

c

s

/

t

r

a

n

s

f

o

r

m

e

r

s

/

m

o

d

e

l

_

d

o

c

/

t

5

)

 

a

n

d

 




[

M

T

5

]

(

h

t

t

p

s

:

/

/

h

u

g

g

i

n

g

f

a

c

e

.

c

o

/

d

o

c

s

/

t

r

a

n

s

f

o

r

m

e

r

s

/

m

o

d

e

l

_

d

o

c

/

m

t

5

)







#

 

A

m

a

z

o

n

 

S

a

g

e

M

a

k

e

r







H

u

g

g

i

n

g

 

F

a

c

e

 

a

n

d

 

A

m

a

z

o

n

 

i

n

t

r

o

d

u

c

e

d

 

n

e

w

 

[

H

u

g

g

i

n

g

 

F

a

c

e

 

D

e

e

p

 

L

e

a

r

n

i

n

g

 

C

o

n

t

a

i

n

e

r

s

 

(

D

L

C

s

)

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

a

w

s

/

d

e

e

p

-

l

e

a

r

n

i

n

g

-

c

o

n

t

a

i

n

e

r

s

/

b

l

o

b

/

m

a

s

t

e

r

/

a

v

a

i

l

a

b

l

e

_

i

m

a

g

e

s

.

m

d

#

h

u

g

g

i

n

g

f

a

c

e

-

t

r

a

i

n

i

n

g

-

c

o

n

t

a

i

n

e

r

s

)

 

t

o




m

a

k

e

 

i

t

 

e

a

s

i

e

r

 

t

h

a

n

 

e

v

e

r

 

t

o

 

t

r

a

i

n

 

H

u

g

g

i

n

g

 

F

a

c

e

 

T

r

a

n

s

f

o

r

m

e

r

 

m

o

d

e

l

s

 

i

n

 

[

A

m

a

z

o

n

 

S

a

g

e

M

a

k

e

r

]

(

h

t

t

p

s

:

/

/

a

w

s

.

a

m

a

z

o

n

.

c

o

m

/

s

a

g

e

m

a

k

e

r

/

)

.







#

#

 

G

e

t

t

i

n

g

 

S

t

a

r

t

e

d







#

#

#

 

S

e

t

u

p

 

&

 

I

n

s

t

a

l

l

a

t

i

o

n










B

e

f

o

r

e

 

y

o

u

 

c

a

n

 

r

u

n

 

y

o

u

r

 

A

c

c

e

l

e

r

a

t

e

 

s

c

r

i

p

t

s

 

o

n

 

A

m

a

z

o

n

 

S

a

g

e

M

a

k

e

r

 

y

o

u

 

n

e

e

d

 

t

o

 

s

i

g

n

 

u

p

 

f

o

r

 

a

n

 

A

W

S

 

a

c

c

o

u

n

t

.

 

I

f

 

y

o

u

 

d

o

 

n

o

t




h

a

v

e

 

a

n

 

A

W

S

 

a

c

c

o

u

n

t

 

y

e

t

 

l

e

a

r

n

 

m

o

r

e

 

[

h

e

r

e

]

(

h

t

t

p

s

:

/

/

d

o

c

s

.

a

w

s

.

a

m

a

z

o

n

.

c

o

m

/

s

a

g

e

m

a

k

e

r

/

l

a

t

e

s

t

/

d

g

/

g

s

-

s

e

t

-

u

p

.

h

t

m

l

)

.







A

f

t

e

r

 

y

o

u

 

h

a

v

e

 

y

o

u

r

 

A

W

S

 

A

c

c

o

u

n

t

 

y

o

u

 

n

e

e

d

 

t

o

 

i

n

s

t

a

l

l

 

t

h

e

 

`

s

a

g

e

m

a

k

e

r

`

 

s

d

k

 

f

o

r

 

A

c

c

e

l

e

r

a

t

e

 

w

i

t

h

:







`

`

`

b

a

s

h




p

i

p

 

i

n

s

t

a

l

l

 

"

a

c

c

e

l

e

r

a

t

e

[

s

a

g

e

m

a

k

e

r

]

"

 

-

-

u

p

g

r

a

d

e




`

`

`







A

c

c

e

l

e

r

a

t

e

 

c

u

r

r

e

n

t

l

y

 

u

s

e

s

 

t

h

e

 

D

L

C

s

,

 

w

i

t

h

 

`

t

r

a

n

s

f

o

r

m

e

r

s

`

,

 

`

d

a

t

a

s

e

t

s

`

 

a

n

d

 

`

t

o

k

e

n

i

z

e

r

s

`

 

p

r

e

-

i

n

s

t

a

l

l

e

d

.

 

A

c

c

e

l

e

r

a

t

e

 

i

s

 

n

o

t

 

i

n

 

t

h

e

 

D

L

C

 

y

e

t

 

(

w

i

l

l

 

s

o

o

n

 

b

e

 

a

d

d

e

d

!

)

 

s

o

 

t

o

 

u

s

e

 

i

t

 

w

i

t

h

i

n

 

A

m

a

z

o

n

 

S

a

g

e

M

a

k

e

r

 

y

o

u

 

n

e

e

d

 

t

o

 

c

r

e

a

t

e

 

a




`

r

e

q

u

i

r

e

m

e

n

t

s

.

t

x

t

`

 

i

n

 

t

h

e

 

s

a

m

e

 

d

i

r

e

c

t

o

r

y

 

w

h

e

r

e

 

y

o

u

r

 

t

r

a

i

n

i

n

g

 

s

c

r

i

p

t

 

i

s

 

l

o

c

a

t

e

d

 

a

n

d

 

a

d

d

 

i

t

 

a

s

 

d

e

p

e

n

d

e

n

c

y

:







`

`

`




a

c

c

e

l

e

r

a

t

e




`

`

`







Y

o

u

 

s

h

o

u

l

d

 

a

l

s

o

 

a

d

d

 

a

n

y

 

o

t

h

e

r

 

d

e

p

e

n

d

e

n

c

i

e

s

 

y

o

u

 

h

a

v

e

 

t

o

 

t

h

i

s

 

`

r

e

q

u

i

r

e

m

e

n

t

s

.

t

x

t

`

.










#

#

#

 

C

o

n

f

i

g

u

r

e

 

A

c

c

e

l

e

r

a

t

e







Y

o

u

 

c

a

n

 

c

o

n

f

i

g

u

r

e

 

t

h

e

 

l

a

u

n

c

h

 

c

o

n

f

i

g

u

r

a

t

i

o

n

 

f

o

r

 

A

m

a

z

o

n

 

S

a

g

e

M

a

k

e

r

 

t

h

e

 

s

a

m

e

 

a

s

 

y

o

u

 

d

o

 

f

o

r

 

n

o

n

 

S

a

g

e

M

a

k

e

r

 

t

r

a

i

n

i

n

g

 

j

o

b

s

 

w

i

t

h




t

h

e

 

A

c

c

e

l

e

r

a

t

e

 

C

L

I

:







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g




#

 

I

n

 

w

h

i

c

h

 

c

o

m

p

u

t

e

 

e

n

v

i

r

o

n

m

e

n

t

 

a

r

e

 

y

o

u

 

r

u

n

n

i

n

g

?

 

(

[

0

]

 

T

h

i

s

 

m

a

c

h

i

n

e

,

 

[

1

]

 

A

W

S

 

(

A

m

a

z

o

n

 

S

a

g

e

M

a

k

e

r

)

)

:

 

1




`

`

`







A

c

c

e

l

e

r

a

t

e

 

w

i

l

l

 

g

o

 

t

h

r

o

u

g

h

 

a

 

q

u

e

s

t

i

o

n

n

a

i

r

e

 

a

b

o

u

t

 

y

o

u

r

 

A

m

a

z

o

n

 

S

a

g

e

M

a

k

e

r

 

s

e

t

u

p

 

a

n

d

 

c

r

e

a

t

e

 

a

 

c

o

n

f

i

g

 

f

i

l

e

 

y

o

u

 

c

a

n

 

e

d

i

t

.







<

T

i

p

>







 

 

 

 

A

c

c

e

l

e

r

a

t

e

 

i

s

 

n

o

t

 

s

a

v

i

n

g

 

a

n

y

 

o

f

 

y

o

u

r

 

c

r

e

d

e

n

t

i

a

l

s

.







<

/

T

i

p

>







#

#

#

 

P

r

e

p

a

r

e

 

a

 

A

c

c

e

l

e

r

a

t

e

 

f

i

n

e

-

t

u

n

i

n

g

 

s

c

r

i

p

t







T

h

e

 

t

r

a

i

n

i

n

g

 

s

c

r

i

p

t

 

i

s

 

v

e

r

y

 

s

i

m

i

l

a

r

 

t

o

 

a

 

t

r

a

i

n

i

n

g

 

s

c

r

i

p

t

 

y

o

u

 

m

i

g

h

t

 

r

u

n

 

o

u

t

s

i

d

e

 

o

f

 

S

a

g

e

M

a

k

e

r

,

 

b

u

t

 

t

o

 

s

a

v

e

 

y

o

u

r

 

m

o

d

e

l




a

f

t

e

r

 

t

r

a

i

n

i

n

g

 

y

o

u

 

n

e

e

d

 

t

o

 

s

p

e

c

i

f

y

 

e

i

t

h

e

r

 

`

/

o

p

t

/

m

l

/

m

o

d

e

l

`

 

o

r

 

u

s

e

 

`

o

s

.

e

n

v

i

r

o

n

[

"

S

M

_

M

O

D

E

L

_

D

I

R

"

]

`

 

a

s

 

y

o

u

r

 

s

a

v

e




d

i

r

e

c

t

o

r

y

.

 

A

f

t

e

r

 

t

r

a

i

n

i

n

g

,

 

a

r

t

i

f

a

c

t

s

 

i

n

 

t

h

i

s

 

d

i

r

e

c

t

o

r

y

 

a

r

e

 

u

p

l

o

a

d

e

d

 

t

o

 

S

3

:










`

`

`

d

i

f

f




-

 

t

o

r

c

h

.

s

a

v

e

(

'

/

o

p

t

/

m

l

/

m

o

d

e

l

`

)




+

 

a

c

c

e

l

e

r

a

t

o

r

.

s

a

v

e

(

'

/

o

p

t

/

m

l

/

m

o

d

e

l

'

)




`

`

`







<

T

i

p

 

w

a

r

n

i

n

g

=

{

t

r

u

e

}

>







 

 

 

 

S

a

g

e

M

a

k

e

r

 

d

o

e

s

n

’

t

 

s

u

p

p

o

r

t

 

a

r

g

p

a

r

s

e

 

a

c

t

i

o

n

s

.

 

I

f

 

y

o

u

 

w

a

n

t

 

t

o

 

u

s

e

,

 

f

o

r

 

e

x

a

m

p

l

e

,

 

b

o

o

l

e

a

n

 

h

y

p

e

r

p

a

r

a

m

e

t

e

r

s

,

 

y

o

u

 

n

e

e

d

 

t

o




 

 

 

 

s

p

e

c

i

f

y

 

t

y

p

e

 

a

s

 

b

o

o

l

 

i

n

 

y

o

u

r

 

s

c

r

i

p

t

 

a

n

d

 

p

r

o

v

i

d

e

 

a

n

 

e

x

p

l

i

c

i

t

 

T

r

u

e

 

o

r

 

F

a

l

s

e

 

v

a

l

u

e

 

f

o

r

 

t

h

i

s

 

h

y

p

e

r

p

a

r

a

m

e

t

e

r

.

 

[

[

R

E

F

]

]

(

h

t

t

p

s

:

/

/

s

a

g

e

m

a

k

e

r

.

r

e

a

d

t

h

e

d

o

c

s

.

i

o

/

e

n

/

s

t

a

b

l

e

/

f

r

a

m

e

w

o

r

k

s

/

p

y

t

o

r

c

h

/

u

s

i

n

g

_

p

y

t

o

r

c

h

.

h

t

m

l

#

p

r

e

p

a

r

e

-

a

-

p

y

t

o

r

c

h

-

t

r

a

i

n

i

n

g

-

s

c

r

i

p

t

)

.







<

/

T

i

p

>







#

#

#

 

L

a

u

n

c

h

 

T

r

a

i

n

i

n

g







Y

o

u

 

c

a

n

 

l

a

u

n

c

h

 

y

o

u

r

 

t

r

a

i

n

i

n

g

 

w

i

t

h

 

A

c

c

e

l

e

r

a

t

e

 

C

L

I

 

w

i

t

h

:







`

`

`




a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

p

a

t

h

_

t

o

_

s

c

r

i

p

t

.

p

y

 

-

-

a

r

g

s

_

t

o

_

t

h

e

_

s

c

r

i

p

t




`

`

`







T

h

i

s

 

w

i

l

l

 

l

a

u

n

c

h

 

y

o

u

r

 

t

r

a

i

n

i

n

g

 

s

c

r

i

p

t

 

u

s

i

n

g

 

y

o

u

r

 

c

o

n

f

i

g

u

r

a

t

i

o

n

.

 

T

h

e

 

o

n

l

y

 

t

h

i

n

g

 

y

o

u

 

h

a

v

e

 

t

o

 

d

o

 

i

s

 

p

r

o

v

i

d

e

 

a

l

l

 

t

h

e




a

r

g

u

m

e

n

t

s

 

n

e

e

d

e

d

 

b

y

 

y

o

u

r

 

t

r

a

i

n

i

n

g

 

s

c

r

i

p

t

 

a

s

 

n

a

m

e

d

 

a

r

g

u

m

e

n

t

s

.







*

*

E

x

a

m

p

l

e

s

*

*







<

T

i

p

>







 

 

 

 

I

f

 

y

o

u

 

r

u

n

 

o

n

e

 

o

f

 

t

h

e

 

e

x

a

m

p

l

e

 

s

c

r

i

p

t

s

,

 

d

o

n

'

t

 

f

o

r

g

e

t

 

t

o

 

a

d

d

 

`

a

c

c

e

l

e

r

a

t

o

r

.

s

a

v

e

(

'

/

o

p

t

/

m

l

/

m

o

d

e

l

'

)

`

 

t

o

 

i

t

.







<

/

T

i

p

>







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

.

/

e

x

a

m

p

l

e

s

/

s

a

g

e

m

a

k

e

r

_

e

x

a

m

p

l

e

.

p

y




`

`

`







O

u

t

p

u

t

s

:







`

`

`




C

o

n

f

i

g

u

r

i

n

g

 

A

m

a

z

o

n

 

S

a

g

e

M

a

k

e

r

 

e

n

v

i

r

o

n

m

e

n

t




C

o

n

v

e

r

t

i

n

g

 

A

r

g

u

m

e

n

t

s

 

t

o

 

H

y

p

e

r

p

a

r

a

m

e

t

e

r

s




C

r

e

a

t

i

n

g

 

E

s

t

i

m

a

t

o

r




2

0

2

1

-

0

4

-

0

8

 

1

1

:

5

6

:

5

0

 

S

t

a

r

t

i

n

g

 

-

 

S

t

a

r

t

i

n

g

 

t

h

e

 

t

r

a

i

n

i

n

g

 

j

o

b

.

.

.




2

0

2

1

-

0

4

-

0

8

 

1

1

:

5

7

:

1

3

 

S

t

a

r

t

i

n

g

 

-

 

L

a

u

n

c

h

i

n

g

 

r

e

q

u

e

s

t

e

d

 

M

L

 

i

n

s

t

a

n

c

e

s

P

r

o

f

i

l

e

r

R

e

p

o

r

t

-

1

6

1

7

8

8

3

0

0

8

:

 

I

n

P

r

o

g

r

e

s

s




.

.

.

.

.

.

.

.

.




2

0

2

1

-

0

4

-

0

8

 

1

1

:

5

8

:

5

4

 

S

t

a

r

t

i

n

g

 

-

 

P

r

e

p

a

r

i

n

g

 

t

h

e

 

i

n

s

t

a

n

c

e

s

 

f

o

r

 

t

r

a

i

n

i

n

g

.

.

.

.

.

.

.

.

.




2

0

2

1

-

0

4

-

0

8

 

1

2

:

0

0

:

2

4

 

D

o

w

n

l

o

a

d

i

n

g

 

-

 

D

o

w

n

l

o

a

d

i

n

g

 

i

n

p

u

t

 

d

a

t

a




2

0

2

1

-

0

4

-

0

8

 

1

2

:

0

0

:

2

4

 

T

r

a

i

n

i

n

g

 

-

 

D

o

w

n

l

o

a

d

i

n

g

 

t

h

e

 

t

r

a

i

n

i

n

g

 

i

m

a

g

e

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.




2

0

2

1

-

0

4

-

0

8

 

1

2

:

0

3

:

3

9

 

T

r

a

i

n

i

n

g

 

-

 

T

r

a

i

n

i

n

g

 

i

m

a

g

e

 

d

o

w

n

l

o

a

d

 

c

o

m

p

l

e

t

e

d

.

 

T

r

a

i

n

i

n

g

 

i

n

 

p

r

o

g

r

e

s

s

.

.




.

.

.

.

.

.

.

.




e

p

o

c

h

 

0

:

 

{

'

a

c

c

u

r

a

c

y

'

:

 

0

.

7

5

9

8

0

3

9

2

1

5

6

8

6

2

7

4

,

 

'

f

1

'

:

 

0

.

8

1

7

8

4

3

8

6

6

1

7

1

0

0

3

7

}




e

p

o

c

h

 

1

:

 

{

'

a

c

c

u

r

a

c

y

'

:

 

0

.

8

3

5

7

8

4

3

1

3

7

2

5

4

9

0

2

,

 

'

f

1

'

:

 

0

.

8

8

2

2

4

9

5

6

0

6

3

2

6

8

9

}




e

p

o

c

h

 

2

:

 

{

'

a

c

c

u

r

a

c

y

'

:

 

0

.

8

4

0

6

8

6

2

7

4

5

0

9

8

0

3

9

,

 

'

f

1

'

:

 

0

.

8

8

6

9

5

6

5

2

1

7

3

9

1

3

0

4

}




.

.

.

.

.

.

.

.




2

0

2

1

-

0

4

-

0

8

 

1

2

:

0

5

:

4

0

 

U

p

l

o

a

d

i

n

g

 

-

 

U

p

l

o

a

d

i

n

g

 

g

e

n

e

r

a

t

e

d

 

t

r

a

i

n

i

n

g

 

m

o

d

e

l




2

0

2

1

-

0

4

-

0

8

 

1

2

:

0

5

:

4

0

 

C

o

m

p

l

e

t

e

d

 

-

 

T

r

a

i

n

i

n

g

 

j

o

b

 

c

o

m

p

l

e

t

e

d




T

r

a

i

n

i

n

g

 

s

e

c

o

n

d

s

:

 

3

3

1




B

i

l

l

a

b

l

e

 

s

e

c

o

n

d

s

:

 

3

3

1




Y

o

u

 

c

a

n

 

f

i

n

d

 

y

o

u

r

 

m

o

d

e

l

 

d

a

t

a

 

a

t

:

 

s

3

:

/

/

y

o

u

r

-

b

u

c

k

e

t

/

a

c

c

e

l

e

r

a

t

e

-

s

a

g

e

m

a

k

e

r

-

1

-

2

0

2

1

-

0

4

-

0

8

-

1

1

-

5

6

-

4

7

-

1

0

8

/

o

u

t

p

u

t

/

m

o

d

e

l

.

t

a

r

.

g

z




`

`

`







#

#

 

A

d

v

a

n

c

e

d

 

F

e

a

t

u

r

e

s







#

#

#

 

D

i

s

t

r

i

b

u

t

e

d

 

T

r

a

i

n

i

n

g

:

 

D

a

t

a

 

P

a

r

a

l

l

e

l

i

s

m







S

e

t

 

u

p

 

t

h

e

 

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

 

b

y

 

r

u

n

n

i

n

g

 

`

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

`

 

a

n

d

 

a

n

s

w

e

r

 

t

h

e

 

S

a

g

e

M

a

k

e

r

 

q

u

e

s

t

i

o

n

s

 

a

n

d

 

s

e

t

 

i

t

 

u

p

.




T

o

 

u

s

e

 

S

a

g

e

M

a

k

e

r

 

D

D

P

,

 

s

e

l

e

c

t

 

i

t

 

w

h

e

n

 

a

s

k

e

d

 




`

W

h

a

t

 

i

s

 

t

h

e

 

d

i

s

t

r

i

b

u

t

e

d

 

m

o

d

e

?

 

(

[

0

]

 

N

o

 

d

i

s

t

r

i

b

u

t

e

d

 

t

r

a

i

n

i

n

g

,

 

[

1

]

 

d

a

t

a

 

p

a

r

a

l

l

e

l

i

s

m

)

:

`

.




E

x

a

m

p

l

e

 

c

o

n

f

i

g

 

b

e

l

o

w

:




`

`

`

y

a

m

l




b

a

s

e

_

j

o

b

_

n

a

m

e

:

 

a

c

c

e

l

e

r

a

t

e

-

s

a

g

e

m

a

k

e

r

-

1




c

o

m

p

u

t

e

_

e

n

v

i

r

o

n

m

e

n

t

:

 

A

M

A

Z

O

N

_

S

A

G

E

M

A

K

E

R




d

i

s

t

r

i

b

u

t

e

d

_

t

y

p

e

:

 

D

A

T

A

_

P

A

R

A

L

L

E

L




e

c

2

_

i

n

s

t

a

n

c

e

_

t

y

p

e

:

 

m

l

.

p

3

.

1

6

x

l

a

r

g

e




i

a

m

_

r

o

l

e

_

n

a

m

e

:

 

x

x

x

x

x




i

m

a

g

e

_

u

r

i

:

 

n

u

l

l




m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

:

 

f

p

1

6




n

u

m

_

m

a

c

h

i

n

e

s

:

 

1




p

r

o

f

i

l

e

:

 

x

x

x

x

x




p

y

_

v

e

r

s

i

o

n

:

 

p

y

3

8




p

y

t

o

r

c

h

_

v

e

r

s

i

o

n

:

 

1

.

1

0

.

2




r

e

g

i

o

n

:

 

u

s

-

e

a

s

t

-

1




t

r

a

n

s

f

o

r

m

e

r

s

_

v

e

r

s

i

o

n

:

 

4

.

1

7

.

0




u

s

e

_

c

p

u

:

 

f

a

l

s

e




`

`

`







#

#

#

 

D

i

s

t

r

i

b

u

t

e

d

 

T

r

a

i

n

i

n

g

:

 

M

o

d

e

l

 

P

a

r

a

l

l

e

l

i

s

m







*

c

u

r

r

e

n

t

l

y

 

i

n

 

d

e

v

e

l

o

p

m

e

n

t

,

 

w

i

l

l

 

b

e

 

s

u

p

p

o

r

t

e

d

 

s

o

o

n

.

*







#

#

#

 

P

y

t

h

o

n

 

p

a

c

k

a

g

e

s

 

a

n

d

 

d

e

p

e

n

d

e

n

c

i

e

s







A

c

c

e

l

e

r

a

t

e

 

c

u

r

r

e

n

t

l

y

 

u

s

e

s

 

t

h

e

 

D

L

C

s

,

 

w

i

t

h

 

`

t

r

a

n

s

f

o

r

m

e

r

s

`

,

 

`

d

a

t

a

s

e

t

s

`

 

a

n

d

 

`

t

o

k

e

n

i

z

e

r

s

`

 

p

r

e

-

i

n

s

t

a

l

l

e

d

.

 

I

f

 

y

o

u




w

a

n

t

 

t

o

 

u

s

e

 

d

i

f

f

e

r

e

n

t

/

o

t

h

e

r

 

P

y

t

h

o

n

 

p

a

c

k

a

g

e

s

 

y

o

u

 

c

a

n

 

d

o

 

t

h

i

s

 

b

y

 

a

d

d

i

n

g

 

t

h

e

m

 

t

o

 

t

h

e

 

`

r

e

q

u

i

r

e

m

e

n

t

s

.

t

x

t

`

.

 

T

h

e

s

e

 

p

a

c

k

a

g

e

s




w

i

l

l

 

b

e

 

i

n

s

t

a

l

l

e

d

 

b

e

f

o

r

e

 

y

o

u

r

 

t

r

a

i

n

i

n

g

 

s

c

r

i

p

t

 

i

s

 

s

t

a

r

t

e

d

.







#

#

#

 

L

o

c

a

l

 

T

r

a

i

n

i

n

g

:

 

S

a

g

e

M

a

k

e

r

 

L

o

c

a

l

 

m

o

d

e







T

h

e

 

l

o

c

a

l

 

m

o

d

e

 

i

n

 

t

h

e

 

S

a

g

e

M

a

k

e

r

 

S

D

K

 

a

l

l

o

w

s

 

y

o

u

 

t

o

 

r

u

n

 

y

o

u

r

 

t

r

a

i

n

i

n

g

 

s

c

r

i

p

t

 

l

o

c

a

l

l

y

 

i

n

s

i

d

e

 

t

h

e

 

H

u

g

g

i

n

g

F

a

c

e

 

D

L

C

 

(

D

e

e

p

 

L

e

a

r

n

i

n

g

 

c

o

n

t

a

i

n

e

r

)

 




o

r

 

u

s

i

n

g

 

y

o

u

r

 

c

u

s

t

o

m

 

c

o

n

t

a

i

n

e

r

 

i

m

a

g

e

.

 

T

h

i

s

 

i

s

 

u

s

e

f

u

l

 

f

o

r

 

d

e

b

u

g

g

i

n

g

 

a

n

d

 

t

e

s

t

i

n

g

 

y

o

u

r

 

t

r

a

i

n

i

n

g

 

s

c

r

i

p

t

 

i

n

s

i

d

e

 

t

h

e

 

f

i

n

a

l

 

c

o

n

t

a

i

n

e

r

 

e

n

v

i

r

o

n

m

e

n

t

.




L

o

c

a

l

 

m

o

d

e

 

u

s

e

s

 

D

o

c

k

e

r

 

c

o

m

p

o

s

e

 

(

*

N

o

t

e

:

 

D

o

c

k

e

r

 

C

o

m

p

o

s

e

 

V

2

 

i

s

 

n

o

t

 

s

u

p

p

o

r

t

e

d

 

y

e

t

*

)

.

 

T

h

e

 

S

D

K

 

w

i

l

l

 

h

a

n

d

l

e

 

t

h

e

 

a

u

t

h

e

n

t

i

c

a

t

i

o

n

 

a

g

a

i

n

s

t

 

E

C

R




t

o

 

p

u

l

l

 

t

h

e

 

D

L

C

 

t

o

 

y

o

u

r

 

l

o

c

a

l

 

e

n

v

i

r

o

n

m

e

n

t

.

 

Y

o

u

 

c

a

n

 

e

m

u

l

a

t

e

 

C

P

U

 

(

s

i

n

g

l

e

 

a

n

d

 

m

u

l

t

i

-

i

n

s

t

a

n

c

e

)

 

a

n

d

 

G

P

U

 

(

s

i

n

g

l

e

 

i

n

s

t

a

n

c

e

)

 

S

a

g

e

M

a

k

e

r

 

t

r

a

i

n

i

n

g

 

j

o

b

s

.







T

o

 

u

s

e

 

l

o

c

a

l

 

m

o

d

e

,

 

y

o

u

 

n

e

e

d

 

t

o

 

s

e

t

 

y

o

u

r

 

`

e

c

2

_

i

n

s

t

a

n

c

e

_

t

y

p

e

`

 

t

o

 

`

l

o

c

a

l

`

.







`

`

`

y

a

m

l




e

c

2

_

i

n

s

t

a

n

c

e

_

t

y

p

e

:

 

l

o

c

a

l




`

`

`







#

#

#

 

A

d

v

a

n

c

e

d

 

c

o

n

f

i

g

u

r

a

t

i

o

n







T

h

e

 

c

o

n

f

i

g

u

r

a

t

i

o

n

 

a

l

l

o

w

s

 

y

o

u

 

t

o

 

o

v

e

r

r

i

d

e

 

p

a

r

a

m

e

t

e

r

s

 

f

o

r

 

t

h

e

 

[

E

s

t

i

m

a

t

o

r

]

(

h

t

t

p

s

:

/

/

s

a

g

e

m

a

k

e

r

.

r

e

a

d

t

h

e

d

o

c

s

.

i

o

/

e

n

/

s

t

a

b

l

e

/

a

p

i

/

t

r

a

i

n

i

n

g

/

e

s

t

i

m

a

t

o

r

s

.

h

t

m

l

)

.




T

h

e

s

e

 

s

e

t

t

i

n

g

s

 

h

a

v

e

 

t

o

 

b

e

 

a

p

p

l

i

e

d

 

i

n

 

t

h

e

 

c

o

n

f

i

g

 

f

i

l

e

 

a

n

d

 

a

r

e

 

n

o

t

 

p

a

r

t

 

o

f

 

`

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

`

.

 

Y

o

u

 

c

a

n

 

c

o

n

t

r

o

l

 

m

a

n

y

 

a

d

d

i

t

i

o

n

a

l

 

a

s

p

e

c

t

s

 

o

f

 

t

h

e

 

t

r

a

i

n

i

n

g

 

j

o

b

,

 

e

.

g

.

 

u

s

e

 

S

p

o

t

 

i

n

s

t

a

n

c

e

s

,

 

e

n

a

b

l

e

 

n

e

t

w

o

r

k

 

i

s

o

l

a

t

i

o

n

 

a

n

d

 

m

a

n

y

 

m

o

r

e

.







`

`

`

y

a

m

l




a

d

d

i

t

i

o

n

a

l

_

a

r

g

s

:




 

 

#

 

e

n

a

b

l

e

 

n

e

t

w

o

r

k

 

i

s

o

l

a

t

i

o

n

 

t

o

 

r

e

s

t

r

i

c

t

 

i

n

t

e

r

n

e

t

 

a

c

c

e

s

s

 

f

o

r

 

c

o

n

t

a

i

n

e

r

s




 

 

e

n

a

b

l

e

_

n

e

t

w

o

r

k

_

i

s

o

l

a

t

i

o

n

:

 

T

r

u

e




`

`

`







Y

o

u

 

c

a

n

 

f

i

n

d

 

a

l

l

 

a

v

a

i

l

a

b

l

e

 

c

o

n

f

i

g

u

r

a

t

i

o

n

 

[

h

e

r

e

]

(

h

t

t

p

s

:

/

/

s

a

g

e

m

a

k

e

r

.

r

e

a

d

t

h

e

d

o

c

s

.

i

o

/

e

n

/

s

t

a

b

l

e

/

a

p

i

/

t

r

a

i

n

i

n

g

/

e

s

t

i

m

a

t

o

r

s

.

h

t

m

l

)

.







#

#

#

 

U

s

e

 

S

p

o

t

 

I

n

s

t

a

n

c

e

s







Y

o

u

 

c

a

n

 

u

s

e

 

S

p

o

t

 

I

n

s

t

a

n

c

e

s

 

e

.

g

.

 

u

s

i

n

g

 

(

s

e

e

 

[

A

d

v

a

n

c

e

d

 

c

o

n

f

i

g

u

r

a

t

i

o

n

]

(

#

a

d

v

a

n

c

e

d

-

c

o

n

f

i

g

u

r

a

t

i

o

n

)

)

:




`

`

`

y

a

m

l




a

d

d

i

t

i

o

n

a

l

_

a

r

g

s

:




 

 

u

s

e

_

s

p

o

t

_

i

n

s

t

a

n

c

e

s

:

 

T

r

u

e




 

 

m

a

x

_

w

a

i

t

:

 

8

6

4

0

0




`

`

`







*

N

o

t

e

:

 

S

p

o

t

 

I

n

s

t

a

n

c

e

s

 

a

r

e

 

s

u

b

j

e

c

t

 

t

o

 

b

e

 

t

e

r

m

i

n

a

t

e

d

 

a

n

d

 

t

r

a

i

n

i

n

g

 

t

o

 

b

e

 

c

o

n

t

i

n

u

e

d

 

f

r

o

m

 

a

 

c

h

e

c

k

p

o

i

n

t

.

 

T

h

i

s

 

i

s

 

n

o

t

 

h

a

n

d

l

e

d

 

i

n

 

A

c

c

e

l

e

r

a

t

e

 

o

u

t

 

o

f

 

t

h

e

 

b

o

x

.

 

C

o

n

t

a

c

t

 

u

s

 

i

f

 

y

o

u

 

w

o

u

l

d

 

l

i

k

e

 

t

h

i

s

 

f

e

a

t

u

r

e

.

*







#

#

#

 

R

e

m

o

t

e

 

s

c

r

i

p

t

s

:

 

U

s

e

 

s

c

r

i

p

t

s

 

l

o

c

a

t

e

d

 

o

n

 

G

i

t

h

u

b







*

u

n

d

e

c

i

d

e

d

 

i

f

 

f

e

a

t

u

r

e

 

i

s

 

n

e

e

d

e

d

.

 

C

o

n

t

a

c

t

 

u

s

 

i

f

 

y

o

u

 

w

o

u

l

d

 

l

i

k

e

 

t

h

i

s

 

f

e

a

t

u

r

e

.

*







#

 

U

s

i

n

g

 

L

o

c

a

l

 

S

G

D

 

w

i

t

h

 

A

c

c

e

l

e

r

a

t

e







L

o

c

a

l

 

S

G

D

 

i

s

 

a

 

t

e

c

h

n

i

q

u

e

 

f

o

r

 

d

i

s

t

r

i

b

u

t

e

d

 

t

r

a

i

n

i

n

g

 

w

h

e

r

e

 

g

r

a

d

i

e

n

t

s

 

a

r

e

 

n

o

t

 

s

y

n

c

h

r

o

n

i

z

e

d

 

e

v

e

r

y

 

s

t

e

p

.

 

T

h

u

s

,

 

e

a

c

h

 

p

r

o

c

e

s

s

 

u

p

d

a

t

e

s

 

i

t

s

 

o

w

n

 

v

e

r

s

i

o

n

 

o

f

 

t

h

e

 

m

o

d

e

l

 

w

e

i

g

h

t

s

 

a

n

d

 

a

f

t

e

r

 

a

 

g

i

v

e

n

 

n

u

m

b

e

r

 

o

f

 

s

t

e

p

s

 

t

h

e

s

e

 

w

e

i

g

h

t

s

 

a

r

e

 

s

y

n

c

h

r

o

n

i

z

e

d

 

b

y

 

a

v

e

r

a

g

i

n

g

 

a

c

r

o

s

s

 

a

l

l

 

p

r

o

c

e

s

s

e

s

.

 

T

h

i

s

 

i

m

p

r

o

v

e

s

 

c

o

m

m

u

n

i

c

a

t

i

o

n

 

e

f

f

i

c

i

e

n

c

y

 

a

n

d

 

c

a

n

 

l

e

a

d

 

t

o

 

s

u

b

s

t

a

n

t

i

a

l

 

t

r

a

i

n

i

n

g

 

s

p

e

e

d

 

u

p

 

e

s

p

e

c

i

a

l

l

y

 

w

h

e

n

 

a

 

c

o

m

p

u

t

e

r

 

l

a

c

k

s

 

a

 

f

a

s

t

e

r

 

i

n

t

e

r

c

o

n

n

e

c

t

 

s

u

c

h

 

a

s

 

N

V

L

i

n

k

.




U

n

l

i

k

e

 

g

r

a

d

i

e

n

t

 

a

c

c

u

m

u

l

a

t

i

o

n

 

(

w

h

e

r

e

 

i

m

p

r

o

v

i

n

g

 

c

o

m

m

u

n

i

c

a

t

i

o

n

 

e

f

f

i

c

i

e

n

c

y

 

r

e

q

u

i

r

e

s

 

i

n

c

r

e

a

s

i

n

g

 

t

h

e

 

e

f

f

e

c

t

i

v

e

 

b

a

t

c

h

 

s

i

z

e

)

,

 

L

o

c

a

l

 

S

G

D

 

d

o

e

s

 

n

o

t

 

r

e

q

u

i

r

e

 

c

h

a

n

g

i

n

g

 

a

 

b

a

t

c

h

 

s

i

z

e

 

o

r

 

a

 

l

e

a

r

n

i

n

g

 

r

a

t

e

 

/

 

s

c

h

e

d

u

l

e

.

 

H

o

w

e

v

e

r

,

 

i

f

 

n

e

c

e

s

s

a

r

y

,

 

L

o

c

a

l

 

S

G

D

 

c

a

n

 

b

e

 

c

o

m

b

i

n

e

d

 

w

i

t

h

 

g

r

a

d

i

e

n

t

 

a

c

c

u

m

u

l

a

t

i

o

n

 

a

s

 

w

e

l

l

.







I

n

 

t

h

i

s

 

t

u

t

o

r

i

a

l

 

y

o

u

 

w

i

l

l

 

s

e

e

 

h

o

w

 

t

o

 

q

u

i

c

k

l

y

 

s

e

t

u

p

 

 

L

o

c

a

l

 

S

G

D

 

A

c

c

e

l

e

r

a

t

e

.

 

C

o

m

p

a

r

e

d

 

t

o

 

a

 

s

t

a

n

d

a

r

d

 

A

c

c

e

l

e

r

a

t

e

 

s

e

t

u

p

,

 

t

h

i

s

 

r

e

q

u

i

r

e

s

 

o

n

l

y

 

t

w

o

 

e

x

t

r

a

 

l

i

n

e

s

 

o

f

 

c

o

d

e

.







T

h

i

s

 

e

x

a

m

p

l

e

 

w

i

l

l

 

u

s

e

 

a

 

v

e

r

y

 

s

i

m

p

l

i

s

t

i

c

 

P

y

T

o

r

c

h

 

t

r

a

i

n

i

n

g

 

l

o

o

p

 

t

h

a

t

 

p

e

r

f

o

r

m

s

 

g

r

a

d

i

e

n

t

 

a

c

c

u

m

u

l

a

t

i

o

n

 

e

v

e

r

y

 

t

w

o

 

b

a

t

c

h

e

s

:







`

`

`

p

y

t

h

o

n




d

e

v

i

c

e

 

=

 

"

c

u

d

a

"




m

o

d

e

l

.

t

o

(

d

e

v

i

c

e

)







g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

 

=

 

2







f

o

r

 

i

n

d

e

x

,

 

b

a

t

c

h

 

i

n

 

e

n

u

m

e

r

a

t

e

(

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

)

:




 

 

 

 

i

n

p

u

t

s

,

 

t

a

r

g

e

t

s

 

=

 

b

a

t

c

h




 

 

 

 

i

n

p

u

t

s

 

=

 

i

n

p

u

t

s

.

t

o

(

d

e

v

i

c

e

)




 

 

 

 

t

a

r

g

e

t

s

 

=

 

t

a

r

g

e

t

s

.

t

o

(

d

e

v

i

c

e

)




 

 

 

 

o

u

t

p

u

t

s

 

=

 

m

o

d

e

l

(

i

n

p

u

t

s

)




 

 

 

 

l

o

s

s

 

=

 

l

o

s

s

_

f

u

n

c

t

i

o

n

(

o

u

t

p

u

t

s

,

 

t

a

r

g

e

t

s

)




 

 

 

 

l

o

s

s

 

=

 

l

o

s

s

 

/

 

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s




 

 

 

 

l

o

s

s

.

b

a

c

k

w

a

r

d

(

)




 

 

 

 

i

f

 

(

i

n

d

e

x

 

+

 

1

)

 

%

 

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

 

=

=

 

0

:




 

 

 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




 

 

 

 

 

 

 

 

s

c

h

e

d

u

l

e

r

.

s

t

e

p

(

)




 

 

 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

.

z

e

r

o

_

g

r

a

d

(

)




`

`

`







#

#

 

C

o

n

v

e

r

t

i

n

g

 

i

t

 

t

o

 

A

c

c

e

l

e

r

a

t

e







F

i

r

s

t

 

t

h

e

 

c

o

d

e

 

s

h

o

w

n

 

e

a

r

l

i

e

r

 

w

i

l

l

 

b

e

 

c

o

n

v

e

r

t

e

d

 

t

o

 

u

s

e

 

A

c

c

e

l

e

r

a

t

e

 

 

w

i

t

h

 

n

e

i

t

h

e

r

 

a

 

L

o

c

a

l

S

G

D

 

o

r

 

a

 

g

r

a

d

i

e

n

t

 

a

c

c

u

m

u

l

a

t

i

o

n

 

h

e

l

p

e

r

:







`

`

`

d

i

f

f




+

 

f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

A

c

c

e

l

e

r

a

t

o

r




+

 

a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

)







+

 

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

,

 

s

c

h

e

d

u

l

e

r

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(




+

 

 

 

 

 

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

,

 

s

c

h

e

d

u

l

e

r




+

 

)







 

 

f

o

r

 

i

n

d

e

x

,

 

b

a

t

c

h

 

i

n

 

e

n

u

m

e

r

a

t

e

(

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

)

:




 

 

 

 

 

 

i

n

p

u

t

s

,

 

t

a

r

g

e

t

s

 

=

 

b

a

t

c

h




-

 

 

 

 

 

i

n

p

u

t

s

 

=

 

i

n

p

u

t

s

.

t

o

(

d

e

v

i

c

e

)




-

 

 

 

 

 

t

a

r

g

e

t

s

 

=

 

t

a

r

g

e

t

s

.

t

o

(

d

e

v

i

c

e

)




 

 

 

 

 

 

o

u

t

p

u

t

s

 

=

 

m

o

d

e

l

(

i

n

p

u

t

s

)




 

 

 

 

 

 

l

o

s

s

 

=

 

l

o

s

s

_

f

u

n

c

t

i

o

n

(

o

u

t

p

u

t

s

,

 

t

a

r

g

e

t

s

)




 

 

 

 

 

 

l

o

s

s

 

=

 

l

o

s

s

 

/

 

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s




+

 

 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

b

a

c

k

w

a

r

d

(

l

o

s

s

)




 

 

 

 

 

 

i

f

 

(

i

n

d

e

x

+

1

)

 

%

 

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

 

=

=

 

0

:




 

 

 

 

 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




 

 

 

 

 

 

 

 

 

 

s

c

h

e

d

u

l

e

r

.

s

t

e

p

(

)




`

`

`







#

#

 

L

e

t

t

i

n

g

 

A

c

c

e

l

e

r

a

t

e

 

h

a

n

d

l

e

 

m

o

d

e

l

 

s

y

n

c

h

r

o

n

i

z

a

t

i

o

n

 







A

l

l

 

t

h

a

t

 

i

s

 

l

e

f

t

 

n

o

w

 

i

s

 

t

o

 

l

e

t

 

A

c

c

e

l

e

r

a

t

e

 

h

a

n

d

l

e

 

m

o

d

e

l

 

p

a

r

a

m

e

t

e

r

 

s

y

n

c

h

r

o

n

i

z

a

t

i

o

n

 

*

*

a

n

d

*

*

 

t

h

e

 

g

r

a

d

i

e

n

t

 

a

c

c

u

m

u

l

a

t

i

o

n

 

f

o

r

 

u

s

.

 

F

o

r

 

s

i

m

p

l

i

c

i

t

y

 

l

e

t

 

u

s

 

a

s

s

u

m

e

 

w

e

 

n

e

e

d

 

t

o

 

s

y

n

c

h

r

o

n

i

z

e

 

e

v

e

r

y

 

8

 

s

t

e

p

s

.

 

T

h

i

s

 

i

s




a

c

h

i

e

v

e

d

 

b

y

 

a

d

d

i

n

g

 

o

n

e

 

`

w

i

t

h

 

L

o

c

a

l

S

G

D

`

 

s

t

a

t

e

m

e

n

t

 

a

n

d

 

o

n

e

 

c

a

l

l

 

`

l

o

c

a

l

_

s

g

d

.

s

t

e

p

(

)

`

 

a

f

t

e

r

 

e

v

e

r

y

 

o

p

t

i

m

i

z

e

r

 

s

t

e

p

:







`

`

`

d

i

f

f




+

l

o

c

a

l

_

s

g

d

_

s

t

e

p

s

=

8







+

w

i

t

h

 

L

o

c

a

l

S

G

D

(

a

c

c

e

l

e

r

a

t

o

r

=

a

c

c

e

l

e

r

a

t

o

r

,

 

m

o

d

e

l

=

m

o

d

e

l

,

 

l

o

c

a

l

_

s

g

d

_

s

t

e

p

s

=

8

,

 

e

n

a

b

l

e

d

=

T

r

u

e

)

 

a

s

 

l

o

c

a

l

_

s

g

d

:




 

 

 

 

f

o

r

 

b

a

t

c

h

 

i

n

 

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

:




 

 

 

 

 

 

 

 

w

i

t

h

 

a

c

c

e

l

e

r

a

t

o

r

.

a

c

c

u

m

u

l

a

t

e

(

m

o

d

e

l

)

:




 

 

 

 

 

 

 

 

 

 

 

 

i

n

p

u

t

s

,

 

t

a

r

g

e

t

s

 

=

 

b

a

t

c

h




 

 

 

 

 

 

 

 

 

 

 

 

o

u

t

p

u

t

s

 

=

 

m

o

d

e

l

(

i

n

p

u

t

s

)




 

 

 

 

 

 

 

 

 

 

 

 

l

o

s

s

 

=

 

l

o

s

s

_

f

u

n

c

t

i

o

n

(

o

u

t

p

u

t

s

,

 

t

a

r

g

e

t

s

)




 

 

 

 

 

 

 

 

 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

b

a

c

k

w

a

r

d

(

l

o

s

s

)




 

 

 

 

 

 

 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




 

 

 

 

 

 

 

 

 

 

 

 

s

c

h

e

d

u

l

e

r

.

s

t

e

p

(

)




 

 

 

 

 

 

 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

.

z

e

r

o

_

g

r

a

d

(

)




+

 

 

 

 

 

 

 

 

 

 

 

l

o

c

a

l

_

s

g

d

.

s

t

e

p

(

)




`

`

`







U

n

d

e

r

 

t

h

e

 

h

o

o

d

,

 

t

h

e

 

L

o

c

a

l

 

S

G

D

 

c

o

d

e

 

*

*

d

i

s

a

b

l

e

s

*

*

 

a

u

t

o

m

a

t

i

c

 

g

r

a

d

i

e

n

t

 

s

y

n

c

h

r

o

n

i

z

a

t

i

o

n

 

(

b

u

t

 

a

c

c

u

m

u

l

a

t

i

o

n

 

s

t

i

l

l

 

w

o

r

k

s

 

a

s

 

e

x

p

e

c

t

e

d

!

)

.

 

I

n

s

t

e

a

d

 

i

t

 

a

v

e

r

a

g

e

s

 

m

o

d

e

l

 

p

a

r

a

m

e

t

e

r

s

 

e

v

e

r

y

 

`

l

o

c

a

l

_

s

g

d

_

s

t

e

p

s

`

 

s

t

e

p

s

 

(

a

s

 

w

e

l

l

 

a

s

 

a

t

 

t

h

e

 

e

n

d

 

o

f

 

t

h

e

 

t

r

a

i

n

i

n

g

 

l

o

o

p

)

.







#

#

 

L

i

m

i

t

a

t

i

o

n

s







T

h

e

 

c

u

r

r

e

n

t

 

i

m

p

l

e

m

e

n

t

a

t

i

o

n

 

w

o

r

k

s

 

o

n

l

y

 

w

i

t

h

 

b

a

s

i

c

 

m

u

l

t

i

-

G

P

U

 

(

o

r

 

m

u

l

t

i

-

C

P

U

)

 

t

r

a

i

n

i

n

g

 

w

i

t

h

o

u

t

,

 

e

.

g

.

,

 

[

D

e

e

p

S

p

e

e

d

.

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

m

i

c

r

o

s

o

f

t

/

D

e

e

p

S

p

e

e

d

)

.







#

#

 

R

e

f

e

r

e

n

c

e

s







 

 

 

 

A

l

t

h

o

u

g

h

 

w

e

 

a

r

e

 

n

o

t

 

a

w

a

r

e

 

o

f

 

t

h

e

 

t

r

u

e

 

o

r

i

g

i

n

s

 

o

f

 

t

h

i

s

 

s

i

m

p

l

e

 

a

p

p

r

o

a

c

h

,

 

t

h

e

 

i

d

e

a

 

o

f

 

l

o

c

a

l

 

S

G

D

 

i

s

 

q

u

i

t

e

 

o

l

d

 

a

n

d

 

g

o

e

s




 

 

 

 

b

a

c

k

 

t

o

 

a

t

 

l

e

a

s

t

:







 

 

 

 

Z

h

a

n

g

,

 

J

.

,

 

D

e

 

S

a

,

 

C

.

,

 

M

i

t

l

i

a

g

k

a

s

,

 

I

.

,

 

&

 

R

é

,

 

C

.

 

(

2

0

1

6

)

.

 

[

P

a

r

a

l

l

e

l

 

S

G

D

:

 

W

h

e

n

 

d

o

e

s

 

a

v

e

r

a

g

i

n

g

 

h

e

l

p

?

.

 

a

r

X

i

v

 

p

r

e

p

r

i

n

t




 

 

 

 

a

r

X

i

v

:

1

6

0

6

.

0

7

3

6

5

.

]

(

h

t

t

p

s

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

1

6

0

6

.

0

7

3

6

5

)







 

 

 

 

W

e

 

c

r

e

d

i

t

 

t

h

e

 

t

e

r

m

 

L

o

c

a

l

 

S

G

D

 

t

o

 

t

h

e

 

f

o

l

l

o

w

i

n

g

 

p

a

p

e

r

 

(

b

u

t

 

t

h

e

r

e

 

m

i

g

h

t

 

b

e

 

e

a

r

l

i

e

r

 

r

e

f

e

r

e

n

c

e

s

 

w

e

 

a

r

e

 

n

o

t

 

a

w

a

r

e

 

o

f

)

.







 

 

 

 

S

t

i

c

h

,

 

S

e

b

a

s

t

i

a

n

 

U

r

b

a

n

.

 

[

"

L

o

c

a

l

 

S

G

D

 

C

o

n

v

e

r

g

e

s

 

F

a

s

t

 

a

n

d

 

C

o

m

m

u

n

i

c

a

t

e

s

 

L

i

t

t

l

e

.

"

 

I

C

L

R

 

2

0

1

9

-

I

n

t

e

r

n

a

t

i

o

n

a

l

 

C

o

n

f

e

r

e

n

c

e

 

o

n




 

 

 

 

L

e

a

r

n

i

n

g

 

R

e

p

r

e

s

e

n

t

a

t

i

o

n

s

.

 

N

o

.

 

C

O

N

F

.

 

2

0

1

9

.

]

(

h

t

t

p

s

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

1

8

0

5

.

0

9

7

6

7

)







#

 

M

o

d

e

l

 

q

u

a

n

t

i

z

a

t

i

o

n







#

#

 

`

b

i

t

s

a

n

d

b

y

t

e

s

`

 

I

n

t

e

g

r

a

t

i

o

n







A

c

c

e

l

e

r

a

t

e

 

b

r

i

n

g

s

 

`

b

i

t

s

a

n

d

b

y

t

e

s

`

 

q

u

a

n

t

i

z

a

t

i

o

n

 

t

o

 

y

o

u

r

 

m

o

d

e

l

.

 

Y

o

u

 

c

a

n

 

n

o

w

 

l

o

a

d

 

a

n

y

 

p

y

t

o

r

c

h

 

m

o

d

e

l

 

i

n

 

8

-

b

i

t

 

o

r

 

4

-

b

i

t

 

w

i

t

h

 

a

 

f

e

w

 

l

i

n

e

s

 

o

f

 

c

o

d

e

.







I

f

 

y

o

u

 

w

a

n

t

 

t

o

 

u

s

e

 

T

r

a

n

s

f

o

r

m

e

r

s

 

m

o

d

e

l

s

 

w

i

t

h

 

`

b

i

t

s

a

n

d

b

y

t

e

s

`

,

 

y

o

u

 

s

h

o

u

l

d

 

f

o

l

l

o

w

 

t

h

i

s

 

[

d

o

c

u

m

e

n

t

a

t

i

o

n

]

(

h

t

t

p

s

:

/

/

h

u

g

g

i

n

g

f

a

c

e

.

c

o

/

d

o

c

s

/

t

r

a

n

s

f

o

r

m

e

r

s

/

m

a

i

n

_

c

l

a

s

s

e

s

/

q

u

a

n

t

i

z

a

t

i

o

n

)

.

 







T

o

 

l

e

a

r

n

 

m

o

r

e

 

a

b

o

u

t

 

h

o

w

 

t

h

e

 

`

b

i

t

s

a

n

d

b

y

t

e

s

`

 

q

u

a

n

t

i

z

a

t

i

o

n

 

w

o

r

k

s

,

 

c

h

e

c

k

 

o

u

t

 

t

h

e

 

b

l

o

g

 

p

o

s

t

s

 

o

n

 

[

8

-

b

i

t

 

q

u

a

n

t

i

z

a

t

i

o

n

]

(

h

t

t

p

s

:

/

/

h

u

g

g

i

n

g

f

a

c

e

.

c

o

/

b

l

o

g

/

h

f

-

b

i

t

s

a

n

d

b

y

t

e

s

-

i

n

t

e

g

r

a

t

i

o

n

)

 

a

n

d

 

[

4

-

b

i

t

 

q

u

a

n

t

i

z

a

t

i

o

n

]

(

h

t

t

p

s

:

/

/

h

u

g

g

i

n

g

f

a

c

e

.

c

o

/

b

l

o

g

/

4

b

i

t

-

t

r

a

n

s

f

o

r

m

e

r

s

-

b

i

t

s

a

n

d

b

y

t

e

s

)

.







#

#

#

 

P

r

e

-

R

e

q

u

i

s

i

t

e

s




Y

o

u

 

w

i

l

l

 

n

e

e

d

 

t

o

 

i

n

s

t

a

l

l

 

t

h

e

 

f

o

l

l

o

w

i

n

g

 

r

e

q

u

i

r

e

m

e

n

t

s

:







-

 

I

n

s

t

a

l

l

 

`

b

i

t

s

a

n

d

b

y

t

e

s

`

 

l

i

b

r

a

r

y




`

`

`

b

a

s

h




p

i

p

 

i

n

s

t

a

l

l

 

b

i

t

s

a

n

d

b

y

t

e

s




`

`

`




-

 

I

n

s

t

a

l

l

 

l

a

t

e

s

t

 

`

a

c

c

e

l

e

r

a

t

e

`

 

f

r

o

m

 

s

o

u

r

c

e




`

`

`

b

a

s

h




p

i

p

 

i

n

s

t

a

l

l

 

g

i

t

+

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

a

c

c

e

l

e

r

a

t

e

.

g

i

t




`

`

`




-

 

I

n

s

t

a

l

l

 

`

m

i

n

G

P

T

`

 

a

n

d

 

`

h

u

g

g

i

n

g

f

a

c

e

_

h

u

b

`

 

t

o

 

r

u

n

 

e

x

a

m

p

l

e

s




`

`

`

b

a

s

h




g

i

t

 

c

l

o

n

e

 

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

k

a

r

p

a

t

h

y

/

m

i

n

G

P

T

.

g

i

t




p

i

p

 

i

n

s

t

a

l

l

 

m

i

n

G

P

T

/




p

i

p

 

i

n

s

t

a

l

l

 

h

u

g

g

i

n

g

f

a

c

e

_

h

u

b




`

`

`







#

#

#

 

H

o

w

 

i

t

 

w

o

r

k

s







F

i

r

s

t

,

 

w

e

 

n

e

e

d

 

t

o

 

i

n

i

t

i

a

l

i

z

e

 

o

u

r

 

m

o

d

e

l

.

 

T

o

 

s

a

v

e

 

m

e

m

o

r

y

,

 

w

e

 

c

a

n

 

i

n

i

t

i

a

l

i

z

e

 

a

n

 

e

m

p

t

y

 

m

o

d

e

l

 

u

s

i

n

g

 

t

h

e

 

c

o

n

t

e

x

t

 

m

a

n

a

g

e

r

 

`

i

n

i

t

_

e

m

p

t

y

_

w

e

i

g

h

t

s

(

)

`

.

 







L

e

t

'

s

 

t

a

k

e

 

t

h

e

 

G

P

T

2

 

m

o

d

e

l

 

f

r

o

m

 

m

i

n

G

P

T

 

l

i

b

r

a

r

y

.




`

`

`

p

y




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

i

n

i

t

_

e

m

p

t

y

_

w

e

i

g

h

t

s




f

r

o

m

 

m

i

n

g

p

t

.

m

o

d

e

l

 

i

m

p

o

r

t

 

G

P

T







m

o

d

e

l

_

c

o

n

f

i

g

 

=

 

G

P

T

.

g

e

t

_

d

e

f

a

u

l

t

_

c

o

n

f

i

g

(

)




m

o

d

e

l

_

c

o

n

f

i

g

.

m

o

d

e

l

_

t

y

p

e

 

=

 

'

g

p

t

2

-

x

l

'




m

o

d

e

l

_

c

o

n

f

i

g

.

v

o

c

a

b

_

s

i

z

e

 

=

 

5

0

2

5

7




m

o

d

e

l

_

c

o

n

f

i

g

.

b

l

o

c

k

_

s

i

z

e

 

=

 

1

0

2

4







w

i

t

h

 

i

n

i

t

_

e

m

p

t

y

_

w

e

i

g

h

t

s

(

)

:




 

 

 

 

e

m

p

t

y

_

m

o

d

e

l

 

=

 

G

P

T

(

m

o

d

e

l

_

c

o

n

f

i

g

)




`

`

`







T

h

e

n

,

 

w

e

 

n

e

e

d

 

t

o

 

g

e

t

 

t

h

e

 

p

a

t

h

 

t

o

 

t

h

e

 

w

e

i

g

h

t

s

 

o

f

 

y

o

u

r

 

m

o

d

e

l

.

 

T

h

e

 

p

a

t

h

 

c

a

n

 

b

e

 

t

h

e

 

s

t

a

t

e

_

d

i

c

t

 

f

i

l

e

 

(

e

.

g

.

 

"

p

y

t

o

r

c

h

_

m

o

d

e

l

.

b

i

n

"

)

 

o

r

 

a

 

f

o

l

d

e

r

 

c

o

n

t

a

i

n

i

n

g

 

t

h

e

 

s

h

a

r

d

e

d

 

c

h

e

c

k

p

o

i

n

t

s

.

 







`

`

`

p

y




f

r

o

m

 

h

u

g

g

i

n

g

f

a

c

e

_

h

u

b

 

i

m

p

o

r

t

 

s

n

a

p

s

h

o

t

_

d

o

w

n

l

o

a

d




w

e

i

g

h

t

s

_

l

o

c

a

t

i

o

n

 

=

 

s

n

a

p

s

h

o

t

_

d

o

w

n

l

o

a

d

(

r

e

p

o

_

i

d

=

"

m

a

r

c

s

u

n

1

3

/

g

p

t

2

-

x

l

-

l

i

n

e

a

r

-

s

h

a

r

d

e

d

"

)




`

`

`







F

i

n

a

l

l

y

,

 

y

o

u

 

n

e

e

d

 

t

o

 

s

e

t

 

y

o

u

r

 

q

u

a

n

t

i

z

a

t

i

o

n

 

c

o

n

f

i

g

u

r

a

t

i

o

n

 

w

i

t

h

 

`

B

n

b

Q

u

a

n

t

i

z

a

t

i

o

n

C

o

n

f

i

g

`

.







H

e

r

e

'

s

 

a

n

 

e

x

a

m

p

l

e

 

f

o

r

 

8

-

b

i

t

 

q

u

a

n

t

i

z

a

t

i

o

n

:




`

`

`

p

y




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

.

u

t

i

l

s

 

i

m

p

o

r

t

 

B

n

b

Q

u

a

n

t

i

z

a

t

i

o

n

C

o

n

f

i

g




b

n

b

_

q

u

a

n

t

i

z

a

t

i

o

n

_

c

o

n

f

i

g

 

=

 

B

n

b

Q

u

a

n

t

i

z

a

t

i

o

n

C

o

n

f

i

g

(

l

o

a

d

_

i

n

_

8

b

i

t

=

T

r

u

e

,

 

l

l

m

_

i

n

t

8

_

t

h

r

e

s

h

o

l

d

 

=

 

6

)




`

`

`







H

e

r

e

'

s

 

a

n

 

e

x

a

m

p

l

e

 

f

o

r

 

4

-

b

i

t

 

q

u

a

n

t

i

z

a

t

i

o

n

:




`

`

`

p

y




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

.

u

t

i

l

s

 

i

m

p

o

r

t

 

B

n

b

Q

u

a

n

t

i

z

a

t

i

o

n

C

o

n

f

i

g




b

n

b

_

q

u

a

n

t

i

z

a

t

i

o

n

_

c

o

n

f

i

g

 

=

 

B

n

b

Q

u

a

n

t

i

z

a

t

i

o

n

C

o

n

f

i

g

(

l

o

a

d

_

i

n

_

4

b

i

t

=

T

r

u

e

,

 

b

n

b

_

4

b

i

t

_

c

o

m

p

u

t

e

_

d

t

y

p

e

=

t

o

r

c

h

.

b

f

l

o

a

t

1

6

,

 

b

n

b

_

4

b

i

t

_

u

s

e

_

d

o

u

b

l

e

_

q

u

a

n

t

=

T

r

u

e

,

 

b

n

b

_

4

b

i

t

_

q

u

a

n

t

_

t

y

p

e

=

"

n

f

4

"

)




`

`

`







T

o

 

q

u

a

n

t

i

z

e

 

y

o

u

r

 

e

m

p

t

y

 

m

o

d

e

l

 

w

i

t

h

 

t

h

e

 

s

e

l

e

c

t

e

d

 

c

o

n

f

i

g

u

r

a

t

i

o

n

,

 

y

o

u

 

n

e

e

d

 

t

o

 

u

s

e

 

`

l

o

a

d

_

a

n

d

_

q

u

a

n

t

i

z

e

_

m

o

d

e

l

(

)

`

.

 







`

`

`

p

y




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

.

u

t

i

l

s

 

i

m

p

o

r

t

 

l

o

a

d

_

a

n

d

_

q

u

a

n

t

i

z

e

_

m

o

d

e

l




q

u

a

n

t

i

z

e

d

_

m

o

d

e

l

 

=

 

l

o

a

d

_

a

n

d

_

q

u

a

n

t

i

z

e

_

m

o

d

e

l

(

e

m

p

t

y

_

m

o

d

e

l

,

 

w

e

i

g

h

t

s

_

l

o

c

a

t

i

o

n

=

w

e

i

g

h

t

s

_

l

o

c

a

t

i

o

n

,

 

b

n

b

_

q

u

a

n

t

i

z

a

t

i

o

n

_

c

o

n

f

i

g

=

b

n

b

_

q

u

a

n

t

i

z

a

t

i

o

n

_

c

o

n

f

i

g

,

 

d

e

v

i

c

e

_

m

a

p

 

=

 

"

a

u

t

o

"

)




`

`

`







#

#

#

 

S

a

v

i

n

g

 

a

n

d

 

l

o

a

d

i

n

g

 

8

-

b

i

t

 

m

o

d

e

l







Y

o

u

 

c

a

n

 

s

a

v

e

 

y

o

u

r

 

8

-

b

i

t

 

m

o

d

e

l

 

w

i

t

h

 

a

c

c

e

l

e

r

a

t

e

 

u

s

i

n

g

 

`

s

a

v

e

_

m

o

d

e

l

(

)

`

.

 







`

`

`

p

y




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

A

c

c

e

l

e

r

a

t

o

r




a

c

c

e

l

e

r

a

t

e

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

)




n

e

w

_

w

e

i

g

h

t

s

_

l

o

c

a

t

i

o

n

 

=

 

"

p

a

t

h

/

t

o

/

s

a

v

e

_

d

i

r

e

c

t

o

r

y

"




a

c

c

e

l

e

r

a

t

e

.

s

a

v

e

_

m

o

d

e

l

(

q

u

a

n

t

i

z

e

d

_

m

o

d

e

l

,

 

n

e

w

_

w

e

i

g

h

t

s

_

l

o

c

a

t

i

o

n

)







q

u

a

n

t

i

z

e

d

_

m

o

d

e

l

_

f

r

o

m

_

s

a

v

e

d

 

=

 

l

o

a

d

_

a

n

d

_

q

u

a

n

t

i

z

e

_

m

o

d

e

l

(

e

m

p

t

y

_

m

o

d

e

l

,

 

w

e

i

g

h

t

s

_

l

o

c

a

t

i

o

n

=

n

e

w

_

w

e

i

g

h

t

s

_

l

o

c

a

t

i

o

n

,

 

b

n

b

_

q

u

a

n

t

i

z

a

t

i

o

n

_

c

o

n

f

i

g

=

b

n

b

_

q

u

a

n

t

i

z

a

t

i

o

n

_

c

o

n

f

i

g

,

 

d

e

v

i

c

e

_

m

a

p

 

=

 

"

a

u

t

o

"

)




`

`

`







N

o

t

e

 

t

h

a

t

 

4

-

b

i

t

 

m

o

d

e

l

 

s

e

r

i

a

l

i

z

a

t

i

o

n

 

i

s

 

c

u

r

r

e

n

t

l

y

 

n

o

t

 

s

u

p

p

o

r

t

e

d

.







#

#

#

 

O

f

f

l

o

a

d

 

m

o

d

u

l

e

s

 

t

o

 

c

p

u

 

a

n

d

 

d

i

s

k

 







Y

o

u

 

c

a

n

 

o

f

f

l

o

a

d

 

s

o

m

e

 

m

o

d

u

l

e

s

 

t

o

 

c

p

u

/

d

i

s

k

 

i

f

 

y

o

u

 

d

o

n

'

t

 

h

a

v

e

 

e

n

o

u

g

h

 

s

p

a

c

e

 

o

n

 

t

h

e

 

G

P

U

 

t

o

 

s

t

o

r

e

 

t

h

e

 

e

n

t

i

r

e

 

m

o

d

e

l

 

o

n

 

y

o

u

r

 

G

P

U

s

.




T

h

i

s

 

u

s

e

s

 

b

i

g

 

m

o

d

e

l

 

i

n

f

e

r

e

n

c

e

 

u

n

d

e

r

 

t

h

e

 

h

o

o

d

.

 

C

h

e

c

k

 

t

h

i

s

 

[

d

o

c

u

m

e

n

t

a

t

i

o

n

]

(

h

t

t

p

s

:

/

/

h

u

g

g

i

n

g

f

a

c

e

.

c

o

/

d

o

c

s

/

a

c

c

e

l

e

r

a

t

e

/

u

s

a

g

e

_

g

u

i

d

e

s

/

b

i

g

_

m

o

d

e

l

i

n

g

)

 

f

o

r

 

m

o

r

e

 

d

e

t

a

i

l

s

.

 







F

o

r

 

8

-

b

i

t

 

q

u

a

n

t

i

z

a

t

i

o

n

,

 

t

h

e

 

s

e

l

e

c

t

e

d

 

m

o

d

u

l

e

s

 

w

i

l

l

 

b

e

 

c

o

n

v

e

r

t

e

d

 

t

o

 

8

-

b

i

t

 

p

r

e

c

i

s

i

o

n

.

 







F

o

r

 

4

-

b

i

t

 

q

u

a

n

t

i

z

a

t

i

o

n

,

 

t

h

e

 

s

e

l

e

c

t

e

d

 

m

o

d

u

l

e

s

 

w

i

l

l

 

b

e

 

k

e

p

t

 

i

n

 

`

t

o

r

c

h

_

d

t

y

p

e

`

 

t

h

a

t

 

t

h

e

 

u

s

e

r

 

p

a

s

s

e

d

 

i

n

 

`

B

n

b

Q

u

a

n

t

i

z

a

t

i

o

n

C

o

n

f

i

g

`

.

 

 

W

e

 

w

i

l

l

 

a

d

d

 

s

u

p

p

o

r

t

 

t

o

 

c

o

n

v

e

r

t

 

t

h

e

s

e

 

o

f

f

l

o

a

d

e

d

 

m

o

d

u

l

e

s

 

i

n

 

4

-

b

i

t

 

w

h

e

n

 

4

-

b

i

t

 

s

e

r

i

a

l

i

z

a

t

i

o

n

 

w

i

l

l

 

b

e

 

p

o

s

s

i

b

l

e

.

 







 

Y

o

u

 

j

u

s

t

 

n

e

e

d

 

t

o

 

p

a

s

s

 

a

 

c

u

s

t

o

m

 

`

d

e

v

i

c

e

_

m

a

p

`

 

i

n

 

o

r

d

e

r

 

t

o

 

o

f

f

l

o

a

d

 

m

o

d

u

l

e

s

 

o

n

 

c

p

u

/

d

i

s

k

.

 

T

h

e

 

o

f

f

l

o

a

d

 

m

o

d

u

l

e

s

 

w

i

l

l

 

b

e

 

d

i

s

p

a

t

c

h

e

d

 

o

n

 

t

h

e

 

G

P

U

 

w

h

e

n

 

n

e

e

d

e

d

.

 

H

e

r

e

'

s

 

a

n

 

e

x

a

m

p

l

e

 

:







`

`

`

p

y




d

e

v

i

c

e

_

m

a

p

 

=

 

{




 

 

 

 

"

t

r

a

n

s

f

o

r

m

e

r

.

w

t

e

"

:

 

0

,




 

 

 

 

"

t

r

a

n

s

f

o

r

m

e

r

.

w

p

e

"

:

 

0

,




 

 

 

 

"

t

r

a

n

s

f

o

r

m

e

r

.

d

r

o

p

"

:

 

0

,




 

 

 

 

"

t

r

a

n

s

f

o

r

m

e

r

.

h

"

:

 

"

c

p

u

"

,




 

 

 

 

"

t

r

a

n

s

f

o

r

m

e

r

.

l

n

_

f

"

:

 

"

d

i

s

k

"

,




 

 

 

 

"

l

m

_

h

e

a

d

"

:

 

"

d

i

s

k

"

,




}




`

`

`




#

#

#

 

F

i

n

e

-

t

u

n

e

 

a

 

q

u

a

n

t

i

z

e

d

 

m

o

d

e

l







I

t

 

i

s

 

n

o

t

 

p

o

s

s

i

b

l

e

 

t

o

 

p

e

r

f

o

r

m

 

p

u

r

e

 

8

b

i

t

 

o

r

 

4

b

i

t

 

t

r

a

i

n

i

n

g

 

o

n

 

t

h

e

s

e

 

m

o

d

e

l

s

.

 

H

o

w

e

v

e

r

,

 

y

o

u

 

c

a

n

 

t

r

a

i

n

 

t

h

e

s

e

 

m

o

d

e

l

s

 

b

y

 

l

e

v

e

r

a

g

i

n

g

 

p

a

r

a

m

e

t

e

r

 

e

f

f

i

c

i

e

n

t

 

f

i

n

e

 

t

u

n

i

n

g

 

m

e

t

h

o

d

s

 

(

P

E

F

T

)

 

a

n

d

 

t

r

a

i

n

 

f

o

r

 

e

x

a

m

p

l

e

 

a

d

a

p

t

e

r

s

 

o

n

 

t

o

p

 

o

f

 

t

h

e

m

.

 

P

l

e

a

s

e

 

h

a

v

e

 

a

 

l

o

o

k

 

a

t

 

[

p

e

f

t

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

p

e

f

t

)

 

l

i

b

r

a

r

y

 

f

o

r

 

m

o

r

e

 

d

e

t

a

i

l

s

.







C

u

r

r

e

n

t

l

y

,

 

y

o

u

 

c

a

n

'

t

 

a

d

d

 

a

d

a

p

t

e

r

s

 

o

n

 

t

o

p

 

o

f

 

a

n

y

 

q

u

a

n

t

i

z

e

d

 

m

o

d

e

l

.

 

H

o

w

e

v

e

r

,

 

w

i

t

h

 

t

h

e

 

o

f

f

i

c

i

a

l

 

s

u

p

p

o

r

t

 

o

f

 

a

d

a

p

t

e

r

s

 

w

i

t

h

 

T

r

a

n

s

f

o

r

m

e

r

s

 

m

o

d

e

l

s

,

 

y

o

u

 

c

a

n

 

f

i

n

e

-

t

u

n

e

 

q

u

a

n

t

i

z

e

d

 

m

o

d

e

l

s

.

 

I

f

 

y

o

u

 

w

a

n

t

 

t

o

 

f

i

n

e

t

u

n

e

 

a

 

T

r

a

n

s

f

o

r

m

e

r

s

 

m

o

d

e

l

 

,

 

f

o

l

l

o

w

 

t

h

i

s

 

[

d

o

c

u

m

e

n

t

a

t

i

o

n

]

(

h

t

t

p

s

:

/

/

h

u

g

g

i

n

g

f

a

c

e

.

c

o

/

d

o

c

s

/

t

r

a

n

s

f

o

r

m

e

r

s

/

m

a

i

n

_

c

l

a

s

s

e

s

/

q

u

a

n

t

i

z

a

t

i

o

n

)

 

i

n

s

t

e

a

d

.

 

C

h

e

c

k

 

o

u

t

 

t

h

i

s

 

[

d

e

m

o

]

(

h

t

t

p

s

:

/

/

c

o

l

a

b

.

r

e

s

e

a

r

c

h

.

g

o

o

g

l

e

.

c

o

m

/

d

r

i

v

e

/

1

V

o

Y

N

f

Y

D

K

c

K

R

Q

R

o

r

9

8

Z

b

f

2

-

9

V

Q

T

t

G

J

2

4

k

?

u

s

p

=

s

h

a

r

i

n

g

)

 

o

n

 

h

o

w

 

t

o

 

f

i

n

e

-

t

u

n

e

 

a

 

4

-

b

i

t

 

T

r

a

n

s

f

o

r

m

e

r

s

 

m

o

d

e

l

.

 







N

o

t

e

 

t

h

a

t

 

y

o

u

 

d

o

n

’

t

 

n

e

e

d

 

t

o

 

p

a

s

s

 

`

d

e

v

i

c

e

_

m

a

p

`

 

w

h

e

n

 

l

o

a

d

i

n

g

 

t

h

e

 

m

o

d

e

l

 

f

o

r

 

t

r

a

i

n

i

n

g

.

 

I

t

 

w

i

l

l

 

a

u

t

o

m

a

t

i

c

a

l

l

y

 

l

o

a

d

 

y

o

u

r

 

m

o

d

e

l

 

o

n

 

y

o

u

r

 

G

P

U

.

 

P

l

e

a

s

e

 

n

o

t

e

 

t

h

a

t

 

`

d

e

v

i

c

e

_

m

a

p

=

a

u

t

o

`

 

s

h

o

u

l

d

 

b

e

 

u

s

e

d

 

f

o

r

 

i

n

f

e

r

e

n

c

e

 

o

n

l

y

.







#

#

#

 

E

x

a

m

p

l

e

 

d

e

m

o

 

-

 

r

u

n

n

i

n

g

 

G

P

T

2

 

1

.

5

b

 

o

n

 

a

 

G

o

o

g

l

e

 

C

o

l

a

b







C

h

e

c

k

 

o

u

t

 

t

h

e

 

G

o

o

g

l

e

 

C

o

l

a

b

 

[

d

e

m

o

]

(

h

t

t

p

s

:

/

/

c

o

l

a

b

.

r

e

s

e

a

r

c

h

.

g

o

o

g

l

e

.

c

o

m

/

d

r

i

v

e

/

1

T

1

p

O

g

e

w

A

W

V

p

R

9

g

K

p

a

E

W

w

4

o

r

O

r

z

P

F

b

3

y

M

?

u

s

p

=

s

h

a

r

i

n

g

)

 

f

o

r

 

r

u

n

n

i

n

g

 

q

u

a

n

t

i

z

e

d

 

m

o

d

e

l

s

 

o

n

 

a

 

G

T

P

2

 

m

o

d

e

l

.

 

T

h

e

 

G

P

T

2

-

1

.

5

B

 

m

o

d

e

l

 

c

h

e

c

k

p

o

i

n

t

 

i

s

 

i

n

 

F

P

3

2

 

w

h

i

c

h

 

u

s

e

s

 

6

G

B

 

o

f

 

m

e

m

o

r

y

.

 

A

f

t

e

r

 

q

u

a

n

t

i

z

a

t

i

o

n

,

 

i

t

 

u

s

e

s

 

1

.

6

G

B

 

w

i

t

h

 

8

-

b

i

t

 

m

o

d

u

l

e

s

 

a

n

d

 

1

.

2

G

B

 

w

i

t

h

 

4

-

b

i

t

 

m

o

d

u

l

e

s

.







#

 

I

n

t

e

l

®

 

E

x

t

e

n

s

i

o

n

 

f

o

r

 

P

y

T

o

r

c

h







[

I

P

E

X

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

i

n

t

e

l

/

i

n

t

e

l

-

e

x

t

e

n

s

i

o

n

-

f

o

r

-

p

y

t

o

r

c

h

)

 

i

s

 

o

p

t

i

m

i

z

e

d

 

f

o

r

 

C

P

U

s

 

w

i

t

h

 

A

V

X

-

5

1

2

 

o

r

 

a

b

o

v

e

,

 

a

n

d

 

f

u

n

c

t

i

o

n

a

l

l

y

 

w

o

r

k

s

 

f

o

r

 

C

P

U

s

 

w

i

t

h

 

o

n

l

y

 

A

V

X

2

.

 

S

o

,

 

i

t

 

i

s

 

e

x

p

e

c

t

e

d

 

t

o

 

b

r

i

n

g

 

p

e

r

f

o

r

m

a

n

c

e

 

b

e

n

e

f

i

t

 

f

o

r

 

I

n

t

e

l

 

C

P

U

 

g

e

n

e

r

a

t

i

o

n

s

 

w

i

t

h

 

A

V

X

-

5

1

2

 

o

r

 

a

b

o

v

e

 

w

h

i

l

e

 

C

P

U

s

 

w

i

t

h

 

o

n

l

y

 

A

V

X

2

 

(

e

.

g

.

,

 

A

M

D

 

C

P

U

s

 

o

r

 

o

l

d

e

r

 

I

n

t

e

l

 

C

P

U

s

)

 

m

i

g

h

t

 

r

e

s

u

l

t

 

i

n

 

a

 

b

e

t

t

e

r

 

p

e

r

f

o

r

m

a

n

c

e

 

u

n

d

e

r

 

I

P

E

X

,

 

b

u

t

 

n

o

t

 

g

u

a

r

a

n

t

e

e

d

.

 

I

P

E

X

 

p

r

o

v

i

d

e

s

 

p

e

r

f

o

r

m

a

n

c

e

 

o

p

t

i

m

i

z

a

t

i

o

n

s

 

f

o

r

 

C

P

U

 

t

r

a

i

n

i

n

g

 

w

i

t

h

 

b

o

t

h

 

F

l

o

a

t

3

2

 

a

n

d

 

B

F

l

o

a

t

1

6

.

 

T

h

e

 

u

s

a

g

e

 

o

f

 

B

F

l

o

a

t

1

6

 

i

s

 

t

h

e

 

m

a

i

n

 

f

o

c

u

s

 

o

f

 

t

h

e

 

f

o

l

l

o

w

i

n

g

 

s

e

c

t

i

o

n

s

.







L

o

w

 

p

r

e

c

i

s

i

o

n

 

d

a

t

a

 

t

y

p

e

 

B

F

l

o

a

t

1

6

 

h

a

s

 

b

e

e

n

 

n

a

t

i

v

e

l

y

 

s

u

p

p

o

r

t

e

d

 

o

n

 

t

h

e

 

3

r

d

 

G

e

n

e

r

a

t

i

o

n

 

X

e

o

n

®

 

S

c

a

l

a

b

l

e

 

P

r

o

c

e

s

s

o

r

s

 

(

a

k

a

 

C

o

o

p

e

r

 

L

a

k

e

)

 

w

i

t

h

 

A

V

X

5

1

2

 

i

n

s

t

r

u

c

t

i

o

n

 

s

e

t

 

a

n

d

 

w

i

l

l

 

b

e

 

s

u

p

p

o

r

t

e

d

 

o

n

 

t

h

e

 

n

e

x

t

 

g

e

n

e

r

a

t

i

o

n

 

o

f

 

I

n

t

e

l

®

 

X

e

o

n

®

 

S

c

a

l

a

b

l

e

 

P

r

o

c

e

s

s

o

r

s

 

w

i

t

h

 

I

n

t

e

l

®

 

A

d

v

a

n

c

e

d

 

M

a

t

r

i

x

 

E

x

t

e

n

s

i

o

n

s

 

(

I

n

t

e

l

®

 

A

M

X

)

 

i

n

s

t

r

u

c

t

i

o

n

 

s

e

t

 

w

i

t

h

 

f

u

r

t

h

e

r

 

b

o

o

s

t

e

d

 

p

e

r

f

o

r

m

a

n

c

e

.

 

T

h

e

 

A

u

t

o

 

M

i

x

e

d

 

P

r

e

c

i

s

i

o

n

 

f

o

r

 

C

P

U

 

b

a

c

k

e

n

d

 

h

a

s

 

b

e

e

n

 

e

n

a

b

l

e

d

 

s

i

n

c

e

 

P

y

T

o

r

c

h

-

1

.

1

0

.

 

A

t

 

t

h

e

 

s

a

m

e

 

t

i

m

e

,

 

t

h

e

 

s

u

p

p

o

r

t

 

o

f

 

A

u

t

o

 

M

i

x

e

d

 

P

r

e

c

i

s

i

o

n

 

w

i

t

h

 

B

F

l

o

a

t

1

6

 

f

o

r

 

C

P

U

 

a

n

d

 

B

F

l

o

a

t

1

6

 

o

p

t

i

m

i

z

a

t

i

o

n

 

o

f

 

o

p

e

r

a

t

o

r

s

 

h

a

s

 

b

e

e

n

 

m

a

s

s

i

v

e

l

y

 

e

n

a

b

l

e

d

 

i

n

 

I

n

t

e

l

®

 

E

x

t

e

n

s

i

o

n

 

f

o

r

 

P

y

T

o

r

c

h

,

 

a

n

d

 

p

a

r

t

i

a

l

l

y

 

u

p

s

t

r

e

a

m

e

d

 

t

o

 

P

y

T

o

r

c

h

 

m

a

s

t

e

r

 

b

r

a

n

c

h

.

 

U

s

e

r

s

 

c

a

n

 

g

e

t

 

b

e

t

t

e

r

 

p

e

r

f

o

r

m

a

n

c

e

 

a

n

d

 

u

s

e

r

 

e

x

p

e

r

i

e

n

c

e

 

w

i

t

h

 

I

P

E

X

 

A

u

t

o

 

M

i

x

e

d

 

P

r

e

c

i

s

i

o

n

.







#

#

 

I

P

E

X

 

i

n

s

t

a

l

l

a

t

i

o

n

:







I

P

E

X

 

r

e

l

e

a

s

e

 

i

s

 

f

o

l

l

o

w

i

n

g

 

P

y

T

o

r

c

h

,

 

t

o

 

i

n

s

t

a

l

l

 

v

i

a

 

p

i

p

:







|

 

P

y

T

o

r

c

h

 

V

e

r

s

i

o

n

 

 

 

|

 

I

P

E

X

 

v

e

r

s

i

o

n

 

 

 

|




|

 

:

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

:

 

|

 

:

-

-

-

-

-

-

-

-

-

-

:

 

 

 

|




|

 

2

.

0

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

|

 

 

2

.

0

.

0

 

 

 

 

 

 

 

 

 

|




|

 

1

.

1

3

 

 

 

 

 

 

 

 

 

 

 

 

 

 

|

 

 

1

.

1

3

.

0

 

 

 

 

 

 

 

 

|




|

 

1

.

1

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

|

 

 

1

.

1

2

.

3

0

0

 

 

 

 

 

 

|




|

 

1

.

1

1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

|

 

 

1

.

1

1

.

2

0

0

 

 

 

 

 

 

|




|

 

1

.

1

0

 

 

 

 

 

 

 

 

 

 

 

 

 

 

|

 

 

1

.

1

0

.

1

0

0

 

 

 

 

 

 

|







`

`

`




p

i

p

 

i

n

s

t

a

l

l

 

i

n

t

e

l

_

e

x

t

e

n

s

i

o

n

_

f

o

r

_

p

y

t

o

r

c

h

=

=

<

v

e

r

s

i

o

n

_

n

a

m

e

>

 

-

f

 

h

t

t

p

s

:

/

/

d

e

v

e

l

o

p

e

r

.

i

n

t

e

l

.

c

o

m

/

i

p

e

x

-

w

h

l

-

s

t

a

b

l

e

-

c

p

u




`

`

`







C

h

e

c

k

 

m

o

r

e

 

a

p

p

r

o

a

c

h

e

s

 

f

o

r

 

[

I

P

E

X

 

i

n

s

t

a

l

l

a

t

i

o

n

]

(

h

t

t

p

s

:

/

/

i

n

t

e

l

.

g

i

t

h

u

b

.

i

o

/

i

n

t

e

l

-

e

x

t

e

n

s

i

o

n

-

f

o

r

-

p

y

t

o

r

c

h

/

c

p

u

/

l

a

t

e

s

t

/

t

u

t

o

r

i

a

l

s

/

i

n

s

t

a

l

l

a

t

i

o

n

.

h

t

m

l

)

.










#

#

 

H

o

w

 

I

t

 

W

o

r

k

s

 

F

o

r

 

T

r

a

i

n

i

n

g

 

o

p

t

i

m

i

z

a

t

i

o

n

 

i

n

 

C

P

U







A

c

c

e

l

e

r

a

t

e

 

h

a

s

 

i

n

t

e

g

r

a

t

e

d

 

[

I

P

E

X

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

i

n

t

e

l

/

i

n

t

e

l

-

e

x

t

e

n

s

i

o

n

-

f

o

r

-

p

y

t

o

r

c

h

)

,

 

a

l

l

 

y

o

u

 

n

e

e

d

 

t

o

 

d

o

 

i

s

 

e

n

a

b

l

i

n

g

 

i

t

 

t

h

r

o

u

g

h

 

t

h

e

 

c

o

n

f

i

g

.







*

*

S

c

e

n

a

r

i

o

 

1

*

*

:

 

A

c

c

e

l

e

r

a

t

i

o

n

 

o

f

 

N

o

 

d

i

s

t

r

i

b

u

t

e

d

 

C

P

U

 

t

r

a

i

n

i

n

g







R

u

n

 

<

u

>

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

<

/

u

>

 

o

n

 

y

o

u

r

 

m

a

c

h

i

n

e

:







`

`

`

b

a

s

h




$

 

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g




-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-




I

n

 

w

h

i

c

h

 

c

o

m

p

u

t

e

 

e

n

v

i

r

o

n

m

e

n

t

 

a

r

e

 

y

o

u

 

r

u

n

n

i

n

g

?




T

h

i

s

 

m

a

c

h

i

n

e




-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-




W

h

i

c

h

 

t

y

p

e

 

o

f

 

m

a

c

h

i

n

e

 

a

r

e

 

y

o

u

 

u

s

i

n

g

?




N

o

 

d

i

s

t

r

i

b

u

t

e

d

 

t

r

a

i

n

i

n

g




D

o

 

y

o

u

 

w

a

n

t

 

t

o

 

r

u

n

 

y

o

u

r

 

t

r

a

i

n

i

n

g

 

o

n

 

C

P

U

 

o

n

l

y

 

(

e

v

e

n

 

i

f

 

a

 

G

P

U

 

/

 

A

p

p

l

e

 

S

i

l

i

c

o

n

 

d

e

v

i

c

e

 

i

s

 

a

v

a

i

l

a

b

l

e

)

?

 

[

y

e

s

/

N

O

]

:

y

e

s




D

o

 

y

o

u

 

w

a

n

t

 

t

o

 

u

s

e

 

I

n

t

e

l

 

P

y

T

o

r

c

h

 

E

x

t

e

n

s

i

o

n

 

(

I

P

E

X

)

 

t

o

 

s

p

e

e

d

 

u

p

 

t

r

a

i

n

i

n

g

 

o

n

 

C

P

U

?

 

[

y

e

s

/

N

O

]

:

y

e

s




D

o

 

y

o

u

 

w

i

s

h

 

t

o

 

o

p

t

i

m

i

z

e

 

y

o

u

r

 

s

c

r

i

p

t

 

w

i

t

h

 

t

o

r

c

h

 

d

y

n

a

m

o

?

[

y

e

s

/

N

O

]

:

N

O




D

o

 

y

o

u

 

w

a

n

t

 

t

o

 

u

s

e

 

D

e

e

p

S

p

e

e

d

?

 

[

y

e

s

/

N

O

]

:

 

N

O




-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-




D

o

 

y

o

u

 

w

i

s

h

 

t

o

 

u

s

e

 

F

P

1

6

 

o

r

 

B

F

1

6

 

(

m

i

x

e

d

 

p

r

e

c

i

s

i

o

n

)

?




b

f

1

6




`

`

`




T

h

i

s

 

w

i

l

l

 

g

e

n

e

r

a

t

e

 

a

 

c

o

n

f

i

g

 

f

i

l

e

 

t

h

a

t

 

w

i

l

l

 

b

e

 

u

s

e

d

 

a

u

t

o

m

a

t

i

c

a

l

l

y

 

t

o

 

p

r

o

p

e

r

l

y

 

s

e

t

 

t

h

e




d

e

f

a

u

l

t

 

o

p

t

i

o

n

s

 

w

h

e

n

 

d

o

i

n

g







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

m

y

_

s

c

r

i

p

t

.

p

y

 

-

-

a

r

g

s

_

t

o

_

m

y

_

s

c

r

i

p

t




`

`

`







F

o

r

 

i

n

s

t

a

n

c

e

,

 

h

e

r

e

 

i

s

 

h

o

w

 

y

o

u

 

w

o

u

l

d

 

r

u

n

 

t

h

e

 

N

L

P

 

e

x

a

m

p

l

e

 

`

e

x

a

m

p

l

e

s

/

n

l

p

_

e

x

a

m

p

l

e

.

p

y

`

 

(

f

r

o

m

 

t

h

e

 

r

o

o

t

 

o

f

 

t

h

e

 

r

e

p

o

)

 

w

i

t

h

 

I

P

E

X

 

e

n

a

b

l

e

d

.




d

e

f

a

u

l

t

_

c

o

n

f

i

g

.

y

a

m

l

 

t

h

a

t

 

i

s

 

g

e

n

e

r

a

t

e

d

 

a

f

t

e

r

 

`

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

`







`

`

`

b

a

s

h




c

o

m

p

u

t

e

_

e

n

v

i

r

o

n

m

e

n

t

:

 

L

O

C

A

L

_

M

A

C

H

I

N

E




d

i

s

t

r

i

b

u

t

e

d

_

t

y

p

e

:

 

'

N

O

'




d

o

w

n

c

a

s

t

_

b

f

1

6

:

 

'

n

o

'




i

p

e

x

_

c

o

n

f

i

g

:




 

 

i

p

e

x

:

 

t

r

u

e




m

a

c

h

i

n

e

_

r

a

n

k

:

 

0




m

a

i

n

_

t

r

a

i

n

i

n

g

_

f

u

n

c

t

i

o

n

:

 

m

a

i

n




m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

:

 

b

f

1

6




n

u

m

_

m

a

c

h

i

n

e

s

:

 

1




n

u

m

_

p

r

o

c

e

s

s

e

s

:

 

1




r

d

z

v

_

b

a

c

k

e

n

d

:

 

s

t

a

t

i

c




s

a

m

e

_

n

e

t

w

o

r

k

:

 

t

r

u

e




t

p

u

_

e

n

v

:

 

[

]




t

p

u

_

u

s

e

_

c

l

u

s

t

e

r

:

 

f

a

l

s

e




t

p

u

_

u

s

e

_

s

u

d

o

:

 

f

a

l

s

e




u

s

e

_

c

p

u

:

 

t

r

u

e




`

`

`




`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

e

x

a

m

p

l

e

s

/

n

l

p

_

e

x

a

m

p

l

e

.

p

y




`

`

`







*

*

S

c

e

n

a

r

i

o

 

2

*

*

:

 

A

c

c

e

l

e

r

a

t

i

o

n

 

o

f

 

d

i

s

t

r

i

b

u

t

e

d

 

C

P

U

 

t

r

a

i

n

i

n

g




w

e

 

u

s

e

 

I

n

t

e

l

 

o

n

e

C

C

L

 

f

o

r

 

c

o

m

m

u

n

i

c

a

t

i

o

n

,

 

c

o

m

b

i

n

e

d

 

w

i

t

h

 

I

n

t

e

l

®

 

M

P

I

 

l

i

b

r

a

r

y

 

t

o

 

d

e

l

i

v

e

r

 

f

l

e

x

i

b

l

e

,

 

e

f

f

i

c

i

e

n

t

,

 

s

c

a

l

a

b

l

e

 

c

l

u

s

t

e

r

 

m

e

s

s

a

g

i

n

g

 

o

n

 

I

n

t

e

l

®

 

a

r

c

h

i

t

e

c

t

u

r

e

.

 

y

o

u

 

c

o

u

l

d

 

r

e

f

e

r

 

t

h

e

 

[

h

e

r

e

]

(

h

t

t

p

s

:

/

/

h

u

g

g

i

n

g

f

a

c

e

.

c

o

/

d

o

c

s

/

t

r

a

n

s

f

o

r

m

e

r

s

/

p

e

r

f

_

t

r

a

i

n

_

c

p

u

_

m

a

n

y

)

 

f

o

r

 

t

h

e

 

i

n

s

t

a

l

l

a

t

i

o

n

 

g

u

i

d

e







R

u

n

 

<

u

>

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

<

/

u

>

 

o

n

 

y

o

u

r

 

m

a

c

h

i

n

e

(

n

o

d

e

0

)

:







`

`

`

b

a

s

h




$

 

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g




-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-




I

n

 

w

h

i

c

h

 

c

o

m

p

u

t

e

 

e

n

v

i

r

o

n

m

e

n

t

 

a

r

e

 

y

o

u

 

r

u

n

n

i

n

g

?




T

h

i

s

 

m

a

c

h

i

n

e




-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-




W

h

i

c

h

 

t

y

p

e

 

o

f

 

m

a

c

h

i

n

e

 

a

r

e

 

y

o

u

 

u

s

i

n

g

?




m

u

l

t

i

-

C

P

U




H

o

w

 

m

a

n

y

 

d

i

f

f

e

r

e

n

t

 

m

a

c

h

i

n

e

s

 

w

i

l

l

 

y

o

u

 

u

s

e

 

(

u

s

e

 

m

o

r

e

 

t

h

a

n

 

1

 

f

o

r

 

m

u

l

t

i

-

n

o

d

e

 

t

r

a

i

n

i

n

g

)

?

 

[

1

]

:

 

4




-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-




W

h

a

t

 

i

s

 

t

h

e

 

r

a

n

k

 

o

f

 

t

h

i

s

 

m

a

c

h

i

n

e

?




0




W

h

a

t

 

i

s

 

t

h

e

 

I

P

 

a

d

d

r

e

s

s

 

o

f

 

t

h

e

 

m

a

c

h

i

n

e

 

t

h

a

t

 

w

i

l

l

 

h

o

s

t

 

t

h

e

 

m

a

i

n

 

p

r

o

c

e

s

s

?

 

3

6

.

1

1

2

.

2

3

.

2

4




W

h

a

t

 

i

s

 

t

h

e

 

p

o

r

t

 

y

o

u

 

w

i

l

l

 

u

s

e

 

t

o

 

c

o

m

m

u

n

i

c

a

t

e

 

w

i

t

h

 

t

h

e

 

m

a

i

n

 

p

r

o

c

e

s

s

?

 

2

9

5

0

0




A

r

e

 

a

l

l

 

t

h

e

 

m

a

c

h

i

n

e

s

 

o

n

 

t

h

e

 

s

a

m

e

 

l

o

c

a

l

 

n

e

t

w

o

r

k

?

 

A

n

s

w

e

r

 

`

n

o

`

 

i

f

 

n

o

d

e

s

 

a

r

e

 

o

n

 

t

h

e

 

c

l

o

u

d

 

a

n

d

/

o

r

 

o

n

 

d

i

f

f

e

r

e

n

t

 

n

e

t

w

o

r

k

 

h

o

s

t

s

 

[

Y

E

S

/

n

o

]

:

 

y

e

s




D

o

 

y

o

u

 

w

a

n

t

 

t

o

 

u

s

e

 

I

n

t

e

l

 

P

y

T

o

r

c

h

 

E

x

t

e

n

s

i

o

n

 

(

I

P

E

X

)

 

t

o

 

s

p

e

e

d

 

u

p

 

t

r

a

i

n

i

n

g

 

o

n

 

C

P

U

?

 

[

y

e

s

/

N

O

]

:

y

e

s




D

o

 

y

o

u

 

w

a

n

t

 

a

c

c

e

l

e

r

a

t

e

 

t

o

 

l

a

u

n

c

h

 

m

p

i

r

u

n

?

 

[

y

e

s

/

N

O

]

:

 

y

e

s




P

l

e

a

s

e

 

e

n

t

e

r

 

t

h

e

 

p

a

t

h

 

t

o

 

t

h

e

 

h

o

s

t

f

i

l

e

 

t

o

 

u

s

e

 

w

i

t

h

 

m

p

i

r

u

n

 

[

~

/

h

o

s

t

f

i

l

e

]

:

 

~

/

h

o

s

t

f

i

l

e




E

n

t

e

r

 

t

h

e

 

n

u

m

b

e

r

 

o

f

 

o

n

e

C

C

L

 

w

o

r

k

e

r

 

t

h

r

e

a

d

s

 

[

1

]

:

 

1




D

o

 

y

o

u

 

w

i

s

h

 

t

o

 

o

p

t

i

m

i

z

e

 

y

o

u

r

 

s

c

r

i

p

t

 

w

i

t

h

 

t

o

r

c

h

 

d

y

n

a

m

o

?

[

y

e

s

/

N

O

]

:

N

O




H

o

w

 

m

a

n

y

 

p

r

o

c

e

s

s

e

s

 

s

h

o

u

l

d

 

b

e

 

u

s

e

d

 

f

o

r

 

d

i

s

t

r

i

b

u

t

e

d

 

t

r

a

i

n

i

n

g

?

 

[

1

]

:

1

6




-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-




D

o

 

y

o

u

 

w

i

s

h

 

t

o

 

u

s

e

 

F

P

1

6

 

o

r

 

B

F

1

6

 

(

m

i

x

e

d

 

p

r

e

c

i

s

i

o

n

)

?




b

f

1

6




`

`

`




F

o

r

 

i

n

s

t

a

n

c

e

,

 

h

e

r

e

 

i

s

 

h

o

w

 

y

o

u

 

w

o

u

l

d

 

r

u

n

 

t

h

e

 

N

L

P

 

e

x

a

m

p

l

e

 

`

e

x

a

m

p

l

e

s

/

n

l

p

_

e

x

a

m

p

l

e

.

p

y

`

 

(

f

r

o

m

 

t

h

e

 

r

o

o

t

 

o

f

 

t

h

e

 

r

e

p

o

)

 

w

i

t

h

 

I

P

E

X

 

e

n

a

b

l

e

d

 

f

o

r

 

d

i

s

t

r

i

b

u

t

e

d

 

C

P

U

 

t

r

a

i

n

i

n

g

.







d

e

f

a

u

l

t

_

c

o

n

f

i

g

.

y

a

m

l

 

t

h

a

t

 

i

s

 

g

e

n

e

r

a

t

e

d

 

a

f

t

e

r

 

`

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

`




`

`

`

b

a

s

h




c

o

m

p

u

t

e

_

e

n

v

i

r

o

n

m

e

n

t

:

 

L

O

C

A

L

_

M

A

C

H

I

N

E




d

i

s

t

r

i

b

u

t

e

d

_

t

y

p

e

:

 

M

U

L

T

I

_

C

P

U




d

o

w

n

c

a

s

t

_

b

f

1

6

:

 

'

n

o

'




i

p

e

x

_

c

o

n

f

i

g

:




 

 

i

p

e

x

:

 

t

r

u

e




m

a

c

h

i

n

e

_

r

a

n

k

:

 

0




m

a

i

n

_

p

r

o

c

e

s

s

_

i

p

:

 

3

6

.

1

1

2

.

2

3

.

2

4




m

a

i

n

_

p

r

o

c

e

s

s

_

p

o

r

t

:

 

2

9

5

0

0




m

a

i

n

_

t

r

a

i

n

i

n

g

_

f

u

n

c

t

i

o

n

:

 

m

a

i

n




m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

:

 

b

f

1

6




m

p

i

r

u

n

_

c

o

n

f

i

g

:




 

 

m

p

i

r

u

n

_

c

c

l

:

 

'

1

'




 

 

m

p

i

r

u

n

_

h

o

s

t

f

i

l

e

:

 

/

h

o

m

e

/

u

s

e

r

/

h

o

s

t

f

i

l

e




n

u

m

_

m

a

c

h

i

n

e

s

:

 

4




n

u

m

_

p

r

o

c

e

s

s

e

s

:

 

1

6




r

d

z

v

_

b

a

c

k

e

n

d

:

 

s

t

a

t

i

c




s

a

m

e

_

n

e

t

w

o

r

k

:

 

t

r

u

e




t

p

u

_

e

n

v

:

 

[

]




t

p

u

_

u

s

e

_

c

l

u

s

t

e

r

:

 

f

a

l

s

e




t

p

u

_

u

s

e

_

s

u

d

o

:

 

f

a

l

s

e




u

s

e

_

c

p

u

:

 

t

r

u

e




`

`

`







S

e

t

 

f

o

l

l

o

w

i

n

g

 

e

n

v

 

a

n

d

 

u

s

i

n

g

 

i

n

t

e

l

 

M

P

I

 

t

o

 

l

a

u

n

c

h

 

t

h

e

 

t

r

a

i

n

i

n

g







I

n

 

n

o

d

e

0

,

 

y

o

u

 

n

e

e

d

 

t

o

 

c

r

e

a

t

e

 

a

 

c

o

n

f

i

g

u

r

a

t

i

o

n

 

f

i

l

e

 

w

h

i

c

h

 

c

o

n

t

a

i

n

s

 

t

h

e

 

I

P

 

a

d

d

r

e

s

s

e

s

 

o

f

 

e

a

c

h

 

n

o

d

e

 

(

f

o

r

 

e

x

a

m

p

l

e

 

h

o

s

t

f

i

l

e

)

 

a

n

d

 

p

a

s

s

 

t

h

a

t

 

c

o

n

f

i

g

u

r

a

t

i

o

n

 

f

i

l

e

 

p

a

t

h

 

a

s

 

a

n

 

a

r

g

u

m

e

n

t

.




I

f

 

y

o

u

 

s

e

l

e

c

t

e

d

 

t

o

 

h

a

v

e

 

A

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

`

m

p

i

r

u

n

`

,

 

e

n

s

u

r

e

 

t

h

a

t

 

t

h

e

 

l

o

c

a

t

i

o

n

 

o

f

 

y

o

u

r

 

h

o

s

t

f

i

l

e

 

m

a

t

c

h

e

s

 

t

h

e

 

p

a

t

h

 

i

n

 

t

h

e

 

c

o

n

f

i

g

.




`

`

`

b

a

s

h




$

 

c

a

t

 

h

o

s

t

f

i

l

e




x

x

x

.

x

x

x

.

x

x

x

.

x

x

x

 

#

n

o

d

e

0

 

i

p




x

x

x

.

x

x

x

.

x

x

x

.

x

x

x

 

#

n

o

d

e

1

 

i

p




x

x

x

.

x

x

x

.

x

x

x

.

x

x

x

 

#

n

o

d

e

2

 

i

p




x

x

x

.

x

x

x

.

x

x

x

.

x

x

x

 

#

n

o

d

e

3

 

i

p




`

`

`




W

h

e

n

 

A

c

c

e

l

e

r

a

t

e

 

i

s

 

l

a

u

n

c

h

i

n

g

 

`

m

p

i

r

u

n

`

,

 

s

o

u

r

c

e

 

t

h

e

 

o

n

e

C

C

L

 

b

i

n

d

i

n

g

s

 

s

e

t

v

a

r

s

.

s

h

 

t

o

 

g

e

t

 

y

o

u

r

 

I

n

t

e

l

 

M

P

I

 

e

n

v

i

r

o

n

m

e

n

t

,

 

a

n

d

 

t

h

e

n




r

u

n

 

y

o

u

r

 

s

c

r

i

p

t

 

u

s

i

n

g

 

`

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

`

.

 

N

o

t

e

 

t

h

a

t

 

t

h

e

 

p

y

t

h

o

n

 

s

c

r

i

p

t

 

a

n

d

 

e

n

v

i

r

o

n

m

e

n

t

 

n

e

e

d

s

 

t

o

 

e

x

i

s

t

 

o

n

 

a

l

l

 

o

f

 

t

h

e




m

a

c

h

i

n

e

s

 

b

e

i

n

g

 

u

s

e

d

 

f

o

r

 

m

u

l

t

i

-

C

P

U

 

t

r

a

i

n

i

n

g

.




`

`

`

b

a

s

h




o

n

e

c

c

l

_

b

i

n

d

i

n

g

s

_

f

o

r

_

p

y

t

o

r

c

h

_

p

a

t

h

=

$

(

p

y

t

h

o

n

 

-

c

 

"

f

r

o

m

 

o

n

e

c

c

l

_

b

i

n

d

i

n

g

s

_

f

o

r

_

p

y

t

o

r

c

h

 

i

m

p

o

r

t

 

c

w

d

;

 

p

r

i

n

t

(

c

w

d

)

"

)




s

o

u

r

c

e

 

$

o

n

e

c

c

l

_

b

i

n

d

i

n

g

s

_

f

o

r

_

p

y

t

o

r

c

h

_

p

a

t

h

/

e

n

v

/

s

e

t

v

a

r

s

.

s

h







a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

e

x

a

m

p

l

e

s

/

n

l

p

_

e

x

a

m

p

l

e

.

p

y




`

`

`




O

t

h

e

r

w

i

s

e

,

 

i

f

 

y

o

u

 

s

e

l

e

c

t

e

d

 

n

o

t

 

t

o

 

h

a

v

e

 

A

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

`

m

p

i

r

u

n

`

,

 

r

u

n

 

t

h

e

 

f

o

l

l

o

w

i

n

g

 

c

o

m

m

a

n

d

 

i

n

 

n

o

d

e

0

 

a

n

d

 

*

*

1

6

D

D

P

*

*

 

w

i

l

l




b

e

 

e

n

a

b

l

e

d

 

i

n

 

n

o

d

e

0

,

n

o

d

e

1

,

n

o

d

e

2

,

n

o

d

e

3

 

w

i

t

h

 

B

F

1

6

 

m

i

x

e

d

 

p

r

e

c

i

s

i

o

n

.

 

W

h

e

n

 

u

s

i

n

g

 

t

h

i

s

 

m

e

t

h

o

d

,

 

t

h

e

 

p

y

t

h

o

n

 

s

c

r

i

p

t

,

 

p

y

t

h

o

n




e

n

v

i

r

o

n

m

e

n

t

,

 

a

n

d

 

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

 

f

i

l

e

 

n

e

e

d

 

t

o

 

b

e

 

p

r

e

s

e

n

t

 

o

n

 

a

l

l

 

o

f

 

t

h

e

 

m

a

c

h

i

n

e

s

 

u

s

e

d

 

f

o

r

 

m

u

l

t

i

-

C

P

U

 

t

r

a

i

n

i

n

g

.




`

`

`

b

a

s

h




o

n

e

c

c

l

_

b

i

n

d

i

n

g

s

_

f

o

r

_

p

y

t

o

r

c

h

_

p

a

t

h

=

$

(

p

y

t

h

o

n

 

-

c

 

"

f

r

o

m

 

o

n

e

c

c

l

_

b

i

n

d

i

n

g

s

_

f

o

r

_

p

y

t

o

r

c

h

 

i

m

p

o

r

t

 

c

w

d

;

 

p

r

i

n

t

(

c

w

d

)

"

)




s

o

u

r

c

e

 

$

o

n

e

c

c

l

_

b

i

n

d

i

n

g

s

_

f

o

r

_

p

y

t

o

r

c

h

_

p

a

t

h

/

e

n

v

/

s

e

t

v

a

r

s

.

s

h




e

x

p

o

r

t

 

C

C

L

_

W

O

R

K

E

R

_

C

O

U

N

T

=

1




e

x

p

o

r

t

 

M

A

S

T

E

R

_

A

D

D

R

=

x

x

x

.

x

x

x

.

x

x

x

.

x

x

x

 

#

n

o

d

e

0

 

i

p




e

x

p

o

r

t

 

C

C

L

_

A

T

L

_

T

R

A

N

S

P

O

R

T

=

o

f

i




m

p

i

r

u

n

 

-

f

 

h

o

s

t

f

i

l

e

 

-

n

 

1

6

 

-

p

p

n

 

4

 

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

e

x

a

m

p

l

e

s

/

n

l

p

_

e

x

a

m

p

l

e

.

p

y




`

`

`







#

#

 

R

e

l

a

t

e

d

 

R

e

s

o

u

r

c

e

s







-

 

[

P

r

o

j

e

c

t

'

s

 

g

i

t

h

u

b

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

i

n

t

e

l

/

i

n

t

e

l

-

e

x

t

e

n

s

i

o

n

-

f

o

r

-

p

y

t

o

r

c

h

)




-

 

[

A

P

I

 

d

o

c

s

]

(

h

t

t

p

s

:

/

/

i

n

t

e

l

.

g

i

t

h

u

b

.

i

o

/

i

n

t

e

l

-

e

x

t

e

n

s

i

o

n

-

f

o

r

-

p

y

t

o

r

c

h

/

c

p

u

/

l

a

t

e

s

t

/

t

u

t

o

r

i

a

l

s

/

a

p

i

_

d

o

c

.

h

t

m

l

)




-

 

[

T

u

n

i

n

g

 

g

u

i

d

e

]

(

h

t

t

p

s

:

/

/

i

n

t

e

l

.

g

i

t

h

u

b

.

i

o

/

i

n

t

e

l

-

e

x

t

e

n

s

i

o

n

-

f

o

r

-

p

y

t

o

r

c

h

/

c

p

u

/

l

a

t

e

s

t

/

t

u

t

o

r

i

a

l

s

/

p

e

r

f

o

r

m

a

n

c

e

_

t

u

n

i

n

g

/

t

u

n

i

n

g

_

g

u

i

d

e

.

h

t

m

l

)




-

 

[

B

l

o

g

s

 

&

 

P

u

b

l

i

c

a

t

i

o

n

s

]

(

h

t

t

p

s

:

/

/

i

n

t

e

l

.

g

i

t

h

u

b

.

i

o

/

i

n

t

e

l

-

e

x

t

e

n

s

i

o

n

-

f

o

r

-

p

y

t

o

r

c

h

/

c

p

u

/

l

a

t

e

s

t

/

t

u

t

o

r

i

a

l

s

/

b

l

o

g

s

_

p

u

b

l

i

c

a

t

i

o

n

s

.

h

t

m

l

)







#

 

L

o

w

 

P

r

e

c

i

s

i

o

n

 

T

r

a

i

n

i

n

g

 

M

e

t

h

o

d

s







A

c

c

e

l

e

r

a

t

e

 

p

r

o

v

i

d

e

s

 

i

n

t

e

g

r

a

t

i

o

n

s

 

t

o

 

t

r

a

i

n

 

o

n

 

l

o

w

e

r

 

p

r

e

c

i

s

i

o

n

 

m

e

t

h

o

d

s

 

u

s

i

n

g

 

s

p

e

c

i

f

i

e

d

 

s

u

p

p

o

r

t

e

d

 

h

a

r

d

w

a

r

e

 

t

h

r

o

u

g

h

 

t

h

e

 

`

T

r

a

n

s

f

o

r

m

e

r

s

E

n

g

i

n

e

`

 

a

n

d

 

`

M

S

-

A

M

P

`

 

p

a

c

k

a

g

e

s

.

 

T

h

i

s

 

d

o

c

u

m

e

n

t

a

t

i

o

n

 

w

i

l

l

 

h

e

l

p

 

g

u

i

d

e

 

y

o

u

 

t

h

r

o

u

g

h

 

w

h

a

t

 

h

a

r

d

w

a

r

e

 

i

s

 

s

u

p

p

o

r

t

e

d

,

 

h

o

w

 

t

o

 

c

o

n

f

i

g

u

r

e

 

y

o

u

r

 

`

A

c

c

e

l

e

r

a

t

o

r

`

 

t

o

 

l

e

v

e

r

a

g

e

 

t

h

e

 

l

o

w

 

p

r

e

c

i

s

i

o

n

 

m

e

t

h

o

d

s

,

 

a

n

d

 

w

h

a

t

 

y

o

u

 

c

a

n

 

e

x

p

e

c

t

 

w

h

e

n

 

t

r

a

i

n

i

n

g

.

 







#

#

 

W

h

a

t

 

t

r

a

i

n

i

n

g

 

o

n

 

F

P

8

 

m

e

a

n

s







T

o

 

e

x

p

l

o

r

e

 

m

o

r

e

 

o

f

 

t

h

e

 

n

i

t

t

y

-

g

r

i

t

t

y

 

i

n

 

t

r

a

i

n

i

n

g

 

i

n

 

F

P

8

 

w

i

t

h

 

P

y

T

o

r

c

h

 

a

n

d

 

A

c

c

e

l

e

r

a

t

e

,

 

c

h

e

c

k

 

o

u

t

 

t

h

e

 

[

c

o

n

c

e

p

t

_

g

u

i

d

e

]

(

.

.

/

c

o

n

c

e

p

t

_

g

u

i

d

e

s

/

l

o

w

_

p

r

e

c

i

s

i

o

n

_

t

r

a

i

n

i

n

g

)

 

o

n

 

w

h

y

 

t

h

i

s

 

c

a

n

 

b

e

 

d

i

f

f

i

c

u

l

t

.

 

B

u

t

 

e

s

s

e

n

t

i

a

l

l

y

 

r

a

t

h

e

r

 

t

h

a

n

 

t

r

a

i

n

i

n

g

 

i

n

 

B

F

1

6

,

 

s

o

m

e

 

(

o

r

 

a

l

l

)

 

a

s

p

e

c

t

s

 

o

f

 

t

r

a

i

n

i

n

g

 

a

 

m

o

d

e

l

 

c

a

n

 

b

e

 

p

e

r

f

o

r

m

e

d

 

u

s

i

n

g

 

8

 

b

i

t

s

 

i

n

s

t

e

a

d

 

o

f

 

1

6

.

 

T

h

e

 

c

h

a

l

l

e

n

g

e

 

i

s

 

d

o

i

n

g

 

s

o

 

w

i

t

h

o

u

t

 

d

e

g

r

a

d

i

n

g

 

f

i

n

a

l

 

p

e

r

f

o

r

m

a

n

c

e

.

 







T

h

i

s

 

i

s

 

o

n

l

y

 

e

n

a

b

l

e

d

 

o

n

 

s

p

e

c

i

f

i

c

 

N

V

I

D

I

A

 

h

a

r

d

w

a

r

e

,

 

n

a

m

e

l

y

:







*

 

A

n

y

t

h

i

n

g

 

a

f

t

e

r

 

t

h

e

 

3

0

0

0

 

s

e

r

i

e

s

 

c

o

n

s

u

m

e

r

 

g

r

a

p

h

i

c

s

 

c

a

r

d

s

 

(

s

u

c

h

 

a

s

 

t

h

e

 

4

0

9

0

)




*

 

H

o

p

p

e

r

-

b

a

s

e

d

 

G

P

U

 

a

r

c

h

i

t

e

c

t

u

r

e

s

 

(

s

u

c

h

 

a

s

 

t

h

e

 

`

H

1

0

0

`

 

a

n

d

 

`

H

2

0

0

`

)







W

h

a

t

 

t

h

i

s

 

w

i

l

l

 

r

e

s

u

l

t

 

i

n

 

i

s

 

s

o

m

e

 

g

a

i

n

 

i

n

 

t

h

e

 

m

e

m

o

r

y

 

u

s

e

d

 

(

a

s

 

w

e

'

v

e

 

c

u

t

 

t

h

e

 

n

e

e

d

e

d

 

m

e

m

o

r

y

 

i

n

 

h

a

l

f

 

f

o

r

 

s

o

m

e

 

p

a

r

t

s

 

o

f

 

t

r

a

i

n

i

n

g

)

 

a

n

d

 

a

n

 

i

n

c

r

e

a

s

e

 

i

n

 

t

h

r

o

u

g

h

p

u

t

 

*

s

h

o

u

l

d

*

 

b

e

 

s

e

e

n

 

a

s

 

w

e

l

l

 

f

o

r

 

l

a

r

g

e

r

 

m

o

d

e

l

s

 

t

h

a

t

 

c

a

n

 

r

e

p

l

a

c

e

 

c

e

r

t

a

i

n

 

l

a

y

e

r

s

 

w

i

t

h

 

F

P

8

-

e

n

a

b

l

e

d

 

o

n

e

s

.







#

#

 

C

o

n

f

i

g

u

r

i

n

g

 

t

h

e

 

A

c

c

e

l

e

r

a

t

o

r







C

u

r

r

e

n

t

l

y

 

t

w

o

 

d

i

f

f

e

r

e

n

t

 

b

a

c

k

e

n

d

s

 

f

o

r

 

F

P

8

 

a

r

e

 

s

u

p

p

o

r

t

e

d

 

(

`

T

r

a

n

s

f

o

r

m

e

r

s

E

n

g

i

n

e

`

 

a

n

d

 

`

M

S

-

A

M

P

`

)

,

 

e

a

c

h

 

w

i

t

h

 

d

i

f

f

e

r

e

n

t

 

c

a

p

a

b

i

l

i

t

i

e

s

 

a

n

d

 

c

o

n

f

i

g

u

r

a

t

i

o

n

s

.

 







T

o

 

u

s

e

 

e

i

t

h

e

r

,

 

t

h

e

 

s

a

m

e

 

c

o

r

e

 

A

P

I

 

i

s

 

u

s

e

d

.

 

J

u

s

t

 

p

a

s

s

 

`

m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

=

"

f

p

8

"

`

 

t

o

 

e

i

t

h

e

r

 

t

h

e

 

`

A

c

c

e

l

e

r

a

t

o

r

`

,

 

d

u

r

i

n

g

 

`

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

`

 

w

h

e

n

 

p

r

o

m

p

t

e

d

 

a

b

o

u

t

 

m

i

x

e

d

 

p

r

e

c

i

s

i

o

n

,

 

o

r

 

a

s

 

p

a

r

t

 

o

f

 

y

o

u

r

 

`

c

o

n

f

i

g

.

y

a

m

l

`

 

f

i

l

e

 

i

n

 

t

h

e

 

`

m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

`

 

k

e

y

:







`

`

`

{

p

y

t

h

o

n

}




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

A

c

c

e

l

e

r

a

t

o

r




a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

=

"

f

p

8

"

)




`

`

`







B

y

 

d

e

f

a

u

l

t

,

 

i

f

 

`

M

S

-

A

M

P

`

 

i

s

 

a

v

a

i

l

a

b

l

e

 

i

n

 

y

o

u

r

 

e

n

v

i

r

o

n

m

e

n

t

,

 

A

c

c

e

l

e

r

a

t

e

 

w

i

l

l

 

a

u

t

o

m

a

t

i

c

a

l

l

y

 

u

t

i

l

i

z

e

 

i

t

 

a

s

 

a

 

b

a

c

k

e

n

d

.

 

T

o

 

s

p

e

c

i

f

y

 

i

t

 

y

o

u

r

s

e

l

f

 

(

a

n

d

 

c

u

s

t

o

m

i

z

e

 

o

t

h

e

r

 

p

a

r

t

s

 

o

f

 

t

h

e

 

F

P

8

 

m

i

x

e

d

 

p

r

e

c

i

s

i

o

n

 

s

e

t

u

p

)

,

 

y

o

u

 

c

a

n

 

u

t

i

l

i

z

e

 

t

h

e

 

`

u

t

i

l

s

.

F

P

8

R

e

c

i

p

e

K

w

a

r

g

s

`

 

o

r

 

c

l

a

r

i

f

y

 

i

t

 

i

n

 

y

o

u

r

 

c

o

n

f

i

g

 

`

y

a

m

l

`

/

d

u

r

i

n

g

 

`

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

`

:







`

`

`

{

p

y

t

h

o

n

}




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

A

c

c

e

l

e

r

a

t

o

r




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

.

u

t

i

l

s

 

i

m

p

o

r

t

 

F

P

8

R

e

c

i

p

e

K

w

a

r

g

s




k

w

a

r

g

s

 

=

 

[

F

P

8

R

e

c

i

p

e

K

w

a

r

g

s

(

b

a

c

k

e

n

d

=

"

m

s

a

m

p

"

)

]




#

 

O

r

 

t

o

 

s

p

e

c

i

f

y

 

t

h

e

 

b

a

c

k

e

n

d

 

a

s

 

`

T

r

a

n

s

f

o

r

m

e

r

s

E

n

g

i

n

e

`

 

e

v

e

n

 

i

f

 

M

S

-

A

M

P

 

i

s

 

i

n

s

t

a

l

l

e

d




#

 

k

w

a

r

g

s

 

=

 

[

F

P

8

R

e

c

i

p

e

K

w

a

r

g

s

(

b

a

c

k

e

n

d

=

"

t

e

"

)

]




a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

=

"

f

p

8

"

,

 

k

w

a

r

g

_

h

a

n

d

l

e

r

s

=

k

w

a

r

g

s

)




`

`

`







`

`

`

{

y

a

m

l

}




m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

:

 

f

p

8




f

p

8

_

c

o

n

f

i

g

:




 

 

a

m

a

x

_

c

o

m

p

u

t

e

_

a

l

g

o

r

i

t

h

m

:

 

m

a

x




 

 

a

m

a

x

_

h

i

s

t

o

r

y

_

l

e

n

g

t

h

:

 

1

0

2

4




 

 

b

a

c

k

e

n

d

:

 

T

E




 

 

f

p

8

_

f

o

r

m

a

t

:

 

H

Y

B

R

I

D




 

 

i

n

t

e

r

v

a

l

:

 

1




 

 

m

a

r

g

i

n

:

 

0




 

 

o

v

e

r

r

i

d

e

_

l

i

n

e

a

r

_

p

r

e

c

i

s

i

o

n

:

 

f

a

l

s

e




 

 

u

s

e

_

a

u

t

o

c

a

s

t

_

d

u

r

i

n

g

_

e

v

a

l

:

 

f

a

l

s

e




`

`

`







#

#

 

C

o

n

f

i

g

u

r

i

n

g

 

M

S

-

A

M

P







O

f

 

t

h

e

 

t

w

o

,

 

`

M

S

-

A

M

P

`

 

i

s

 

t

r

a

d

i

t

i

o

n

a

l

l

y

 

t

h

e

 

e

a

s

i

e

r

 

o

n

e

 

t

o

 

c

o

n

f

i

g

u

r

e

 

a

s

 

t

h

e

r

e

 

i

s

 

o

n

l

y

 

a

 

s

i

n

g

l

e

 

a

r

g

u

m

e

n

t

:

 

t

h

e

 

o

p

t

i

m

i

z

a

t

i

o

n

 

l

e

v

e

l

.

 







C

u

r

r

e

n

t

l

y

 

t

w

o

 

l

e

v

e

l

s

 

o

f

 

o

p

t

i

m

i

z

a

t

i

o

n

 

a

r

e

 

s

u

p

p

o

r

t

e

d

 

i

n

 

t

h

e

 

A

c

c

e

l

e

r

a

t

e

 

i

n

t

e

g

r

a

t

i

o

n

,

 

`

"

O

1

"

`

 

a

n

d

 

`

"

O

2

"

`

 

(

u

s

i

n

g

 

t

h

e

 

l

e

t

t

e

r

 

'

o

'

,

 

n

o

t

 

z

e

r

o

)

.

 







*

 

`

"

O

1

"

`

 

w

i

l

l

 

c

a

s

t

 

t

h

e

 

w

e

i

g

h

t

 

g

r

a

d

i

e

n

t

s

 

a

n

d

 

`

a

l

l

_

r

e

d

u

c

e

`

 

c

o

m

m

u

n

i

c

a

t

i

o

n

s

 

t

o

 

h

a

p

p

e

n

 

i

n

 

8

-

b

i

t

,

 

w

h

i

l

e

 

t

h

e

 

r

e

s

t

 

a

r

e

 

d

o

n

e

 

i

n

 

1

6

 

b

i

t

.

 

T

h

i

s

 

r

e

d

u

c

e

s

 

t

h

e

 

g

e

n

e

r

a

l

 

G

P

U

 

m

e

m

o

r

y

 

u

s

a

g

e

 

a

n

d

 

s

p

e

e

d

s

 

u

p

 

c

o

m

m

u

n

i

c

a

t

i

o

n

 

b

a

n

d

w

i

d

t

h

s

.




*

 

`

"

O

2

"

`

 

w

i

l

l

 

a

l

s

o

 

c

a

s

t

 

f

i

r

s

t

-

o

r

d

e

r

 

o

p

t

i

m

i

z

e

r

 

s

t

a

t

e

s

 

i

n

t

o

 

8

 

b

i

t

,

 

w

h

i

l

e

 

t

h

e

 

s

e

c

o

n

d

 

o

r

d

e

r

 

s

t

a

t

e

s

 

a

r

e

 

i

n

 

F

P

1

6

.

 

(

C

u

r

r

e

n

t

l

y

 

j

u

s

t

 

t

h

e

 

`

A

d

a

m

`

 

o

p

t

i

m

i

z

e

r

 

i

s

 

s

u

p

p

o

r

t

e

d

)

.

 

T

h

i

s

 

t

r

i

e

s

 

i

t

s

 

b

e

s

t

 

t

o

 

m

i

n

i

m

i

z

e

 

f

i

n

a

l

 

a

c

c

u

r

a

c

y

 

d

e

g

r

a

d

a

t

i

o

n

 

a

n

d

 

w

i

l

l

 

s

a

v

e

 

t

h

e

 

h

i

g

h

e

s

t

 

p

o

t

e

n

t

i

a

l

 

m

e

m

o

r

y

.







T

o

 

s

p

e

c

i

f

y

 

a

n

 

o

p

t

i

m

i

z

a

t

i

o

n

 

l

e

v

e

l

,

 

p

a

s

s

 

i

t

 

t

o

 

t

h

e

 

`

F

P

8

K

w

a

r

g

s

H

a

n

d

l

e

r

`

 

b

y

 

s

e

t

t

i

n

g

 

t

h

e

 

`

o

p

t

i

m

i

z

a

t

i

o

n

_

l

e

v

e

l

`

 

a

r

g

u

m

e

n

t

:







`

`

`

{

p

y

t

h

o

n

}




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

A

c

c

e

l

e

r

a

t

o

r




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

.

u

t

i

l

s

 

i

m

p

o

r

t

 

F

P

8

R

e

c

i

p

e

K

w

a

r

g

s




k

w

a

r

g

s

 

=

 

[

F

P

8

R

e

c

i

p

e

K

w

a

r

g

s

(

b

a

c

k

e

n

d

=

"

m

s

a

m

p

"

,

 

o

p

t

i

m

i

z

a

t

i

o

n

_

l

e

v

e

l

=

"

O

2

"

)

]




a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

=

"

f

p

8

"

,

 

k

w

a

r

g

_

h

a

n

d

l

e

r

s

=

k

w

a

r

g

s

)




`

`

`







O

r

 

d

u

r

i

n

g

 

`

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

`

 

v

i

a

 

`

-

-

f

p

8

_

b

a

c

k

e

n

d

=

m

s

a

m

p

 

-

-

f

p

8

_

o

p

t

_

l

e

v

e

l

=

O

2

`







S

i

m

i

l

a

r

l

y

 

t

h

i

s

 

c

a

n

 

b

e

 

s

e

t

 

i

n

 

y

o

u

r

 

`

c

o

n

f

i

g

.

y

a

m

l

`

:







`

`

`

{

y

a

m

l

}




m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

:

 

f

p

8




f

p

8

_

c

o

n

f

i

g

:




 

 

 

 

b

a

c

k

e

n

d

:

 

M

S

A

M

P




 

 

 

 

o

p

t

_

l

e

v

e

l

:

 

O

2




`

`

`







#

#

 

C

o

n

f

i

g

u

r

i

n

g

 

T

r

a

n

s

f

o

r

m

e

r

s

E

n

g

i

n

e







T

r

a

n

s

f

o

r

m

e

r

s

E

n

g

i

n

e

 

h

a

s

 

m

u

c

h

 

m

o

r

e

 

a

v

a

i

l

a

b

l

e

 

f

o

r

 

c

u

s

t

o

m

i

z

i

n

g

 

h

o

w

 

a

n

d

 

w

h

a

t

 

F

P

8

 

c

a

l

c

u

l

a

t

i

o

n

s

 

a

r

e

 

p

e

r

f

o

r

m

e

d

.

 

A

 

f

u

l

l

 

l

i

s

t

 

o

f

 

s

u

p

p

o

r

t

e

d

 

a

r

g

u

m

e

n

t

s

 

a

n

d

 

w

h

a

t

 

t

h

e

y

 

m

e

a

n

 

a

r

e

 

a

v

a

i

l

a

b

l

e

 

i

n

 

[

N

V

I

D

I

A

'

s

 

d

o

c

u

m

e

n

t

a

t

i

o

n

]

(

h

t

t

p

s

:

/

/

d

o

c

s

.

n

v

i

d

i

a

.

c

o

m

/

d

e

e

p

l

e

a

r

n

i

n

g

/

t

r

a

n

s

f

o

r

m

e

r

-

e

n

g

i

n

e

/

u

s

e

r

-

g

u

i

d

e

/

a

p

i

/

c

o

m

m

o

n

.

h

t

m

l

)

,

 

h

o

w

e

v

e

r

 

t

h

e

y

 

a

r

e

 

r

e

s

t

a

t

e

d

 

a

s

 

p

a

r

t

 

o

f

 

`

F

P

8

K

w

a

r

g

s

H

a

n

d

l

e

r

`

'

s

 

d

o

c

s

t

r

i

n

g

 

f

o

r

 

y

o

u

r

 

c

o

n

v

e

n

i

e

n

c

e

.

 







A

c

c

e

l

e

r

a

t

e

 

t

r

i

e

s

 

t

o

 

s

e

t

 

s

e

n

s

i

b

l

e

 

d

e

f

a

u

l

t

s

,

 

b

u

t

 

e

x

p

l

o

r

i

n

g

 

a

n

d

 

t

w

e

a

k

i

n

g

 

t

h

e

 

v

a

r

i

o

u

s

 

p

a

r

a

m

e

t

e

r

s

 

y

o

u

r

s

e

l

f

 

c

a

n

 

l

e

a

d

 

t

o

 

b

e

t

t

e

r

 

p

e

r

f

o

r

m

a

n

c

e

 

p

o

t

e

n

t

i

a

l

l

y

.







T

o

 

u

s

e

 

i

t

,

 

s

p

e

c

i

f

y

 

`

b

a

c

k

e

n

d

=

"

t

e

"

`

 

a

n

d

 

m

o

d

i

f

y

 

a

n

y

 

o

f

 

t

h

e

 

a

r

g

u

m

e

n

t

s

 

y

o

u

 

w

a

n

t

 

a

s

 

p

a

r

t

 

o

f

 

y

o

u

r

 

k

w

a

r

g

 

h

a

n

d

l

e

r

:







`

`

`

{

p

y

t

h

o

n

}




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

A

c

c

e

l

e

r

a

t

o

r




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

.

u

t

i

l

s

 

i

m

p

o

r

t

 

F

P

8

R

e

c

i

p

e

K

w

a

r

g

s




k

w

a

r

g

s

 

=

 

[

F

P

8

R

e

c

i

p

e

K

w

a

r

g

s

(

b

a

c

k

e

n

d

=

"

t

e

"

,

 

.

.

.

)

]




a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

=

"

f

p

8

"

,

 

k

w

a

r

g

_

h

a

n

d

l

e

r

s

=

k

w

a

r

g

s

)




`

`

`







O

r

 

d

u

r

i

n

g

 

`

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

`

 

v

i

a

 

`

-

-

f

p

8

_

b

a

c

k

e

n

d

=

t

e

 

.

.

.

`

.

 

U

s

e

 

`

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

-

-

f

p

8

_

b

a

c

k

e

n

d

=

t

e

 

-

h

`

 

t

o

 

s

e

e

 

r

e

l

e

v

e

n

t

 

a

r

g

u

m

e

n

t

s

.







S

i

m

i

l

a

r

l

y

 

t

h

i

s

 

c

a

n

 

b

e

 

s

e

t

 

i

n

 

y

o

u

r

 

`

c

o

n

f

i

g

.

y

a

m

l

`

:







`

`

`

{

y

a

m

l

}




m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

:

 

f

p

8




f

p

8

_

c

o

n

f

i

g

:




 

 

 

 

a

m

a

x

_

c

o

m

p

u

t

e

_

a

l

g

o

r

i

t

h

m

:

 

m

a

x




 

 

 

 

a

m

a

x

_

h

i

s

t

o

r

y

_

l

e

n

g

t

h

:

 

1

0

2

4




 

 

 

 

b

a

c

k

e

n

d

:

 

T

E




 

 

 

 

f

p

8

_

f

o

r

m

a

t

:

 

H

Y

B

R

I

D




 

 

 

 

i

n

t

e

r

v

a

l

:

 

1




 

 

 

 

m

a

r

g

i

n

:

 

0




 

 

 

 

o

v

e

r

r

i

d

e

_

l

i

n

e

a

r

_

p

r

e

c

i

s

i

o

n

:

 

f

a

l

s

e




 

 

 

 

u

s

e

_

a

u

t

o

c

a

s

t

_

d

u

r

i

n

g

_

e

v

a

l

:

 

f

a

l

s

e




`

`

`







#

#

 

E

x

a

m

p

l

e

 

Z

o

o







W

e

 

h

a

v

e

 

e

x

a

m

p

l

e

s

 

s

h

o

w

c

a

s

i

n

g

 

t

r

a

i

n

i

n

g

 

w

i

t

h

 

F

P

8

 

b

o

t

h

 

w

i

t

h

 

a

c

c

e

l

e

r

a

t

e

 

a

n

d

 

i

t

s

 

u

n

d

e

r

l

y

i

n

g

 

i

m

p

l

e

m

e

n

t

a

t

i

o

n

 

a

v

a

i

l

a

b

l

e

 

i

n

 

t

h

e

 

a

c

c

e

l

e

r

a

t

e

 

r

e

p

o

.




C

u

r

r

e

n

t

l

y

 

w

e

 

s

u

p

p

o

r

t

 

s

c

r

i

p

t

s

 

s

h

o

w

c

a

s

i

n

g

:







*

 

S

i

n

g

l

e

 

G

P

U




*

 

D

i

s

t

r

i

b

u

t

e

d

 

D

a

t

a

 

P

a

r

a

l

l

e

l

i

s

m

 

(

M

u

l

t

i

-

G

P

U

)




*

 

F

u

l

l

y

 

S

h

a

r

d

e

d

 

D

a

t

a

 

P

a

r

a

l

l

e

l

i

s

m




*

 

D

e

e

p

S

p

e

e

d

 

Z

e

R

O

 

1

 

t

h

r

o

u

g

h

 

3







F

i

n

d

 

o

u

t

 

m

o

r

e

 

[

h

e

r

e

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

a

c

c

e

l

e

r

a

t

e

/

t

r

e

e

/

m

a

i

n

/

b

e

n

c

h

m

a

r

k

s

/

f

p

8

)







#

#

 

F

u

r

t

h

e

r

 

R

e

a

d

i

n

g







T

o

 

l

e

a

r

n

 

m

o

r

e

 

a

b

o

u

t

 

t

r

a

i

n

i

n

g

 

i

n

 

F

P

8

 

p

l

e

a

s

e

 

c

h

e

c

k

 

o

u

t

 

t

h

e

 

f

o

l

l

o

w

i

n

g

 

r

e

s

o

u

r

c

e

s

:







*

 

[

O

u

r

 

c

o

n

c

e

p

t

 

g

u

i

d

e

]

(

.

.

/

c

o

n

c

e

p

t

_

g

u

i

d

e

s

/

l

o

w

_

p

r

e

c

i

s

i

o

n

_

t

r

a

i

n

i

n

g

)

 

d

e

t

a

i

l

i

n

g

 

i

n

t

o

 

m

o

r

e

 

a

b

o

u

t

 

b

o

t

h

 

T

r

a

n

s

f

o

r

m

e

r

s

E

n

g

i

n

e

 

a

n

d

 

M

S

-

A

M

P




*

 

[

T

h

e

 

`

t

r

a

n

s

f

o

r

m

e

r

s

-

e

n

g

i

n

e

`

 

d

o

c

u

m

e

n

t

a

t

i

o

n

]

(

h

t

t

p

s

:

/

/

d

o

c

s

.

n

v

i

d

i

a

.

c

o

m

/

d

e

e

p

l

e

a

r

n

i

n

g

/

t

r

a

n

s

f

o

r

m

e

r

-

e

n

g

i

n

e

/

u

s

e

r

-

g

u

i

d

e

/

a

p

i

/

c

o

m

m

o

n

.

h

t

m

l

)




*

 

[

T

h

e

 

`

M

S

-

A

M

P

`

 

d

o

c

u

m

e

n

t

a

t

i

o

n

]

(

h

t

t

p

s

:

/

/

a

z

u

r

e

.

g

i

t

h

u

b

.

i

o

/

M

S

-

A

M

P

/

d

o

c

s

/

)







#

 

A

c

c

e

l

e

r

a

t

e

d

 

P

y

T

o

r

c

h

 

T

r

a

i

n

i

n

g

 

o

n

 

M

a

c







W

i

t

h

 

P

y

T

o

r

c

h

 

v

1

.

1

2

 

r

e

l

e

a

s

e

,

 

d

e

v

e

l

o

p

e

r

s

 

a

n

d

 

r

e

s

e

a

r

c

h

e

r

s

 

c

a

n

 

t

a

k

e

 

a

d

v

a

n

t

a

g

e

 

o

f

 

A

p

p

l

e

 

s

i

l

i

c

o

n

 

G

P

U

s

 

f

o

r

 

s

i

g

n

i

f

i

c

a

n

t

l

y

 

f

a

s

t

e

r

 

m

o

d

e

l

 

t

r

a

i

n

i

n

g

.

 




T

h

i

s

 

u

n

l

o

c

k

s

 

t

h

e

 

a

b

i

l

i

t

y

 

t

o

 

p

e

r

f

o

r

m

 

m

a

c

h

i

n

e

 

l

e

a

r

n

i

n

g

 

w

o

r

k

f

l

o

w

s

 

l

i

k

e

 

p

r

o

t

o

t

y

p

i

n

g

 

a

n

d

 

f

i

n

e

-

t

u

n

i

n

g

 

l

o

c

a

l

l

y

,

 

r

i

g

h

t

 

o

n

 

M

a

c

.




A

p

p

l

e

'

s

 

M

e

t

a

l

 

P

e

r

f

o

r

m

a

n

c

e

 

S

h

a

d

e

r

s

 

(

M

P

S

)

 

a

s

 

a

 

b

a

c

k

e

n

d

 

f

o

r

 

P

y

T

o

r

c

h

 

e

n

a

b

l

e

s

 

t

h

i

s

 

a

n

d

 

c

a

n

 

b

e

 

u

s

e

d

 

v

i

a

 

t

h

e

 

n

e

w

 

`

"

m

p

s

"

`

 

d

e

v

i

c

e

.

 




T

h

i

s

 

w

i

l

l

 

m

a

p

 

c

o

m

p

u

t

a

t

i

o

n

a

l

 

g

r

a

p

h

s

 

a

n

d

 

p

r

i

m

i

t

i

v

e

s

 

o

n

 

t

h

e

 

M

P

S

 

G

r

a

p

h

 

f

r

a

m

e

w

o

r

k

 

a

n

d

 

t

u

n

e

d

 

k

e

r

n

e

l

s

 

p

r

o

v

i

d

e

d

 

b

y

 

M

P

S

.




F

o

r

 

m

o

r

e

 

i

n

f

o

r

m

a

t

i

o

n

 

p

l

e

a

s

e

 

r

e

f

e

r

 

o

f

f

i

c

i

a

l

 

d

o

c

u

m

e

n

t

s

 

[

I

n

t

r

o

d

u

c

i

n

g

 

A

c

c

e

l

e

r

a

t

e

d

 

P

y

T

o

r

c

h

 

T

r

a

i

n

i

n

g

 

o

n

 

M

a

c

]

(

h

t

t

p

s

:

/

/

p

y

t

o

r

c

h

.

o

r

g

/

b

l

o

g

/

i

n

t

r

o

d

u

c

i

n

g

-

a

c

c

e

l

e

r

a

t

e

d

-

p

y

t

o

r

c

h

-

t

r

a

i

n

i

n

g

-

o

n

-

m

a

c

/

)




a

n

d

 

[

M

P

S

 

B

A

C

K

E

N

D

]

(

h

t

t

p

s

:

/

/

p

y

t

o

r

c

h

.

o

r

g

/

d

o

c

s

/

s

t

a

b

l

e

/

n

o

t

e

s

/

m

p

s

.

h

t

m

l

)

.







#

#

#

 

B

e

n

e

f

i

t

s

 

o

f

 

T

r

a

i

n

i

n

g

 

a

n

d

 

I

n

f

e

r

e

n

c

e

 

u

s

i

n

g

 

A

p

p

l

e

 

S

i

l

i

c

o

n

 

C

h

i

p

s







1

.

 

E

n

a

b

l

e

s

 

u

s

e

r

s

 

t

o

 

t

r

a

i

n

 

l

a

r

g

e

r

 

n

e

t

w

o

r

k

s

 

o

r

 

b

a

t

c

h

 

s

i

z

e

s

 

l

o

c

a

l

l

y




2

.

 

R

e

d

u

c

e

s

 

d

a

t

a

 

r

e

t

r

i

e

v

a

l

 

l

a

t

e

n

c

y

 

a

n

d

 

p

r

o

v

i

d

e

s

 

t

h

e

 

G

P

U

 

w

i

t

h

 

d

i

r

e

c

t

 

a

c

c

e

s

s

 

t

o

 

t

h

e

 

f

u

l

l

 

m

e

m

o

r

y

 

s

t

o

r

e

 

d

u

e

 

t

o

 

u

n

i

f

i

e

d

 

m

e

m

o

r

y

 

a

r

c

h

i

t

e

c

t

u

r

e

.

 




T

h

e

r

e

f

o

r

e

,

 

i

m

p

r

o

v

i

n

g

 

e

n

d

-

t

o

-

e

n

d

 

p

e

r

f

o

r

m

a

n

c

e

.




3

.

 

R

e

d

u

c

e

s

 

c

o

s

t

s

 

a

s

s

o

c

i

a

t

e

d

 

w

i

t

h

 

c

l

o

u

d

-

b

a

s

e

d

 

d

e

v

e

l

o

p

m

e

n

t

 

o

r

 

t

h

e

 

n

e

e

d

 

f

o

r

 

a

d

d

i

t

i

o

n

a

l

 

l

o

c

a

l

 

G

P

U

s

.







*

*

P

r

e

-

r

e

q

u

i

s

i

t

e

s

*

*

:

 

T

o

 

i

n

s

t

a

l

l

 

t

o

r

c

h

 

w

i

t

h

 

m

p

s

 

s

u

p

p

o

r

t

,

 




p

l

e

a

s

e

 

f

o

l

l

o

w

 

t

h

i

s

 

n

i

c

e

 

m

e

d

i

u

m

 

a

r

t

i

c

l

e

 

[

G

P

U

-

A

c

c

e

l

e

r

a

t

i

o

n

 

C

o

m

e

s

 

t

o

 

P

y

T

o

r

c

h

 

o

n

 

M

1

 

M

a

c

s

]

(

h

t

t

p

s

:

/

/

m

e

d

i

u

m

.

c

o

m

/

t

o

w

a

r

d

s

-

d

a

t

a

-

s

c

i

e

n

c

e

/

g

p

u

-

a

c

c

e

l

e

r

a

t

i

o

n

-

c

o

m

e

s

-

t

o

-

p

y

t

o

r

c

h

-

o

n

-

m

1

-

m

a

c

s

-

1

9

5

c

3

9

9

e

f

c

c

1

)

.










#

#

 

H

o

w

 

i

t

 

w

o

r

k

s

 

o

u

t

 

o

f

 

t

h

e

 

b

o

x




I

t

 

i

s

 

e

n

a

b

l

e

d

 

b

y

 

d

e

f

a

u

l

t

 

o

n

 

M

a

c

O

s

 

m

a

c

h

i

n

e

s

 

w

i

t

h

 

M

P

S

 

e

n

a

b

l

e

d

 

A

p

p

l

e

 

S

i

l

i

c

o

n

 

G

P

U

s

.




T

o

 

d

i

s

a

b

l

e

 

i

t

,

 

p

a

s

s

 

`

-

-

c

p

u

`

 

f

l

a

g

 

t

o

 

`

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

`

 

c

o

m

m

a

n

d

 

o

r

 

a

n

s

w

e

r

 

t

h

e

 

c

o

r

r

e

s

p

o

n

d

i

n

g

 

q

u

e

s

t

i

o

n

 

w

h

e

n

 

a

n

s

w

e

r

i

n

g

 

t

h

e

 

`

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

`

 

q

u

e

s

t

i

o

n

n

a

i

r

e

.







Y

o

u

 

c

a

n

 

d

i

r

e

c

t

l

y

 

r

u

n

 

t

h

e

 

f

o

l

l

o

w

i

n

g

 

s

c

r

i

p

t

 

t

o

 

t

e

s

t

 

i

t

 

o

u

t

 

o

n

 

M

P

S

 

e

n

a

b

l

e

d

 

A

p

p

l

e

 

S

i

l

i

c

o

n

 

m

a

c

h

i

n

e

s

:




`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

/

e

x

a

m

p

l

e

s

/

c

v

_

e

x

a

m

p

l

e

.

p

y

 

-

-

d

a

t

a

_

d

i

r

 

i

m

a

g

e

s




`

`

`







#

#

 

A

 

f

e

w

 

c

a

v

e

a

t

s

 

t

o

 

b

e

 

a

w

a

r

e

 

o

f







1

.

 

W

e

 

s

t

r

o

n

g

l

y

 

r

e

c

o

m

m

e

n

d

 

t

o

 

i

n

s

t

a

l

l

 

P

y

T

o

r

c

h

 

>

=

 

1

.

1

3

 

(

n

i

g

h

t

l

y

 

v

e

r

s

i

o

n

 

a

t

 

t

h

e

 

t

i

m

e

 

o

f

 

w

r

i

t

i

n

g

)

 

o

n

 

y

o

u

r

 

M

a

c

O

S

 

m

a

c

h

i

n

e

.

 




I

t

 

h

a

s

 

m

a

j

o

r

 

f

i

x

e

s

 

r

e

l

a

t

e

d

 

t

o

 

m

o

d

e

l

 

c

o

r

r

e

c

t

n

e

s

s

 

a

n

d

 

p

e

r

f

o

r

m

a

n

c

e

 

i

m

p

r

o

v

e

m

e

n

t

s

 

f

o

r

 

t

r

a

n

s

f

o

r

m

e

r

 

b

a

s

e

d

 

m

o

d

e

l

s

.




P

l

e

a

s

e

 

r

e

f

e

r

 

t

o

 

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

p

y

t

o

r

c

h

/

p

y

t

o

r

c

h

/

i

s

s

u

e

s

/

8

2

7

0

7

 

f

o

r

 

m

o

r

e

 

d

e

t

a

i

l

s

.




2

.

 

D

i

s

t

r

i

b

u

t

e

d

 

s

e

t

u

p

s

 

`

g

l

o

o

`

 

a

n

d

 

`

n

c

c

l

`

 

a

r

e

 

n

o

t

 

w

o

r

k

i

n

g

 

w

i

t

h

 

`

m

p

s

`

 

d

e

v

i

c

e

.

 




T

h

i

s

 

m

e

a

n

s

 

t

h

a

t

 

c

u

r

r

e

n

t

l

y

 

o

n

l

y

 

s

i

n

g

l

e

 

G

P

U

 

o

f

 

`

m

p

s

`

 

d

e

v

i

c

e

 

t

y

p

e

 

c

a

n

 

b

e

 

u

s

e

d

.







F

i

n

a

l

l

y

,

 

p

l

e

a

s

e

,

 

r

e

m

e

m

b

e

r

 

t

h

a

t

,

 

`

A

c

c

e

l

e

r

a

t

e

`

 

o

n

l

y

 

i

n

t

e

g

r

a

t

e

s

 

M

P

S

 

b

a

c

k

e

n

d

,

 

t

h

e

r

e

f

o

r

e

 

i

f

 

y

o

u




h

a

v

e

 

a

n

y

 

p

r

o

b

l

e

m

s

 

o

r

 

q

u

e

s

t

i

o

n

s

 

w

i

t

h

 

r

e

g

a

r

d

s

 

t

o

 

M

P

S

 

b

a

c

k

e

n

d

 

u

s

a

g

e

,

 

p

l

e

a

s

e

,

 

f

i

l

e

 

a

n

 

i

s

s

u

e

 

w

i

t

h

 

[

P

y

T

o

r

c

h

 

G

i

t

H

u

b

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

p

y

t

o

r

c

h

/

p

y

t

o

r

c

h

/

i

s

s

u

e

s

)

.







#

 

M

o

d

e

l

 

m

e

m

o

r

y

 

e

s

t

i

m

a

t

o

r







O

n

e

 

v

e

r

y

 

d

i

f

f

i

c

u

l

t

 

a

s

p

e

c

t

 

w

h

e

n

 

e

x

p

l

o

r

i

n

g

 

p

o

t

e

n

t

i

a

l

 

m

o

d

e

l

s

 

t

o

 

u

s

e

 

o

n

 

y

o

u

r

 

m

a

c

h

i

n

e

 

i

s

 

k

n

o

w

i

n

g

 

j

u

s

t

 

h

o

w

 

b

i

g

 

o

f

 

a

 

m

o

d

e

l

 

w

i

l

l

 

*

f

i

t

*

 

i

n

t

o

 

m

e

m

o

r

y

 

w

i

t

h

 

y

o

u

r

 

c

u

r

r

e

n

t

 

g

r

a

p

h

i

c

s

 

c

a

r

d

 

(

s

u

c

h

 

a

s

 

l

o

a

d

i

n

g

 

t

h

e

 

m

o

d

e

l

 

o

n

t

o

 

C

U

D

A

)

.







T

o

 

h

e

l

p

 

a

l

l

e

v

i

a

t

e

 

t

h

i

s

,

 

A

c

c

e

l

e

r

a

t

e

 

h

a

s

 

a

 

C

L

I

 

i

n

t

e

r

f

a

c

e

 

t

h

r

o

u

g

h

 

`

a

c

c

e

l

e

r

a

t

e

 

e

s

t

i

m

a

t

e

-

m

e

m

o

r

y

`

.

 

T

h

i

s

 

t

u

t

o

r

i

a

l

 

w

i

l

l

 




h

e

l

p

 

w

a

l

k

 

y

o

u

 

t

h

r

o

u

g

h

 

u

s

i

n

g

 

i

t

,

 

w

h

a

t

 

t

o

 

e

x

p

e

c

t

,

 

a

n

d

 

a

t

 

t

h

e

 

e

n

d

 

l

i

n

k

 

t

o

 

t

h

e

 

i

n

t

e

r

a

c

t

i

v

e

 

d

e

m

o

 

h

o

s

t

e

d

 

o

n

 

t

h

e

 

H

u

b

 

w

h

i

c

h

 

w

i

l

l

 




e

v

e

n

 

l

e

t

 

y

o

u

 

p

o

s

t

 

t

h

o

s

e

 

r

e

s

u

l

t

s

 

d

i

r

e

c

t

l

y

 

o

n

 

t

h

e

 

m

o

d

e

l

 

r

e

p

o

!







C

u

r

r

e

n

t

l

y

 

w

e

 

s

u

p

p

o

r

t

 

s

e

a

r

c

h

i

n

g

 

f

o

r

 

m

o

d

e

l

s

 

t

h

a

t

 

c

a

n

 

b

e

 

u

s

e

d

 

i

n

 

`

t

i

m

m

`

 

a

n

d

 

`

t

r

a

n

s

f

o

r

m

e

r

s

`

.







<

T

i

p

>







 

 

 

 

T

h

i

s

 

A

P

I

 

w

i

l

l

 

l

o

a

d

 

t

h

e

 

m

o

d

e

l

 

i

n

t

o

 

m

e

m

o

r

y

 

o

n

 

t

h

e

 

`

m

e

t

a

`

 

d

e

v

i

c

e

,

 

s

o

 

w

e

 

a

r

e

 

n

o

t

 

a

c

t

u

a

l

l

y

 

d

o

w

n

l

o

a

d

i

n

g

 




 

 

 

 

a

n

d

 

l

o

a

d

i

n

g

 

t

h

e

 

f

u

l

l

 

w

e

i

g

h

t

s

 

o

f

 

t

h

e

 

m

o

d

e

l

 

i

n

t

o

 

m

e

m

o

r

y

,

 

n

o

r

 

d

o

 

w

e

 

n

e

e

d

 

t

o

.

 

A

s

 

a

 

r

e

s

u

l

t

 

i

t

'

s

 




 

 

 

 

p

e

r

f

e

c

t

l

y

 

f

i

n

e

 

t

o

 

m

e

a

s

u

r

e

 

8

 

b

i

l

l

i

o

n

 

p

a

r

a

m

e

t

e

r

 

m

o

d

e

l

s

 

(

o

r

 

m

o

r

e

)

,

 

w

i

t

h

o

u

t

 

h

a

v

i

n

g

 

t

o

 

w

o

r

r

y

 

a

b

o

u

t

 




 

 

 

 

i

f

 

y

o

u

r

 

C

P

U

 

c

a

n

 

h

a

n

d

l

e

 

i

t

!







<

/

T

i

p

>







#

#

 

G

r

a

d

i

o

 

D

e

m

o

s







B

e

l

o

w

 

a

r

e

 

a

 

f

e

w

 

g

r

a

d

i

o

 

d

e

m

o

s

 

r

e

l

a

t

e

d

 

t

o

 

w

h

a

t

 

w

a

s

 

d

e

s

c

r

i

b

e

d

 

a

b

o

v

e

.

 

T

h

e

 

f

i

r

s

t

 

i

s

 

t

h

e

 

o

f

f

i

c

i

a

l

 

H

u

g

g

i

n

g

 

F

a

c

e

 

m

e

m

o

r

y

 

e

s

t

i

m

a

t

i

o

n

 

s

p

a

c

e

,

 

u

t

i

l

i

z

i

n

g

 

A

c

c

e

l

e

r

a

t

e

 

d

i

r

e

c

t

l

y

:







<

d

i

v

 

c

l

a

s

s

=

"

b

l

o

c

k

 

d

a

r

k

:

h

i

d

d

e

n

"

>




	

<

i

f

r

a

m

e

 




 

 

 

 

 

 

 

 

s

r

c

=

"

h

t

t

p

s

:

/

/

h

f

-

a

c

c

e

l

e

r

a

t

e

-

m

o

d

e

l

-

m

e

m

o

r

y

-

u

s

a

g

e

.

h

f

.

s

p

a

c

e

?

_

_

t

h

e

m

e

=

l

i

g

h

t

"




 

 

 

 

 

 

 

 

w

i

d

t

h

=

"

8

5

0

"




 

 

 

 

 

 

 

 

h

e

i

g

h

t

=

"

1

6

0

0

"




 

 

 

 

>

<

/

i

f

r

a

m

e

>




<

/

d

i

v

>




<

d

i

v

 

c

l

a

s

s

=

"

h

i

d

d

e

n

 

d

a

r

k

:

b

l

o

c

k

"

>




 

 

 

 

<

i

f

r

a

m

e

 




 

 

 

 

 

 

 

 

s

r

c

=

"

h

t

t

p

s

:

/

/

h

f

-

a

c

c

e

l

e

r

a

t

e

-

m

o

d

e

l

-

m

e

m

o

r

y

-

u

s

a

g

e

.

h

f

.

s

p

a

c

e

?

_

_

t

h

e

m

e

=

d

a

r

k

"




 

 

 

 

 

 

 

 

w

i

d

t

h

=

"

8

5

0

"




 

 

 

 

 

 

 

 

h

e

i

g

h

t

=

"

1

6

0

0

"




 

 

 

 

>

<

/

i

f

r

a

m

e

>




<

/

d

i

v

>







A

 

c

o

m

m

u

n

i

t

y

 

m

e

m

b

e

r

 

h

a

s

 

t

a

k

e

n

 

t

h

e

 

i

d

e

a

 

a

n

d

 

e

x

p

a

n

d

e

d

 

i

t

 

f

u

r

t

h

e

r

,

 

a

l

l

o

w

i

n

g

 

y

o

u

 

t

o

 

f

i

l

t

e

r

 

m

o

d

e

l

s

 

d

i

r

e

c

t

l

y

 

a

n

d

 

s

e

e

 

i

f

 

y

o

u

 

c

a

n

 

r

u

n

 

a

 

p

a

r

t

i

c

u

l

a

r

 

L

L

M

 

g

i

v

e

n

 

G

P

U

 

c

o

n

s

t

r

a

i

n

t

s

 

a

n

d

 

L

o

R

A

 

c

o

n

f

i

g

u

r

a

t

i

o

n

s

.

 

T

o

 

p

l

a

y

 

w

i

t

h

 

i

t

,

 

s

e

e

 

[

h

e

r

e

]

(

h

t

t

p

s

:

/

/

h

u

g

g

i

n

g

f

a

c

e

.

c

o

/

s

p

a

c

e

s

/

V

o

k

t

u

r

z

/

c

a

n

-

i

t

-

r

u

n

-

l

l

m

)

 

f

o

r

 

m

o

r

e

 

d

e

t

a

i

l

s

.







#

#

 

T

h

e

 

C

o

m

m

a

n

d







W

h

e

n

 

u

s

i

n

g

 

`

a

c

c

e

l

e

r

a

t

e

 

e

s

t

i

m

a

t

e

-

m

e

m

o

r

y

`

,

 

y

o

u

 

n

e

e

d

 

t

o

 

p

a

s

s

 

i

n

 

t

h

e

 

n

a

m

e

 

o

f

 

t

h

e

 

m

o

d

e

l

 

y

o

u

 

w

a

n

t

 

t

o

 

u

s

e

,

 

p

o

t

e

n

t

i

a

l

l

y

 

t

h

e

 

f

r

a

m

e

w

o

r

k




t

h

a

t

 

m

o

d

e

l

 

u

t

i

l

i

z

i

n

g

 

(

i

f

 

i

t

 

c

a

n

'

t

 

b

e

 

f

o

u

n

d

 

a

u

t

o

m

a

t

i

c

a

l

l

y

)

,

 

a

n

d

 

t

h

e

 

d

a

t

a

 

t

y

p

e

s

 

y

o

u

 

w

a

n

t

 

t

h

e

 

m

o

d

e

l

 

t

o

 

b

e

 

l

o

a

d

e

d

 

i

n

 

w

i

t

h

.







F

o

r

 

e

x

a

m

p

l

e

,

 

h

e

r

e

 

i

s

 

h

o

w

 

w

e

 

c

a

n

 

c

a

l

c

u

l

a

t

e

 

t

h

e

 

m

e

m

o

r

y

 

f

o

o

t

p

r

i

n

t

 

f

o

r

 

`

b

e

r

t

-

b

a

s

e

-

c

a

s

e

d

`

:







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

e

s

t

i

m

a

t

e

-

m

e

m

o

r

y

 

b

e

r

t

-

b

a

s

e

-

c

a

s

e

d




`

`

`







T

h

i

s

 

w

i

l

l

 

d

o

w

n

l

o

a

d

 

t

h

e

 

`

c

o

n

f

i

g

.

j

s

o

n

`

 

f

o

r

 

`

b

e

r

t

-

b

a

s

e

d

-

c

a

s

e

d

`

,

 

l

o

a

d

 

t

h

e

 

m

o

d

e

l

 

o

n

 

t

h

e

 

`

m

e

t

a

`

 

d

e

v

i

c

e

,

 

a

n

d

 

r

e

p

o

r

t

 

b

a

c

k

 

h

o

w

 

m

u

c

h

 

s

p

a

c

e




i

t

 

w

i

l

l

 

u

s

e

:







M

e

m

o

r

y

 

U

s

a

g

e

 

f

o

r

 

l

o

a

d

i

n

g

 

`

b

e

r

t

-

b

a

s

e

-

c

a

s

e

d

`

:







|

 

d

t

y

p

e

 

 

 

|

 

L

a

r

g

e

s

t

 

L

a

y

e

r

 

|

 

T

o

t

a

l

 

S

i

z

e

 

|

 

T

r

a

i

n

i

n

g

 

u

s

i

n

g

 

A

d

a

m

 

|




|

-

-

-

-

-

-

-

-

-

|

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

|

-

-

-

-

-

-

-

-

-

-

-

-

|

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

|




|

 

f

l

o

a

t

3

2

 

|

 

8

4

.

9

5

 

M

B

 

 

 

 

 

 

|

 

4

1

8

.

1

8

 

M

B

 

 

|

 

1

.

6

1

 

G

B

 

 

 

 

 

 

 

 

 

 

 

 

 

|




|

 

f

l

o

a

t

1

6

 

|

 

4

2

.

4

7

 

M

B

 

 

 

 

 

 

|

 

2

0

6

.

5

9

 

M

B

 

 

|

 

8

2

6

.

3

6

 

M

B

 

 

 

 

 

 

 

 

 

 

 

|




|

 

i

n

t

8

 

 

 

 

|

 

2

1

.

2

4

 

M

B

 

 

 

 

 

 

|

 

1

0

3

.

2

9

 

M

B

 

 

|

 

4

1

3

.

1

8

 

M

B

 

 

 

 

 

 

 

 

 

 

 

|




|

 

i

n

t

4

 

 

 

 

|

 

1

0

.

6

2

 

M

B

 

 

 

 

 

 

|

 

5

1

.

6

5

 

M

B

 

 

 

|

 

2

0

6

.

5

9

 

M

B

 

 

 

 

 

 

 

 

 

 

 

|







B

y

 

d

e

f

a

u

l

t

 

i

t

 

w

i

l

l

 

r

e

t

u

r

n

 

a

l

l

 

t

h

e

 

s

u

p

p

o

r

t

e

d

 

d

t

y

p

e

s

 

(

`

i

n

t

4

`

 

t

h

r

o

u

g

h

 

`

f

l

o

a

t

3

2

`

)

,

 

b

u

t

 

i

f

 

y

o

u

 

a

r

e

 

i

n

t

e

r

e

s

t

e

d

 

i

n

 

s

p

e

c

i

f

i

c

 

o

n

e

s

 

t

h

e

s

e

 

c

a

n

 

b

e

 

f

i

l

t

e

r

e

d

.







#

#

#

 

S

p

e

c

i

f

i

c

 

l

i

b

r

a

r

i

e

s







I

f

 

t

h

e

 

s

o

u

r

c

e

 

l

i

b

r

a

r

y

 

c

a

n

n

o

t

 

b

e

 

d

e

t

e

r

m

i

n

e

d

 

a

u

t

o

m

a

t

i

c

a

l

l

y

 

(

l

i

k

e

 

i

t

 

c

o

u

l

d

 

i

n

 

t

h

e

 

c

a

s

e

 

o

f

 

`

b

e

r

t

-

b

a

s

e

-

c

a

s

e

d

`

)

,

 

a

 

l

i

b

r

a

r

y

 

n

a

m

e

 

c

a

n




b

e

 

p

a

s

s

e

d

 

i

n

.

 







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

e

s

t

i

m

a

t

e

-

m

e

m

o

r

y

 

H

u

g

g

i

n

g

F

a

c

e

M

4

/

i

d

e

f

i

c

s

-

8

0

b

-

i

n

s

t

r

u

c

t

 

-

-

l

i

b

r

a

r

y

_

n

a

m

e

 

t

r

a

n

s

f

o

r

m

e

r

s




`

`

`







M

e

m

o

r

y

 

U

s

a

g

e

 

f

o

r

 

l

o

a

d

i

n

g

 

`

H

u

g

g

i

n

g

F

a

c

e

M

4

/

i

d

e

f

i

c

s

-

8

0

b

-

i

n

s

t

r

u

c

t

`

:







|

 

d

t

y

p

e

 

 

 

|

 

L

a

r

g

e

s

t

 

L

a

y

e

r

 

|

 

T

o

t

a

l

 

S

i

z

e

 

|

 

T

r

a

i

n

i

n

g

 

u

s

i

n

g

 

A

d

a

m

 

|




|

-

-

-

-

-

-

-

-

-

|

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

|

-

-

-

-

-

-

-

-

-

-

-

-

|

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

|




|

 

f

l

o

a

t

3

2

 

|

 

3

.

0

2

 

G

B

 

 

 

 

 

 

 

|

 

2

9

7

.

1

2

 

G

B

 

 

|

 

1

.

1

6

 

T

B

 

 

 

 

 

 

 

 

 

 

 

 

 

|




|

 

f

l

o

a

t

1

6

 

|

 

1

.

5

1

 

G

B

 

 

 

 

 

 

 

|

 

1

4

8

.

5

6

 

G

B

 

 

|

 

5

9

4

.

2

4

 

G

B

 

 

 

 

 

 

 

 

 

 

 

|




|

 

i

n

t

8

 

 

 

 

|

 

7

7

2

.

5

2

 

M

B

 

 

 

 

 

|

 

7

4

.

2

8

 

G

B

 

 

 

|

 

2

9

7

.

1

2

 

G

B

 

 

 

 

 

 

 

 

 

 

 

|




|

 

i

n

t

4

 

 

 

 

|

 

3

8

6

.

2

6

 

M

B

 

 

 

 

 

|

 

3

7

.

1

4

 

G

B

 

 

 

|

 

1

4

8

.

5

6

 

G

B

 

 

 

 

 

 

 

 

 

 

 

|










`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

e

s

t

i

m

a

t

e

-

m

e

m

o

r

y

 

t

i

m

m

/

r

e

s

n

e

t

5

0

.

a

1

_

i

n

1

k

 

-

-

l

i

b

r

a

r

y

_

n

a

m

e

 

t

i

m

m




`

`

`







M

e

m

o

r

y

 

U

s

a

g

e

 

f

o

r

 

l

o

a

d

i

n

g

 

`

t

i

m

m

/

r

e

s

n

e

t

5

0

.

a

1

_

i

n

1

k

`

:







|

 

d

t

y

p

e

 

 

 

|

 

L

a

r

g

e

s

t

 

L

a

y

e

r

 

|

 

T

o

t

a

l

 

S

i

z

e

 

|

 

T

r

a

i

n

i

n

g

 

u

s

i

n

g

 

A

d

a

m

 

|




|

-

-

-

-

-

-

-

-

-

|

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

|

-

-

-

-

-

-

-

-

-

-

-

-

|

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

|




|

 

f

l

o

a

t

3

2

 

|

 

9

.

0

 

M

B

 

 

 

 

 

 

 

 

|

 

9

7

.

7

 

M

B

 

 

 

 

|

 

3

9

0

.

7

8

 

M

B

 

 

 

 

 

 

 

 

 

 

 

|




|

 

f

l

o

a

t

1

6

 

|

 

4

.

5

 

M

B

 

 

 

 

 

 

 

 

|

 

4

8

.

8

5

 

M

B

 

 

 

|

 

1

9

5

.

3

9

 

M

B

 

 

 

 

 

 

 

 

 

 

 

|




|

 

i

n

t

8

 

 

 

 

|

 

2

.

2

5

 

M

B

 

 

 

 

 

 

 

|

 

2

4

.

4

2

 

M

B

 

 

 

|

 

9

7

.

7

 

M

B

 

 

 

 

 

 

 

 

 

 

 

 

 

|




|

 

i

n

t

4

 

 

 

 

|

 

1

.

1

2

 

M

B

 

 

 

 

 

 

 

|

 

1

2

.

2

1

 

M

B

 

 

 

|

 

4

8

.

8

5

 

M

B

 

 

 

 

 

 

 

 

 

 

 

 

|







#

#

#

 

S

p

e

c

i

f

i

c

 

d

t

y

p

e

s







A

s

 

m

e

n

t

i

o

n

e

d

 

e

a

r

l

i

e

r

,

 

w

h

i

l

e

 

w

e

 

r

e

t

u

r

n

 

`

i

n

t

4

`

 

t

h

r

o

u

g

h

 

`

f

l

o

a

t

3

2

`

 

b

y

 

d

e

f

a

u

l

t

,

 

a

n

y

 

d

t

y

p

e

 

c

a

n

 

b

e

 

u

s

e

d

 

f

r

o

m

 

`

f

l

o

a

t

3

2

`

,

 

`

f

l

o

a

t

1

6

`

,

 

`

i

n

t

8

`

,

 

a

n

d

 

`

i

n

t

4

`

.







T

o

 

d

o

 

s

o

,

 

p

a

s

s

 

t

h

e

m

 

i

n

 

a

f

t

e

r

 

s

p

e

c

i

f

y

i

n

g

 

`

-

-

d

t

y

p

e

s

`

:







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

e

s

t

i

m

a

t

e

-

m

e

m

o

r

y

 

b

e

r

t

-

b

a

s

e

-

c

a

s

e

d

 

-

-

d

t

y

p

e

s

 

f

l

o

a

t

3

2

 

f

l

o

a

t

1

6




`

`

`







M

e

m

o

r

y

 

U

s

a

g

e

 

f

o

r

 

l

o

a

d

i

n

g

 

`

b

e

r

t

-

b

a

s

e

-

c

a

s

e

d

`

:







|

 

d

t

y

p

e

 

 

 

|

 

L

a

r

g

e

s

t

 

L

a

y

e

r

 

|

 

T

o

t

a

l

 

S

i

z

e

 

|

 

T

r

a

i

n

i

n

g

 

u

s

i

n

g

 

A

d

a

m

 

|




|

-

-

-

-

-

-

-

-

-

|

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

|

-

-

-

-

-

-

-

-

-

-

-

-

|

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

|




|

 

f

l

o

a

t

3

2

 

|

 

8

4

.

9

5

 

M

B

 

 

 

 

 

 

|

 

4

1

3

.

1

8

 

M

B

 

 

|

 

1

.

6

1

 

G

B

 

 

 

 

 

 

 

 

 

 

 

 

 

|




|

 

f

l

o

a

t

1

6

 

|

 

4

2

.

4

7

 

M

B

 

 

 

 

 

 

|

 

2

0

6

.

5

9

 

M

B

 

 

|

 

8

2

6

.

3

6

 

M

B

 

 

 

 

 

 

 

 

 

 

 

|







#

#

 

C

a

v

e

a

t

s

 

w

i

t

h

 

t

h

i

s

 

c

a

l

c

u

l

a

t

o

r







T

h

i

s

 

c

a

l

c

u

l

a

t

o

r

 

w

i

l

l

 

t

e

l

l

 

y

o

u

 

h

o

w

 

m

u

c

h

 

m

e

m

o

r

y

 

i

s

 

n

e

e

d

e

d

 

t

o

 

p

u

r

e

l

y

 

l

o

a

d

 

t

h

e

 

m

o

d

e

l

 

i

n

,

 

*

n

o

t

*

 

t

o

 

p

e

r

f

o

r

m

 

i

n

f

e

r

e

n

c

e

.







T

h

i

s

 

c

a

l

c

u

l

a

t

i

o

n

 

i

s

 

a

c

c

u

r

a

t

e

 

w

i

t

h

i

n

 

a

 

f

e

w

 

%

 

o

f

 

t

h

e

 

a

c

t

u

a

l

 

v

a

l

u

e

,

 

s

o

 

i

t

 

i

s

 

a

 

v

e

r

y

 

g

o

o

d

 

v

i

e

w

 

o

f

 

j

u

s

t

 

h

o

w

 

m

u

c

h

 

m

e

m

o

r

y

 

i

t

 

w

i

l

l

 

t

a

k

e

.

 

F

o

r

 

i

n

s

t

a

n

c

e

 

l

o

a

d

i

n

g

 

`

b

e

r

t

-

b

a

s

e

-

c

a

s

e

d

`

 

a

c

t

u

a

l

l

y

 

t

a

k

e

s

 

`

4

1

3

.

6

8

 

M

B

`

 

w

h

e

n

 

l

o

a

d

e

d

 

o

n

 

C

U

D

A

 

i

n

 

f

u

l

l

 

p

r

e

c

i

s

i

o

n

,

 

a

n

d

 

t

h

e

 

c

a

l

c

u

l

a

t

o

r

 

e

s

t

i

m

a

t

e

s

 

`

4

1

3

.

1

8

 

M

B

`

.







W

h

e

n

 

p

e

r

f

o

r

m

i

n

g

 

i

n

f

e

r

e

n

c

e

 

y

o

u

 

c

a

n

 

e

x

p

e

c

t

 

t

o

 

a

d

d

 

u

p

 

t

o

 

a

n

 

a

d

d

i

t

i

o

n

a

l

 

2

0

%

 

a

s

 

f

o

u

n

d

 

b

y

 

[

E

l

e

u

t

h

e

r

A

I

]

(

h

t

t

p

s

:

/

/

b

l

o

g

.

e

l

e

u

t

h

e

r

.

a

i

/

t

r

a

n

s

f

o

r

m

e

r

-

m

a

t

h

/

)

.

 

W

e

'

l

l

 

b

e

 

c

o

n

d

u

c

t

i

n

g

 

r

e

s

e

a

r

c

h

 

i

n

t

o

 

f

i

n

d

i

n

g

 

a

 

m

o

r

e

 

a

c

c

u

r

a

t

e

 

e

s

t

i

m

a

t

e

 

t

o

 

t

h

e

s

e

 

v

a

l

u

e

s

,

 

a

n

d

 

w

i

l

l

 

u

p

d

a

t

e

 




t

h

i

s

 

c

a

l

c

u

l

a

t

o

r

 

o

n

c

e

 

d

o

n

e

.







#

 

P

e

r

f

o

r

m

i

n

g

 

g

r

a

d

i

e

n

t

 

a

c

c

u

m

u

l

a

t

i

o

n

 

w

i

t

h

 

A

c

c

e

l

e

r

a

t

e







G

r

a

d

i

e

n

t

 

a

c

c

u

m

u

l

a

t

i

o

n

 

i

s

 

a

 

t

e

c

h

n

i

q

u

e

 

w

h

e

r

e

 

y

o

u

 

c

a

n

 

t

r

a

i

n

 

o

n

 

b

i

g

g

e

r

 

b

a

t

c

h

 

s

i

z

e

s

 

t

h

a

n

 




y

o

u

r

 

m

a

c

h

i

n

e

 

w

o

u

l

d

 

n

o

r

m

a

l

l

y

 

b

e

 

a

b

l

e

 

t

o

 

f

i

t

 

i

n

t

o

 

m

e

m

o

r

y

.

 

T

h

i

s

 

i

s

 

d

o

n

e

 

b

y

 

a

c

c

u

m

u

l

a

t

i

n

g

 

g

r

a

d

i

e

n

t

s

 

o

v

e

r




s

e

v

e

r

a

l

 

b

a

t

c

h

e

s

,

 

a

n

d

 

o

n

l

y

 

s

t

e

p

p

i

n

g

 

t

h

e

 

o

p

t

i

m

i

z

e

r

 

a

f

t

e

r

 

a

 

c

e

r

t

a

i

n

 

n

u

m

b

e

r

 

o

f

 

b

a

t

c

h

e

s

 

h

a

v

e

 

b

e

e

n

 

p

e

r

f

o

r

m

e

d

.







W

h

i

l

e

 

t

e

c

h

n

i

c

a

l

l

y

 

s

t

a

n

d

a

r

d

 

g

r

a

d

i

e

n

t

 

a

c

c

u

m

u

l

a

t

i

o

n

 

c

o

d

e

 

w

o

u

l

d

 

w

o

r

k

 

f

i

n

e

 

i

n

 

a

 

d

i

s

t

r

i

b

u

t

e

d

 

s

e

t

u

p

,

 

i

t

 

i

s

 

n

o

t

 

t

h

e

 

m

o

s

t

 

e

f

f

i

c

i

e

n

t




m

e

t

h

o

d

 

f

o

r

 

d

o

i

n

g

 

s

o

 

a

n

d

 

y

o

u

 

m

a

y

 

e

x

p

e

r

i

e

n

c

e

 

c

o

n

s

i

d

e

r

a

b

l

e

 

s

l

o

w

d

o

w

n

s

!







I

n

 

t

h

i

s

 

t

u

t

o

r

i

a

l

 

y

o

u

 

w

i

l

l

 

s

e

e

 

h

o

w

 

t

o

 

q

u

i

c

k

l

y

 

s

e

t

u

p

 

g

r

a

d

i

e

n

t

 

a

c

c

u

m

u

l

a

t

i

o

n

 

a

n

d

 

p

e

r

f

o

r

m

 

i

t

 

w

i

t

h

 

t

h

e

 

u

t

i

l

i

t

i

e

s

 

p

r

o

v

i

d

e

d

 

i

n

 

A

c

c

e

l

e

r

a

t

e

,




w

h

i

c

h

 

c

a

n

 

t

o

t

a

l

 

t

o

 

a

d

d

i

n

g

 

j

u

s

t

 

o

n

e

 

n

e

w

 

l

i

n

e

 

o

f

 

c

o

d

e

!







T

h

i

s

 

e

x

a

m

p

l

e

 

w

i

l

l

 

u

s

e

 

a

 

v

e

r

y

 

s

i

m

p

l

i

s

t

i

c

 

P

y

T

o

r

c

h

 

t

r

a

i

n

i

n

g

 

l

o

o

p

 

t

h

a

t

 

p

e

r

f

o

r

m

s

 

g

r

a

d

i

e

n

t

 

a

c

c

u

m

u

l

a

t

i

o

n

 

e

v

e

r

y

 

t

w

o

 

b

a

t

c

h

e

s

:







`

`

`

p

y

t

h

o

n




d

e

v

i

c

e

 

=

 

"

c

u

d

a

"




m

o

d

e

l

.

t

o

(

d

e

v

i

c

e

)







g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

 

=

 

2







f

o

r

 

i

n

d

e

x

,

 

b

a

t

c

h

 

i

n

 

e

n

u

m

e

r

a

t

e

(

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

)

:




 

 

 

 

i

n

p

u

t

s

,

 

t

a

r

g

e

t

s

 

=

 

b

a

t

c

h




 

 

 

 

i

n

p

u

t

s

 

=

 

i

n

p

u

t

s

.

t

o

(

d

e

v

i

c

e

)




 

 

 

 

t

a

r

g

e

t

s

 

=

 

t

a

r

g

e

t

s

.

t

o

(

d

e

v

i

c

e

)




 

 

 

 

o

u

t

p

u

t

s

 

=

 

m

o

d

e

l

(

i

n

p

u

t

s

)




 

 

 

 

l

o

s

s

 

=

 

l

o

s

s

_

f

u

n

c

t

i

o

n

(

o

u

t

p

u

t

s

,

 

t

a

r

g

e

t

s

)




 

 

 

 

l

o

s

s

 

=

 

l

o

s

s

 

/

 

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s




 

 

 

 

l

o

s

s

.

b

a

c

k

w

a

r

d

(

)




 

 

 

 

i

f

 

(

i

n

d

e

x

 

+

 

1

)

 

%

 

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

 

=

=

 

0

:




 

 

 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




 

 

 

 

 

 

 

 

s

c

h

e

d

u

l

e

r

.

s

t

e

p

(

)




 

 

 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

.

z

e

r

o

_

g

r

a

d

(

)




`

`

`







#

#

 

C

o

n

v

e

r

t

i

n

g

 

i

t

 

t

o

 

A

c

c

e

l

e

r

a

t

e







F

i

r

s

t

 

t

h

e

 

c

o

d

e

 

s

h

o

w

n

 

e

a

r

l

i

e

r

 

w

i

l

l

 

b

e

 

c

o

n

v

e

r

t

e

d

 

t

o

 

u

t

i

l

i

z

e

 

A

c

c

e

l

e

r

a

t

e

 

w

i

t

h

o

u

t

 

t

h

e

 

s

p

e

c

i

a

l

 

g

r

a

d

i

e

n

t

 

a

c

c

u

m

u

l

a

t

i

o

n

 

h

e

l

p

e

r

:







`

`

`

d

i

f

f




+

 

f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

A

c

c

e

l

e

r

a

t

o

r




+

 

a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

)







+

 

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

,

 

s

c

h

e

d

u

l

e

r

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(




+

 

 

 

 

 

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

,

 

s

c

h

e

d

u

l

e

r




+

 

)







 

 

f

o

r

 

i

n

d

e

x

,

 

b

a

t

c

h

 

i

n

 

e

n

u

m

e

r

a

t

e

(

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

)

:




 

 

 

 

 

 

i

n

p

u

t

s

,

 

t

a

r

g

e

t

s

 

=

 

b

a

t

c

h




-

 

 

 

 

 

i

n

p

u

t

s

 

=

 

i

n

p

u

t

s

.

t

o

(

d

e

v

i

c

e

)




-

 

 

 

 

 

t

a

r

g

e

t

s

 

=

 

t

a

r

g

e

t

s

.

t

o

(

d

e

v

i

c

e

)




 

 

 

 

 

 

o

u

t

p

u

t

s

 

=

 

m

o

d

e

l

(

i

n

p

u

t

s

)




 

 

 

 

 

 

l

o

s

s

 

=

 

l

o

s

s

_

f

u

n

c

t

i

o

n

(

o

u

t

p

u

t

s

,

 

t

a

r

g

e

t

s

)




 

 

 

 

 

 

l

o

s

s

 

=

 

l

o

s

s

 

/

 

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s




+

 

 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

b

a

c

k

w

a

r

d

(

l

o

s

s

)




 

 

 

 

 

 

i

f

 

(

i

n

d

e

x

+

1

)

 

%

 

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

 

=

=

 

0

:




 

 

 

 

 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




 

 

 

 

 

 

 

 

 

 

s

c

h

e

d

u

l

e

r

.

s

t

e

p

(

)




 

 

 

 

 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

.

z

e

r

o

_

g

r

a

d

(

)




`

`

`







<

T

i

p

 

w

a

r

n

i

n

g

=

{

t

r

u

e

}

>







 

 

I

n

 

i

t

s

 

c

u

r

r

e

n

t

 

s

t

a

t

e

,

 

t

h

i

s

 

c

o

d

e

 

i

s

 

n

o

t

 

g

o

i

n

g

 

t

o

 

p

e

r

f

o

r

m

 

g

r

a

d

i

e

n

t

 

a

c

c

u

m

u

l

a

t

i

o

n

 

e

f

f

i

c

i

e

n

t

l

y

 

d

u

e

 

t

o

 

a

 

p

r

o

c

e

s

s

 

c

a

l

l

e

d

 

g

r

a

d

i

e

n

t

 

s

y

n

c

h

r

o

n

i

z

a

t

i

o

n

.

 

R

e

a

d

 

m

o

r

e

 

a

b

o

u

t

 

t

h

a

t

 

i

n

 

t

h

e

 

[

C

o

n

c

e

p

t

s

 

t

u

t

o

r

i

a

l

]

(

.

.

/

c

o

n

c

e

p

t

_

g

u

i

d

e

s

/

g

r

a

d

i

e

n

t

_

s

y

n

c

h

r

o

n

i

z

a

t

i

o

n

)

!







<

/

T

i

p

>







#

#

 

L

e

t

t

i

n

g

 

A

c

c

e

l

e

r

a

t

e

 

h

a

n

d

l

e

 

g

r

a

d

i

e

n

t

 

a

c

c

u

m

u

l

a

t

i

o

n







A

l

l

 

t

h

a

t

 

i

s

 

l

e

f

t

 

n

o

w

 

i

s

 

t

o

 

l

e

t

 

A

c

c

e

l

e

r

a

t

e

 

h

a

n

d

l

e

 

t

h

e

 

g

r

a

d

i

e

n

t

 

a

c

c

u

m

u

l

a

t

i

o

n

 

f

o

r

 

u

s

.

 

T

o

 

d

o

 

s

o

 

y

o

u

 

s

h

o

u

l

d

 

p

a

s

s

 

i

n

 

a

 

`

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

`

 

p

a

r

a

m

e

t

e

r

 

t

o

 

`

A

c

c

e

l

e

r

a

t

o

r

`

,

 

d

i

c

t

a

t

i

n

g

 

t

h

e

 

n

u

m

b

e

r

 




o

f

 

s

t

e

p

s

 

t

o

 

p

e

r

f

o

r

m

 

b

e

f

o

r

e

 

e

a

c

h

 

c

a

l

l

 

t

o

 

`

s

t

e

p

(

)

`

 

a

n

d

 

h

o

w

 

t

o

 

a

u

t

o

m

a

t

i

c

a

l

l

y

 

a

d

j

u

s

t

 

t

h

e

 

l

o

s

s

 

d

u

r

i

n

g

 

t

h

e

 

c

a

l

l

 

t

o

 

`

b

a

c

k

w

a

r

d

(

)

`

:







`

`

`

d

i

f

f




 

 

f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

A

c

c

e

l

e

r

a

t

o

r




-

 

a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

)




+

 

a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

=

2

)




`

`

`







A

l

t

e

r

n

a

t

i

v

e

l

y

,

 

y

o

u

 

c

a

n

 

p

a

s

s

 

i

n

 

a

 

`

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

p

l

u

g

i

n

`

 

p

a

r

a

m

e

t

e

r

 

t

o

 

t

h

e

 

`

A

c

c

e

l

e

r

a

t

o

r

`

 

o

b

j

e

c

t

'

s

 

`

_

_

i

n

i

t

_

_

`

,

 

w

h

i

c

h

 

w

i

l

l

 

a

l

l

o

w

 

y

o

u

 

t

o

 

f

u

r

t

h

e

r

 

c

u

s

t

o

m

i

z

e

 

t

h

e

 

g

r

a

d

i

e

n

t

 

a

c

c

u

m

u

l

a

t

i

o

n

 

b

e

h

a

v

i

o

r

.

 




R

e

a

d

 

m

o

r

e

 

a

b

o

u

t

 

t

h

a

t

 

i

n

 

t

h

e

 

[

G

r

a

d

i

e

n

t

A

c

c

u

m

u

l

a

t

i

o

n

P

l

u

g

i

n

]

(

.

.

/

p

a

c

k

a

g

e

_

r

e

f

e

r

e

n

c

e

/

a

c

c

e

l

e

r

a

t

o

r

#

a

c

c

e

l

e

r

a

t

e

.

u

t

i

l

s

.

G

r

a

d

i

e

n

t

A

c

c

u

m

u

l

a

t

i

o

n

P

l

u

g

i

n

)

 

d

o

c

s

.







F

r

o

m

 

h

e

r

e

 

y

o

u

 

c

a

n

 

u

s

e

 

t

h

e

 

`

a

c

c

u

m

u

l

a

t

e

(

)

`

 

c

o

n

t

e

x

t

 

m

a

n

a

g

e

r

 

f

r

o

m

 

i

n

s

i

d

e

 

y

o

u

r

 

t

r

a

i

n

i

n

g

 

l

o

o

p

 

t

o

 

a

u

t

o

m

a

t

i

c

a

l

l

y

 

p

e

r

f

o

r

m

 

t

h

e

 

g

r

a

d

i

e

n

t

 

a

c

c

u

m

u

l

a

t

i

o

n

 

f

o

r

 

y

o

u

!




Y

o

u

 

j

u

s

t

 

w

r

a

p

 

i

t

 

a

r

o

u

n

d

 

t

h

e

 

e

n

t

i

r

e

 

t

r

a

i

n

i

n

g

 

p

a

r

t

 

o

f

 

o

u

r

 

c

o

d

e

:

 







`

`

`

d

i

f

f




-

 

f

o

r

 

i

n

d

e

x

,

 

b

a

t

c

h

 

i

n

 

e

n

u

m

e

r

a

t

e

(

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

)

:




+

 

f

o

r

 

b

a

t

c

h

 

i

n

 

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

:




+

 

 

 

 

 

w

i

t

h

 

a

c

c

e

l

e

r

a

t

o

r

.

a

c

c

u

m

u

l

a

t

e

(

m

o

d

e

l

)

:




 

 

 

 

 

 

 

 

 

 

i

n

p

u

t

s

,

 

t

a

r

g

e

t

s

 

=

 

b

a

t

c

h




 

 

 

 

 

 

 

 

 

 

o

u

t

p

u

t

s

 

=

 

m

o

d

e

l

(

i

n

p

u

t

s

)




`

`

`







Y

o

u

 

c

a

n

 

r

e

m

o

v

e

 

a

l

l

 

t

h

e

 

s

p

e

c

i

a

l

 

c

h

e

c

k

s

 

f

o

r

 

t

h

e

 

s

t

e

p

 

n

u

m

b

e

r

 

a

n

d

 

t

h

e

 

l

o

s

s

 

a

d

j

u

s

t

m

e

n

t

:







`

`

`

d

i

f

f




-

 

l

o

s

s

 

=

 

l

o

s

s

 

/

 

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s




 

 

a

c

c

e

l

e

r

a

t

o

r

.

b

a

c

k

w

a

r

d

(

l

o

s

s

)




-

 

i

f

 

(

i

n

d

e

x

+

1

)

 

%

 

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

 

=

=

 

0

:




 

 

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




 

 

s

c

h

e

d

u

l

e

r

.

s

t

e

p

(

)




 

 

o

p

t

i

m

i

z

e

r

.

z

e

r

o

_

g

r

a

d

(

)




`

`

`







A

s

 

y

o

u

 

c

a

n

 

s

e

e

 

t

h

e

 

`

A

c

c

e

l

e

r

a

t

o

r

`

 

i

s

 

a

b

l

e

 

t

o

 

k

e

e

p

 

t

r

a

c

k

 

o

f

 

t

h

e

 

b

a

t

c

h

 

n

u

m

b

e

r

 

y

o

u

 

a

r

e

 

o

n

 

a

n

d

 

i

t

 

w

i

l

l

 

a

u

t

o

m

a

t

i

c

a

l

l

y

 

k

n

o

w

 

w

h

e

t

h

e

r

 

t

o

 

s

t

e

p

 

t

h

r

o

u

g

h

 

t

h

e

 

p

r

e

p

a

r

e

d

 

o

p

t

i

m

i

z

e

r

 

a

n

d

 

h

o

w

 

t

o

 

a

d

j

u

s

t

 

t

h

e

 

l

o

s

s

.

 







<

T

i

p

>







T

y

p

i

c

a

l

l

y

 

w

i

t

h

 

g

r

a

d

i

e

n

t

 

a

c

c

u

m

u

l

a

t

i

o

n

,

 

y

o

u

 

w

o

u

l

d

 

n

e

e

d

 

t

o

 

a

d

j

u

s

t

 

t

h

e

 

n

u

m

b

e

r

 

o

f

 

s

t

e

p

s

 

t

o

 

r

e

f

l

e

c

t

 

t

h

e

 

c

h

a

n

g

e

 

i

n

 

t

o

t

a

l

 

b

a

t

c

h

e

s

 

y

o

u

 

a

r

e

 




t

r

a

i

n

i

n

g

 

o

n

.

 

A

c

c

e

l

e

r

a

t

e

 

a

u

t

o

m

a

g

i

c

a

l

l

y

 

d

o

e

s

 

t

h

i

s

 

f

o

r

 

y

o

u

 

b

y

 

d

e

f

a

u

l

t

.

 

B

e

h

i

n

d

 

t

h

e

 

s

c

e

n

e

s

 

w

e

 

i

n

s

t

a

n

t

i

a

t

e

 

a

 

`

G

r

a

d

i

e

n

t

A

c

c

u

m

u

l

a

t

i

o

n

P

l

u

g

i

n

`

 

c

o

n

f

i

g

u

r

e

d

 

t

o

 

d

o

 

t

h

i

s

.







<

/

T

i

p

>







<

T

i

p

 

w

a

r

n

i

n

g

=

{

t

r

u

e

}

>







T

h

e

 

`

s

t

a

t

e

.

G

r

a

d

i

e

n

t

S

t

a

t

e

`

 

i

s

 

s

y

n

c

'

d

 

w

i

t

h

 

t

h

e

 

a

c

t

i

v

e

 

d

a

t

a

l

o

a

d

e

r

 

b

e

i

n

g

 

i

t

e

r

a

t

e

d

 

u

p

o

n

.

 

A

s

 

s

u

c

h

 

i

t

 

a

s

s

u

m

e

s

 

n

a

i

v

e

l

y

 

t

h

a

t

 

w

h

e

n

 

w

e

 

h

a

v

e

 

r

e

a

c

h

e

d

 

t

h

e

 

e

n

d

 

o

f

 

t

h

e

 

d

a

t

a

l

o

a

d

e

r

 

e

v

e

r

y

t

h

i

n

g

 

w

i

l

l

 

s

y

n

c

 

a

n

d

 

a

 

s

t

e

p

 

w

i

l

l

 

b

e

 

p

e

r

f

o

r

m

e

d

.

 

T

o

 

d

i

s

a

b

l

e

 

t

h

i

s

,

 

s

e

t

 

`

s

y

n

c

_

w

i

t

h

_

d

a

t

a

l

o

a

d

e

r

`

 

t

o

 

b

e

 

`

F

a

l

s

e

`

 

i

n

 

t

h

e

 

`

G

r

a

d

i

e

n

t

A

c

c

u

m

u

l

a

t

i

o

n

P

l

u

g

i

n

`

:







`

`

`

{

p

y

t

h

o

n

}




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

A

c

c

e

l

e

r

a

t

o

r




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

.

u

t

i

l

s

 

i

m

p

o

r

t

 

G

r

a

d

i

e

n

t

A

c

c

u

m

u

l

a

t

i

o

n

P

l

u

g

i

n







p

l

u

g

i

n

 

=

 

G

r

a

d

i

e

n

t

A

c

c

u

m

u

l

a

t

i

o

n

P

l

u

g

i

n

(

s

y

n

c

_

w

i

t

h

_

d

a

t

a

l

o

a

d

e

r

=

F

a

l

s

e

)




a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

.

.

.

,

 

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

p

l

u

g

i

n

=

p

l

u

g

i

n

)




`

`

`







<

/

T

i

p

>







#

#

 

T

h

e

 

f

i

n

i

s

h

e

d

 

c

o

d

e







B

e

l

o

w

 

i

s

 

t

h

e

 

f

i

n

i

s

h

e

d

 

i

m

p

l

e

m

e

n

t

a

t

i

o

n

 

f

o

r

 

p

e

r

f

o

r

m

i

n

g

 

g

r

a

d

i

e

n

t

 

a

c

c

u

m

u

l

a

t

i

o

n

 

w

i

t

h

 

A

c

c

e

l

e

r

a

t

e







`

`

`

p

y

t

h

o

n




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

A

c

c

e

l

e

r

a

t

o

r




a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

=

2

)




m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

,

 

s

c

h

e

d

u

l

e

r

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(




 

 

 

 

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

,

 

s

c

h

e

d

u

l

e

r




)




f

o

r

 

b

a

t

c

h

 

i

n

 

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

:




 

 

 

 

w

i

t

h

 

a

c

c

e

l

e

r

a

t

o

r

.

a

c

c

u

m

u

l

a

t

e

(

m

o

d

e

l

)

:




 

 

 

 

 

 

 

 

i

n

p

u

t

s

,

 

t

a

r

g

e

t

s

 

=

 

b

a

t

c

h




 

 

 

 

 

 

 

 

o

u

t

p

u

t

s

 

=

 

m

o

d

e

l

(

i

n

p

u

t

s

)




 

 

 

 

 

 

 

 

l

o

s

s

 

=

 

l

o

s

s

_

f

u

n

c

t

i

o

n

(

o

u

t

p

u

t

s

,

 

t

a

r

g

e

t

s

)




 

 

 

 

 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

b

a

c

k

w

a

r

d

(

l

o

s

s

)




 

 

 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




 

 

 

 

 

 

 

 

s

c

h

e

d

u

l

e

r

.

s

t

e

p

(

)




 

 

 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

.

z

e

r

o

_

g

r

a

d

(

)




`

`

`







<

T

i

p

 

w

a

r

n

i

n

g

=

{

t

r

u

e

}

>







I

t

'

s

 

i

m

p

o

r

t

a

n

t

 

t

h

a

t

 

*

*

o

n

l

y

 

o

n

e

 

f

o

r

w

a

r

d

/

b

a

c

k

w

a

r

d

*

*

 

s

h

o

u

l

d

 

b

e

 

d

o

n

e

 

i

n

s

i

d

e

 

t

h

e

 

c

o

n

t

e

x

t

 

m

a

n

a

g

e

r

 

`

w

i

t

h

 

a

c

c

e

l

e

r

a

t

o

r

.

a

c

c

u

m

u

l

a

t

e

(

m

o

d

e

l

)

`

.







<

/

T

i

p

>










T

o

 

l

e

a

r

n

 

m

o

r

e

 

a

b

o

u

t

 

w

h

a

t

 

m

a

g

i

c

 

t

h

i

s

 

w

r

a

p

s

 

a

r

o

u

n

d

,

 

r

e

a

d

 

t

h

e

 

[

G

r

a

d

i

e

n

t

 

S

y

n

c

h

r

o

n

i

z

a

t

i

o

n

 

c

o

n

c

e

p

t

 

g

u

i

d

e

]

(

.

.

/

c

o

n

c

e

p

t

_

g

u

i

d

e

s

/

g

r

a

d

i

e

n

t

_

s

y

n

c

h

r

o

n

i

z

a

t

i

o

n

)










#

#

 

S

e

l

f

-

c

o

n

t

a

i

n

e

d

 

e

x

a

m

p

l

e







H

e

r

e

 

i

s

 

a

 

s

e

l

f

-

c

o

n

t

a

i

n

e

d

 

e

x

a

m

p

l

e

 

t

h

a

t

 

y

o

u

 

c

a

n

 

r

u

n

 

t

o

 

s

e

e

 

g

r

a

d

i

e

n

t

 

a

c

c

u

m

u

l

a

t

i

o

n

 

i

n

 

a

c

t

i

o

n

 

w

i

t

h

 

A

c

c

e

l

e

r

a

t

e

:







`

`

`

p

y

t

h

o

n




i

m

p

o

r

t

 

t

o

r

c

h




i

m

p

o

r

t

 

c

o

p

y




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

A

c

c

e

l

e

r

a

t

o

r




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

.

u

t

i

l

s

 

i

m

p

o

r

t

 

s

e

t

_

s

e

e

d




f

r

o

m

 

t

o

r

c

h

.

u

t

i

l

s

.

d

a

t

a

 

i

m

p

o

r

t

 

T

e

n

s

o

r

D

a

t

a

s

e

t

,

 

D

a

t

a

L

o

a

d

e

r







#

 

s

e

e

d




s

e

t

_

s

e

e

d

(

0

)







#

 

d

e

f

i

n

e

 

t

o

y

 

i

n

p

u

t

s

 

a

n

d

 

l

a

b

e

l

s




x

 

=

 

t

o

r

c

h

.

t

e

n

s

o

r

(

[

1

.

,

 

2

.

,

 

3

.

,

 

4

.

,

 

5

.

,

 

6

.

,

 

7

.

,

 

8

.

]

)




y

 

=

 

t

o

r

c

h

.

t

e

n

s

o

r

(

[

2

.

,

 

4

.

,

 

6

.

,

 

8

.

,

 

1

0

.

,

 

1

2

.

,

 

1

4

.

,

 

1

6

.

]

)




g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

 

=

 

4




b

a

t

c

h

_

s

i

z

e

 

=

 

l

e

n

(

x

)

 

/

/

 

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s







#

 

d

e

f

i

n

e

 

d

a

t

a

s

e

t

 

a

n

d

 

d

a

t

a

l

o

a

d

e

r




d

a

t

a

s

e

t

 

=

 

T

e

n

s

o

r

D

a

t

a

s

e

t

(

x

,

 

y

)




d

a

t

a

l

o

a

d

e

r

 

=

 

D

a

t

a

L

o

a

d

e

r

(

d

a

t

a

s

e

t

,

 

b

a

t

c

h

_

s

i

z

e

=

b

a

t

c

h

_

s

i

z

e

)







#

 

d

e

f

i

n

e

 

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

 

a

n

d

 

l

o

s

s

 

f

u

n

c

t

i

o

n




c

l

a

s

s

 

S

i

m

p

l

e

L

i

n

e

a

r

M

o

d

e

l

(

t

o

r

c

h

.

n

n

.

M

o

d

u

l

e

)

:




 

 

 

 

d

e

f

 

_

_

i

n

i

t

_

_

(

s

e

l

f

)

:




 

 

 

 

 

 

 

 

s

u

p

e

r

(

S

i

m

p

l

e

L

i

n

e

a

r

M

o

d

e

l

,

 

s

e

l

f

)

.

_

_

i

n

i

t

_

_

(

)




 

 

 

 

 

 

 

 

s

e

l

f

.

w

e

i

g

h

t

 

=

 

t

o

r

c

h

.

n

n

.

P

a

r

a

m

e

t

e

r

(

t

o

r

c

h

.

z

e

r

o

s

(

(

1

,

 

1

)

)

)







 

 

 

 

d

e

f

 

f

o

r

w

a

r

d

(

s

e

l

f

,

 

i

n

p

u

t

s

)

:




 

 

 

 

 

 

 

 

r

e

t

u

r

n

 

i

n

p

u

t

s

 

@

 

s

e

l

f

.

w

e

i

g

h

t







m

o

d

e

l

 

=

 

S

i

m

p

l

e

L

i

n

e

a

r

M

o

d

e

l

(

)




m

o

d

e

l

_

c

l

o

n

e

 

=

 

c

o

p

y

.

d

e

e

p

c

o

p

y

(

m

o

d

e

l

)




c

r

i

t

e

r

i

o

n

 

=

 

t

o

r

c

h

.

n

n

.

M

S

E

L

o

s

s

(

)




m

o

d

e

l

_

o

p

t

i

m

i

z

e

r

 

=

 

t

o

r

c

h

.

o

p

t

i

m

.

S

G

D

(

m

o

d

e

l

.

p

a

r

a

m

e

t

e

r

s

(

)

,

 

l

r

=

0

.

0

2

)




a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

=

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

)




m

o

d

e

l

,

 

m

o

d

e

l

_

o

p

t

i

m

i

z

e

r

,

 

d

a

t

a

l

o

a

d

e

r

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(

m

o

d

e

l

,

 

m

o

d

e

l

_

o

p

t

i

m

i

z

e

r

,

 

d

a

t

a

l

o

a

d

e

r

)




m

o

d

e

l

_

c

l

o

n

e

_

o

p

t

i

m

i

z

e

r

 

=

 

t

o

r

c

h

.

o

p

t

i

m

.

S

G

D

(

m

o

d

e

l

_

c

l

o

n

e

.

p

a

r

a

m

e

t

e

r

s

(

)

,

 

l

r

=

0

.

0

2

)




p

r

i

n

t

(

f

"

i

n

i

t

i

a

l

 

m

o

d

e

l

 

w

e

i

g

h

t

 

i

s

 

{

m

o

d

e

l

.

w

e

i

g

h

t

.

m

e

a

n

(

)

.

i

t

e

m

(

)

:

.

5

f

}

"

)




p

r

i

n

t

(

f

"

i

n

i

t

i

a

l

 

m

o

d

e

l

 

w

e

i

g

h

t

 

i

s

 

{

m

o

d

e

l

_

c

l

o

n

e

.

w

e

i

g

h

t

.

m

e

a

n

(

)

.

i

t

e

m

(

)

:

.

5

f

}

"

)




f

o

r

 

i

,

 

(

i

n

p

u

t

s

,

 

l

a

b

e

l

s

)

 

i

n

 

e

n

u

m

e

r

a

t

e

(

d

a

t

a

l

o

a

d

e

r

)

:




 

 

 

 

w

i

t

h

 

a

c

c

e

l

e

r

a

t

o

r

.

a

c

c

u

m

u

l

a

t

e

(

m

o

d

e

l

)

:




 

 

 

 

 

 

 

 

i

n

p

u

t

s

 

=

 

i

n

p

u

t

s

.

v

i

e

w

(

-

1

,

 

1

)




 

 

 

 

 

 

 

 

p

r

i

n

t

(

i

,

 

i

n

p

u

t

s

.

f

l

a

t

t

e

n

(

)

)




 

 

 

 

 

 

 

 

l

a

b

e

l

s

 

=

 

l

a

b

e

l

s

.

v

i

e

w

(

-

1

,

 

1

)




 

 

 

 

 

 

 

 

o

u

t

p

u

t

s

 

=

 

m

o

d

e

l

(

i

n

p

u

t

s

)




 

 

 

 

 

 

 

 

l

o

s

s

 

=

 

c

r

i

t

e

r

i

o

n

(

o

u

t

p

u

t

s

,

 

l

a

b

e

l

s

)




 

 

 

 

 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

b

a

c

k

w

a

r

d

(

l

o

s

s

)




 

 

 

 

 

 

 

 

m

o

d

e

l

_

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




 

 

 

 

 

 

 

 

m

o

d

e

l

_

o

p

t

i

m

i

z

e

r

.

z

e

r

o

_

g

r

a

d

(

)




l

o

s

s

 

=

 

c

r

i

t

e

r

i

o

n

(

x

.

v

i

e

w

(

-

1

,

 

1

)

 

@

 

m

o

d

e

l

_

c

l

o

n

e

.

w

e

i

g

h

t

,

 

y

.

v

i

e

w

(

-

1

,

 

1

)

)




m

o

d

e

l

_

c

l

o

n

e

_

o

p

t

i

m

i

z

e

r

.

z

e

r

o

_

g

r

a

d

(

)




l

o

s

s

.

b

a

c

k

w

a

r

d

(

)




m

o

d

e

l

_

c

l

o

n

e

_

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




p

r

i

n

t

(

f

"

w

/

 

a

c

c

u

m

u

l

a

t

i

o

n

,

 

t

h

e

 

f

i

n

a

l

 

m

o

d

e

l

 

w

e

i

g

h

t

 

i

s

 

{

m

o

d

e

l

.

w

e

i

g

h

t

.

m

e

a

n

(

)

.

i

t

e

m

(

)

:

.

5

f

}

"

)




p

r

i

n

t

(

f

"

w

/

o

 

a

c

c

u

m

u

l

a

t

i

o

n

,

 

t

h

e

 

f

i

n

a

l

 

m

o

d

e

l

 

w

e

i

g

h

t

 

i

s

 

{

m

o

d

e

l

_

c

l

o

n

e

.

w

e

i

g

h

t

.

m

e

a

n

(

)

.

i

t

e

m

(

)

:

.

5

f

}

"

)




`

`

`




`

`

`




i

n

i

t

i

a

l

 

m

o

d

e

l

 

w

e

i

g

h

t

 

i

s

 

0

.

0

0

0

0

0




i

n

i

t

i

a

l

 

m

o

d

e

l

 

w

e

i

g

h

t

 

i

s

 

0

.

0

0

0

0

0




0

 

t

e

n

s

o

r

(

[

1

.

,

 

2

.

]

)




1

 

t

e

n

s

o

r

(

[

3

.

,

 

4

.

]

)




2

 

t

e

n

s

o

r

(

[

5

.

,

 

6

.

]

)




3

 

t

e

n

s

o

r

(

[

7

.

,

 

8

.

]

)




w

/

 

a

c

c

u

m

u

l

a

t

i

o

n

,

 

t

h

e

 

f

i

n

a

l

 

m

o

d

e

l

 

w

e

i

g

h

t

 

i

s

 

2

.

0

4

0

0

0




w

/

o

 

a

c

c

u

m

u

l

a

t

i

o

n

,

 

t

h

e

 

f

i

n

a

l

 

m

o

d

e

l

 

w

e

i

g

h

t

 

i

s

 

2

.

0

4

0

0

0




`

`

`







#

 

E

x

p

e

r

i

m

e

n

t

 

t

r

a

c

k

e

r

s







T

h

e

r

e

 

a

r

e

 

a

 

l

a

r

g

e

 

n

u

m

b

e

r

 

o

f

 

e

x

p

e

r

i

m

e

n

t

 

t

r

a

c

k

i

n

g

 

A

P

I

'

s

 

a

v

a

i

l

a

b

l

e

,

 

h

o

w

e

v

e

r

 

g

e

t

t

i

n

g

 

t

h

e

m

 

a

l

l

 

t

o

 

w

o

r

k

 

w

i

t

h

 

i

n

 

a

 

m

u

l

t

i

-

p

r

o

c

e

s

s

i

n

g

 

e

n

v

i

r

o

n

m

e

n

t

 

c

a

n

 

o

f

t

e

n

t

i

m

e

s

 

b

e

 

c

o

m

p

l

e

x

.




A

c

c

e

l

e

r

a

t

e

 

p

r

o

v

i

d

e

s

 

a

 

g

e

n

e

r

a

l

 

t

r

a

c

k

i

n

g

 

A

P

I

 

t

h

a

t

 

c

a

n

 

b

e

 

u

s

e

d

 

t

o

 

l

o

g

 

u

s

e

f

u

l

 

i

t

e

m

s

 

d

u

r

i

n

g

 

y

o

u

r

 

s

c

r

i

p

t

 

t

h

r

o

u

g

h

 

`

A

c

c

e

l

e

r

a

t

o

r

.

l

o

g

(

)

`







#

#

 

I

n

t

e

g

r

a

t

e

d

 

T

r

a

c

k

e

r

s







C

u

r

r

e

n

t

l

y

 

`

A

c

c

e

l

e

r

a

t

e

`

 

s

u

p

p

o

r

t

s

 

s

e

v

e

n

 

t

r

a

c

k

e

r

s

 

o

u

t

-

o

f

-

t

h

e

-

b

o

x

:







-

 

T

e

n

s

o

r

B

o

a

r

d




-

 

W

a

n

d

B




-

 

C

o

m

e

t

M

L




-

 

A

i

m




-

 

M

L

F

l

o

w




-

 

C

l

e

a

r

M

L




-

 

D

V

C

L

i

v

e







T

o

 

u

s

e

 

a

n

y

 

o

f

 

t

h

e

m

,

 

p

a

s

s

 

i

n

 

t

h

e

 

s

e

l

e

c

t

e

d

 

t

y

p

e

(

s

)

 

t

o

 

t

h

e

 

`

l

o

g

_

w

i

t

h

`

 

p

a

r

a

m

e

t

e

r

 

i

n

 

`

A

c

c

e

l

e

r

a

t

e

`

:




`

`

`

p

y

t

h

o

n




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

A

c

c

e

l

e

r

a

t

o

r




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

.

u

t

i

l

s

 

i

m

p

o

r

t

 

L

o

g

g

e

r

T

y

p

e







a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

l

o

g

_

w

i

t

h

=

"

a

l

l

"

)

 

 

#

 

F

o

r

 

a

l

l

 

a

v

a

i

l

a

b

l

e

 

t

r

a

c

k

e

r

s

 

i

n

 

t

h

e

 

e

n

v

i

r

o

n

m

e

n

t




a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

l

o

g

_

w

i

t

h

=

"

w

a

n

d

b

"

)




a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

l

o

g

_

w

i

t

h

=

[

"

w

a

n

d

b

"

,

 

L

o

g

g

e

r

T

y

p

e

.

T

E

N

S

O

R

B

O

A

R

D

]

)




`

`

`







A

t

 

t

h

e

 

s

t

a

r

t

 

o

f

 

y

o

u

r

 

e

x

p

e

r

i

m

e

n

t

 

`

A

c

c

e

l

e

r

a

t

o

r

.

i

n

i

t

_

t

r

a

c

k

e

r

s

(

)

`

 

s

h

o

u

l

d

 

b

e

 

u

s

e

d

 

t

o

 

s

e

t

u

p

 

y

o

u

r

 

p

r

o

j

e

c

t

,

 

a

n

d

 

p

o

t

e

n

t

i

a

l

l

y

 

a

d

d

 

a

n

y

 

e

x

p

e

r

i

m

e

n

t

 

h

y

p

e

r

p

a

r

a

m

e

t

e

r

s

 

t

o

 

b

e

 

l

o

g

g

e

d

:




`

`

`

p

y

t

h

o

n




h

p

s

 

=

 

{

"

n

u

m

_

i

t

e

r

a

t

i

o

n

s

"

:

 

5

,

 

"

l

e

a

r

n

i

n

g

_

r

a

t

e

"

:

 

1

e

-

2

}




a

c

c

e

l

e

r

a

t

o

r

.

i

n

i

t

_

t

r

a

c

k

e

r

s

(

"

m

y

_

p

r

o

j

e

c

t

"

,

 

c

o

n

f

i

g

=

h

p

s

)




`

`

`







W

h

e

n

 

y

o

u

 

a

r

e

 

r

e

a

d

y

 

t

o

 

l

o

g

 

a

n

y

 

d

a

t

a

,

 

`

A

c

c

e

l

e

r

a

t

o

r

.

l

o

g

(

)

`

 

s

h

o

u

l

d

 

b

e

 

u

s

e

d

.




A

 

`

s

t

e

p

`

 

c

a

n

 

a

l

s

o

 

b

e

 

p

a

s

s

e

d

 

i

n

 

t

o

 

c

o

r

r

e

l

a

t

e

 

t

h

e

 

d

a

t

a

 

w

i

t

h

 

a

 

p

a

r

t

i

c

u

l

a

r

 

s

t

e

p

 

i

n

 

t

h

e

 

t

r

a

i

n

i

n

g

 

l

o

o

p

.




`

`

`

p

y

t

h

o

n




a

c

c

e

l

e

r

a

t

o

r

.

l

o

g

(

{

"

t

r

a

i

n

_

l

o

s

s

"

:

 

1

.

1

2

,

 

"

v

a

l

i

d

_

l

o

s

s

"

:

 

0

.

8

}

,

 

s

t

e

p

=

1

)




`

`

`







O

n

c

e

 

y

o

u

'

v

e

 

f

i

n

i

s

h

e

d

 

t

r

a

i

n

i

n

g

,

 

m

a

k

e

 

s

u

r

e

 

t

o

 

r

u

n

 

`

A

c

c

e

l

e

r

a

t

o

r

.

e

n

d

_

t

r

a

i

n

i

n

g

(

)

`

 

s

o

 

t

h

a

t

 

a

l

l

 

t

h

e

 

t

r

a

c

k

e

r

s

 

c

a

n

 

r

u

n

 

t

h

e

i

r

 

f

i

n

i

s

h

 

f

u

n

c

t

i

o

n

a

l

i

t

i

e

s

 

i

f

 

t

h

e

y

 

h

a

v

e

 

a

n

y

.




`

`

`

p

y

t

h

o

n




a

c

c

e

l

e

r

a

t

o

r

.

e

n

d

_

t

r

a

i

n

i

n

g

(

)




`

`

`










A

 

f

u

l

l

 

e

x

a

m

p

l

e

 

i

s

 

b

e

l

o

w

:




`

`

`

p

y

t

h

o

n




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

A

c

c

e

l

e

r

a

t

o

r







a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

l

o

g

_

w

i

t

h

=

"

a

l

l

"

)




c

o

n

f

i

g

 

=

 

{




 

 

 

 

"

n

u

m

_

i

t

e

r

a

t

i

o

n

s

"

:

 

5

,




 

 

 

 

"

l

e

a

r

n

i

n

g

_

r

a

t

e

"

:

 

1

e

-

2

,




 

 

 

 

"

l

o

s

s

_

f

u

n

c

t

i

o

n

"

:

 

s

t

r

(

m

y

_

l

o

s

s

_

f

u

n

c

t

i

o

n

)

,




}







a

c

c

e

l

e

r

a

t

o

r

.

i

n

i

t

_

t

r

a

c

k

e

r

s

(

"

e

x

a

m

p

l

e

_

p

r

o

j

e

c

t

"

,

 

c

o

n

f

i

g

=

c

o

n

f

i

g

)







m

y

_

m

o

d

e

l

,

 

m

y

_

o

p

t

i

m

i

z

e

r

,

 

m

y

_

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

 

=

 

a

c

c

e

l

e

r

a

t

e

.

p

r

e

p

a

r

e

(

m

y

_

m

o

d

e

l

,

 

m

y

_

o

p

t

i

m

i

z

e

r

,

 

m

y

_

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

)




d

e

v

i

c

e

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

d

e

v

i

c

e




m

y

_

m

o

d

e

l

.

t

o

(

d

e

v

i

c

e

)







f

o

r

 

i

t

e

r

a

t

i

o

n

 

i

n

 

c

o

n

f

i

g

[

"

n

u

m

_

i

t

e

r

a

t

i

o

n

s

"

]

:




 

 

 

 

f

o

r

 

s

t

e

p

,

 

b

a

t

c

h

 

i

n

 

m

y

_

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

:




 

 

 

 

 

 

 

 

m

y

_

o

p

t

i

m

i

z

e

r

.

z

e

r

o

_

g

r

a

d

(

)




 

 

 

 

 

 

 

 

i

n

p

u

t

s

,

 

t

a

r

g

e

t

s

 

=

 

b

a

t

c

h




 

 

 

 

 

 

 

 

i

n

p

u

t

s

 

=

 

i

n

p

u

t

s

.

t

o

(

d

e

v

i

c

e

)




 

 

 

 

 

 

 

 

t

a

r

g

e

t

s

 

=

 

t

a

r

g

e

t

s

.

t

o

(

d

e

v

i

c

e

)




 

 

 

 

 

 

 

 

o

u

t

p

u

t

s

 

=

 

m

y

_

m

o

d

e

l

(

i

n

p

u

t

s

)




 

 

 

 

 

 

 

 

l

o

s

s

 

=

 

m

y

_

l

o

s

s

_

f

u

n

c

t

i

o

n

(

o

u

t

p

u

t

s

,

 

t

a

r

g

e

t

s

)




 

 

 

 

 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

b

a

c

k

w

a

r

d

(

l

o

s

s

)




 

 

 

 

 

 

 

 

m

y

_

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




 

 

 

 

 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

l

o

g

(

{

"

t

r

a

i

n

i

n

g

_

l

o

s

s

"

:

 

l

o

s

s

}

,

 

s

t

e

p

=

s

t

e

p

)




a

c

c

e

l

e

r

a

t

o

r

.

e

n

d

_

t

r

a

i

n

i

n

g

(

)




`

`

`







I

f

 

a

 

t

r

a

c

k

e

r

 

r

e

q

u

i

r

e

s

 

a

 

d

i

r

e

c

t

o

r

y

 

t

o

 

s

a

v

e

 

d

a

t

a

 

t

o

,

 

s

u

c

h

 

a

s

 

`

T

e

n

s

o

r

B

o

a

r

d

`

,

 

t

h

e

n

 

p

a

s

s

 

t

h

e

 

d

i

r

e

c

t

o

r

y

 

p

a

t

h

 

t

o

 

`

p

r

o

j

e

c

t

_

d

i

r

`

.

 

T

h

e

 

`

p

r

o

j

e

c

t

_

d

i

r

`

 

p

a

r

a

m

e

t

e

r

 

i

s

 

u

s

e

f

u

l

 




w

h

e

n

 

t

h

e

r

e

 

a

r

e

 

o

t

h

e

r

 

c

o

n

f

i

g

u

r

a

t

i

o

n

s

 

t

o

 

b

e

 

c

o

m

b

i

n

e

d

 

w

i

t

h

 

i

n

 

t

h

e

 

`

P

r

o

j

e

c

t

C

o

n

f

i

g

u

r

a

t

i

o

n

`

 

d

a

t

a

 

c

l

a

s

s

.

 

F

o

r

 

e

x

a

m

p

l

e

,

 

y

o

u

 

c

a

n

 

s

a

v

e

 

t

h

e

 

T

e

n

s

o

r

B

o

a

r

d

 

d

a

t

a

 

t

o

 

`

p

r

o

j

e

c

t

_

d

i

r

`

 

a

n

d

 

e

v

e

r

y

t

h

i

n

g

 

e

l

s

e

 

c

a

n

 

b

e

 

l

o

g

g

e

d

 

i

n

 

t

h

e

 

`

l

o

g

g

i

n

g

_

d

i

r

`

 

p

a

r

a

m

e

t

e

r

 

o

f

 

[

`

~

u

t

i

l

s

.

P

r

o

j

e

c

t

C

o

n

f

i

g

u

r

a

t

i

o

n

`

:

 







`

`

`

p

y

t

h

o

n




a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

l

o

g

_

w

i

t

h

=

"

t

e

n

s

o

r

b

o

a

r

d

"

,

 

p

r

o

j

e

c

t

_

d

i

r

=

"

.

"

)







#

 

u

s

e

 

w

i

t

h

 

P

r

o

j

e

c

t

C

o

n

f

i

g

u

r

a

t

i

o

n




c

o

n

f

i

g

 

=

 

P

r

o

j

e

c

t

C

o

n

f

i

g

u

r

a

t

i

o

n

(

p

r

o

j

e

c

t

_

d

i

r

=

"

.

"

,

 

l

o

g

g

i

n

g

_

d

i

r

=

"

a

n

o

t

h

e

r

/

d

i

r

e

c

t

o

r

y

"

)




a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

l

o

g

_

w

i

t

h

=

"

t

e

n

s

o

r

b

o

a

r

d

"

,

 

p

r

o

j

e

c

t

_

c

o

n

f

i

g

=

c

o

n

f

i

g

)




`

`

`







#

#

 

I

m

p

l

e

m

e

n

t

i

n

g

 

C

u

s

t

o

m

 

T

r

a

c

k

e

r

s







T

o

 

i

m

p

l

e

m

e

n

t

 

a

 

n

e

w

 

t

r

a

c

k

e

r

 

t

o

 

b

e

 

u

s

e

d

 

i

n

 

`

A

c

c

e

l

e

r

a

t

o

r

`

,

 

a

 

n

e

w

 

o

n

e

 

c

a

n

 

b

e

 

m

a

d

e

 

t

h

r

o

u

g

h

 

i

m

p

l

e

m

e

n

t

i

n

g

 

t

h

e

 

`

G

e

n

e

r

a

l

T

r

a

c

k

e

r

`

 

c

l

a

s

s

.




E

v

e

r

y

 

t

r

a

c

k

e

r

 

m

u

s

t

 

i

m

p

l

e

m

e

n

t

 

t

h

r

e

e

 

f

u

n

c

t

i

o

n

s

 

a

n

d

 

h

a

v

e

 

t

h

r

e

e

 

p

r

o

p

e

r

t

i

e

s

:




 

 

-

 

`

_

_

i

n

i

t

_

_

`

:

 




 

 

 

 

-

 

S

h

o

u

l

d

 

s

t

o

r

e

 

a

 

`

r

u

n

_

n

a

m

e

`

 

a

n

d

 

i

n

i

t

i

a

l

i

z

e

 

t

h

e

 

t

r

a

c

k

e

r

 

A

P

I

 

o

f

 

t

h

e

 

i

n

t

e

g

r

a

t

e

d

 

l

i

b

r

a

r

y

.

 




 

 

 

 

-

 

I

f

 

a

 

t

r

a

c

k

e

r

 

s

t

o

r

e

s

 

t

h

e

i

r

 

d

a

t

a

 

l

o

c

a

l

l

y

 

(

s

u

c

h

 

a

s

 

T

e

n

s

o

r

B

o

a

r

d

)

,

 

a

 

`

l

o

g

g

i

n

g

_

d

i

r

`

 

p

a

r

a

m

e

t

e

r

 

c

a

n

 

b

e

 

a

d

d

e

d

.




 

 

-

 

`

s

t

o

r

e

_

i

n

i

t

_

c

o

n

f

i

g

u

r

a

t

i

o

n

`

:

 




 

 

 

 

-

 

S

h

o

u

l

d

 

t

a

k

e

 

i

n

 

a

 

`

v

a

l

u

e

s

`

 

d

i

c

t

i

o

n

a

r

y

 

a

n

d

 

s

t

o

r

e

 

t

h

e

m

 

a

s

 

a

 

o

n

e

-

t

i

m

e

 

e

x

p

e

r

i

m

e

n

t

 

c

o

n

f

i

g

u

r

a

t

i

o

n




 

 

-

 

`

l

o

g

`

:

 




 

 

 

 

-

 

S

h

o

u

l

d

 

t

a

k

e

 

i

n

 

a

 

`

v

a

l

u

e

s

`

 

d

i

c

t

i

o

n

a

r

y

 

a

n

d

 

a

 

`

s

t

e

p

`

,

 

a

n

d

 

s

h

o

u

l

d

 

l

o

g

 

t

h

e

m

 

t

o

 

t

h

e

 

r

u

n







 

 

-

 

`

n

a

m

e

`

 

(

`

s

t

r

`

)

:




 

 

 

 

-

 

A

 

u

n

i

q

u

e

 

s

t

r

i

n

g

 

n

a

m

e

 

f

o

r

 

t

h

e

 

t

r

a

c

k

e

r

,

 

s

u

c

h

 

a

s

 

`

"

w

a

n

d

b

"

`

 

f

o

r

 

t

h

e

 

w

a

n

d

b

 

t

r

a

c

k

e

r

.

 




 

 

 

 

-

 

T

h

i

s

 

w

i

l

l

 

b

e

 

u

s

e

d

 

f

o

r

 

i

n

t

e

r

a

c

t

i

n

g

 

w

i

t

h

 

t

h

i

s

 

t

r

a

c

k

e

r

 

s

p

e

c

i

f

i

c

a

l

l

y




 

 

-

 

`

r

e

q

u

i

r

e

s

_

l

o

g

g

i

n

g

_

d

i

r

e

c

t

o

r

y

`

 

(

`

b

o

o

l

`

)

:




 

 

 

 

-

 

W

h

e

t

h

e

r

 

a

 

`

l

o

g

g

i

n

g

_

d

i

r

`

 

i

s

 

n

e

e

d

e

d

 

f

o

r

 

t

h

i

s

 

p

a

r

t

i

c

u

l

a

r

 

t

r

a

c

k

e

r

 

a

n

d

 

i

f

 

i

t

 

u

s

e

s

 

o

n

e

.




 

 

-

 

`

t

r

a

c

k

e

r

`

:

 




 

 

 

 

-

 

T

h

i

s

 

s

h

o

u

l

d

 

b

e

 

i

m

p

l

e

m

e

n

t

e

d

 

a

s

 

a

 

`

@

p

r

o

p

e

r

t

y

`

 

f

u

n

c

t

i

o

n

 




 

 

 

 

-

 

S

h

o

u

l

d

 

r

e

t

u

r

n

 

t

h

e

 

i

n

t

e

r

n

a

l

 

t

r

a

c

k

i

n

g

 

m

e

c

h

a

n

i

s

m

 

t

h

e

 

l

i

b

r

a

r

y

 

u

s

e

s

,

 

s

u

c

h

 

a

s

 

t

h

e

 

`

r

u

n

`

 

o

b

j

e

c

t

 

f

o

r

 

`

w

a

n

d

b

`

.







E

a

c

h

 

m

e

t

h

o

d

 

s

h

o

u

l

d

 

a

l

s

o

 

u

t

i

l

i

z

e

 

t

h

e

 

`

s

t

a

t

e

.

P

a

r

t

i

a

l

S

t

a

t

e

`

 

c

l

a

s

s

 

i

f

 

t

h

e

 

l

o

g

g

e

r

 

s

h

o

u

l

d

 

o

n

l

y

 

b

e

 

e

x

e

c

u

t

e

d

 

o

n

 

t

h

e

 

m

a

i

n

 

p

r

o

c

e

s

s

 

f

o

r

 

i

n

s

t

a

n

c

e

.







A

 

b

r

i

e

f

 

e

x

a

m

p

l

e

 

c

a

n

 

b

e

 

s

e

e

n

 

b

e

l

o

w

 

w

i

t

h

 

a

n

 

i

n

t

e

g

r

a

t

i

o

n

 

w

i

t

h

 

W

e

i

g

h

t

s

 

a

n

d

 

B

i

a

s

e

s

,

 

c

o

n

t

a

i

n

i

n

g

 

o

n

l

y

 

t

h

e

 

r

e

l

e

v

a

n

t

 

i

n

f

o

r

m

a

t

i

o

n

 

a

n

d

 

l

o

g

g

i

n

g

 

j

u

s

t

 

o

n

 




t

h

e

 

m

a

i

n

 

p

r

o

c

e

s

s

:




`

`

`

p

y

t

h

o

n




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

.

t

r

a

c

k

i

n

g

 

i

m

p

o

r

t

 

G

e

n

e

r

a

l

T

r

a

c

k

e

r

,

 

o

n

_

m

a

i

n

_

p

r

o

c

e

s

s




f

r

o

m

 

t

y

p

i

n

g

 

i

m

p

o

r

t

 

O

p

t

i

o

n

a

l







i

m

p

o

r

t

 

w

a

n

d

b










c

l

a

s

s

 

M

y

C

u

s

t

o

m

T

r

a

c

k

e

r

(

G

e

n

e

r

a

l

T

r

a

c

k

e

r

)

:




 

 

 

 

n

a

m

e

 

=

 

"

w

a

n

d

b

"




 

 

 

 

r

e

q

u

i

r

e

s

_

l

o

g

g

i

n

g

_

d

i

r

e

c

t

o

r

y

 

=

 

F

a

l

s

e







 

 

 

 

@

o

n

_

m

a

i

n

_

p

r

o

c

e

s

s




 

 

 

 

d

e

f

 

_

_

i

n

i

t

_

_

(

s

e

l

f

,

 

r

u

n

_

n

a

m

e

:

 

s

t

r

)

:




 

 

 

 

 

 

 

 

s

e

l

f

.

r

u

n

_

n

a

m

e

 

=

 

r

u

n

_

n

a

m

e




 

 

 

 

 

 

 

 

r

u

n

 

=

 

w

a

n

d

b

.

i

n

i

t

(

s

e

l

f

.

r

u

n

_

n

a

m

e

)







 

 

 

 

@

p

r

o

p

e

r

t

y




 

 

 

 

d

e

f

 

t

r

a

c

k

e

r

(

s

e

l

f

)

:




 

 

 

 

 

 

 

 

r

e

t

u

r

n

 

s

e

l

f

.

r

u

n

.

r

u

n







 

 

 

 

@

o

n

_

m

a

i

n

_

p

r

o

c

e

s

s




 

 

 

 

d

e

f

 

s

t

o

r

e

_

i

n

i

t

_

c

o

n

f

i

g

u

r

a

t

i

o

n

(

s

e

l

f

,

 

v

a

l

u

e

s

:

 

d

i

c

t

)

:




 

 

 

 

 

 

 

 

w

a

n

d

b

.

c

o

n

f

i

g

(

v

a

l

u

e

s

)







 

 

 

 

@

o

n

_

m

a

i

n

_

p

r

o

c

e

s

s




 

 

 

 

d

e

f

 

l

o

g

(

s

e

l

f

,

 

v

a

l

u

e

s

:

 

d

i

c

t

,

 

s

t

e

p

:

 

O

p

t

i

o

n

a

l

[

i

n

t

]

 

=

 

N

o

n

e

)

:




 

 

 

 

 

 

 

 

w

a

n

d

b

.

l

o

g

(

v

a

l

u

e

s

,

 

s

t

e

p

=

s

t

e

p

)




`

`

`







W

h

e

n

 

y

o

u

 

a

r

e

 

r

e

a

d

y

 

t

o

 

b

u

i

l

d

 

y

o

u

r

 

`

A

c

c

e

l

e

r

a

t

o

r

`

 

o

b

j

e

c

t

,

 

p

a

s

s

 

i

n

 

a

n

 

*

*

i

n

s

t

a

n

c

e

*

*

 

o

f

 

y

o

u

r

 

t

r

a

c

k

e

r

 

t

o

 

`

A

c

c

e

l

e

r

a

t

o

r

.

l

o

g

_

w

i

t

h

`

 

t

o

 

h

a

v

e

 

i

t

 

a

u

t

o

m

a

t

i

c

a

l

l

y




b

e

 

u

s

e

d

 

w

i

t

h

 

t

h

e

 

A

P

I

:







`

`

`

p

y

t

h

o

n




t

r

a

c

k

e

r

 

=

 

M

y

C

u

s

t

o

m

T

r

a

c

k

e

r

(

"

s

o

m

e

_

r

u

n

_

n

a

m

e

"

)




a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

l

o

g

_

w

i

t

h

=

t

r

a

c

k

e

r

)




`

`

`







T

h

e

s

e

 

a

l

s

o

 

c

a

n

 

b

e

 

m

i

x

e

d

 

w

i

t

h

 

e

x

i

s

t

i

n

g

 

t

r

a

c

k

e

r

s

,

 

i

n

c

l

u

d

i

n

g

 

w

i

t

h

 

`

"

a

l

l

"

`

:







`

`

`

p

y

t

h

o

n




t

r

a

c

k

e

r

 

=

 

M

y

C

u

s

t

o

m

T

r

a

c

k

e

r

(

"

s

o

m

e

_

r

u

n

_

n

a

m

e

"

)




a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

l

o

g

_

w

i

t

h

=

[

t

r

a

c

k

e

r

,

 

"

a

l

l

"

]

)




`

`

`







#

#

 

A

c

c

e

s

s

i

n

g

 

t

h

e

 

i

n

t

e

r

n

a

l

 

t

r

a

c

k

e

r

 







I

f

 

s

o

m

e

 

c

u

s

t

o

m

 

i

n

t

e

r

a

c

t

i

o

n

s

 

w

i

t

h

 

a

 

t

r

a

c

k

e

r

 

m

i

g

h

t

 

b

e

 

w

a

n

t

e

d

 

d

i

r

e

c

t

l

y

,

 

y

o

u

 

c

a

n

 

q

u

i

c

k

l

y

 

a

c

c

e

s

s

 

o

n

e

 

u

s

i

n

g

 

t

h

e

 




`

A

c

c

e

l

e

r

a

t

o

r

.

g

e

t

_

t

r

a

c

k

e

r

(

)

`

 

m

e

t

h

o

d

.

 

J

u

s

t

 

p

a

s

s

 

i

n

 

t

h

e

 

s

t

r

i

n

g

 

c

o

r

r

e

s

p

o

n

d

i

n

g

 

t

o

 

a

 

t

r

a

c

k

e

r

'

s

 

`

.

n

a

m

e

`

 

a

t

t

r

i

b

u

t

e

 




a

n

d

 

i

t

 

w

i

l

l

 

r

e

t

u

r

n

 

t

h

a

t

 

t

r

a

c

k

e

r

 

o

n

 

t

h

e

 

m

a

i

n

 

p

r

o

c

e

s

s

.







T

h

i

s

 

e

x

a

m

p

l

e

 

s

h

o

w

s

 

d

o

i

n

g

 

s

o

 

w

i

t

h

 

w

a

n

d

b

:







`

`

`

p

y

t

h

o

n




w

a

n

d

b

_

t

r

a

c

k

e

r

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

g

e

t

_

t

r

a

c

k

e

r

(

"

w

a

n

d

b

"

)




`

`

`







F

r

o

m

 

t

h

e

r

e

 

y

o

u

 

c

a

n

 

i

n

t

e

r

a

c

t

 

w

i

t

h

 

`

w

a

n

d

b

`

'

s

 

`

r

u

n

`

 

o

b

j

e

c

t

 

l

i

k

e

 

n

o

r

m

a

l

:







`

`

`

p

y

t

h

o

n




w

a

n

d

b

_

r

u

n

.

l

o

g

_

a

r

t

i

f

a

c

t

(

s

o

m

e

_

a

r

t

i

f

a

c

t

_

t

o

_

l

o

g

)




`

`

`







<

T

i

p

>




 

 

T

r

a

c

k

e

r

s

 

b

u

i

l

t

 

i

n

 

A

c

c

e

l

e

r

a

t

e

 

w

i

l

l

 

a

u

t

o

m

a

t

i

c

a

l

l

y

 

e

x

e

c

u

t

e

 

o

n

 

t

h

e

 

c

o

r

r

e

c

t

 

p

r

o

c

e

s

s

,

 




 

 

s

o

 

i

f

 

a

 

t

r

a

c

k

e

r

 

i

s

 

o

n

l

y

 

m

e

a

n

t

 

t

o

 

b

e

 

r

a

n

 

o

n

 

t

h

e

 

m

a

i

n

 

p

r

o

c

e

s

s

 

i

t

 

w

i

l

l

 

d

o

 

s

o

 




 

 

a

u

t

o

m

a

t

i

c

a

l

l

y

.




<

/

T

i

p

>







I

f

 

y

o

u

 

w

a

n

t

 

t

o

 

t

r

u

l

y

 

r

e

m

o

v

e

 

A

c

c

e

l

e

r

a

t

e

'

s

 

w

r

a

p

p

i

n

g

 

e

n

t

i

r

e

l

y

,

 

y

o

u

 

c

a

n

 




a

c

h

i

e

v

e

 

t

h

e

 

s

a

m

e

 

o

u

t

c

o

m

e

 

w

i

t

h

:







`

`

`

p

y

t

h

o

n




w

a

n

d

b

_

t

r

a

c

k

e

r

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

g

e

t

_

t

r

a

c

k

e

r

(

"

w

a

n

d

b

"

,

 

u

n

w

r

a

p

=

T

r

u

e

)




i

f

 

a

c

c

e

l

e

r

a

t

o

r

.

i

s

_

m

a

i

n

_

p

r

o

c

e

s

s

:




 

 

 

 

w

a

n

d

b

_

t

r

a

c

k

e

r

.

l

o

g

_

a

r

t

i

f

a

c

t

(

s

o

m

e

_

a

r

t

i

f

a

c

t

_

t

o

_

l

o

g

)




`

`

`










#

#

 

W

h

e

n

 

a

 

w

r

a

p

p

e

r

 

c

a

n

n

o

t

 

w

o

r

k







I

f

 

a

 

l

i

b

r

a

r

y

 

h

a

s

 

a

n

 

A

P

I

 

t

h

a

t

 

d

o

e

s

 

n

o

t

 

f

o

l

l

o

w

 

a

 

s

t

r

i

c

t

 

`

.

l

o

g

`

 

w

i

t

h

 

a

n

 

o

v

e

r

a

l

l

 

d

i

c

t

i

o

n

a

r

y

 

s

u

c

h

 

a

s

 

N

e

p

t

u

n

e

.

A

I

,

 

l

o

g

g

i

n

g

 

c

a

n

 

b

e

 

d

o

n

e

 

m

a

n

u

a

l

l

y

 

u

n

d

e

r

 

a

n

 

`

i

f

 

a

c

c

e

l

e

r

a

t

o

r

.

i

s

_

m

a

i

n

_

p

r

o

c

e

s

s

`

 

s

t

a

t

e

m

e

n

t

:




`

`

`

d

i

f

f




 

 

f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

A

c

c

e

l

e

r

a

t

o

r




+

 

i

m

p

o

r

t

 

n

e

p

t

u

n

e







 

 

a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

)




+

 

r

u

n

 

=

 

n

e

p

t

u

n

e

.

i

n

i

t

_

r

u

n

(

.

.

.

)







 

 

m

y

_

m

o

d

e

l

,

 

m

y

_

o

p

t

i

m

i

z

e

r

,

 

m

y

_

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

 

=

 

a

c

c

e

l

e

r

a

t

e

.

p

r

e

p

a

r

e

(

m

y

_

m

o

d

e

l

,

 

m

y

_

o

p

t

i

m

i

z

e

r

,

 

m

y

_

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

)




 

 

d

e

v

i

c

e

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

d

e

v

i

c

e




 

 

m

y

_

m

o

d

e

l

.

t

o

(

d

e

v

i

c

e

)







 

 

f

o

r

 

i

t

e

r

a

t

i

o

n

 

i

n

 

c

o

n

f

i

g

[

"

n

u

m

_

i

t

e

r

a

t

i

o

n

s

"

]

:




 

 

 

 

 

 

f

o

r

 

b

a

t

c

h

 

i

n

 

m

y

_

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

:




 

 

 

 

 

 

 

 

 

 

m

y

_

o

p

t

i

m

i

z

e

r

.

z

e

r

o

_

g

r

a

d

(

)




 

 

 

 

 

 

 

 

 

 

i

n

p

u

t

s

,

 

t

a

r

g

e

t

s

 

=

 

b

a

t

c

h




 

 

 

 

 

 

 

 

 

 

i

n

p

u

t

s

 

=

 

i

n

p

u

t

s

.

t

o

(

d

e

v

i

c

e

)




 

 

 

 

 

 

 

 

 

 

t

a

r

g

e

t

s

 

=

 

t

a

r

g

e

t

s

.

t

o

(

d

e

v

i

c

e

)




 

 

 

 

 

 

 

 

 

 

o

u

t

p

u

t

s

 

=

 

m

y

_

m

o

d

e

l

(

i

n

p

u

t

s

)




 

 

 

 

 

 

 

 

 

 

l

o

s

s

 

=

 

m

y

_

l

o

s

s

_

f

u

n

c

t

i

o

n

(

o

u

t

p

u

t

s

,

 

t

a

r

g

e

t

s

)




 

 

 

 

 

 

 

 

 

 

t

o

t

a

l

_

l

o

s

s

 

+

=

 

l

o

s

s




 

 

 

 

 

 

 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

b

a

c

k

w

a

r

d

(

l

o

s

s

)




 

 

 

 

 

 

 

 

 

 

m

y

_

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




+

 

 

 

 

 

 

 

 

 

i

f

 

a

c

c

e

l

e

r

a

t

o

r

.

i

s

_

m

a

i

n

_

p

r

o

c

e

s

s

:




+

 

 

 

 

 

 

 

 

 

 

 

 

 

r

u

n

[

"

l

o

g

s

/

t

r

a

i

n

i

n

g

/

b

a

t

c

h

/

l

o

s

s

"

]

.

l

o

g

(

l

o

s

s

)




`

`

`







#

 

E

x

a

m

p

l

e

 

Z

o

o







B

e

l

o

w

 

c

o

n

t

a

i

n

s

 

a

 

n

o

n

-

e

x

h

a

u

s

t

i

v

e

 

l

i

s

t

 

o

f

 

t

u

t

o

r

i

a

l

s

 

a

n

d

 

s

c

r

i

p

t

s

 

s

h

o

w

c

a

s

i

n

g

 

A

c

c

e

l

e

r

a

t

e

.







#

#

 

O

f

f

i

c

i

a

l

 

A

c

c

e

l

e

r

a

t

e

 

E

x

a

m

p

l

e

s

:







#

#

#

 

B

a

s

i

c

 

E

x

a

m

p

l

e

s







T

h

e

s

e

 

e

x

a

m

p

l

e

s

 

s

h

o

w

c

a

s

e

 

t

h

e

 

b

a

s

e

 

f

e

a

t

u

r

e

s

 

o

f

 

A

c

c

e

l

e

r

a

t

e

 

a

n

d

 

a

r

e

 

a

 

g

r

e

a

t

 

s

t

a

r

t

i

n

g

 

p

o

i

n

t







-

 

[

B

a

r

e

b

o

n

e

s

 

N

L

P

 

e

x

a

m

p

l

e

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

a

c

c

e

l

e

r

a

t

e

/

b

l

o

b

/

m

a

i

n

/

e

x

a

m

p

l

e

s

/

n

l

p

_

e

x

a

m

p

l

e

.

p

y

)




-

 

[

B

a

r

e

b

o

n

e

s

 

d

i

s

t

r

i

b

u

t

e

d

 

N

L

P

 

e

x

a

m

p

l

e

 

i

n

 

a

 

J

u

p

y

t

e

r

 

N

o

t

e

b

o

o

k

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

n

o

t

e

b

o

o

k

s

/

b

l

o

b

/

m

a

i

n

/

e

x

a

m

p

l

e

s

/

a

c

c

e

l

e

r

a

t

e

_

e

x

a

m

p

l

e

s

/

s

i

m

p

l

e

_

n

l

p

_

e

x

a

m

p

l

e

.

i

p

y

n

b

)




-

 

[

B

a

r

e

b

o

n

e

s

 

c

o

m

p

u

t

e

r

 

v

i

s

i

o

n

 

e

x

a

m

p

l

e

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

a

c

c

e

l

e

r

a

t

e

/

b

l

o

b

/

m

a

i

n

/

e

x

a

m

p

l

e

s

/

c

v

_

e

x

a

m

p

l

e

.

p

y

)




-

 

[

B

a

r

e

b

o

n

e

s

 

d

i

s

t

r

i

b

u

t

e

d

 

c

o

m

p

u

t

e

r

 

v

i

s

i

o

n

 

e

x

a

m

p

l

e

 

i

n

 

a

 

J

u

p

y

t

e

r

 

N

o

t

e

b

o

o

k

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

n

o

t

e

b

o

o

k

s

/

b

l

o

b

/

m

a

i

n

/

e

x

a

m

p

l

e

s

/

a

c

c

e

l

e

r

a

t

e

_

e

x

a

m

p

l

e

s

/

s

i

m

p

l

e

_

c

v

_

e

x

a

m

p

l

e

.

i

p

y

n

b

)




-

 

[

U

s

i

n

g

 

A

c

c

e

l

e

r

a

t

e

 

i

n

 

K

a

g

g

l

e

]

(

h

t

t

p

s

:

/

/

w

w

w

.

k

a

g

g

l

e

.

c

o

m

/

c

o

d

e

/

m

u

e

l

l

e

r

z

r

/

m

u

l

t

i

-

g

p

u

-

a

n

d

-

a

c

c

e

l

e

r

a

t

e

)







#

#

#

 

F

e

a

t

u

r

e

 

S

p

e

c

i

f

i

c

 

E

x

a

m

p

l

e

s







T

h

e

s

e

 

e

x

a

m

p

l

e

s

 

s

h

o

w

c

a

s

e

 

s

p

e

c

i

f

i

c

 

f

e

a

t

u

r

e

s

 

t

h

a

t

 

t

h

e

 

A

c

c

e

l

e

r

a

t

e

 

f

r

a

m

e

w

o

r

k

 

o

f

f

e

r

s







-

 

[

A

u

t

o

m

a

t

i

c

 

m

e

m

o

r

y

-

a

w

a

r

e

 

g

r

a

d

i

e

n

t

 

a

c

c

u

m

u

l

a

t

i

o

n

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

a

c

c

e

l

e

r

a

t

e

/

b

l

o

b

/

m

a

i

n

/

e

x

a

m

p

l

e

s

/

b

y

_

f

e

a

t

u

r

e

/

a

u

t

o

m

a

t

i

c

_

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

.

p

y

)




-

 

[

C

h

e

c

k

p

o

i

n

t

i

n

g

 

s

t

a

t

e

s

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

a

c

c

e

l

e

r

a

t

e

/

b

l

o

b

/

m

a

i

n

/

e

x

a

m

p

l

e

s

/

b

y

_

f

e

a

t

u

r

e

/

c

h

e

c

k

p

o

i

n

t

i

n

g

.

p

y

)




-

 

[

C

r

o

s

s

 

v

a

l

i

d

a

t

i

o

n

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

a

c

c

e

l

e

r

a

t

e

/

b

l

o

b

/

m

a

i

n

/

e

x

a

m

p

l

e

s

/

b

y

_

f

e

a

t

u

r

e

/

c

r

o

s

s

_

v

a

l

i

d

a

t

i

o

n

.

p

y

)




-

 

[

D

e

e

p

S

p

e

e

d

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

a

c

c

e

l

e

r

a

t

e

/

b

l

o

b

/

m

a

i

n

/

e

x

a

m

p

l

e

s

/

b

y

_

f

e

a

t

u

r

e

/

d

e

e

p

s

p

e

e

d

_

w

i

t

h

_

c

o

n

f

i

g

_

s

u

p

p

o

r

t

.

p

y

)




-

 

[

F

u

l

l

y

 

S

h

a

r

d

e

d

 

D

a

t

a

 

P

a

r

a

l

l

e

l

i

s

m

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

a

c

c

e

l

e

r

a

t

e

/

b

l

o

b

/

m

a

i

n

/

e

x

a

m

p

l

e

s

/

b

y

_

f

e

a

t

u

r

e

/

f

s

d

p

_

w

i

t

h

_

p

e

a

k

_

m

e

m

_

t

r

a

c

k

i

n

g

.

p

y

)




-

 

[

G

r

a

d

i

e

n

t

 

a

c

c

u

m

u

l

a

t

i

o

n

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

a

c

c

e

l

e

r

a

t

e

/

b

l

o

b

/

m

a

i

n

/

e

x

a

m

p

l

e

s

/

b

y

_

f

e

a

t

u

r

e

/

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

.

p

y

)




-

 

[

M

e

m

o

r

y

-

a

w

a

r

e

 

b

a

t

c

h

 

s

i

z

e

 

f

i

n

d

e

r

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

a

c

c

e

l

e

r

a

t

e

/

b

l

o

b

/

m

a

i

n

/

e

x

a

m

p

l

e

s

/

b

y

_

f

e

a

t

u

r

e

/

m

e

m

o

r

y

.

p

y

)




-

 

[

M

e

t

r

i

c

 

C

o

m

p

u

t

a

t

i

o

n

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

a

c

c

e

l

e

r

a

t

e

/

b

l

o

b

/

m

a

i

n

/

e

x

a

m

p

l

e

s

/

b

y

_

f

e

a

t

u

r

e

/

m

u

l

t

i

_

p

r

o

c

e

s

s

_

m

e

t

r

i

c

s

.

p

y

)




-

 

[

U

s

i

n

g

 

T

r

a

c

k

e

r

s

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

a

c

c

e

l

e

r

a

t

e

/

b

l

o

b

/

m

a

i

n

/

e

x

a

m

p

l

e

s

/

b

y

_

f

e

a

t

u

r

e

/

t

r

a

c

k

i

n

g

.

p

y

)




-

 

[

U

s

i

n

g

 

M

e

g

a

t

r

o

n

-

L

M

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

a

c

c

e

l

e

r

a

t

e

/

b

l

o

b

/

m

a

i

n

/

e

x

a

m

p

l

e

s

/

b

y

_

f

e

a

t

u

r

e

/

m

e

g

a

t

r

o

n

_

l

m

_

g

p

t

_

p

r

e

t

r

a

i

n

i

n

g

.

p

y

)







#

#

#

 

F

u

l

l

 

E

x

a

m

p

l

e

s

 







T

h

e

s

e

 

e

x

a

m

p

l

e

s

 

s

h

o

w

c

a

s

e

 

e

v

e

r

y

 

f

e

a

t

u

r

e

 

i

n

 

A

c

c

e

l

e

r

a

t

e

 

a

t

 

o

n

c

e

 

t

h

a

t

 

w

a

s

 

s

h

o

w

n

 

i

n

 

"

F

e

a

t

u

r

e

 

S

p

e

c

i

f

i

c

 

E

x

a

m

p

l

e

s

"







-

 

[

C

o

m

p

l

e

t

e

 

N

L

P

 

e

x

a

m

p

l

e

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

a

c

c

e

l

e

r

a

t

e

/

b

l

o

b

/

m

a

i

n

/

e

x

a

m

p

l

e

s

/

c

o

m

p

l

e

t

e

_

n

l

p

_

e

x

a

m

p

l

e

.

p

y

)




-

 

[

C

o

m

p

l

e

t

e

 

c

o

m

p

u

t

e

r

 

v

i

s

i

o

n

 

e

x

a

m

p

l

e

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

a

c

c

e

l

e

r

a

t

e

/

b

l

o

b

/

m

a

i

n

/

e

x

a

m

p

l

e

s

/

c

o

m

p

l

e

t

e

_

c

v

_

e

x

a

m

p

l

e

.

p

y

)




-

 

[

V

e

r

y

 

c

o

m

p

l

e

t

e

 

a

n

d

 

e

x

t

e

n

s

i

b

l

e

 

v

i

s

i

o

n

 

e

x

a

m

p

l

e

 

s

h

o

w

c

a

s

i

n

g

 

S

L

U

R

M

,

 

h

y

d

r

a

,

 

a

n

d

 

a

 

v

e

r

y

 

e

x

t

e

n

s

i

b

l

e

 

u

s

a

g

e

 

o

f

 

t

h

e

 

f

r

a

m

e

w

o

r

k

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

y

u

v

a

l

k

i

r

s

t

a

i

n

/

P

i

c

k

S

c

o

r

e

)




-

 

[

C

a

u

s

a

l

 

l

a

n

g

u

a

g

e

 

m

o

d

e

l

 

f

i

n

e

-

t

u

n

i

n

g

 

e

x

a

m

p

l

e

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

t

r

a

n

s

f

o

r

m

e

r

s

/

b

l

o

b

/

m

a

i

n

/

e

x

a

m

p

l

e

s

/

p

y

t

o

r

c

h

/

l

a

n

g

u

a

g

e

-

m

o

d

e

l

i

n

g

/

r

u

n

_

c

l

m

_

n

o

_

t

r

a

i

n

e

r

.

p

y

)




-

 

[

M

a

s

k

e

d

 

l

a

n

g

u

a

g

e

 

m

o

d

e

l

 

f

i

n

e

-

t

u

n

i

n

g

 

e

x

a

m

p

l

e

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

t

r

a

n

s

f

o

r

m

e

r

s

/

b

l

o

b

/

m

a

i

n

/

e

x

a

m

p

l

e

s

/

p

y

t

o

r

c

h

/

l

a

n

g

u

a

g

e

-

m

o

d

e

l

i

n

g

/

r

u

n

_

m

l

m

_

n

o

_

t

r

a

i

n

e

r

.

p

y

)




-

 

[

S

p

e

e

c

h

 

p

r

e

t

r

a

i

n

i

n

g

 

e

x

a

m

p

l

e

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

t

r

a

n

s

f

o

r

m

e

r

s

/

b

l

o

b

/

m

a

i

n

/

e

x

a

m

p

l

e

s

/

p

y

t

o

r

c

h

/

s

p

e

e

c

h

-

p

r

e

t

r

a

i

n

i

n

g

/

r

u

n

_

w

a

v

2

v

e

c

2

_

p

r

e

t

r

a

i

n

i

n

g

_

n

o

_

t

r

a

i

n

e

r

.

p

y

)




-

 

[

T

r

a

n

s

l

a

t

i

o

n

 

f

i

n

e

-

t

u

n

i

n

g

 

e

x

a

m

p

l

e

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

t

r

a

n

s

f

o

r

m

e

r

s

/

b

l

o

b

/

m

a

i

n

/

e

x

a

m

p

l

e

s

/

p

y

t

o

r

c

h

/

t

r

a

n

s

l

a

t

i

o

n

/

r

u

n

_

t

r

a

n

s

l

a

t

i

o

n

_

n

o

_

t

r

a

i

n

e

r

.

p

y

)




-

 

[

T

e

x

t

 

c

l

a

s

s

i

f

i

c

a

t

i

o

n

 

f

i

n

e

-

t

u

n

i

n

g

 

e

x

a

m

p

l

e

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

t

r

a

n

s

f

o

r

m

e

r

s

/

b

l

o

b

/

m

a

i

n

/

e

x

a

m

p

l

e

s

/

p

y

t

o

r

c

h

/

t

e

x

t

-

c

l

a

s

s

i

f

i

c

a

t

i

o

n

/

r

u

n

_

g

l

u

e

_

n

o

_

t

r

a

i

n

e

r

.

p

y

)




-

 

[

S

e

m

a

n

t

i

c

 

s

e

g

m

e

n

t

a

t

i

o

n

 

f

i

n

e

-

t

u

n

i

n

g

 

e

x

a

m

p

l

e

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

t

r

a

n

s

f

o

r

m

e

r

s

/

b

l

o

b

/

m

a

i

n

/

e

x

a

m

p

l

e

s

/

p

y

t

o

r

c

h

/

s

e

m

a

n

t

i

c

-

s

e

g

m

e

n

t

a

t

i

o

n

/

r

u

n

_

s

e

m

a

n

t

i

c

_

s

e

g

m

e

n

t

a

t

i

o

n

_

n

o

_

t

r

a

i

n

e

r

.

p

y

)




-

 

[

Q

u

e

s

t

i

o

n

 

a

n

s

w

e

r

i

n

g

 

f

i

n

e

-

t

u

n

i

n

g

 

e

x

a

m

p

l

e

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

t

r

a

n

s

f

o

r

m

e

r

s

/

b

l

o

b

/

m

a

i

n

/

e

x

a

m

p

l

e

s

/

p

y

t

o

r

c

h

/

q

u

e

s

t

i

o

n

-

a

n

s

w

e

r

i

n

g

/

r

u

n

_

q

a

_

n

o

_

t

r

a

i

n

e

r

.

p

y

)




-

 

[

B

e

a

m

 

s

e

a

r

c

h

 

q

u

e

s

t

i

o

n

 

a

n

s

w

e

r

i

n

g

 

f

i

n

e

-

t

u

n

i

n

g

 

e

x

a

m

p

l

e

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

t

r

a

n

s

f

o

r

m

e

r

s

/

b

l

o

b

/

m

a

i

n

/

e

x

a

m

p

l

e

s

/

p

y

t

o

r

c

h

/

q

u

e

s

t

i

o

n

-

a

n

s

w

e

r

i

n

g

/

r

u

n

_

q

a

_

b

e

a

m

_

s

e

a

r

c

h

_

n

o

_

t

r

a

i

n

e

r

.

p

y

)




-

 

[

M

u

l

t

i

p

l

e

 

c

h

o

i

c

e

 

q

u

e

s

t

i

o

n

 

a

n

s

w

e

r

i

n

g

 

f

i

n

e

-

t

u

n

i

n

g

 

e

x

a

m

p

l

e

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

t

r

a

n

s

f

o

r

m

e

r

s

/

b

l

o

b

/

m

a

i

n

/

e

x

a

m

p

l

e

s

/

p

y

t

o

r

c

h

/

m

u

l

t

i

p

l

e

-

c

h

o

i

c

e

/

r

u

n

_

s

w

a

g

_

n

o

_

t

r

a

i

n

e

r

.

p

y

)




-

 

[

N

a

m

e

d

 

e

n

t

i

t

y

 

r

e

c

o

g

n

i

t

i

o

n

 

f

i

n

e

-

t

u

n

i

n

g

 

e

x

a

m

p

l

e

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

t

r

a

n

s

f

o

r

m

e

r

s

/

b

l

o

b

/

m

a

i

n

/

e

x

a

m

p

l

e

s

/

p

y

t

o

r

c

h

/

t

o

k

e

n

-

c

l

a

s

s

i

f

i

c

a

t

i

o

n

/

r

u

n

_

n

e

r

_

n

o

_

t

r

a

i

n

e

r

.

p

y

)




-

 

[

I

m

a

g

e

 

c

l

a

s

s

i

f

i

c

a

t

i

o

n

 

f

i

n

e

-

t

u

n

i

n

g

 

e

x

a

m

p

l

e

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

t

r

a

n

s

f

o

r

m

e

r

s

/

b

l

o

b

/

m

a

i

n

/

e

x

a

m

p

l

e

s

/

p

y

t

o

r

c

h

/

i

m

a

g

e

-

c

l

a

s

s

i

f

i

c

a

t

i

o

n

/

r

u

n

_

i

m

a

g

e

_

c

l

a

s

s

i

f

i

c

a

t

i

o

n

_

n

o

_

t

r

a

i

n

e

r

.

p

y

)




-

 

[

S

u

m

m

a

r

i

z

a

t

i

o

n

 

f

i

n

e

-

t

u

n

i

n

g

 

e

x

a

m

p

l

e

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

t

r

a

n

s

f

o

r

m

e

r

s

/

b

l

o

b

/

m

a

i

n

/

e

x

a

m

p

l

e

s

/

p

y

t

o

r

c

h

/

s

u

m

m

a

r

i

z

a

t

i

o

n

/

r

u

n

_

s

u

m

m

a

r

i

z

a

t

i

o

n

_

n

o

_

t

r

a

i

n

e

r

.

p

y

)




-

 

[

E

n

d

-

t

o

-

e

n

d

 

e

x

a

m

p

l

e

s

 

o

n

 

h

o

w

 

t

o

 

u

s

e

 

A

W

S

 

S

a

g

e

M

a

k

e

r

 

i

n

t

e

g

r

a

t

i

o

n

 

o

f

 

A

c

c

e

l

e

r

a

t

e

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

n

o

t

e

b

o

o

k

s

/

b

l

o

b

/

m

a

i

n

/

s

a

g

e

m

a

k

e

r

/

2

2

_

a

c

c

e

l

e

r

a

t

e

_

s

a

g

e

m

a

k

e

r

_

e

x

a

m

p

l

e

s

/

R

E

A

D

M

E

.

m

d

)




-

 

[

M

e

g

a

t

r

o

n

-

L

M

 

e

x

a

m

p

l

e

s

 

f

o

r

 

v

a

r

i

o

u

s

 

N

L

p

 

t

a

s

k

s

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

p

a

c

m

a

n

1

0

0

/

a

c

c

e

l

e

r

a

t

e

-

m

e

g

a

t

r

o

n

-

t

e

s

t

)

 







#

#

 

I

n

t

e

g

r

a

t

i

o

n

 

E

x

a

m

p

l

e

s

 







T

h

e

s

e

 

a

r

e

 

t

u

t

o

r

i

a

l

s

 

f

r

o

m

 

l

i

b

r

a

r

i

e

s

 

t

h

a

t

 

i

n

t

e

g

r

a

t

e

 

w

i

t

h

 

A

c

c

e

l

e

r

a

t

e

:

 







>

 

D

o

n

'

t

 

f

i

n

d

 

y

o

u

r

 

i

n

t

e

g

r

a

t

i

o

n

 

h

e

r

e

?

 

M

a

k

e

 

a

 

P

R

 

t

o

 

i

n

c

l

u

d

e

 

i

t

!







#

#

#

 

A

m

p

h

i

o

n




-

 

[

T

r

a

i

n

i

n

g

 

T

e

x

t

-

t

o

-

S

p

e

e

c

h

 

M

o

d

e

l

s

 

w

i

t

h

 

A

m

p

h

i

o

n

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

o

p

e

n

-

m

m

l

a

b

/

A

m

p

h

i

o

n

/

b

l

o

b

/

m

a

i

n

/

e

g

s

/

t

t

s

/

R

E

A

D

M

E

.

m

d

)




-

 

[

T

r

a

i

n

i

n

g

 

S

i

n

g

i

n

g

 

V

o

i

c

e

 

C

o

n

v

e

r

s

i

o

n

 

M

o

d

e

l

s

 

w

i

t

h

 

A

m

p

h

i

o

n

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

o

p

e

n

-

m

m

l

a

b

/

A

m

p

h

i

o

n

/

b

l

o

b

/

m

a

i

n

/

e

g

s

/

s

v

c

/

R

E

A

D

M

E

.

m

d

)




-

 

[

T

r

a

i

n

i

n

g

 

V

o

c

o

d

e

r

s

 

w

i

t

h

 

A

m

p

h

i

o

n

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

o

p

e

n

-

m

m

l

a

b

/

A

m

p

h

i

o

n

/

b

l

o

b

/

m

a

i

n

/

e

g

s

/

v

o

c

o

d

e

r

/

R

E

A

D

M

E

.

m

d

)







#

#

#

 

C

a

t

a

l

y

s

t







-

 

[

D

i

s

t

r

i

b

u

t

e

d

 

t

r

a

i

n

i

n

g

 

t

u

t

o

r

i

a

l

 

w

i

t

h

 

C

a

t

a

l

y

s

t

]

(

h

t

t

p

s

:

/

/

c

a

t

a

l

y

s

t

-

t

e

a

m

.

g

i

t

h

u

b

.

i

o

/

c

a

t

a

l

y

s

t

/

t

u

t

o

r

i

a

l

s

/

d

d

p

.

h

t

m

l

)







#

#

#

 

D

A

L

L

E

2

-

p

y

t

o

r

c

h

 







-

 

[

F

i

n

e

-

t

u

n

i

n

g

 

D

A

L

L

E

2

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

l

u

c

i

d

r

a

i

n

s

/

D

A

L

L

E

2

-

p

y

t

o

r

c

h

#

u

s

a

g

e

)







#

#

#

 

D

i

f

f

u

s

e

r

s







-

 

[

P

e

r

f

o

r

m

i

n

g

 

t

e

x

t

u

a

l

 

i

n

v

e

r

s

i

o

n

 

w

i

t

h

 

d

i

f

f

u

s

e

r

s

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

d

i

f

f

u

s

e

r

s

/

t

r

e

e

/

m

a

i

n

/

e

x

a

m

p

l

e

s

/

t

e

x

t

u

a

l

_

i

n

v

e

r

s

i

o

n

)




-

 

[

T

r

a

i

n

i

n

g

 

D

r

e

a

m

B

o

o

t

h

 

w

i

t

h

 

d

i

f

f

u

s

e

r

s

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

d

i

f

f

u

s

e

r

s

/

t

r

e

e

/

m

a

i

n

/

e

x

a

m

p

l

e

s

/

d

r

e

a

m

b

o

o

t

h

)







#

#

#

 

f

a

s

t

a

i

 







-

 

[

D

i

s

t

r

i

b

u

t

e

d

 

t

r

a

i

n

i

n

g

 

f

r

o

m

 

J

u

p

y

t

e

r

 

N

o

t

e

b

o

o

k

s

 

w

i

t

h

 

f

a

s

t

a

i

]

(

h

t

t

p

s

:

/

/

d

o

c

s

.

f

a

s

t

.

a

i

/

t

u

t

o

r

i

a

l

.

d

i

s

t

r

i

b

u

t

e

d

.

h

t

m

l

)




-

 

[

B

a

s

i

c

 

d

i

s

t

r

i

b

u

t

e

d

 

t

r

a

i

n

i

n

g

 

e

x

a

m

p

l

e

s

 

w

i

t

h

 

f

a

s

t

a

i

]

(

h

t

t

p

s

:

/

/

d

o

c

s

.

f

a

s

t

.

a

i

/

e

x

a

m

p

l

e

s

/

d

i

s

t

r

i

b

u

t

e

d

_

a

p

p

_

e

x

a

m

p

l

e

s

.

h

t

m

l

)







#

#

#

 

G

r

a

d

s

F

l

o

w







-

 

[

A

u

t

o

 

I

m

a

g

e

 

C

l

a

s

s

i

f

i

c

a

t

i

o

n

 

w

i

t

h

 

G

r

a

d

s

F

l

o

w

]

(

h

t

t

p

s

:

/

/

d

o

c

s

.

g

r

a

d

s

f

l

o

w

.

c

o

m

/

e

n

/

l

a

t

e

s

t

/

e

x

a

m

p

l

e

s

/

n

b

s

/

0

1

-

I

m

a

g

e

C

l

a

s

s

i

f

i

c

a

t

i

o

n

/

)







#

#

#

 

i

m

a

g

e

n

-

p

y

t

o

r

c

h

 







-

 

[

F

i

n

e

-

t

u

n

i

n

g

 

I

m

a

g

e

n

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

l

u

c

i

d

r

a

i

n

s

/

i

m

a

g

e

n

-

p

y

t

o

r

c

h

#

u

s

a

g

e

)







#

#

#

 

K

o

r

n

i

a







-

 

[

F

i

n

e

-

t

u

n

i

n

g

 

v

i

s

i

o

n

 

m

o

d

e

l

s

 

w

i

t

h

 

K

o

r

n

i

a

'

s

 

T

r

a

i

n

e

r

]

(

h

t

t

p

s

:

/

/

k

o

r

n

i

a

.

r

e

a

d

t

h

e

d

o

c

s

.

i

o

/

e

n

/

l

a

t

e

s

t

/

g

e

t

-

s

t

a

r

t

e

d

/

t

r

a

i

n

i

n

g

.

h

t

m

l

)







#

#

#

 

P

y

T

o

r

c

h

 

A

c

c

e

l

e

r

a

t

e

d

 







-

 

[

Q

u

i

c

k

s

t

a

r

t

 

d

i

s

t

r

i

b

u

t

e

d

 

t

r

a

i

n

i

n

g

 

t

u

t

o

r

i

a

l

 

w

i

t

h

 

P

y

T

o

r

c

h

 

A

c

c

e

l

e

r

a

t

e

d

]

(

h

t

t

p

s

:

/

/

p

y

t

o

r

c

h

-

a

c

c

e

l

e

r

a

t

e

d

.

r

e

a

d

t

h

e

d

o

c

s

.

i

o

/

e

n

/

l

a

t

e

s

t

/

q

u

i

c

k

s

t

a

r

t

.

h

t

m

l

)







#

#

#

 

P

y

T

o

r

c

h

3

D







-

 

[

P

e

r

f

o

r

m

 

D

e

e

p

 

L

e

a

r

n

i

n

g

 

w

i

t

h

 

3

D

 

d

a

t

a

]

(

h

t

t

p

s

:

/

/

p

y

t

o

r

c

h

3

d

.

o

r

g

/

t

u

t

o

r

i

a

l

s

/

)







#

#

#

 

S

t

a

b

l

e

-

D

r

e

a

m

f

u

s

i

o

n







-

 

[

T

r

a

i

n

i

n

g

 

w

i

t

h

 

S

t

a

b

l

e

-

D

r

e

a

m

f

u

s

i

o

n

 

t

o

 

c

o

n

v

e

r

t

 

t

e

x

t

 

t

o

 

a

 

3

D

 

m

o

d

e

l

]

(

h

t

t

p

s

:

/

/

c

o

l

a

b

.

r

e

s

e

a

r

c

h

.

g

o

o

g

l

e

.

c

o

m

/

d

r

i

v

e

/

1

M

X

T

3

y

f

O

F

v

O

0

o

o

K

E

f

i

U

U

v

T

K

w

U

k

r

r

l

C

H

p

F

?

u

s

p

=

s

h

a

r

i

n

g

)







#

#

#

 

T

e

z

 







-

 

[

L

e

a

f

 

d

i

s

e

a

s

e

 

d

e

t

e

c

t

i

o

n

 

w

i

t

h

 

T

e

z

 

a

n

d

 

A

c

c

e

l

e

r

a

t

e

]

(

h

t

t

p

s

:

/

/

w

w

w

.

k

a

g

g

l

e

.

c

o

m

/

c

o

d

e

/

a

b

h

i

s

h

e

k

/

t

e

z

-

f

a

s

t

e

r

-

a

n

d

-

e

a

s

i

e

r

-

t

r

a

i

n

i

n

g

-

f

o

r

-

l

e

a

f

-

d

e

t

e

c

t

i

o

n

/

n

o

t

e

b

o

o

k

)







#

#

#

 

t

r

l

x

 







-

 

[

H

o

w

 

t

o

 

i

m

p

l

e

m

e

n

t

 

a

 

s

e

n

t

i

m

e

n

t

 

l

e

a

r

n

i

n

g

 

t

a

s

k

 

w

i

t

h

 

t

r

l

x

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

C

a

r

p

e

r

A

I

/

t

r

l

x

#

e

x

a

m

p

l

e

-

h

o

w

-

t

o

-

a

d

d

-

a

-

t

a

s

k

)







#

#

#

 

C

o

m

f

y

-

U

I







-

 

[

E

n

a

b

l

i

n

g

 

u

s

i

n

g

 

l

a

r

g

e

 

S

t

a

b

l

e

 

D

i

f

f

u

s

i

o

n

 

M

o

d

e

l

s

 

i

n

 

l

o

w

-

v

r

a

m

 

s

e

t

t

i

n

g

s

 

u

s

i

n

g

 

A

c

c

e

l

e

r

a

t

e

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

c

o

m

f

y

a

n

o

n

y

m

o

u

s

/

C

o

m

f

y

U

I

/

b

l

o

b

/

m

a

s

t

e

r

/

c

o

m

f

y

/

m

o

d

e

l

_

m

a

n

a

g

e

m

e

n

t

.

p

y

#

L

2

9

1

-

L

2

9

6

)










#

#

 

I

n

 

S

c

i

e

n

c

e







B

e

l

o

w

 

c

o

n

t

a

i

n

s

 

a

 

n

o

n

-

e

x

h

a

u

s

t

i

v

e

 

l

i

s

t

 

o

f

 

p

a

p

e

r

s

 

u

t

i

l

i

z

i

n

g

 

A

c

c

e

l

e

r

a

t

e

.

 







>

 

D

o

n

'

t

 

f

i

n

d

 

y

o

u

r

 

p

a

p

e

r

 

h

e

r

e

?

 

M

a

k

e

 

a

 

P

R

 

t

o

 

i

n

c

l

u

d

e

 

i

t

!







*

 

Y

u

v

a

l

 

K

i

r

s

t

a

i

n

,

 

A

d

a

m

 

P

o

l

y

a

k

,

 

U

r

i

e

l

 

S

i

n

g

e

r

,

 

S

h

a

h

b

u

l

a

n

d

 

M

a

t

i

a

n

a

,

 

J

o

e

 

P

e

n

n

a

,

 

O

m

e

r

 

L

e

v

y

:

 

“

P

i

c

k

-

a

-

P

i

c

:

 

A

n

 

O

p

e

n

 

D

a

t

a

s

e

t

 

o

f

 

U

s

e

r

 

P

r

e

f

e

r

e

n

c

e

s

 

f

o

r

 

T

e

x

t

-

t

o

-

I

m

a

g

e

 

G

e

n

e

r

a

t

i

o

n

”

,

 

2

0

2

3

;

 

[

a

r

X

i

v

:

2

3

0

5

.

0

1

5

6

9

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

3

0

5

.

0

1

5

6

9

)

.




*

 

L

e

i

 

W

a

n

g

,

 

W

a

n

y

u

 

X

u

,

 

Y

i

h

u

a

i

 

L

a

n

,

 

Z

h

i

q

i

a

n

g

 

H

u

,

 

Y

u

n

s

h

i

 

L

a

n

,

 

R

o

y

 

K

a

-

W

e

i

 

L

e

e

,

 

E

e

-

P

e

n

g

 

L

i

m

:

 

“

P

l

a

n

-

a

n

d

-

S

o

l

v

e

 

P

r

o

m

p

t

i

n

g

:

 

I

m

p

r

o

v

i

n

g

 

Z

e

r

o

-

S

h

o

t

 

C

h

a

i

n

-

o

f

-

T

h

o

u

g

h

t

 

R

e

a

s

o

n

i

n

g

 

b

y

 

L

a

r

g

e

 

L

a

n

g

u

a

g

e

 

M

o

d

e

l

s

”

,

 

2

0

2

3

;

 

[

a

r

X

i

v

:

2

3

0

5

.

0

4

0

9

1

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

3

0

5

.

0

4

0

9

1

)

.




*

 

A

r

t

h

u

r

 

C

â

m

a

r

a

,

 

C

l

a

u

d

i

a

 

H

a

u

f

f

:

 

“

M

o

v

i

n

g

 

S

t

u

f

f

 

A

r

o

u

n

d

:

 

A

 

s

t

u

d

y

 

o

n

 

e

f

f

i

c

i

e

n

c

y

 

o

f

 

m

o

v

i

n

g

 

d

o

c

u

m

e

n

t

s

 

i

n

t

o

 

m

e

m

o

r

y

 

f

o

r

 

N

e

u

r

a

l

 

I

R

 

m

o

d

e

l

s

”

,

 

2

0

2

2

;

 

[

a

r

X

i

v

:

2

2

0

5

.

0

8

3

4

3

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

2

0

5

.

0

8

3

4

3

)

.




*

 

Y

i

n

g

 

S

h

e

n

g

,

 

L

i

a

n

m

i

n

 

Z

h

e

n

g

,

 

B

i

n

h

a

n

g

 

Y

u

a

n

,

 

Z

h

u

o

h

a

n

 

L

i

,

 

M

a

x

 

R

y

a

b

i

n

i

n

,

 

D

a

n

i

e

l

 

Y

.

 

F

u

,

 

Z

h

i

q

i

a

n

g

 

X

i

e

,

 

B

e

i

d

i

 

C

h

e

n

,

 

C

l

a

r

k

 

B

a

r

r

e

t

t

,

 

J

o

s

e

p

h

 

E

.

 

G

o

n

z

a

l

e

z

,

 

P

e

r

c

y

 

L

i

a

n

g

,

 

C

h

r

i

s

t

o

p

h

e

r

 

R

é

,

 

I

o

n

 

S

t

o

i

c

a

,

 

C

e

 

Z

h

a

n

g

:

 

“

H

i

g

h

-

t

h

r

o

u

g

h

p

u

t

 

G

e

n

e

r

a

t

i

v

e

 

I

n

f

e

r

e

n

c

e

 

o

f

 

L

a

r

g

e

 

L

a

n

g

u

a

g

e

 

M

o

d

e

l

s

 

w

i

t

h

 

a

 

S

i

n

g

l

e

 

G

P

U

”

,

 

2

0

2

3

;

 

[

a

r

X

i

v

:

2

3

0

3

.

0

6

8

6

5

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

3

0

3

.

0

6

8

6

5

)

.




*

 

P

e

t

e

r

 

M

e

l

c

h

i

o

r

,

 

Y

a

n

 

L

i

a

n

g

,

 

C

h

a

n

g

H

o

o

n

 

H

a

h

n

,

 

A

n

d

y

 

G

o

u

l

d

i

n

g

:

 

“

A

u

t

o

e

n

c

o

d

i

n

g

 

G

a

l

a

x

y

 

S

p

e

c

t

r

a

 

I

:

 

A

r

c

h

i

t

e

c

t

u

r

e

”

,

 

2

0

2

2

;

 

[

a

r

X

i

v

:

2

2

1

1

.

0

7

8

9

0

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

2

1

1

.

0

7

8

9

0

)

.




*

 

J

i

a

a

o

 

C

h

e

n

,

 

A

s

t

o

n

 

Z

h

a

n

g

,

 

M

u

 

L

i

,

 

A

l

e

x

 

S

m

o

l

a

,

 

D

i

y

i

 

Y

a

n

g

:

 

“

A

 

C

h

e

a

p

e

r

 

a

n

d

 

B

e

t

t

e

r

 

D

i

f

f

u

s

i

o

n

 

L

a

n

g

u

a

g

e

 

M

o

d

e

l

 

w

i

t

h

 

S

o

f

t

-

M

a

s

k

e

d

 

N

o

i

s

e

”

,

 

2

0

2

3

;

 

[

a

r

X

i

v

:

2

3

0

4

.

0

4

7

4

6

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

3

0

4

.

0

4

7

4

6

)

.




*

 

A

y

a

a

n

 

H

a

q

u

e

,

 

M

a

t

t

h

e

w

 

T

a

n

c

i

k

,

 

A

l

e

x

e

i

 

A

.

 

E

f

r

o

s

,

 

A

l

e

k

s

a

n

d

e

r

 

H

o

l

y

n

s

k

i

,

 

A

n

g

j

o

o

 

K

a

n

a

z

a

w

a

:

 

“

I

n

s

t

r

u

c

t

-

N

e

R

F

2

N

e

R

F

:

 

E

d

i

t

i

n

g

 

3

D

 

S

c

e

n

e

s

 

w

i

t

h

 

I

n

s

t

r

u

c

t

i

o

n

s

”

,

 

2

0

2

3

;

 

[

a

r

X

i

v

:

2

3

0

3

.

1

2

7

8

9

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

3

0

3

.

1

2

7

8

9

)

.




*

 

L

u

k

e

 

M

e

l

a

s

-

K

y

r

i

a

z

i

,

 

C

h

r

i

s

t

i

a

n

 

R

u

p

p

r

e

c

h

t

,

 

I

r

o

 

L

a

i

n

a

,

 

A

n

d

r

e

a

 

V

e

d

a

l

d

i

:

 

“

R

e

a

l

F

u

s

i

o

n

:

 

3

6

0

°

 

R

e

c

o

n

s

t

r

u

c

t

i

o

n

 

o

f

 

A

n

y

 

O

b

j

e

c

t

 

f

r

o

m

 

a

 

S

i

n

g

l

e

 

I

m

a

g

e

”

,

 

2

0

2

3

;

 

[

a

r

X

i

v

:

2

3

0

2

.

1

0

6

6

3

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

3

0

2

.

1

0

6

6

3

)

.




*

 

X

i

a

o

s

h

i

 

W

u

,

 

K

e

q

i

a

n

g

 

S

u

n

,

 

F

e

n

g

 

Z

h

u

,

 

R

u

i

 

Z

h

a

o

,

 

H

o

n

g

s

h

e

n

g

 

L

i

:

 

“

B

e

t

t

e

r

 

A

l

i

g

n

i

n

g

 

T

e

x

t

-

t

o

-

I

m

a

g

e

 

M

o

d

e

l

s

 

w

i

t

h

 

H

u

m

a

n

 

P

r

e

f

e

r

e

n

c

e

”

,

 

2

0

2

3

;

 

[

a

r

X

i

v

:

2

3

0

3

.

1

4

4

2

0

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

3

0

3

.

1

4

4

2

0

)

.




*

 

Y

o

n

g

l

i

a

n

g

 

S

h

e

n

,

 

K

a

i

t

a

o

 

S

o

n

g

,

 

X

u

 

T

a

n

,

 

D

o

n

g

s

h

e

n

g

 

L

i

,

 

W

e

i

m

i

n

g

 

L

u

,

 

Y

u

e

t

i

n

g

 

Z

h

u

a

n

g

:

 

“

H

u

g

g

i

n

g

G

P

T

:

 

S

o

l

v

i

n

g

 

A

I

 

T

a

s

k

s

 

w

i

t

h

 

C

h

a

t

G

P

T

 

a

n

d

 

i

t

s

 

F

r

i

e

n

d

s

 

i

n

 

H

u

g

g

i

n

g

F

a

c

e

”

,

 

2

0

2

3

;

 

[

a

r

X

i

v

:

2

3

0

3

.

1

7

5

8

0

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

3

0

3

.

1

7

5

8

0

)

.




*

 

Y

u

e

 

Y

a

n

g

,

 

W

e

n

l

i

n

 

Y

a

o

,

 

H

o

n

g

m

i

n

g

 

Z

h

a

n

g

,

 

X

i

a

o

y

a

n

g

 

W

a

n

g

,

 

D

o

n

g

 

Y

u

,

 

J

i

a

n

s

h

u

 

C

h

e

n

:

 

“

Z

-

L

a

V

I

:

 

Z

e

r

o

-

S

h

o

t

 

L

a

n

g

u

a

g

e

 

S

o

l

v

e

r

 

F

u

e

l

e

d

 

b

y

 

V

i

s

u

a

l

 

I

m

a

g

i

n

a

t

i

o

n

”

,

 

2

0

2

2

;

 

[

a

r

X

i

v

:

2

2

1

0

.

1

2

2

6

1

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

2

1

0

.

1

2

2

6

1

)

.




*

 

S

h

e

n

g

-

Y

e

n

 

C

h

o

u

,

 

P

i

n

-

Y

u

 

C

h

e

n

,

 

T

s

u

n

g

-

Y

i

 

H

o

:

 

“

H

o

w

 

t

o

 

B

a

c

k

d

o

o

r

 

D

i

f

f

u

s

i

o

n

 

M

o

d

e

l

s

?

”

,

 

2

0

2

2

;

 

[

a

r

X

i

v

:

2

2

1

2

.

0

5

4

0

0

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

2

1

2

.

0

5

4

0

0

)

.




*

 

J

u

n

y

o

u

n

g

 

S

e

o

,

 

W

o

o

s

e

o

k

 

J

a

n

g

,

 

M

i

n

-

S

e

o

p

 

K

w

a

k

,

 

J

a

e

h

o

o

n

 

K

o

,

 

H

y

e

o

n

s

u

 

K

i

m

,

 

J

u

n

h

o

 

K

i

m

,

 

J

i

n

-

H

w

a

 

K

i

m

,

 

J

i

y

o

u

n

g

 

L

e

e

,

 

S

e

u

n

g

r

y

o

n

g

 

K

i

m

:

 

“

L

e

t

 

2

D

 

D

i

f

f

u

s

i

o

n

 

M

o

d

e

l

 

K

n

o

w

 

3

D

-

C

o

n

s

i

s

t

e

n

c

y

 

f

o

r

 

R

o

b

u

s

t

 

T

e

x

t

-

t

o

-

3

D

 

G

e

n

e

r

a

t

i

o

n

”

,

 

2

0

2

3

;

 

[

a

r

X

i

v

:

2

3

0

3

.

0

7

9

3

7

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

3

0

3

.

0

7

9

3

7

)

.




*

 

O

r

 

P

a

t

a

s

h

n

i

k

,

 

D

a

n

i

e

l

 

G

a

r

i

b

i

,

 

I

d

a

n

 

A

z

u

r

i

,

 

H

a

d

a

r

 

A

v

e

r

b

u

c

h

-

E

l

o

r

,

 

D

a

n

i

e

l

 

C

o

h

e

n

-

O

r

:

 

“

L

o

c

a

l

i

z

i

n

g

 

O

b

j

e

c

t

-

l

e

v

e

l

 

S

h

a

p

e

 

V

a

r

i

a

t

i

o

n

s

 

w

i

t

h

 

T

e

x

t

-

t

o

-

I

m

a

g

e

 

D

i

f

f

u

s

i

o

n

 

M

o

d

e

l

s

”

,

 

2

0

2

3

;

 

[

a

r

X

i

v

:

2

3

0

3

.

1

1

3

0

6

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

3

0

3

.

1

1

3

0

6

)

.




*

 

D

í

d

a

c

 

S

u

r

í

s

,

 

S

a

c

h

i

t

 

M

e

n

o

n

,

 

C

a

r

l

 

V

o

n

d

r

i

c

k

:

 

“

V

i

p

e

r

G

P

T

:

 

V

i

s

u

a

l

 

I

n

f

e

r

e

n

c

e

 

v

i

a

 

P

y

t

h

o

n

 

E

x

e

c

u

t

i

o

n

 

f

o

r

 

R

e

a

s

o

n

i

n

g

”

,

 

2

0

2

3

;

 

[

a

r

X

i

v

:

2

3

0

3

.

0

8

1

2

8

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

3

0

3

.

0

8

1

2

8

)

.




*

 

C

h

e

n

y

a

n

g

 

Q

i

,

 

X

i

a

o

d

o

n

g

 

C

u

n

,

 

Y

o

n

g

 

Z

h

a

n

g

,

 

C

h

e

n

y

a

n

g

 

L

e

i

,

 

X

i

n

t

a

o

 

W

a

n

g

,

 

Y

i

n

g

 

S

h

a

n

,

 

Q

i

f

e

n

g

 

C

h

e

n

:

 

“

F

a

t

e

Z

e

r

o

:

 

F

u

s

i

n

g

 

A

t

t

e

n

t

i

o

n

s

 

f

o

r

 

Z

e

r

o

-

s

h

o

t

 

T

e

x

t

-

b

a

s

e

d

 

V

i

d

e

o

 

E

d

i

t

i

n

g

”

,

 

2

0

2

3

;

 

[

a

r

X

i

v

:

2

3

0

3

.

0

9

5

3

5

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

3

0

3

.

0

9

5

3

5

)

.




*

 

S

e

a

n

 

W

e

l

l

e

c

k

,

 

J

i

a

c

h

e

n

g

 

L

i

u

,

 

X

i

m

i

n

g

 

L

u

,

 

H

a

n

n

a

n

e

h

 

H

a

j

i

s

h

i

r

z

i

,

 

Y

e

j

i

n

 

C

h

o

i

:

 

“

N

a

t

u

r

a

l

P

r

o

v

e

r

:

 

G

r

o

u

n

d

e

d

 

M

a

t

h

e

m

a

t

i

c

a

l

 

P

r

o

o

f

 

G

e

n

e

r

a

t

i

o

n

 

w

i

t

h

 

L

a

n

g

u

a

g

e

 

M

o

d

e

l

s

”

,

 

2

0

2

2

;

 

[

a

r

X

i

v

:

2

2

0

5

.

1

2

9

1

0

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

2

0

5

.

1

2

9

1

0

)

.




*

 

E

l

a

d

 

R

i

c

h

a

r

d

s

o

n

,

 

G

a

l

 

M

e

t

z

e

r

,

 

Y

u

v

a

l

 

A

l

a

l

u

f

,

 

R

a

j

a

 

G

i

r

y

e

s

,

 

D

a

n

i

e

l

 

C

o

h

e

n

-

O

r

:

 

“

T

E

X

T

u

r

e

:

 

T

e

x

t

-

G

u

i

d

e

d

 

T

e

x

t

u

r

i

n

g

 

o

f

 

3

D

 

S

h

a

p

e

s

”

,

 

2

0

2

3

;

 

[

a

r

X

i

v

:

2

3

0

2

.

0

1

7

2

1

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

3

0

2

.

0

1

7

2

1

)

.




*

 

P

u

i

j

i

n

 

C

h

e

n

g

,

 

L

i

 

L

i

n

,

 

Y

i

j

i

n

 

H

u

a

n

g

,

 

H

u

a

q

i

n

g

 

H

e

,

 

W

e

n

h

a

n

 

L

u

o

,

 

X

i

a

o

y

i

n

g

 

T

a

n

g

:

 

“

L

e

a

r

n

i

n

g

 

E

n

h

a

n

c

e

m

e

n

t

 

F

r

o

m

 

D

e

g

r

a

d

a

t

i

o

n

:

 

A

 

D

i

f

f

u

s

i

o

n

 

M

o

d

e

l

 

F

o

r

 

F

u

n

d

u

s

 

I

m

a

g

e

 

E

n

h

a

n

c

e

m

e

n

t

”

,

 

2

0

2

3

;

 

[

a

r

X

i

v

:

2

3

0

3

.

0

4

6

0

3

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

3

0

3

.

0

4

6

0

3

)

.




*

 

S

h

u

n

 

S

h

a

o

,

 

Y

f

t

a

h

 

Z

i

s

e

r

,

 

S

h

a

y

 

C

o

h

e

n

:

 

“

E

r

a

s

u

r

e

 

o

f

 

U

n

a

l

i

g

n

e

d

 

A

t

t

r

i

b

u

t

e

s

 

f

r

o

m

 

N

e

u

r

a

l

 

R

e

p

r

e

s

e

n

t

a

t

i

o

n

s

”

,

 

2

0

2

3

;

 

[

a

r

X

i

v

:

2

3

0

2

.

0

2

9

9

7

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

3

0

2

.

0

2

9

9

7

)

.




*

 

S

e

o

n

g

h

y

e

o

n

 

Y

e

,

 

H

y

e

o

n

b

i

n

 

H

w

a

n

g

,

 

S

o

h

e

e

 

Y

a

n

g

,

 

H

y

e

o

n

g

u

 

Y

u

n

,

 

Y

i

r

e

u

n

 

K

i

m

,

 

M

i

n

j

o

o

n

 

S

e

o

:

 

“

I

n

-

C

o

n

t

e

x

t

 

I

n

s

t

r

u

c

t

i

o

n

 

L

e

a

r

n

i

n

g

”

,

 

2

0

2

3

;

 

[

a

r

X

i

v

:

2

3

0

2

.

1

4

6

9

1

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

3

0

2

.

1

4

6

9

1

)

.




*

 

S

h

i

k

u

n

 

L

i

u

,

 

L

i

n

x

i

 

F

a

n

,

 

E

d

w

a

r

d

 

J

o

h

n

s

,

 

Z

h

i

d

i

n

g

 

Y

u

,

 

C

h

a

o

w

e

i

 

X

i

a

o

,

 

A

n

i

m

a

 

A

n

a

n

d

k

u

m

a

r

:

 

“

P

r

i

s

m

e

r

:

 

A

 

V

i

s

i

o

n

-

L

a

n

g

u

a

g

e

 

M

o

d

e

l

 

w

i

t

h

 

A

n

 

E

n

s

e

m

b

l

e

 

o

f

 

E

x

p

e

r

t

s

”

,

 

2

0

2

3

;

 

[

a

r

X

i

v

:

2

3

0

3

.

0

2

5

0

6

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

3

0

3

.

0

2

5

0

6

)

.




*

 

H

a

o

y

u

 

C

h

e

n

,

 

Z

h

i

h

u

a

 

W

a

n

g

,

 

Y

a

n

g

 

Y

a

n

g

,

 

Q

i

l

i

n

 

S

u

n

,

 

K

e

d

e

 

M

a

:

 

“

L

e

a

r

n

i

n

g

 

a

 

D

e

e

p

 

C

o

l

o

r

 

D

i

f

f

e

r

e

n

c

e

 

M

e

t

r

i

c

 

f

o

r

 

P

h

o

t

o

g

r

a

p

h

i

c

 

I

m

a

g

e

s

”

,

 

2

0

2

3

;

 

[

a

r

X

i

v

:

2

3

0

3

.

1

4

9

6

4

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

3

0

3

.

1

4

9

6

4

)

.




*

 

V

a

n

-

H

o

a

n

g

 

L

e

,

 

H

o

n

g

y

u

 

Z

h

a

n

g

:

 

“

L

o

g

 

P

a

r

s

i

n

g

 

w

i

t

h

 

P

r

o

m

p

t

-

b

a

s

e

d

 

F

e

w

-

s

h

o

t

 

L

e

a

r

n

i

n

g

”

,

 

2

0

2

3

;

 

[

a

r

X

i

v

:

2

3

0

2

.

0

7

4

3

5

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

3

0

2

.

0

7

4

3

5

)

.




*

 

K

e

i

t

o

 

K

u

d

o

,

 

Y

o

i

c

h

i

 

A

o

k

i

,

 

T

a

t

s

u

k

i

 

K

u

r

i

b

a

y

a

s

h

i

,

 

A

n

a

 

B

r

a

s

s

a

r

d

,

 

M

a

s

a

s

h

i

 

Y

o

s

h

i

k

a

w

a

,

 

K

e

i

s

u

k

e

 

S

a

k

a

g

u

c

h

i

,

 

K

e

n

t

a

r

o

 

I

n

u

i

:

 

“

D

o

 

D

e

e

p

 

N

e

u

r

a

l

 

N

e

t

w

o

r

k

s

 

C

a

p

t

u

r

e

 

C

o

m

p

o

s

i

t

i

o

n

a

l

i

t

y

 

i

n

 

A

r

i

t

h

m

e

t

i

c

 

R

e

a

s

o

n

i

n

g

?

”

,

 

2

0

2

3

;

 

[

a

r

X

i

v

:

2

3

0

2

.

0

7

8

6

6

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

3

0

2

.

0

7

8

6

6

)

.




*

 

R

u

o

y

a

o

 

W

a

n

g

,

 

P

e

t

e

r

 

J

a

n

s

e

n

,

 

M

a

r

c

-

A

l

e

x

a

n

d

r

e

 

C

ô

t

é

,

 

P

r

i

t

h

v

i

r

a

j

 

A

m

m

a

n

a

b

r

o

l

u

:

 

“

B

e

h

a

v

i

o

r

 

C

l

o

n

e

d

 

T

r

a

n

s

f

o

r

m

e

r

s

 

a

r

e

 

N

e

u

r

o

s

y

m

b

o

l

i

c

 

R

e

a

s

o

n

e

r

s

”

,

 

2

0

2

2

;

 

[

a

r

X

i

v

:

2

2

1

0

.

0

7

3

8

2

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

2

1

0

.

0

7

3

8

2

)

.




*

 

M

a

r

t

i

n

 

W

e

s

s

e

l

,

 

T

o

m

á

š

 

H

o

r

y

c

h

,

 

T

e

r

r

y

 

R

u

a

s

,

 

A

k

i

k

o

 

A

i

z

a

w

a

,

 

B

e

l

a

 

G

i

p

p

,

 

T

i

m

o

 

S

p

i

n

d

e

:

 

“

I

n

t

r

o

d

u

c

i

n

g

 

M

B

I

B

 

-

-

 

t

h

e

 

f

i

r

s

t

 

M

e

d

i

a

 

B

i

a

s

 

I

d

e

n

t

i

f

i

c

a

t

i

o

n

 

B

e

n

c

h

m

a

r

k

 

T

a

s

k

 

a

n

d

 

D

a

t

a

s

e

t

 

C

o

l

l

e

c

t

i

o

n

”

,

 

2

0

2

3

;

 

[

a

r

X

i

v

:

2

3

0

4

.

1

3

1

4

8

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

3

0

4

.

1

3

1

4

8

)

.

 

D

O

I

:

 

[

h

t

t

p

s

:

/

/

d

x

.

d

o

i

.

o

r

g

/

1

0

.

1

1

4

5

/

3

5

3

9

6

1

8

.

3

5

9

1

8

8

2

 

1

0

.

1

1

4

5

/

3

5

3

9

6

1

8

.

3

5

9

1

8

8

2

]

.




*

 

H

i

l

a

 

C

h

e

f

e

r

,

 

Y

u

v

a

l

 

A

l

a

l

u

f

,

 

Y

a

e

l

 

V

i

n

k

e

r

,

 

L

i

o

r

 

W

o

l

f

,

 

D

a

n

i

e

l

 

C

o

h

e

n

-

O

r

:

 

“

A

t

t

e

n

d

-

a

n

d

-

E

x

c

i

t

e

:

 

A

t

t

e

n

t

i

o

n

-

B

a

s

e

d

 

S

e

m

a

n

t

i

c

 

G

u

i

d

a

n

c

e

 

f

o

r

 

T

e

x

t

-

t

o

-

I

m

a

g

e

 

D

i

f

f

u

s

i

o

n

 

M

o

d

e

l

s

”

,

 

2

0

2

3

;

 

[

a

r

X

i

v

:

2

3

0

1

.

1

3

8

2

6

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

3

0

1

.

1

3

8

2

6

)

.




*

 

M

a

r

c

i

o

 

F

o

n

s

e

c

a

,

 

Y

f

t

a

h

 

Z

i

s

e

r

,

 

S

h

a

y

 

B

.

 

C

o

h

e

n

:

 

“

F

a

c

t

o

r

i

z

i

n

g

 

C

o

n

t

e

n

t

 

a

n

d

 

B

u

d

g

e

t

 

D

e

c

i

s

i

o

n

s

 

i

n

 

A

b

s

t

r

a

c

t

i

v

e

 

S

u

m

m

a

r

i

z

a

t

i

o

n

 

o

f

 

L

o

n

g

 

D

o

c

u

m

e

n

t

s

”

,

 

2

0

2

2

;

 

[

a

r

X

i

v

:

2

2

0

5

.

1

2

4

8

6

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

2

0

5

.

1

2

4

8

6

)

.




*

 

E

l

a

d

 

R

i

c

h

a

r

d

s

o

n

,

 

G

a

l

 

M

e

t

z

e

r

,

 

Y

u

v

a

l

 

A

l

a

l

u

f

,

 

R

a

j

a

 

G

i

r

y

e

s

,

 

D

a

n

i

e

l

 

C

o

h

e

n

-

O

r

:

 

“

T

E

X

T

u

r

e

:

 

T

e

x

t

-

G

u

i

d

e

d

 

T

e

x

t

u

r

i

n

g

 

o

f

 

3

D

 

S

h

a

p

e

s

”

,

 

2

0

2

3

;

 

[

a

r

X

i

v

:

2

3

0

2

.

0

1

7

2

1

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

3

0

2

.

0

1

7

2

1

)

.




*

 

T

i

a

n

x

i

n

g

 

H

e

,

 

J

i

n

g

y

u

 

Z

h

a

n

g

,

 

T

i

a

n

l

e

 

W

a

n

g

,

 

S

a

c

h

i

n

 

K

u

m

a

r

,

 

K

y

u

n

g

h

y

u

n

 

C

h

o

,

 

J

a

m

e

s

 

G

l

a

s

s

,

 

Y

u

l

i

a

 

T

s

v

e

t

k

o

v

:

 

“

O

n

 

t

h

e

 

B

l

i

n

d

 

S

p

o

t

s

 

o

f

 

M

o

d

e

l

-

B

a

s

e

d

 

E

v

a

l

u

a

t

i

o

n

 

M

e

t

r

i

c

s

 

f

o

r

 

T

e

x

t

 

G

e

n

e

r

a

t

i

o

n

”

,

 

2

0

2

2

;

 

[

a

r

X

i

v

:

2

2

1

2

.

1

0

0

2

0

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

2

1

2

.

1

0

0

2

0

)

.




*

 

O

r

i

 

R

a

m

,

 

Y

o

a

v

 

L

e

v

i

n

e

,

 

I

t

a

y

 

D

a

l

m

e

d

i

g

o

s

,

 

D

o

r

 

M

u

h

l

g

a

y

,

 

A

m

n

o

n

 

S

h

a

s

h

u

a

,

 

K

e

v

i

n

 

L

e

y

t

o

n

-

B

r

o

w

n

,

 

Y

o

a

v

 

S

h

o

h

a

m

:

 

“

I

n

-

C

o

n

t

e

x

t

 

R

e

t

r

i

e

v

a

l

-

A

u

g

m

e

n

t

e

d

 

L

a

n

g

u

a

g

e

 

M

o

d

e

l

s

”

,

 

2

0

2

3

;

 

[

a

r

X

i

v

:

2

3

0

2

.

0

0

0

8

3

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

3

0

2

.

0

0

0

8

3

)

.




*

 

D

a

c

h

e

n

g

 

L

i

,

 

R

u

l

i

n

 

S

h

a

o

,

 

H

o

n

g

y

i

 

W

a

n

g

,

 

H

a

n

 

G

u

o

,

 

E

r

i

c

 

P

.

 

X

i

n

g

,

 

H

a

o

 

Z

h

a

n

g

:

 

“

M

P

C

F

o

r

m

e

r

:

 

f

a

s

t

,

 

p

e

r

f

o

r

m

a

n

t

 

a

n

d

 

p

r

i

v

a

t

e

 

T

r

a

n

s

f

o

r

m

e

r

 

i

n

f

e

r

e

n

c

e

 

w

i

t

h

 

M

P

C

”

,

 

2

0

2

2

;

 

[

a

r

X

i

v

:

2

2

1

1

.

0

1

4

5

2

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

2

1

1

.

0

1

4

5

2

)

.




*

 

B

a

o

l

i

n

 

P

e

n

g

,

 

M

i

c

h

e

l

 

G

a

l

l

e

y

,

 

P

e

n

g

c

h

e

n

g

 

H

e

,

 

C

h

r

i

s

 

B

r

o

c

k

e

t

t

,

 

L

a

r

s

 

L

i

d

e

n

,

 

E

l

n

a

z

 

N

o

u

r

i

,

 

Z

h

o

u

 

Y

u

,

 

B

i

l

l

 

D

o

l

a

n

,

 

J

i

a

n

f

e

n

g

 

G

a

o

:

 

“

G

O

D

E

L

:

 

L

a

r

g

e

-

S

c

a

l

e

 

P

r

e

-

T

r

a

i

n

i

n

g

 

f

o

r

 

G

o

a

l

-

D

i

r

e

c

t

e

d

 

D

i

a

l

o

g

”

,

 

2

0

2

2

;

 

[

a

r

X

i

v

:

2

2

0

6

.

1

1

3

0

9

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

2

0

6

.

1

1

3

0

9

)

.




*

 

E

g

i

l

 

R

ø

n

n

i

n

g

s

t

a

d

,

 

E

r

i

k

 

V

e

l

l

d

a

l

,

 

L

i

l

j

a

 

Ø

v

r

e

l

i

d

:

 

“

E

n

t

i

t

y

-

L

e

v

e

l

 

S

e

n

t

i

m

e

n

t

 

A

n

a

l

y

s

i

s

 

(

E

L

S

A

)

:

 

A

n

 

e

x

p

l

o

r

a

t

o

r

y

 

t

a

s

k

 

s

u

r

v

e

y

”

,

 

2

0

2

3

,

 

P

r

o

c

e

e

d

i

n

g

s

 

o

f

 

t

h

e

 

2

9

t

h

 

I

n

t

e

r

n

a

t

i

o

n

a

l

 

C

o

n

f

e

r

e

n

c

e

 

o

n

 

C

o

m

p

u

t

a

t

i

o

n

a

l

 

L

i

n

g

u

i

s

t

i

c

s

,

 

2

0

2

2

,

 

p

a

g

e

s

 

6

7

7

3

-

6

7

8

3

;

 

[

a

r

X

i

v

:

2

3

0

4

.

1

4

2

4

1

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

3

0

4

.

1

4

2

4

1

)

.




*

 

C

h

a

r

l

i

e

 

S

n

e

l

l

,

 

I

l

y

a

 

K

o

s

t

r

i

k

o

v

,

 

Y

i

 

S

u

,

 

M

e

n

g

j

i

a

o

 

Y

a

n

g

,

 

S

e

r

g

e

y

 

L

e

v

i

n

e

:

 

“

O

f

f

l

i

n

e

 

R

L

 

f

o

r

 

N

a

t

u

r

a

l

 

L

a

n

g

u

a

g

e

 

G

e

n

e

r

a

t

i

o

n

 

w

i

t

h

 

I

m

p

l

i

c

i

t

 

L

a

n

g

u

a

g

e

 

Q

 

L

e

a

r

n

i

n

g

”

,

 

2

0

2

2

;

 

[

a

r

X

i

v

:

2

2

0

6

.

1

1

8

7

1

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

2

0

6

.

1

1

8

7

1

)

.




*

 

Z

h

i

r

u

o

 

W

a

n

g

,

 

S

h

u

y

a

n

 

Z

h

o

u

,

 

D

a

n

i

e

l

 

F

r

i

e

d

,

 

G

r

a

h

a

m

 

N

e

u

b

i

g

:

 

“

E

x

e

c

u

t

i

o

n

-

B

a

s

e

d

 

E

v

a

l

u

a

t

i

o

n

 

f

o

r

 

O

p

e

n

-

D

o

m

a

i

n

 

C

o

d

e

 

G

e

n

e

r

a

t

i

o

n

”

,

 

2

0

2

2

;

 

[

a

r

X

i

v

:

2

2

1

2

.

1

0

4

8

1

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

2

1

2

.

1

0

4

8

1

)

.




*

 

M

i

n

h

-

L

o

n

g

 

L

u

u

,

 

Z

e

y

i

 

H

u

a

n

g

,

 

E

r

i

c

 

P

.

 

X

i

n

g

,

 

Y

o

n

g

 

J

a

e

 

L

e

e

,

 

H

a

o

h

a

n

 

W

a

n

g

:

 

“

E

x

p

e

d

i

t

i

o

u

s

 

S

a

l

i

e

n

c

y

-

g

u

i

d

e

d

 

M

i

x

-

u

p

 

t

h

r

o

u

g

h

 

R

a

n

d

o

m

 

G

r

a

d

i

e

n

t

 

T

h

r

e

s

h

o

l

d

i

n

g

”

,

 

2

0

2

2

;

 

[

a

r

X

i

v

:

2

2

1

2

.

0

4

8

7

5

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

2

1

2

.

0

4

8

7

5

)

.




*

 

J

u

n

 

H

a

o

 

L

i

e

w

,

 

H

a

n

s

h

u

 

Y

a

n

,

 

D

a

q

u

a

n

 

Z

h

o

u

,

 

J

i

a

s

h

i

 

F

e

n

g

:

 

“

M

a

g

i

c

M

i

x

:

 

S

e

m

a

n

t

i

c

 

M

i

x

i

n

g

 

w

i

t

h

 

D

i

f

f

u

s

i

o

n

 

M

o

d

e

l

s

”

,

 

2

0

2

2

;

 

[

a

r

X

i

v

:

2

2

1

0

.

1

6

0

5

6

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

2

1

0

.

1

6

0

5

6

)

.




*

 

Y

a

q

i

n

g

 

W

a

n

g

,

 

S

u

b

h

a

b

r

a

t

a

 

M

u

k

h

e

r

j

e

e

,

 

X

i

a

o

d

o

n

g

 

L

i

u

,

 

J

i

n

g

 

G

a

o

,

 

A

h

m

e

d

 

H

a

s

s

a

n

 

A

w

a

d

a

l

l

a

h

,

 

J

i

a

n

f

e

n

g

 

G

a

o

:

 

“

L

i

S

T

:

 

L

i

t

e

 

P

r

o

m

p

t

e

d

 

S

e

l

f

-

t

r

a

i

n

i

n

g

 

M

a

k

e

s

 

P

a

r

a

m

e

t

e

r

-

E

f

f

i

c

i

e

n

t

 

F

e

w

-

s

h

o

t

 

L

e

a

r

n

e

r

s

”

,

 

2

0

2

1

;

 

[

a

r

X

i

v

:

2

1

1

0

.

0

6

2

7

4

]

(

h

t

t

p

:

/

/

a

r

x

i

v

.

o

r

g

/

a

b

s

/

2

1

1

0

.

0

6

2

7

4

)

.







#

 

D

D

P

 

C

o

m

m

u

n

i

c

a

t

i

o

n

 

H

o

o

k

s







D

i

s

t

r

i

b

u

t

e

d

 

D

a

t

a

 

P

a

r

a

l

l

e

l

 

(

D

D

P

)

 

c

o

m

m

u

n

i

c

a

t

i

o

n

 

h

o

o

k

s

 

p

r

o

v

i

d

e

 

a

 

g

e

n

e

r

i

c

 

i

n

t

e

r

f

a

c

e

 

t

o

 

c

o

n

t

r

o

l

 

h

o

w

 

g

r

a

d

i

e

n

t

s

 

a

r

e

 

c

o

m

m

u

n

i

c

a

t

e

d

 

a

c

r

o

s

s

 

w

o

r

k

e

r

s

 

b

y

 

o

v

e

r

r

i

d

i

n

g

 

t

h

e

 

v

a

n

i

l

l

a

 

a

l

l

r

e

d

u

c

e

 

i

n

 

`

D

i

s

t

r

i

b

u

t

e

d

D

a

t

a

P

a

r

a

l

l

e

l

`

.

 

A

 

f

e

w

 

b

u

i

l

t

-

i

n

 

c

o

m

m

u

n

i

c

a

t

i

o

n

 

h

o

o

k

s

 

a

r

e

 

p

r

o

v

i

d

e

d

,

 

a

n

d

 

u

s

e

r

s

 

c

a

n

 

e

a

s

i

l

y

 

a

p

p

l

y

 

a

n

y

 

o

f

 

t

h

e

s

e

 

h

o

o

k

s

 

t

o

 

o

p

t

i

m

i

z

e

 

c

o

m

m

u

n

i

c

a

t

i

o

n

.










-

 

*

*

F

P

1

6

 

C

o

m

p

r

e

s

s

i

o

n

 

H

o

o

k

*

*

:

 

C

o

m

p

r

e

s

s

e

s

 

g

r

a

d

i

e

n

t

s

 

b

y

 

c

a

s

t

i

n

g

 

t

h

e

m

 

t

o

 

h

a

l

f

-

p

r

e

c

i

s

i

o

n

 

f

l

o

a

t

i

n

g

-

p

o

i

n

t

 

f

o

r

m

a

t

 

(

`

t

o

r

c

h

.

f

l

o

a

t

1

6

`

)

,

 

r

e

d

u

c

i

n

g

 

c

o

m

m

u

n

i

c

a

t

i

o

n

 

o

v

e

r

h

e

a

d

.




-

 

*

*

B

F

1

6

 

C

o

m

p

r

e

s

s

i

o

n

 

H

o

o

k

*

*

:

 

S

i

m

i

l

a

r

 

t

o

 

F

P

1

6

,

 

b

u

t

 

u

s

e

s

 

t

h

e

 

B

r

a

i

n

 

F

l

o

a

t

i

n

g

 

P

o

i

n

t

 

f

o

r

m

a

t

 

(

`

t

o

r

c

h

.

b

f

l

o

a

t

1

6

`

)

,

 

w

h

i

c

h

 

c

a

n

 

b

e

 

m

o

r

e

 

e

f

f

i

c

i

e

n

t

 

o

n

 

c

e

r

t

a

i

n

 

h

a

r

d

w

a

r

e

.




-

 

*

*

P

o

w

e

r

S

G

D

 

H

o

o

k

*

*

:

 

A

n

 

a

d

v

a

n

c

e

d

 

g

r

a

d

i

e

n

t

 

c

o

m

p

r

e

s

s

i

o

n

 

a

l

g

o

r

i

t

h

m

 

t

h

a

t

 

p

r

o

v

i

d

e

s

 

h

i

g

h

 

c

o

m

p

r

e

s

s

i

o

n

 

r

a

t

e

s

 

a

n

d

 

c

a

n

 

a

c

c

e

l

e

r

a

t

e

 

b

a

n

d

w

i

d

t

h

-

b

o

u

n

d

 

d

i

s

t

r

i

b

u

t

e

d

 

t

r

a

i

n

i

n

g

.







I

n

 

t

h

i

s

 

t

u

t

o

r

i

a

l

,

 

y

o

u

 

w

i

l

l

 

s

e

e

 

h

o

w

 

t

o

 

q

u

i

c

k

l

y

 

s

e

t

 

u

p

 

D

D

P

 

c

o

m

m

u

n

i

c

a

t

i

o

n

 

h

o

o

k

s

 

a

n

d

 

p

e

r

f

o

r

m

 

t

r

a

i

n

i

n

g

 

w

i

t

h

 

t

h

e

 

u

t

i

l

i

t

i

e

s

 

p

r

o

v

i

d

e

d

 

i

n

 

A

c

c

e

l

e

r

a

t

e

,

 

w

h

i

c

h

 

c

a

n

 

b

e

 

a

s

 

s

i

m

p

l

e

 

a

s

 

a

d

d

i

n

g

 

j

u

s

t

 

o

n

e

 

n

e

w

 

l

i

n

e

 

o

f

 

c

o

d

e

!

 

T

h

i

s

 

d

e

m

o

n

s

t

r

a

t

e

s

 

h

o

w

 

t

o

 

u

s

e

 

D

D

P

 

c

o

m

m

u

n

i

c

a

t

i

o

n

 

h

o

o

k

s

 

t

o

 

o

p

t

i

m

i

z

e

 

g

r

a

d

i

e

n

t

 

c

o

m

m

u

n

i

c

a

t

i

o

n

 

i

n

 

d

i

s

t

r

i

b

u

t

e

d

 

t

r

a

i

n

i

n

g

 

w

i

t

h

 

t

h

e

 

A

c

c

e

l

e

r

a

t

e

 

l

i

b

r

a

r

y

.







#

#

 

F

P

1

6

 

C

o

m

p

r

e

s

s

i

o

n

 

H

o

o

k







<

h

f

o

p

t

i

o

n

s

 

i

d

=

"

f

p

1

6

"

>




<

h

f

o

p

t

i

o

n

 

i

d

=

"

P

y

T

o

r

c

h

"

>







`

`

`

p

y

t

h

o

n




i

m

p

o

r

t

 

t

o

r

c

h




f

r

o

m

 

t

o

r

c

h

.

n

n

.

p

a

r

a

l

l

e

l

 

i

m

p

o

r

t

 

D

i

s

t

r

i

b

u

t

e

d

D

a

t

a

P

a

r

a

l

l

e

l

 

a

s

 

D

D

P




f

r

o

m

 

t

o

r

c

h

.

d

i

s

t

r

i

b

u

t

e

d

.

a

l

g

o

r

i

t

h

m

s

.

d

d

p

_

c

o

m

m

_

h

o

o

k

s

 

i

m

p

o

r

t

 

d

e

f

a

u

l

t

_

h

o

o

k

s







c

l

a

s

s

 

M

y

M

o

d

e

l

(

t

o

r

c

h

.

n

n

.

M

o

d

u

l

e

)

:




 

 

 

 

d

e

f

 

_

_

i

n

i

t

_

_

(

s

e

l

f

)

:




 

 

 

 

 

 

 

 

s

u

p

e

r

(

)

.

_

_

i

n

i

t

_

_

(

)




 

 

 

 

 

 

 

 

s

e

l

f

.

l

a

y

e

r

 

=

 

t

o

r

c

h

.

n

n

.

L

i

n

e

a

r

(

1

0

,

 

1

0

)







 

 

 

 

d

e

f

 

f

o

r

w

a

r

d

(

s

e

l

f

,

 

x

)

:




 

 

 

 

 

 

 

 

r

e

t

u

r

n

 

s

e

l

f

.

l

a

y

e

r

(

x

)







m

o

d

e

l

 

=

 

M

y

M

o

d

e

l

(

)




m

o

d

e

l

 

=

 

D

D

P

(

m

o

d

e

l

,

 

d

e

v

i

c

e

_

i

d

s

=

[

t

o

r

c

h

.

c

u

d

a

.

c

u

r

r

e

n

t

_

d

e

v

i

c

e

(

)

]

)




m

o

d

e

l

.

r

e

g

i

s

t

e

r

_

c

o

m

m

_

h

o

o

k

(

s

t

a

t

e

=

N

o

n

e

,

 

h

o

o

k

=

d

e

f

a

u

l

t

_

h

o

o

k

s

.

f

p

1

6

_

c

o

m

p

r

e

s

s

_

h

o

o

k

)







#

 

T

r

a

i

n

i

n

g

 

l

o

o

p




f

o

r

 

d

a

t

a

,

 

t

a

r

g

e

t

s

 

i

n

 

d

a

t

a

_

l

o

a

d

e

r

:




 

 

 

 

o

u

t

p

u

t

s

 

=

 

m

o

d

e

l

(

d

a

t

a

)




 

 

 

 

l

o

s

s

 

=

 

c

r

i

t

e

r

i

o

n

(

o

u

t

p

u

t

s

,

 

t

a

r

g

e

t

s

)




 

 

 

 

l

o

s

s

.

b

a

c

k

w

a

r

d

(

)




 

 

 

 

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




 

 

 

 

o

p

t

i

m

i

z

e

r

.

z

e

r

o

_

g

r

a

d

(

)




`

`

`







<

/

h

f

o

p

t

i

o

n

>




<

h

f

o

p

t

i

o

n

 

i

d

=

"

A

c

c

e

l

e

r

a

t

e

"

>







`

`

`

p

y

t

h

o

n




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

A

c

c

e

l

e

r

a

t

o

r

,

 

D

D

P

C

o

m

m

u

n

i

c

a

t

i

o

n

H

o

o

k

T

y

p

e

,

 

D

i

s

t

r

i

b

u

t

e

d

D

a

t

a

P

a

r

a

l

l

e

l

K

w

a

r

g

s




i

m

p

o

r

t

 

t

o

r

c

h







c

l

a

s

s

 

M

y

M

o

d

e

l

(

t

o

r

c

h

.

n

n

.

M

o

d

u

l

e

)

:




 

 

 

 

d

e

f

 

_

_

i

n

i

t

_

_

(

s

e

l

f

)

:




 

 

 

 

 

 

 

 

s

u

p

e

r

(

)

.

_

_

i

n

i

t

_

_

(

)




 

 

 

 

 

 

 

 

s

e

l

f

.

l

a

y

e

r

 

=

 

t

o

r

c

h

.

n

n

.

L

i

n

e

a

r

(

1

0

,

 

1

0

)







 

 

 

 

d

e

f

 

f

o

r

w

a

r

d

(

s

e

l

f

,

 

x

)

:




 

 

 

 

 

 

 

 

r

e

t

u

r

n

 

s

e

l

f

.

l

a

y

e

r

(

x

)







#

 

D

D

P

 

C

o

m

m

u

n

i

c

a

t

i

o

n

 

H

o

o

k

 

s

e

t

u

p




d

d

p

_

k

w

a

r

g

s

 

=

 

D

i

s

t

r

i

b

u

t

e

d

D

a

t

a

P

a

r

a

l

l

e

l

K

w

a

r

g

s

(

c

o

m

m

_

h

o

o

k

=

D

D

P

C

o

m

m

u

n

i

c

a

t

i

o

n

H

o

o

k

T

y

p

e

.

F

P

1

6

)




a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

k

w

a

r

g

s

_

h

a

n

d

l

e

r

s

=

[

d

d

p

_

k

w

a

r

g

s

]

)







m

o

d

e

l

 

=

 

M

y

M

o

d

e

l

(

)




o

p

t

i

m

i

z

e

r

 

=

 

t

o

r

c

h

.

o

p

t

i

m

.

A

d

a

m

(

m

o

d

e

l

.

p

a

r

a

m

e

t

e

r

s

(

)

)




d

a

t

a

_

l

o

a

d

e

r

 

=

 

D

a

t

a

L

o

a

d

e

r

(

d

a

t

a

s

e

t

,

 

b

a

t

c

h

_

s

i

z

e

=

1

6

)







m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

d

a

t

a

_

l

o

a

d

e

r

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

d

a

t

a

_

l

o

a

d

e

r

)







#

 

T

r

a

i

n

i

n

g

 

l

o

o

p




f

o

r

 

d

a

t

a

,

 

t

a

r

g

e

t

s

 

i

n

 

d

a

t

a

_

l

o

a

d

e

r

:




 

 

 

 

o

u

t

p

u

t

s

 

=

 

m

o

d

e

l

(

d

a

t

a

)




 

 

 

 

l

o

s

s

 

=

 

c

r

i

t

e

r

i

o

n

(

o

u

t

p

u

t

s

,

 

t

a

r

g

e

t

s

)




 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

b

a

c

k

w

a

r

d

(

l

o

s

s

)




 

 

 

 

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




 

 

 

 

o

p

t

i

m

i

z

e

r

.

z

e

r

o

_

g

r

a

d

(

)




`

`

`







<

/

h

f

o

p

t

i

o

n

>




<

/

h

f

o

p

t

i

o

n

s

>







#

#

#

 

B

F

1

6

 

C

o

m

p

r

e

s

s

i

o

n

 

H

o

o

k







<

T

i

p

 

w

a

r

n

i

n

g

=

{

t

r

u

e

}

>







B

F

1

6

 

C

o

m

p

r

e

s

s

i

o

n

 

H

o

o

k

 

A

P

I

 

i

s

 

e

x

p

e

r

i

m

e

n

t

a

l

,

 

a

n

d

 

i

t

 

r

e

q

u

i

r

e

s

 

N

C

C

L

 

v

e

r

s

i

o

n

 

l

a

t

e

r

 

t

h

a

n

 

2

.

9

.

6

.







<

/

T

i

p

>







<

h

f

o

p

t

i

o

n

s

 

i

d

=

"

b

f

1

6

"

>




<

h

f

o

p

t

i

o

n

 

i

d

=

"

P

y

T

o

r

c

h

"

>







`

`

`

p

y

t

h

o

n




i

m

p

o

r

t

 

t

o

r

c

h




f

r

o

m

 

t

o

r

c

h

.

n

n

.

p

a

r

a

l

l

e

l

 

i

m

p

o

r

t

 

D

i

s

t

r

i

b

u

t

e

d

D

a

t

a

P

a

r

a

l

l

e

l

 

a

s

 

D

D

P




f

r

o

m

 

t

o

r

c

h

.

d

i

s

t

r

i

b

u

t

e

d

.

a

l

g

o

r

i

t

h

m

s

.

d

d

p

_

c

o

m

m

_

h

o

o

k

s

 

i

m

p

o

r

t

 

d

e

f

a

u

l

t

_

h

o

o

k

s







c

l

a

s

s

 

M

y

M

o

d

e

l

(

t

o

r

c

h

.

n

n

.

M

o

d

u

l

e

)

:




 

 

 

 

d

e

f

 

_

_

i

n

i

t

_

_

(

s

e

l

f

)

:




 

 

 

 

 

 

 

 

s

u

p

e

r

(

)

.

_

_

i

n

i

t

_

_

(

)




 

 

 

 

 

 

 

 

s

e

l

f

.

l

a

y

e

r

 

=

 

t

o

r

c

h

.

n

n

.

L

i

n

e

a

r

(

1

0

,

 

1

0

)







 

 

 

 

d

e

f

 

f

o

r

w

a

r

d

(

s

e

l

f

,

 

x

)

:




 

 

 

 

 

 

 

 

r

e

t

u

r

n

 

s

e

l

f

.

l

a

y

e

r

(

x

)







m

o

d

e

l

 

=

 

M

y

M

o

d

e

l

(

)




m

o

d

e

l

 

=

 

D

D

P

(

m

o

d

e

l

,

 

d

e

v

i

c

e

_

i

d

s

=

[

t

o

r

c

h

.

c

u

d

a

.

c

u

r

r

e

n

t

_

d

e

v

i

c

e

(

)

]

)




m

o

d

e

l

.

r

e

g

i

s

t

e

r

_

c

o

m

m

_

h

o

o

k

(

s

t

a

t

e

=

N

o

n

e

,

 

h

o

o

k

=

d

e

f

a

u

l

t

_

h

o

o

k

s

.

b

f

1

6

_

c

o

m

p

r

e

s

s

_

h

o

o

k

)







#

 

T

r

a

i

n

i

n

g

 

l

o

o

p




f

o

r

 

d

a

t

a

,

 

t

a

r

g

e

t

s

 

i

n

 

d

a

t

a

_

l

o

a

d

e

r

:




 

 

 

 

o

u

t

p

u

t

s

 

=

 

m

o

d

e

l

(

d

a

t

a

)




 

 

 

 

l

o

s

s

 

=

 

c

r

i

t

e

r

i

o

n

(

o

u

t

p

u

t

s

,

 

t

a

r

g

e

t

s

)




 

 

 

 

l

o

s

s

.

b

a

c

k

w

a

r

d

(

)




 

 

 

 

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




 

 

 

 

o

p

t

i

m

i

z

e

r

.

z

e

r

o

_

g

r

a

d

(

)




`

`

`







<

/

h

f

o

p

t

i

o

n

>




<

h

f

o

p

t

i

o

n

 

i

d

=

"

A

c

c

e

l

e

r

a

t

e

"

>







`

`

`

p

y

t

h

o

n




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

A

c

c

e

l

e

r

a

t

o

r

,

 

D

D

P

C

o

m

m

u

n

i

c

a

t

i

o

n

H

o

o

k

T

y

p

e

,

 

D

i

s

t

r

i

b

u

t

e

d

D

a

t

a

P

a

r

a

l

l

e

l

K

w

a

r

g

s




i

m

p

o

r

t

 

t

o

r

c

h







c

l

a

s

s

 

M

y

M

o

d

e

l

(

t

o

r

c

h

.

n

n

.

M

o

d

u

l

e

)

:




 

 

 

 

d

e

f

 

_

_

i

n

i

t

_

_

(

s

e

l

f

)

:




 

 

 

 

 

 

 

 

s

u

p

e

r

(

)

.

_

_

i

n

i

t

_

_

(

)




 

 

 

 

 

 

 

 

s

e

l

f

.

l

a

y

e

r

 

=

 

t

o

r

c

h

.

n

n

.

L

i

n

e

a

r

(

1

0

,

 

1

0

)







 

 

 

 

d

e

f

 

f

o

r

w

a

r

d

(

s

e

l

f

,

 

x

)

:




 

 

 

 

 

 

 

 

r

e

t

u

r

n

 

s

e

l

f

.

l

a

y

e

r

(

x

)







#

 

D

D

P

 

C

o

m

m

u

n

i

c

a

t

i

o

n

 

H

o

o

k

 

s

e

t

u

p




d

d

p

_

k

w

a

r

g

s

 

=

 

D

i

s

t

r

i

b

u

t

e

d

D

a

t

a

P

a

r

a

l

l

e

l

K

w

a

r

g

s

(

c

o

m

m

_

h

o

o

k

=

D

D

P

C

o

m

m

u

n

i

c

a

t

i

o

n

H

o

o

k

T

y

p

e

.

B

F

1

6

)




a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

k

w

a

r

g

s

_

h

a

n

d

l

e

r

s

=

[

d

d

p

_

k

w

a

r

g

s

]

)







m

o

d

e

l

 

=

 

M

y

M

o

d

e

l

(

)




o

p

t

i

m

i

z

e

r

 

=

 

t

o

r

c

h

.

o

p

t

i

m

.

A

d

a

m

(

m

o

d

e

l

.

p

a

r

a

m

e

t

e

r

s

(

)

)




d

a

t

a

_

l

o

a

d

e

r

 

=

 

D

a

t

a

L

o

a

d

e

r

(

d

a

t

a

s

e

t

,

 

b

a

t

c

h

_

s

i

z

e

=

1

6

)







m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

d

a

t

a

_

l

o

a

d

e

r

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

d

a

t

a

_

l

o

a

d

e

r

)







#

 

T

r

a

i

n

i

n

g

 

l

o

o

p




f

o

r

 

d

a

t

a

,

 

t

a

r

g

e

t

s

 

i

n

 

d

a

t

a

_

l

o

a

d

e

r

:




 

 

 

 

o

u

t

p

u

t

s

 

=

 

m

o

d

e

l

(

d

a

t

a

)




 

 

 

 

l

o

s

s

 

=

 

c

r

i

t

e

r

i

o

n

(

o

u

t

p

u

t

s

,

 

t

a

r

g

e

t

s

)




 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

b

a

c

k

w

a

r

d

(

l

o

s

s

)




 

 

 

 

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




 

 

 

 

o

p

t

i

m

i

z

e

r

.

z

e

r

o

_

g

r

a

d

(

)




`

`

`







<

/

h

f

o

p

t

i

o

n

>




<

/

h

f

o

p

t

i

o

n

s

>







#

#

#

 

P

o

w

e

r

S

G

D

 

H

o

o

k







<

T

i

p

 

w

a

r

n

i

n

g

=

{

t

r

u

e

}

>







P

o

w

e

r

S

G

D

 

t

y

p

i

c

a

l

l

y

 

r

e

q

u

i

r

e

s

 

e

x

t

r

a

 

m

e

m

o

r

y

 

o

f

 

t

h

e

 

s

a

m

e

 

s

i

z

e

 

a

s

 

t

h

e

 

m

o

d

e

l

’

s

 

g

r

a

d

i

e

n

t

s

 

t

o

 

e

n

a

b

l

e

 

e

r

r

o

r

 

f

e

e

d

b

a

c

k

,

 

w

h

i

c

h

 

c

a

n

 

c

o

m

p

e

n

s

a

t

e

 

f

o

r

 

b

i

a

s

e

d

 

c

o

m

p

r

e

s

s

e

d

 

c

o

m

m

u

n

i

c

a

t

i

o

n

 

a

n

d

 

i

m

p

r

o

v

e

 

a

c

c

u

r

a

c

y

.







<

/

T

i

p

>







<

h

f

o

p

t

i

o

n

s

 

i

d

=

"

p

o

w

e

r

S

G

D

"

>




<

h

f

o

p

t

i

o

n

 

i

d

=

"

P

y

T

o

r

c

h

"

>







`

`

`

p

y

t

h

o

n




i

m

p

o

r

t

 

t

o

r

c

h




f

r

o

m

 

t

o

r

c

h

.

n

n

.

p

a

r

a

l

l

e

l

 

i

m

p

o

r

t

 

D

i

s

t

r

i

b

u

t

e

d

D

a

t

a

P

a

r

a

l

l

e

l

 

a

s

 

D

D

P




f

r

o

m

 

t

o

r

c

h

.

d

i

s

t

r

i

b

u

t

e

d

.

a

l

g

o

r

i

t

h

m

s

.

d

d

p

_

c

o

m

m

_

h

o

o

k

s

 

i

m

p

o

r

t

 

p

o

w

e

r

S

G

D

_

h

o

o

k







c

l

a

s

s

 

M

y

M

o

d

e

l

(

t

o

r

c

h

.

n

n

.

M

o

d

u

l

e

)

:




 

 

 

 

d

e

f

 

_

_

i

n

i

t

_

_

(

s

e

l

f

)

:




 

 

 

 

 

 

 

 

s

u

p

e

r

(

)

.

_

_

i

n

i

t

_

_

(

)




 

 

 

 

 

 

 

 

s

e

l

f

.

l

a

y

e

r

 

=

 

t

o

r

c

h

.

n

n

.

L

i

n

e

a

r

(

1

0

,

 

1

0

)







 

 

 

 

d

e

f

 

f

o

r

w

a

r

d

(

s

e

l

f

,

 

x

)

:




 

 

 

 

 

 

 

 

r

e

t

u

r

n

 

s

e

l

f

.

l

a

y

e

r

(

x

)







m

o

d

e

l

 

=

 

M

y

M

o

d

e

l

(

)




m

o

d

e

l

 

=

 

D

D

P

(

m

o

d

e

l

,

 

d

e

v

i

c

e

_

i

d

s

=

[

t

o

r

c

h

.

c

u

d

a

.

c

u

r

r

e

n

t

_

d

e

v

i

c

e

(

)

]

)




s

t

a

t

e

 

=

 

p

o

w

e

r

S

G

D

_

h

o

o

k

.

P

o

w

e

r

S

G

D

S

t

a

t

e

(

p

r

o

c

e

s

s

_

g

r

o

u

p

=

N

o

n

e

)




m

o

d

e

l

.

r

e

g

i

s

t

e

r

_

c

o

m

m

_

h

o

o

k

(

s

t

a

t

e

=

s

t

a

t

e

,

 

h

o

o

k

=

p

o

w

e

r

S

G

D

_

h

o

o

k

.

p

o

w

e

r

S

G

D

_

h

o

o

k

)







#

 

T

r

a

i

n

i

n

g

 

l

o

o

p




f

o

r

 

d

a

t

a

,

 

t

a

r

g

e

t

s

 

i

n

 

d

a

t

a

_

l

o

a

d

e

r

:




 

 

 

 

o

u

t

p

u

t

s

 

=

 

m

o

d

e

l

(

d

a

t

a

)




 

 

 

 

l

o

s

s

 

=

 

c

r

i

t

e

r

i

o

n

(

o

u

t

p

u

t

s

,

 

t

a

r

g

e

t

s

)




 

 

 

 

l

o

s

s

.

b

a

c

k

w

a

r

d

(

)




 

 

 

 

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




 

 

 

 

o

p

t

i

m

i

z

e

r

.

z

e

r

o

_

g

r

a

d

(

)




`

`

`







<

/

h

f

o

p

t

i

o

n

>




<

h

f

o

p

t

i

o

n

 

i

d

=

"

A

c

c

e

l

e

r

a

t

e

"

>







`

`

`

p

y

t

h

o

n




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

A

c

c

e

l

e

r

a

t

o

r

,

 

D

D

P

C

o

m

m

u

n

i

c

a

t

i

o

n

H

o

o

k

T

y

p

e

,

 

D

i

s

t

r

i

b

u

t

e

d

D

a

t

a

P

a

r

a

l

l

e

l

K

w

a

r

g

s




i

m

p

o

r

t

 

t

o

r

c

h







c

l

a

s

s

 

M

y

M

o

d

e

l

(

t

o

r

c

h

.

n

n

.

M

o

d

u

l

e

)

:




 

 

 

 

d

e

f

 

_

_

i

n

i

t

_

_

(

s

e

l

f

)

:




 

 

 

 

 

 

 

 

s

u

p

e

r

(

)

.

_

_

i

n

i

t

_

_

(

)




 

 

 

 

 

 

 

 

s

e

l

f

.

l

a

y

e

r

 

=

 

t

o

r

c

h

.

n

n

.

L

i

n

e

a

r

(

1

0

,

 

1

0

)







 

 

 

 

d

e

f

 

f

o

r

w

a

r

d

(

s

e

l

f

,

 

x

)

:




 

 

 

 

 

 

 

 

r

e

t

u

r

n

 

s

e

l

f

.

l

a

y

e

r

(

x

)







#

 

D

D

P

 

C

o

m

m

u

n

i

c

a

t

i

o

n

 

H

o

o

k

 

s

e

t

u

p




d

d

p

_

k

w

a

r

g

s

 

=

 

D

i

s

t

r

i

b

u

t

e

d

D

a

t

a

P

a

r

a

l

l

e

l

K

w

a

r

g

s

(

c

o

m

m

_

h

o

o

k

=

D

D

P

C

o

m

m

u

n

i

c

a

t

i

o

n

H

o

o

k

T

y

p

e

.

P

O

W

E

R

_

S

G

D

)




a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

k

w

a

r

g

s

_

h

a

n

d

l

e

r

s

=

[

d

d

p

_

k

w

a

r

g

s

]

)







m

o

d

e

l

 

=

 

M

y

M

o

d

e

l

(

)




o

p

t

i

m

i

z

e

r

 

=

 

t

o

r

c

h

.

o

p

t

i

m

.

A

d

a

m

(

m

o

d

e

l

.

p

a

r

a

m

e

t

e

r

s

(

)

)




d

a

t

a

_

l

o

a

d

e

r

 

=

 

D

a

t

a

L

o

a

d

e

r

(

d

a

t

a

s

e

t

,

 

b

a

t

c

h

_

s

i

z

e

=

1

6

)







m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

d

a

t

a

_

l

o

a

d

e

r

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

d

a

t

a

_

l

o

a

d

e

r

)







#

 

T

r

a

i

n

i

n

g

 

l

o

o

p




f

o

r

 

d

a

t

a

,

 

t

a

r

g

e

t

s

 

i

n

 

d

a

t

a

_

l

o

a

d

e

r

:




 

 

 

 

o

u

t

p

u

t

s

 

=

 

m

o

d

e

l

(

d

a

t

a

)




 

 

 

 

l

o

s

s

 

=

 

c

r

i

t

e

r

i

o

n

(

o

u

t

p

u

t

s

,

 

t

a

r

g

e

t

s

)




 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

b

a

c

k

w

a

r

d

(

l

o

s

s

)




 

 

 

 

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




 

 

 

 

o

p

t

i

m

i

z

e

r

.

z

e

r

o

_

g

r

a

d

(

)




`

`

`







<

/

h

f

o

p

t

i

o

n

>




<

/

h

f

o

p

t

i

o

n

s

>







#

#

 

D

D

P

 

C

o

m

m

u

n

i

c

a

t

i

o

n

 

H

o

o

k

s

 

u

t

i

l

i

t

i

e

s







T

h

e

r

e

 

a

r

e

 

t

w

o

 

a

d

d

i

t

i

o

n

a

l

 

u

t

i

l

i

t

i

e

s

 

f

o

r

 

s

u

p

p

o

r

t

i

n

g

 

o

p

t

i

o

n

a

l

 

f

u

n

c

t

i

o

n

a

l

i

t

i

e

s

 

w

i

t

h

 

t

h

e

 

c

o

m

m

u

n

i

c

a

t

i

o

n

 

h

o

o

k

s

.







#

#

#

 

c

o

m

m

_

w

r

a

p

p

e

r







`

c

o

m

m

_

w

r

a

p

p

e

r

`

 

i

s

 

a

n

 

o

p

t

i

o

n

 

t

o

 

w

r

a

p

 

a

 

c

o

m

m

u

n

i

c

a

t

i

o

n

 

h

o

o

k

 

w

i

t

h

 

a

d

d

i

t

i

o

n

a

l

 

f

u

n

c

t

i

o

n

a

l

i

t

y

.

 

F

o

r

 

e

x

a

m

p

l

e

,

 

i

t

 

c

a

n

 

b

e

 

u

s

e

d

 

t

o

 

c

o

m

b

i

n

e

 

F

P

1

6

 

c

o

m

p

r

e

s

s

i

o

n

 

w

i

t

h

 

o

t

h

e

r

 

c

o

m

m

u

n

i

c

a

t

i

o

n

 

s

t

r

a

t

e

g

i

e

s

.

 

C

u

r

r

e

n

t

l

y

 

s

u

p

p

o

r

t

e

d

 

w

r

a

p

p

e

r

s

 

a

r

e

 

`

n

o

`

,

 

`

f

p

1

6

`

,

 

a

n

d

 

`

b

f

1

6

`

.







`

`

`

p

y

t

h

o

n




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

A

c

c

e

l

e

r

a

t

o

r

,

 

D

D

P

C

o

m

m

u

n

i

c

a

t

i

o

n

H

o

o

k

T

y

p

e

,

 

D

i

s

t

r

i

b

u

t

e

d

D

a

t

a

P

a

r

a

l

l

e

l

K

w

a

r

g

s




i

m

p

o

r

t

 

t

o

r

c

h







c

l

a

s

s

 

M

y

M

o

d

e

l

(

t

o

r

c

h

.

n

n

.

M

o

d

u

l

e

)

:




 

 

 

 

d

e

f

 

_

_

i

n

i

t

_

_

(

s

e

l

f

)

:




 

 

 

 

 

 

 

 

s

u

p

e

r

(

)

.

_

_

i

n

i

t

_

_

(

)




 

 

 

 

 

 

 

 

s

e

l

f

.

l

a

y

e

r

 

=

 

t

o

r

c

h

.

n

n

.

L

i

n

e

a

r

(

1

0

,

 

1

0

)







 

 

 

 

d

e

f

 

f

o

r

w

a

r

d

(

s

e

l

f

,

 

x

)

:




 

 

 

 

 

 

 

 

r

e

t

u

r

n

 

s

e

l

f

.

l

a

y

e

r

(

x

)







#

 

D

D

P

 

C

o

m

m

u

n

i

c

a

t

i

o

n

 

H

o

o

k

 

s

e

t

u

p




d

d

p

_

k

w

a

r

g

s

 

=

 

D

i

s

t

r

i

b

u

t

e

d

D

a

t

a

P

a

r

a

l

l

e

l

K

w

a

r

g

s

(




 

 

 

 

c

o

m

m

_

h

o

o

k

=

D

D

P

C

o

m

m

u

n

i

c

a

t

i

o

n

H

o

o

k

T

y

p

e

.

P

O

W

E

R

_

S

G

D

,




 

 

 

 

c

o

m

m

_

w

r

a

p

p

e

r

=

D

D

P

C

o

m

m

u

n

i

c

a

t

i

o

n

H

o

o

k

T

y

p

e

.

F

P

1

6




)




a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

k

w

a

r

g

s

_

h

a

n

d

l

e

r

s

=

[

d

d

p

_

k

w

a

r

g

s

]

)







m

o

d

e

l

 

=

 

M

y

M

o

d

e

l

(

)




o

p

t

i

m

i

z

e

r

 

=

 

t

o

r

c

h

.

o

p

t

i

m

.

A

d

a

m

(

m

o

d

e

l

.

p

a

r

a

m

e

t

e

r

s

(

)

)




d

a

t

a

_

l

o

a

d

e

r

 

=

 

D

a

t

a

L

o

a

d

e

r

(

d

a

t

a

s

e

t

,

 

b

a

t

c

h

_

s

i

z

e

=

1

6

)







m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

d

a

t

a

_

l

o

a

d

e

r

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

d

a

t

a

_

l

o

a

d

e

r

)







#

 

T

r

a

i

n

i

n

g

 

l

o

o

p




f

o

r

 

d

a

t

a

,

 

t

a

r

g

e

t

s

 

i

n

 

d

a

t

a

_

l

o

a

d

e

r

:




 

 

 

 

o

u

t

p

u

t

s

 

=

 

m

o

d

e

l

(

d

a

t

a

)




 

 

 

 

l

o

s

s

 

=

 

c

r

i

t

e

r

i

o

n

(

o

u

t

p

u

t

s

,

 

t

a

r

g

e

t

s

)




 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

b

a

c

k

w

a

r

d

(

l

o

s

s

)




 

 

 

 

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




 

 

 

 

o

p

t

i

m

i

z

e

r

.

z

e

r

o

_

g

r

a

d

(

)




`

`

`







#

#

#

 

c

o

m

m

_

s

t

a

t

e

_

o

p

t

i

o

n







`

c

o

m

m

_

s

t

a

t

e

_

o

p

t

i

o

n

`

 

a

l

l

o

w

s

 

y

o

u

 

t

o

 

p

a

s

s

 

a

d

d

i

t

i

o

n

a

l

 

s

t

a

t

e

 

i

n

f

o

r

m

a

t

i

o

n

 

r

e

q

u

i

r

e

d

 

b

y

 

c

e

r

t

a

i

n

 

c

o

m

m

u

n

i

c

a

t

i

o

n

 

h

o

o

k

s

.

 

T

h

i

s

 

i

s

 

p

a

r

t

i

c

u

l

a

r

l

y

 

u

s

e

f

u

l

 

f

o

r

 

s

t

a

t

e

f

u

l

 

h

o

o

k

s

 

l

i

k

e

 

`

P

o

w

e

r

S

G

D

`

,

 

w

h

i

c

h

 

r

e

q

u

i

r

e

 

m

a

i

n

t

a

i

n

i

n

g

 

h

y

p

e

r

p

a

r

a

m

e

t

e

r

s

 

a

n

d

 

i

n

t

e

r

n

a

l

 

s

t

a

t

e

s

 

a

c

r

o

s

s

 

t

r

a

i

n

i

n

g

 

s

t

e

p

s

.

 

B

e

l

o

w

 

i

s

 

a

n

 

e

x

a

m

p

l

e

 

s

h

o

w

c

a

s

i

n

g

 

t

h

e

 

u

s

e

 

o

f

 

`

c

o

m

m

_

s

t

a

t

e

_

o

p

t

i

o

n

`

 

w

i

t

h

 

t

h

e

 

`

P

o

w

e

r

S

G

D

`

 

h

o

o

k

.







`

`

`

p

y

t

h

o

n




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

A

c

c

e

l

e

r

a

t

o

r

,

 

D

D

P

C

o

m

m

u

n

i

c

a

t

i

o

n

H

o

o

k

T

y

p

e

,

 

D

i

s

t

r

i

b

u

t

e

d

D

a

t

a

P

a

r

a

l

l

e

l

K

w

a

r

g

s




i

m

p

o

r

t

 

t

o

r

c

h







c

l

a

s

s

 

M

y

M

o

d

e

l

(

t

o

r

c

h

.

n

n

.

M

o

d

u

l

e

)

:




 

 

 

 

d

e

f

 

_

_

i

n

i

t

_

_

(

s

e

l

f

)

:




 

 

 

 

 

 

 

 

s

u

p

e

r

(

)

.

_

_

i

n

i

t

_

_

(

)




 

 

 

 

 

 

 

 

s

e

l

f

.

l

a

y

e

r

 

=

 

t

o

r

c

h

.

n

n

.

L

i

n

e

a

r

(

1

0

,

 

1

0

)







 

 

 

 

d

e

f

 

f

o

r

w

a

r

d

(

s

e

l

f

,

 

x

)

:




 

 

 

 

 

 

 

 

r

e

t

u

r

n

 

s

e

l

f

.

l

a

y

e

r

(

x

)







#

 

D

D

P

 

C

o

m

m

u

n

i

c

a

t

i

o

n

 

H

o

o

k

 

s

e

t

u

p




d

d

p

_

k

w

a

r

g

s

 

=

 

D

i

s

t

r

i

b

u

t

e

d

D

a

t

a

P

a

r

a

l

l

e

l

K

w

a

r

g

s

(




 

 

 

 

c

o

m

m

_

h

o

o

k

=

D

D

P

C

o

m

m

u

n

i

c

a

t

i

o

n

H

o

o

k

T

y

p

e

.

P

O

W

E

R

_

S

G

D

,




 

 

 

 

c

o

m

m

_

s

t

a

t

e

_

o

p

t

i

o

n

=

{

"

m

a

t

r

i

x

_

a

p

p

r

o

x

i

m

a

t

i

o

n

_

r

a

n

k

"

:

 

2

}




)




a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

k

w

a

r

g

s

_

h

a

n

d

l

e

r

s

=

[

d

d

p

_

k

w

a

r

g

s

]

)







m

o

d

e

l

 

=

 

M

y

M

o

d

e

l

(

)




o

p

t

i

m

i

z

e

r

 

=

 

t

o

r

c

h

.

o

p

t

i

m

.

A

d

a

m

(

m

o

d

e

l

.

p

a

r

a

m

e

t

e

r

s

(

)

)




d

a

t

a

_

l

o

a

d

e

r

 

=

 

D

a

t

a

L

o

a

d

e

r

(

d

a

t

a

s

e

t

,

 

b

a

t

c

h

_

s

i

z

e

=

1

6

)







m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

d

a

t

a

_

l

o

a

d

e

r

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

d

a

t

a

_

l

o

a

d

e

r

)







#

 

T

r

a

i

n

i

n

g

 

l

o

o

p




f

o

r

 

d

a

t

a

,

 

t

a

r

g

e

t

s

 

i

n

 

d

a

t

a

_

l

o

a

d

e

r

:




 

 

 

 

o

u

t

p

u

t

s

 

=

 

m

o

d

e

l

(

d

a

t

a

)




 

 

 

 

l

o

s

s

 

=

 

c

r

i

t

e

r

i

o

n

(

o

u

t

p

u

t

s

,

 

t

a

r

g

e

t

s

)




 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

b

a

c

k

w

a

r

d

(

l

o

s

s

)




 

 

 

 

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




 

 

 

 

o

p

t

i

m

i

z

e

r

.

z

e

r

o

_

g

r

a

d

(

)




`

`

`







F

o

r

 

m

o

r

e

 

a

d

v

a

n

c

e

d

 

u

s

a

g

e

 

a

n

d

 

a

d

d

i

t

i

o

n

a

l

 

h

o

o

k

s

,

 

r

e

f

e

r

 

t

o

 

t

h

e

 

[

P

y

T

o

r

c

h

 

D

D

P

 

C

o

m

m

u

n

i

c

a

t

i

o

n

 

H

o

o

k

s

 

d

o

c

u

m

e

n

t

a

t

i

o

n

]

(

h

t

t

p

s

:

/

/

p

y

t

o

r

c

h

.

o

r

g

/

d

o

c

s

/

s

t

a

b

l

e

/

d

d

p

_

c

o

m

m

_

h

o

o

k

s

.

h

t

m

l

)

.







#

 

L

o

a

d

i

n

g

 

b

i

g

 

m

o

d

e

l

s

 

i

n

t

o

 

m

e

m

o

r

y







W

h

e

n

 

l

o

a

d

i

n

g

 

a

 

p

r

e

-

t

r

a

i

n

e

d

 

m

o

d

e

l

 

i

n

 

P

y

T

o

r

c

h

,

 

t

h

e

 

u

s

u

a

l

 

w

o

r

k

f

l

o

w

 

l

o

o

k

s

 

l

i

k

e

 

t

h

i

s

:







`

`

`

p

y




i

m

p

o

r

t

 

t

o

r

c

h







m

y

_

m

o

d

e

l

 

=

 

M

o

d

e

l

C

l

a

s

s

(

.

.

.

)




s

t

a

t

e

_

d

i

c

t

 

=

 

t

o

r

c

h

.

l

o

a

d

(

c

h

e

c

k

p

o

i

n

t

_

f

i

l

e

)




m

y

_

m

o

d

e

l

.

l

o

a

d

_

s

t

a

t

e

_

d

i

c

t

(

s

t

a

t

e

_

d

i

c

t

)




`

`

`







I

n

 

p

l

a

i

n

 

E

n

g

l

i

s

h

,

 

t

h

o

s

e

 

s

t

e

p

s

 

a

r

e

:




1

.

 

C

r

e

a

t

e

 

t

h

e

 

m

o

d

e

l

 

w

i

t

h

 

r

a

n

d

o

m

l

y

 

i

n

i

t

i

a

l

i

z

e

d

 

w

e

i

g

h

t

s




2

.

 

L

o

a

d

 

t

h

e

 

m

o

d

e

l

 

w

e

i

g

h

t

s

 

(

i

n

 

a

 

d

i

c

t

i

o

n

a

r

y

 

u

s

u

a

l

l

y

 

c

a

l

l

e

d

 

a

 

s

t

a

t

e

 

d

i

c

t

)

 

f

r

o

m

 

t

h

e

 

d

i

s

k




3

.

 

L

o

a

d

 

t

h

o

s

e

 

w

e

i

g

h

t

s

 

i

n

s

i

d

e

 

t

h

e

 

m

o

d

e

l







W

h

i

l

e

 

t

h

i

s

 

w

o

r

k

s

 

v

e

r

y

 

w

e

l

l

 

f

o

r

 

r

e

g

u

l

a

r

l

y

 

s

i

z

e

d

 

m

o

d

e

l

s

,

 

t

h

i

s

 

w

o

r

k

f

l

o

w

 

h

a

s

 

s

o

m

e

 

c

l

e

a

r

 

l

i

m

i

t

a

t

i

o

n

s

 

w

h

e

n

 

w

e

 

d

e

a

l

 

w

i

t

h

 

a

 

h

u

g

e

 

m

o

d

e

l

:

 

i

n

 

s

t

e

p

 

1

,

 

w

e

 

l

o

a

d

 

a

 

f

u

l

l

 

v

e

r

s

i

o

n

 

o

f

 

t

h

e

 

m

o

d

e

l

 

i

n

 

R

A

M

,

 

a

n

d

 

s

p

e

n

d

 

s

o

m

e

 

t

i

m

e

 

r

a

n

d

o

m

l

y

 

i

n

i

t

i

a

l

i

z

i

n

g

 

t

h

e

 

w

e

i

g

h

t

s

 

(

w

h

i

c

h

 

w

i

l

l

 

b

e

 

d

i

s

c

a

r

d

e

d

 

i

n

 

s

t

e

p

 

3

)

.

 

I

n

 

s

t

e

p

 

2

,

 

w

e

 

l

o

a

d

 

a

n

o

t

h

e

r

 

f

u

l

l

 

v

e

r

s

i

o

n

 

o

f

 

t

h

e

 

m

o

d

e

l

 

i

n

 

R

A

M

,

 

w

i

t

h

 

t

h

e

 

p

r

e

-

t

r

a

i

n

e

d

 

w

e

i

g

h

t

s

.

 

I

f

 

y

o

u

'

r

e

 

l

o

a

d

i

n

g

 

a

 

m

o

d

e

l

 

w

i

t

h

 

6

 

b

i

l

l

i

o

n

 

p

a

r

a

m

e

t

e

r

s

,

 

t

h

i

s

 

m

e

a

n

s

 

y

o

u

 

w

i

l

l

 

n

e

e

d

 

2

4

G

B

 

o

f

 

R

A

M

 

f

o

r

 

e

a

c

h

 

c

o

p

y

 

o

f

 

t

h

e

 

m

o

d

e

l

,

 

s

o

 

4

8

G

B

 

i

n

 

t

o

t

a

l

 

(

h

a

l

f

 

o

f

 

i

t

 

t

o

 

l

o

a

d

 

t

h

e

 

m

o

d

e

l

 

i

n

 

F

P

1

6

)

.







<

T

i

p

 

w

a

r

n

i

n

g

=

{

t

r

u

e

}

>







T

h

i

s

 

A

P

I

 

i

s

 

q

u

i

t

e

 

n

e

w

 

a

n

d

 

s

t

i

l

l

 

i

n

 

i

t

s

 

e

x

p

e

r

i

m

e

n

t

a

l

 

s

t

a

g

e

.

 

W

h

i

l

e

 

w

e

 

s

t

r

i

v

e

 

t

o

 

p

r

o

v

i

d

e

 

a

 

s

t

a

b

l

e

 

A

P

I

,

 

i

t

'

s

 

p

o

s

s

i

b

l

e

 

s

o

m

e

 

s

m

a

l

l

 

p

a

r

t

s

 

o

f

 

t

h

e

 

p

u

b

l

i

c

 

A

P

I

 

w

i

l

l

 

c

h

a

n

g

e

 

i

n

 

t

h

e

 

f

u

t

u

r

e

.







<

/

T

i

p

>







#

#

 

H

o

w

 

t

h

e

 

P

r

o

c

e

s

s

 

W

o

r

k

s

:

 

A

 

Q

u

i

c

k

 

O

v

e

r

v

i

e

w







<

Y

o

u

t

u

b

e

 

i

d

=

"

M

W

C

S

G

j

9

j

E

A

o

"

 

/

>







#

#

 

H

o

w

 

t

h

e

 

P

r

o

c

e

s

s

 

W

o

r

k

s

:

 

W

o

r

k

i

n

g

 

w

i

t

h

 

C

o

d

e







#

#

#

 

I

n

s

t

a

n

t

i

a

t

i

n

g

 

a

n

 

e

m

p

t

y

 

m

o

d

e

l







T

h

e

 

f

i

r

s

t

 

t

o

o

l

 

A

c

c

e

l

e

r

a

t

e

 

i

n

t

r

o

d

u

c

e

s

 

t

o

 

h

e

l

p

 

w

i

t

h

 

b

i

g

 

m

o

d

e

l

s

 

i

s

 

a

 

c

o

n

t

e

x

t

 

m

a

n

a

g

e

r

 

`

i

n

i

t

_

e

m

p

t

y

_

w

e

i

g

h

t

s

(

)

`

 

t

h

a

t

 

h

e

l

p

s

 

y

o

u

 

i

n

i

t

i

a

l

i

z

e

 

a

 

m

o

d

e

l

 

w

i

t

h

o

u

t

 

u

s

i

n

g

 

a

n

y

 

R

A

M

 

s

o

 

t

h

a

t

 

s

t

e

p

 

1

 

c

a

n

 

b

e

 

d

o

n

e

 

o

n

 

m

o

d

e

l

s

 

o

f

 

a

n

y

 

s

i

z

e

.

 

H

e

r

e

 

i

s

 

h

o

w

 

i

t

 

w

o

r

k

s

:







`

`

`

p

y




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

i

n

i

t

_

e

m

p

t

y

_

w

e

i

g

h

t

s







w

i

t

h

 

i

n

i

t

_

e

m

p

t

y

_

w

e

i

g

h

t

s

(

)

:




 

 

 

 

m

y

_

m

o

d

e

l

 

=

 

M

o

d

e

l

C

l

a

s

s

(

.

.

.

)




`

`

`







F

o

r

 

i

n

s

t

a

n

c

e

:







`

`

`

p

y




w

i

t

h

 

i

n

i

t

_

e

m

p

t

y

_

w

e

i

g

h

t

s

(

)

:




 

 

 

 

m

o

d

e

l

 

=

 

n

n

.

S

e

q

u

e

n

t

i

a

l

(

*

[

n

n

.

L

i

n

e

a

r

(

1

0

0

0

0

,

 

1

0

0

0

0

)

 

f

o

r

 

_

 

i

n

 

r

a

n

g

e

(

1

0

0

0

)

]

)




`

`

`







i

n

i

t

i

a

l

i

z

e

s

 

a

n

 

e

m

p

t

y

 

m

o

d

e

l

 

w

i

t

h

 

a

 

b

i

t

 

m

o

r

e

 

t

h

a

n

 

1

0

0

B

 

p

a

r

a

m

e

t

e

r

s

.

 

B

e

h

i

n

d

 

t

h

e

 

s

c

e

n

e

s

,

 

t

h

i

s

 

r

e

l

i

e

s

 

o

n

 

t

h

e

 

m

e

t

a

 

d

e

v

i

c

e

 

i

n

t

r

o

d

u

c

e

d

 

i

n

 

P

y

T

o

r

c

h

 

1

.

9

.

 

D

u

r

i

n

g

 

t

h

e

 

i

n

i

t

i

a

l

i

z

a

t

i

o

n

 

u

n

d

e

r

 

t

h

e

 

c

o

n

t

e

x

t

 

m

a

n

a

g

e

r

,

 

e

a

c

h

 

t

i

m

e

 

a

 

p

a

r

a

m

e

t

e

r

 

i

s

 

c

r

e

a

t

e

d

,

 

i

t

 

i

s

 

i

n

s

t

a

n

t

l

y

 

m

o

v

e

d

 

t

o

 

t

h

a

t

 

d

e

v

i

c

e

.







<

T

i

p

 

w

a

r

n

i

n

g

=

{

t

r

u

e

}

>







 

 

 

 

Y

o

u

 

c

a

n

'

t

 

m

o

v

e

 

a

 

m

o

d

e

l

 

i

n

i

t

i

a

l

i

z

e

d

 

l

i

k

e

 

t

h

i

s

 

o

n

 

C

P

U

 

o

r

 

a

n

o

t

h

e

r

 

d

e

v

i

c

e

 

d

i

r

e

c

t

l

y

,

 

s

i

n

c

e

 

i

t

 

d

o

e

s

n

'

t

 

h

a

v

e

 

a

n

y

 

d

a

t

a

.

 

I

t

'

s

 

a

l

s

o

 

v

e

r

y

 

l

i

k

e

l

y

 

t

h

a

t

 

a

 

f

o

r

w

a

r

d

 

p

a

s

s

 

w

i

t

h

 

t

h

a

t

 

e

m

p

t

y

 

m

o

d

e

l

 

w

i

l

l

 

f

a

i

l

,

 

a

s

 

n

o

t

 

a

l

l

 

o

p

e

r

a

t

i

o

n

s

 

a

r

e

 

s

u

p

p

o

r

t

e

d

 

o

n

 

t

h

e

 

m

e

t

a

 

d

e

v

i

c

e

.







<

/

T

i

p

>







#

#

#

 

S

h

a

r

d

e

d

 

c

h

e

c

k

p

o

i

n

t

s







I

t

'

s

 

p

o

s

s

i

b

l

e

 

y

o

u

r

 

m

o

d

e

l

 

i

s

 

s

o

 

b

i

g

 

t

h

a

t

 

e

v

e

n

 

a

 

s

i

n

g

l

e

 

c

o

p

y

 

w

o

n

'

t

 

f

i

t

 

i

n

 

R

A

M

.

 

T

h

a

t

 

d

o

e

s

n

'

t

 

m

e

a

n

 

i

t

 

c

a

n

'

t

 

b

e

 

l

o

a

d

e

d

:

 

i

f

 

y

o

u

 

h

a

v

e

 

o

n

e

 

o

r

 

s

e

v

e

r

a

l

 

G

P

U

s

,

 

t

h

i

s

 

i

s

 

m

o

r

e

 

m

e

m

o

r

y

 

a

v

a

i

l

a

b

l

e

 

t

o

 

s

t

o

r

e

 

y

o

u

r

 

m

o

d

e

l

.

 

I

n

 

t

h

i

s

 

c

a

s

e

,

 

i

t

'

s

 

b

e

t

t

e

r

 

i

f

 

y

o

u

r

 

c

h

e

c

k

p

o

i

n

t

 

i

s

 

s

p

l

i

t

 

i

n

t

o

 

s

e

v

e

r

a

l

 

s

m

a

l

l

e

r

 

f

i

l

e

s

 

t

h

a

t

 

w

e

 

c

a

l

l

 

c

h

e

c

k

p

o

i

n

t

 

s

h

a

r

d

s

.







A

c

c

e

l

e

r

a

t

e

 

w

i

l

l

 

h

a

n

d

l

e

 

s

h

a

r

d

e

d

 

c

h

e

c

k

p

o

i

n

t

s

 

a

s

 

l

o

n

g

 

a

s

 

y

o

u

 

f

o

l

l

o

w

 

t

h

e

 

f

o

l

l

o

w

i

n

g

 

f

o

r

m

a

t

:

 

y

o

u

r

 

c

h

e

c

k

p

o

i

n

t

 

s

h

o

u

l

d

 

b

e

 

i

n

 

a

 

f

o

l

d

e

r

,

 

w

i

t

h

 

s

e

v

e

r

a

l

 

f

i

l

e

s

 

c

o

n

t

a

i

n

i

n

g

 

t

h

e

 

p

a

r

t

i

a

l

 

s

t

a

t

e

 

d

i

c

t

s

,

 

a

n

d

 

t

h

e

r

e

 

s

h

o

u

l

d

 

b

e

 

a

n

 

i

n

d

e

x

 

i

n

 

t

h

e

 

J

S

O

N

 

f

o

r

m

a

t

 

t

h

a

t

 

c

o

n

t

a

i

n

s

 

a

 

d

i

c

t

i

o

n

a

r

y

 

m

a

p

p

i

n

g

 

p

a

r

a

m

e

t

e

r

 

n

a

m

e

s

 

t

o

 

t

h

e

 

f

i

l

e

 

c

o

n

t

a

i

n

i

n

g

 

t

h

e

i

r

 

w

e

i

g

h

t

s

.

 

Y

o

u

 

c

a

n

 

e

a

s

i

l

y

 

s

h

a

r

d

 

y

o

u

r

 

m

o

d

e

l

 

w

i

t

h

 

`

s

a

v

e

_

m

o

d

e

l

(

)

`

.

 

F

o

r

 

i

n

s

t

a

n

c

e

,

 

w

e

 

c

o

u

l

d

 

h

a

v

e

 

a

 

f

o

l

d

e

r

 

c

o

n

t

a

i

n

i

n

g

:







`

`

`

b

a

s

h




f

i

r

s

t

_

s

t

a

t

e

_

d

i

c

t

.

b

i

n




i

n

d

e

x

.

j

s

o

n




s

e

c

o

n

d

_

s

t

a

t

e

_

d

i

c

t

.

b

i

n




`

`

`







w

i

t

h

 

i

n

d

e

x

.

j

s

o

n

 

b

e

i

n

g

 

t

h

e

 

f

o

l

l

o

w

i

n

g

 

f

i

l

e

:







`

`

`




{




 

 

"

l

i

n

e

a

r

1

.

w

e

i

g

h

t

"

:

 

"

f

i

r

s

t

_

s

t

a

t

e

_

d

i

c

t

.

b

i

n

"

,




 

 

"

l

i

n

e

a

r

1

.

b

i

a

s

"

:

 

"

f

i

r

s

t

_

s

t

a

t

e

_

d

i

c

t

.

b

i

n

"

,




 

 

"

l

i

n

e

a

r

2

.

w

e

i

g

h

t

"

:

 

"

s

e

c

o

n

d

_

s

t

a

t

e

_

d

i

c

t

.

b

i

n

"

,




 

 

"

l

i

n

e

a

r

2

.

b

i

a

s

"

:

 

"

s

e

c

o

n

d

_

s

t

a

t

e

_

d

i

c

t

.

b

i

n

"




}




`

`

`







a

n

d

 

`

f

i

r

s

t

_

s

t

a

t

e

_

d

i

c

t

.

b

i

n

`

 

c

o

n

t

a

i

n

i

n

g

 

t

h

e

 

w

e

i

g

h

t

s

 

f

o

r

 

`

"

l

i

n

e

a

r

1

.

w

e

i

g

h

t

"

`

 

a

n

d

 

`

"

l

i

n

e

a

r

1

.

b

i

a

s

"

`

,

 

`

s

e

c

o

n

d

_

s

t

a

t

e

_

d

i

c

t

.

b

i

n

`

 

t

h

e

 

o

n

e

s

 

f

o

r

 

`

"

l

i

n

e

a

r

2

.

w

e

i

g

h

t

"

`

 

a

n

d

 

`

"

l

i

n

e

a

r

2

.

b

i

a

s

"

`







#

#

#

 

L

o

a

d

i

n

g

 

w

e

i

g

h

t

s







T

h

e

 

s

e

c

o

n

d

 

t

o

o

l

 

A

c

c

e

l

e

r

a

t

e

 

i

n

t

r

o

d

u

c

e

s

 

i

s

 

a

 

f

u

n

c

t

i

o

n

 

`

l

o

a

d

_

c

h

e

c

k

p

o

i

n

t

_

a

n

d

_

d

i

s

p

a

t

c

h

(

)

`

,

 

t

h

a

t

 

w

i

l

l

 

a

l

l

o

w

 

y

o

u

 

t

o

 

l

o

a

d

 

a

 

c

h

e

c

k

p

o

i

n

t

 

i

n

s

i

d

e

 

y

o

u

r

 

e

m

p

t

y

 

m

o

d

e

l

.

 

T

h

i

s

 

s

u

p

p

o

r

t

s

 

f

u

l

l

 

c

h

e

c

k

p

o

i

n

t

s

 

(

a

 

s

i

n

g

l

e

 

f

i

l

e

 

c

o

n

t

a

i

n

i

n

g

 

t

h

e

 

w

h

o

l

e

 

s

t

a

t

e

 

d

i

c

t

)

 

a

s

 

w

e

l

l

 

a

s

 

s

h

a

r

d

e

d

 

c

h

e

c

k

p

o

i

n

t

s

.

 

I

t

 

w

i

l

l

 

a

l

s

o

 

a

u

t

o

m

a

t

i

c

a

l

l

y

 

d

i

s

p

a

t

c

h

 

t

h

o

s

e

 

w

e

i

g

h

t

s

 

a

c

r

o

s

s

 

t

h

e

 

d

e

v

i

c

e

s

 

y

o

u

 

h

a

v

e

 

a

v

a

i

l

a

b

l

e

 

(

G

P

U

s

,

 

C

P

U

 

R

A

M

)

,

 

s

o

 

i

f

 

y

o

u

 

a

r

e

 

l

o

a

d

i

n

g

 

a

 

s

h

a

r

d

e

d

 

c

h

e

c

k

p

o

i

n

t

,

 

t

h

e

 

m

a

x

i

m

u

m

 

R

A

M

 

u

s

a

g

e

 

w

i

l

l

 

b

e

 

t

h

e

 

s

i

z

e

 

o

f

 

t

h

e

 

b

i

g

g

e

s

t

 

s

h

a

r

d

.







I

f

 

y

o

u

 

w

a

n

t

 

t

o

 

u

s

e

 

b

i

g

 

m

o

d

e

l

 

i

n

f

e

r

e

n

c

e

 

w

i

t

h

 

T

r

a

n

s

f

o

r

m

e

r

s

 

m

o

d

e

l

s

,

 

c

h

e

c

k

 

o

u

t

 

t

h

i

s

 

[

d

o

c

u

m

e

n

t

a

t

i

o

n

]

(

h

t

t

p

s

:

/

/

h

u

g

g

i

n

g

f

a

c

e

.

c

o

/

d

o

c

s

/

t

r

a

n

s

f

o

r

m

e

r

s

/

m

a

i

n

/

e

n

/

m

a

i

n

_

c

l

a

s

s

e

s

/

m

o

d

e

l

#

l

a

r

g

e

-

m

o

d

e

l

-

l

o

a

d

i

n

g

)

.







H

e

r

e

 

i

s

 

h

o

w

 

w

e

 

c

a

n

 

u

s

e

 

t

h

i

s

 

t

o

 

l

o

a

d

 

t

h

e

 

[

G

P

T

2

-

1

.

5

B

]

(

h

t

t

p

s

:

/

/

h

u

g

g

i

n

g

f

a

c

e

.

c

o

/

m

a

r

c

s

u

n

1

3

/

g

p

t

2

-

x

l

-

l

i

n

e

a

r

-

s

h

a

r

d

e

d

)

 

m

o

d

e

l

.







L

e

t

'

s

 

d

o

w

n

l

o

a

d

 

t

h

e

 

s

h

a

r

d

e

d

 

v

e

r

s

i

o

n

 

o

f

 

t

h

i

s

 

m

o

d

e

l

.







`

`

`

b

a

s

h




p

i

p

 

i

n

s

t

a

l

l

 

h

u

g

g

i

n

g

f

a

c

e

_

h

u

b




`

`

`







`

`

`

p

y




f

r

o

m

 

h

u

g

g

i

n

g

f

a

c

e

_

h

u

b

 

i

m

p

o

r

t

 

s

n

a

p

s

h

o

t

_

d

o

w

n

l

o

a

d




c

h

e

c

k

p

o

i

n

t

 

=

 

"

m

a

r

c

s

u

n

1

3

/

g

p

t

2

-

x

l

-

l

i

n

e

a

r

-

s

h

a

r

d

e

d

"




w

e

i

g

h

t

s

_

l

o

c

a

t

i

o

n

 

=

 

s

n

a

p

s

h

o

t

_

d

o

w

n

l

o

a

d

(

r

e

p

o

_

i

d

=

c

h

e

c

k

p

o

i

n

t

)




`

`

`







I

n

 

o

r

d

e

r

 

t

o

 

i

n

i

t

i

a

l

i

z

e

 

t

h

e

 

m

o

d

e

l

,

 

w

e

 

w

i

l

l

 

u

s

e

 

t

h

e

 

l

i

b

r

a

r

y

 

m

i

n

G

P

T

.

 







`

`

`

b

a

s

h




g

i

t

 

c

l

o

n

e

 

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

k

a

r

p

a

t

h

y

/

m

i

n

G

P

T

.

g

i

t




p

i

p

 

i

n

s

t

a

l

l

 

m

i

n

G

P

T

/




`

`

`







`

`

`

p

y




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

i

n

i

t

_

e

m

p

t

y

_

w

e

i

g

h

t

s




f

r

o

m

 

m

i

n

g

p

t

.

m

o

d

e

l

 

i

m

p

o

r

t

 

G

P

T







m

o

d

e

l

_

c

o

n

f

i

g

 

=

 

G

P

T

.

g

e

t

_

d

e

f

a

u

l

t

_

c

o

n

f

i

g

(

)




m

o

d

e

l

_

c

o

n

f

i

g

.

m

o

d

e

l

_

t

y

p

e

 

=

 

'

g

p

t

2

-

x

l

'




m

o

d

e

l

_

c

o

n

f

i

g

.

v

o

c

a

b

_

s

i

z

e

 

=

 

5

0

2

5

7




m

o

d

e

l

_

c

o

n

f

i

g

.

b

l

o

c

k

_

s

i

z

e

 

=

 

1

0

2

4







w

i

t

h

 

i

n

i

t

_

e

m

p

t

y

_

w

e

i

g

h

t

s

(

)

:




 

 

 

 

m

o

d

e

l

 

=

 

G

P

T

(

m

o

d

e

l

_

c

o

n

f

i

g

)




`

`

`







T

h

e

n

,

 

l

o

a

d

 

t

h

e

 

c

h

e

c

k

p

o

i

n

t

 

w

e

 

j

u

s

t

 

d

o

w

n

l

o

a

d

e

d

 

w

i

t

h

:







`

`

`

p

y




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

l

o

a

d

_

c

h

e

c

k

p

o

i

n

t

_

a

n

d

_

d

i

s

p

a

t

c

h







m

o

d

e

l

 

=

 

l

o

a

d

_

c

h

e

c

k

p

o

i

n

t

_

a

n

d

_

d

i

s

p

a

t

c

h

(




 

 

 

 

m

o

d

e

l

,

 

c

h

e

c

k

p

o

i

n

t

=

w

e

i

g

h

t

s

_

l

o

c

a

t

i

o

n

,

 

d

e

v

i

c

e

_

m

a

p

=

"

a

u

t

o

"

,

 

n

o

_

s

p

l

i

t

_

m

o

d

u

l

e

_

c

l

a

s

s

e

s

=

[

'

B

l

o

c

k

'

]




)




`

`

`







B

y

 

p

a

s

s

i

n

g

 

`

d

e

v

i

c

e

_

m

a

p

=

"

a

u

t

o

"

`

,

 

w

e

 

t

e

l

l

 

A

c

c

e

l

e

r

a

t

e

 

t

o

 

d

e

t

e

r

m

i

n

e

 

a

u

t

o

m

a

t

i

c

a

l

l

y

 

w

h

e

r

e

 

t

o

 

p

u

t

 

e

a

c

h

 

l

a

y

e

r

 

o

f

 

t

h

e

 

m

o

d

e

l

 

d

e

p

e

n

d

i

n

g

 

o

n

 

t

h

e

 

a

v

a

i

l

a

b

l

e

 

r

e

s

o

u

r

c

e

s

:




-

 

f

i

r

s

t

,

 

w

e

 

u

s

e

 

t

h

e

 

m

a

x

i

m

u

m

 

s

p

a

c

e

 

a

v

a

i

l

a

b

l

e

 

o

n

 

t

h

e

 

G

P

U

(

s

)




-

 

i

f

 

w

e

 

s

t

i

l

l

 

n

e

e

d

 

s

p

a

c

e

,

 

w

e

 

s

t

o

r

e

 

t

h

e

 

r

e

m

a

i

n

i

n

g

 

w

e

i

g

h

t

s

 

o

n

 

t

h

e

 

C

P

U




-

 

i

f

 

t

h

e

r

e

 

i

s

 

n

o

t

 

e

n

o

u

g

h

 

R

A

M

,

 

w

e

 

s

t

o

r

e

 

t

h

e

 

r

e

m

a

i

n

i

n

g

 

w

e

i

g

h

t

s

 

o

n

 

t

h

e

 

h

a

r

d

 

d

r

i

v

e

 

a

s

 

m

e

m

o

r

y

-

m

a

p

p

e

d

 

t

e

n

s

o

r

s










#

#

#

#

 

`

n

o

_

s

p

l

i

t

_

m

o

d

u

l

e

_

c

l

a

s

s

e

s

`







T

h

i

s

 

p

a

r

a

m

e

t

e

r

 

w

i

l

l

 

i

n

d

i

c

a

t

e

 

t

h

a

t

 

s

o

m

e

 

o

f

 

t

h

e

 

m

o

d

u

l

e

s

 

w

i

t

h

 

t

h

e

 

n

a

m

e

 

`

"

B

l

o

c

k

"

`

 

s

h

o

u

l

d

 

n

o

t

 

b

e

 

s

p

l

i

t

 

a

c

r

o

s

s

 

d

i

f

f

e

r

e

n

t

 

d

e

v

i

c

e

s

.

 

Y

o

u

 

s

h

o

u

l

d

 

s

e

t

 

h

e

r

e

 

a

l

l

 

b

l

o

c

k

s

 

t

h

a

t

 




i

n

c

l

u

d

e

 

a

 

r

e

s

i

d

u

a

l

 

c

o

n

n

e

c

t

i

o

n

 

o

f

 

s

o

m

e

 

k

i

n

d

.










#

#

#

#

 

T

h

e

 

`

d

e

v

i

c

e

_

m

a

p

`







Y

o

u

 

c

a

n

 

s

e

e

 

t

h

e

 

`

d

e

v

i

c

e

_

m

a

p

`

 

t

h

a

t

 

A

c

c

e

l

e

r

a

t

e

 

p

i

c

k

e

d

 

b

y

 

a

c

c

e

s

s

i

n

g

 

t

h

e

 

`

h

f

_

d

e

v

i

c

e

_

m

a

p

`

 

a

t

t

r

i

b

u

t

e

 

o

f

 

y

o

u

r

 

m

o

d

e

l

:







`

`

`

p

y




m

o

d

e

l

.

h

f

_

d

e

v

i

c

e

_

m

a

p




`

`

`







`

`

`

p

y

t

h

o

n

 

o

u

t




{

'

t

r

a

n

s

f

o

r

m

e

r

.

w

t

e

'

:

 

0

,




 

'

t

r

a

n

s

f

o

r

m

e

r

.

w

p

e

'

:

 

0

,




 

'

t

r

a

n

s

f

o

r

m

e

r

.

d

r

o

p

'

:

 

0

,




 

'

t

r

a

n

s

f

o

r

m

e

r

.

h

.

0

'

:

 

0

,




 

.

.

.




 

'

t

r

a

n

s

f

o

r

m

e

r

.

h

.

2

1

'

:

 

0

,

 




 

'

t

r

a

n

s

f

o

r

m

e

r

.

h

.

2

2

'

:

 

1

,

 




 

'

t

r

a

n

s

f

o

r

m

e

r

.

h

.

2

3

'

:

 

1

,

 




 

'

t

r

a

n

s

f

o

r

m

e

r

.

h

.

2

4

'

:

 

1

,




 

.

.

.




 

'

t

r

a

n

s

f

o

r

m

e

r

.

h

.

4

7

'

:

 

1

,

 




 

'

t

r

a

n

s

f

o

r

m

e

r

.

l

n

_

f

'

:

 

1

,

 




 

'

l

m

_

h

e

a

d

'

:

 

1

}




 

`

`

`







I

t

'

s

 

f

u

l

l

y

 

p

o

s

s

i

b

l

e

 

t

o

 

c

r

e

a

t

e

 

y

o

u

r

 

o

w

n

 

d

e

v

i

c

e

 

m

a

p

 

f

o

r

 

t

h

e

 

l

a

y

e

r

s

 

t

o

 

u

s

e

 

a

s

 

w

e

l

l

,

 

s

p

e

c

i

f

y

i

n

g

 

t

h

e

 

G

P

U

 

d

e

v

i

c

e

 

t

o

 

u

s

e

 

(

a

 

n

u

m

b

e

r

)

,

 

`

"

c

p

u

"

`

,

 

o

r

 

`

"

d

i

s

k

"

`

 

a

n

d

 

p

a

s

s

 

t

h

i

s

 

i

n

:







`

`

`

p

y

t

h

o

n




d

e

v

i

c

e

_

m

a

p

 

=

 

{




 

 

 

 

"

t

r

a

n

s

f

o

r

m

e

r

.

w

t

e

"

:

 

"

c

p

u

"

,




 

 

 

 

"

t

r

a

n

s

f

o

r

m

e

r

.

w

p

e

"

:

 

0

,




 

 

 

 

"

t

r

a

n

s

f

o

r

m

e

r

.

d

r

o

p

"

:

 

"

c

p

u

"

,




 

 

 

 

"

t

r

a

n

s

f

o

r

m

e

r

.

h

.

0

"

:

 

"

d

i

s

k

"




}







m

o

d

e

l

 

=

 

l

o

a

d

_

c

h

e

c

k

p

o

i

n

t

_

a

n

d

_

d

i

s

p

a

t

c

h

(




 

 

 

 

m

o

d

e

l

,

 

c

h

e

c

k

p

o

i

n

t

=

w

e

i

g

h

t

s

_

l

o

c

a

t

i

o

n

,

 

d

e

v

i

c

e

_

m

a

p

=

d

e

v

i

c

e

_

m

a

p




)







`

`

`







#

#

#

 

R

u

n

 

t

h

e

 

m

o

d

e

l







N

o

w

 

t

h

a

t

 

w

e

 

h

a

v

e

 

d

o

n

e

 

t

h

i

s

,

 

o

u

r

 

m

o

d

e

l

 

l

i

e

s

 

a

c

r

o

s

s

 

s

e

v

e

r

a

l

 

d

e

v

i

c

e

s

,

 

a

n

d

 

m

a

y

b

e

 

t

h

e

 

h

a

r

d

 

d

r

i

v

e

.

 

B

u

t

 

i

t

 

c

a

n

 

s

t

i

l

l

 

b

e

 

u

s

e

d

 

a

s

 

a

 

r

e

g

u

l

a

r

 

P

y

T

o

r

c

h

 

m

o

d

e

l

:







`

`

`

p

y




f

r

o

m

 

m

i

n

g

p

t

.

b

p

e

 

i

m

p

o

r

t

 

B

P

E

T

o

k

e

n

i

z

e

r




t

o

k

e

n

i

z

e

r

 

=

 

B

P

E

T

o

k

e

n

i

z

e

r

(

)




i

n

p

u

t

s

 

=

 

t

o

k

e

n

i

z

e

r

(

"

H

e

l

l

o

,

 

m

y

 

n

a

m

e

 

i

s

"

)

.

t

o

(

0

)







o

u

t

p

u

t

s

 

=

 

m

o

d

e

l

.

g

e

n

e

r

a

t

e

(

x

1

,

 

m

a

x

_

n

e

w

_

t

o

k

e

n

s

=

1

0

,

 

d

o

_

s

a

m

p

l

e

=

F

a

l

s

e

)

[

0

]




t

o

k

e

n

i

z

e

r

.

d

e

c

o

d

e

(

o

u

t

p

u

t

s

.

c

p

u

(

)

.

s

q

u

e

e

z

e

(

)

)




`

`

`







B

e

h

i

n

d

 

t

h

e

 

s

c

e

n

e

s

,

 

A

c

c

e

l

e

r

a

t

e

 

a

d

d

e

d

 

h

o

o

k

s

 

t

o

 

t

h

e

 

m

o

d

e

l

,

 

s

o

 

t

h

a

t

:




-

 

a

t

 

e

a

c

h

 

l

a

y

e

r

,

 

t

h

e

 

i

n

p

u

t

s

 

a

r

e

 

p

u

t

 

o

n

 

t

h

e

 

r

i

g

h

t

 

d

e

v

i

c

e

 

(

s

o

 

e

v

e

n

 

i

f

 

y

o

u

r

 

m

o

d

e

l

 

i

s

 

s

p

r

e

a

d

 

a

c

r

o

s

s

 

s

e

v

e

r

a

l

 

G

P

U

s

,

 

i

t

 

w

o

r

k

s

)




-

 

f

o

r

 

t

h

e

 

w

e

i

g

h

t

s

 

o

f

f

l

o

a

d

e

d

 

o

n

 

t

h

e

 

C

P

U

,

 

t

h

e

y

 

a

r

e

 

p

u

t

 

o

n

 

a

 

G

P

U

 

j

u

s

t

 

b

e

f

o

r

e

 

t

h

e

 

f

o

r

w

a

r

d

 

p

a

s

s

 

a

n

d

 

c

l

e

a

n

e

d

 

u

p

 

j

u

s

t

 

a

f

t

e

r




-

 

f

o

r

 

t

h

e

 

w

e

i

g

h

t

s

 

o

f

f

l

o

a

d

e

d

 

o

n

 

t

h

e

 

h

a

r

d

 

d

r

i

v

e

,

 

t

h

e

y

 

a

r

e

 

l

o

a

d

e

d

 

i

n

 

R

A

M

 

t

h

e

n

 

p

u

t

 

o

n

 

a

 

G

P

U

 

j

u

s

t

 

b

e

f

o

r

e

 

t

h

e

 

f

o

r

w

a

r

d

 

p

a

s

s

 

a

n

d

 

c

l

e

a

n

e

d

 

u

p

 

j

u

s

t

 

a

f

t

e

r







T

h

i

s

 

w

a

y

,

 

y

o

u

r

 

m

o

d

e

l

 

c

a

n

 

r

u

n

 

f

o

r

 

i

n

f

e

r

e

n

c

e

 

e

v

e

n

 

i

f

 

i

t

 

d

o

e

s

n

'

t

 

f

i

t

 

o

n

 

o

n

e

 

o

f

 

t

h

e

 

G

P

U

s

 

o

r

 

t

h

e

 

C

P

U

 

R

A

M

!







<

T

i

p

 

w

a

r

n

i

n

g

=

{

t

r

u

e

}

>







 

 

 

 

T

h

i

s

 

o

n

l

y

 

s

u

p

p

o

r

t

s

 

t

h

e

 

i

n

f

e

r

e

n

c

e

 

o

f

 

y

o

u

r

 

m

o

d

e

l

,

 

n

o

t

 

t

r

a

i

n

i

n

g

.

 

M

o

s

t

 

o

f

 

t

h

e

 

c

o

m

p

u

t

a

t

i

o

n

 

h

a

p

p

e

n

s

 

b

e

h

i

n

d

 

`

t

o

r

c

h

.

n

o

_

g

r

a

d

(

)

`

 

c

o

n

t

e

x

t

 

m

a

n

a

g

e

r

s

 

t

o

 

a

v

o

i

d

 

s

p

e

n

d

i

n

g

 

s

o

m

e

 

G

P

U

 

m

e

m

o

r

y

 

w

i

t

h

 

i

n

t

e

r

m

e

d

i

a

t

e

 

a

c

t

i

v

a

t

i

o

n

s

.







<

/

T

i

p

>







#

#

#

 

D

e

s

i

g

n

i

n

g

 

a

 

d

e

v

i

c

e

 

m

a

p







Y

o

u

 

c

a

n

 

l

e

t

 

A

c

c

e

l

e

r

a

t

e

 

h

a

n

d

l

e

 

t

h

e

 

d

e

v

i

c

e

 

m

a

p

 

c

o

m

p

u

t

a

t

i

o

n

 

b

y

 

s

e

t

t

i

n

g

 

`

d

e

v

i

c

e

_

m

a

p

`

 

t

o

 

o

n

e

 

o

f

 

t

h

e

 

s

u

p

p

o

r

t

e

d

 

o

p

t

i

o

n

s

 

(

`

"

a

u

t

o

"

`

,

 

`

"

b

a

l

a

n

c

e

d

"

`

,

 

`

"

b

a

l

a

n

c

e

d

_

l

o

w

_

0

"

`

,

 

`

"

s

e

q

u

e

n

t

i

a

l

"

`

)

 

o

r

 

c

r

e

a

t

e

 

o

n

e

 

y

o

u

r

s

e

l

f

 

i

f

 

y

o

u

 

w

a

n

t

 

m

o

r

e

 

c

o

n

t

r

o

l

 

o

v

e

r

 

w

h

e

r

e

 

e

a

c

h

 

l

a

y

e

r

 

s

h

o

u

l

d

 

g

o

.







<

T

i

p

>







 

 

 

 

Y

o

u

 

c

a

n

 

d

e

r

i

v

e

 

a

l

l

 

s

i

z

e

s

 

o

f

 

t

h

e

 

m

o

d

e

l

 

(

a

n

d

 

t

h

u

s

 

c

o

m

p

u

t

e

 

a

 

`

d

e

v

i

c

e

_

m

a

p

`

)

 

o

n

 

a

 

m

o

d

e

l

 

t

h

a

t

 

i

s

 

o

n

 

t

h

e

 

m

e

t

a

 

d

e

v

i

c

e

.







<

/

T

i

p

>







A

l

l

 

t

h

e

 

o

p

t

i

o

n

s

 

w

i

l

l

 

p

r

o

d

u

c

e

 

t

h

e

 

s

a

m

e

 

r

e

s

u

l

t

 

w

h

e

n

 

y

o

u

 

d

o

n

'

t

 

h

a

v

e

 

e

n

o

u

g

h

 

G

P

U

 

m

e

m

o

r

y

 

t

o

 

a

c

c

o

m

m

o

d

a

t

e

 

t

h

e

 

w

h

o

l

e

 

m

o

d

e

l

 

(

w

h

i

c

h

 

i

s

 

t

o

 

f

i

t

 

e

v

e

r

y

t

h

i

n

g

 

t

h

a

t

 

c

a

n

 

o

n

 

t

h

e

 

G

P

U

,

 

t

h

e

n

 

o

f

f

l

o

a

d

 

w

e

i

g

h

t

s

 

o

n

 

t

h

e

 

C

P

U

 

o

r

 

e

v

e

n

 

o

n

 

t

h

e

 

d

i

s

k

 

i

f

 

t

h

e

r

e

 

i

s

 

n

o

t

 

e

n

o

u

g

h

 

R

A

M

)

.

 







W

h

e

n

 

y

o

u

 

h

a

v

e

 

m

o

r

e

 

G

P

U

 

m

e

m

o

r

y

 

a

v

a

i

l

a

b

l

e

 

t

h

a

n

 

t

h

e

 

m

o

d

e

l

 

s

i

z

e

,

 

h

e

r

e

 

i

s

 

t

h

e

 

d

i

f

f

e

r

e

n

c

e

 

b

e

t

w

e

e

n

 

e

a

c

h

 

o

p

t

i

o

n

:




-

 

`

"

a

u

t

o

"

`

 

a

n

d

 

`

"

b

a

l

a

n

c

e

d

"

`

 

e

v

e

n

l

y

 

s

p

l

i

t

 

t

h

e

 

m

o

d

e

l

 

o

n

 

a

l

l

 

a

v

a

i

l

a

b

l

e

 

G

P

U

s

,

 

m

a

k

i

n

g

 

i

t

 

p

o

s

s

i

b

l

e

 

f

o

r

 

y

o

u

 

t

o

 

u

s

e

 

a

 

b

a

t

c

h

 

s

i

z

e

 

g

r

e

a

t

e

r

 

t

h

a

n

 

1

.




-

 

`

"

b

a

l

a

n

c

e

d

_

l

o

w

_

0

"

`

 

e

v

e

n

l

y

 

s

p

l

i

t

s

 

t

h

e

 

m

o

d

e

l

 

o

n

 

a

l

l

 

G

P

U

s

 

e

x

c

e

p

t

 

t

h

e

 

f

i

r

s

t

 

o

n

e

,

 

a

n

d

 

o

n

l

y

 

p

u

t

s

 

o

n

 

G

P

U

 

0

 

w

h

a

t

 

d

o

e

s

 

n

o

t

 

f

i

t

 

o

n

 

t

h

e

 

o

t

h

e

r

s

.

 

T

h

i

s

 

o

p

t

i

o

n

 

i

s

 

g

r

e

a

t

 

w

h

e

n

 

y

o

u

 

n

e

e

d

 

t

o

 

u

s

e

 

G

P

U

 

0

 

f

o

r

 

s

o

m

e

 

p

r

o

c

e

s

s

i

n

g

 

o

f

 

t

h

e

 

o

u

t

p

u

t

s

,

 

l

i

k

e

 

w

h

e

n

 

u

s

i

n

g

 

t

h

e

 

`

g

e

n

e

r

a

t

e

`

 

f

u

n

c

t

i

o

n

 

f

o

r

 

T

r

a

n

s

f

o

r

m

e

r

s

 

m

o

d

e

l

s




-

 

`

"

s

e

q

u

e

n

t

i

a

l

"

`

 

w

i

l

l

 

f

i

t

 

w

h

a

t

 

i

t

 

c

a

n

 

o

n

 

G

P

U

 

0

,

 

t

h

e

n

 

m

o

v

e

 

o

n

 

G

P

U

 

1

 

a

n

d

 

s

o

 

f

o

r

t

h

 

(

s

o

 

w

o

n

'

t

 

u

s

e

 

t

h

e

 

l

a

s

t

 

G

P

U

s

 

i

f

 

i

t

 

d

o

e

s

n

'

t

 

n

e

e

d

 

t

o

)

.







<

T

i

p

>







 

 

 

 

T

h

e

 

o

p

t

i

o

n

s

 

`

"

a

u

t

o

"

`

 

a

n

d

 

`

"

b

a

l

a

n

c

e

d

"

`

 

p

r

o

d

u

c

e

 

t

h

e

 

s

a

m

e

 

r

e

s

u

l

t

s

 

f

o

r

 

n

o

w

,

 

b

u

t

 

t

h

e

 

b

e

h

a

v

i

o

r

 

o

f

 

`

"

a

u

t

o

"

`

 

m

i

g

h

t

 

c

h

a

n

g

e

 

i

n

 

t

h

e

 

f

u

t

u

r

e

 

i

f

 

w

e

 

f

i

n

d

 

a

 

s

t

r

a

t

e

g

y

 

t

h

a

t

 

m

a

k

e

s

 

m

o

r

e

 

s

e

n

s

e

,

 

w

h

i

l

e

 

`

"

b

a

l

a

n

c

e

d

"

`

 

w

i

l

l

 

s

t

a

y

 

s

t

a

b

l

e

.







<

/

T

i

p

>







F

i

r

s

t

 

n

o

t

e

 

t

h

a

t

 

y

o

u

 

c

a

n

 

l

i

m

i

t

 

t

h

e

 

m

e

m

o

r

y

 

u

s

e

d

 

o

n

 

e

a

c

h

 

G

P

U

 

b

y

 

u

s

i

n

g

 

t

h

e

 

`

m

a

x

_

m

e

m

o

r

y

`

 

a

r

g

u

m

e

n

t

 

(

a

v

a

i

l

a

b

l

e

 

i

n

 

`

i

n

f

e

r

_

a

u

t

o

_

d

e

v

i

c

e

_

m

a

p

(

)

`

 

a

n

d

 

i

n

 

a

l

l

 

f

u

n

c

t

i

o

n

s

 

u

s

i

n

g

 

i

t

)

.

 

W

h

e

n

 

s

e

t

t

i

n

g

 

`

m

a

x

_

m

e

m

o

r

y

`

,

 

y

o

u

 

s

h

o

u

l

d

 

p

a

s

s

 

a

l

o

n

g

 

a

 

d

i

c

t

i

o

n

a

r

y

 

c

o

n

t

a

i

n

i

n

g

 

t

h

e

 

G

P

U

 

i

d

e

n

t

i

f

i

e

r

s

 

(

f

o

r

 

i

n

s

t

a

n

c

e

 

`

0

`

,

 

`

1

`

 

e

t

c

.

)

 

a

n

d

 

t

h

e

 

`

"

c

p

u

"

`

 

k

e

y

 

f

o

r

 

t

h

e

 

m

a

x

i

m

u

m

 

R

A

M

 

y

o

u

 

w

a

n

t

 

t

o

 

u

s

e

 

f

o

r

 

C

P

U

 

o

f

f

l

o

a

d

.

 

T

h

e

 

v

a

l

u

e

s

 

c

a

n

 

e

i

t

h

e

r

 

b

e

 

a

n

 

i

n

t

e

g

e

r

 

(

i

n

 

b

y

t

e

s

)

 

o

r

 

a

 

s

t

r

i

n

g

 

r

e

p

r

e

s

e

n

t

i

n

g

 

a

 

n

u

m

b

e

r

 

w

i

t

h

 

i

t

s

 

u

n

i

t

,

 

s

u

c

h

 

a

s

 

`

"

1

0

G

i

B

"

`

 

o

r

 

`

"

1

0

G

B

"

`

.







H

e

r

e

 

i

s

 

a

n

 

e

x

a

m

p

l

e

 

w

h

e

r

e

 

w

e

 

d

o

n

'

t

 

w

a

n

t

 

t

o

 

u

s

e

 

m

o

r

e

 

t

h

a

n

 

1

0

G

i

B

 

o

n

 

e

a

c

h

 

o

f

 

t

h

e

 

t

w

o

 

G

P

U

s

 

a

n

d

 

n

o

 

m

o

r

e

 

t

h

a

n

 

3

0

G

i

B

 

o

f

 

C

P

U

 

R

A

M

 

f

o

r

 

t

h

e

 

m

o

d

e

l

 

w

e

i

g

h

t

s

:







`

`

`

p

y

t

h

o

n




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

i

n

f

e

r

_

a

u

t

o

_

d

e

v

i

c

e

_

m

a

p







d

e

v

i

c

e

_

m

a

p

 

=

 

i

n

f

e

r

_

a

u

t

o

_

d

e

v

i

c

e

_

m

a

p

(

m

y

_

m

o

d

e

l

,

 

m

a

x

_

m

e

m

o

r

y

=

{

0

:

 

"

1

0

G

i

B

"

,

 

1

:

 

"

1

0

G

i

B

"

,

 

"

c

p

u

"

:

 

"

3

0

G

i

B

"

}

)




`

`

`







<

T

i

p

 

w

a

r

n

i

n

g

=

{

t

r

u

e

}

>







 

 

 

 

W

h

e

n

 

a

 

f

i

r

s

t

 

a

l

l

o

c

a

t

i

o

n

 

h

a

p

p

e

n

s

 

i

n

 

P

y

T

o

r

c

h

,

 

i

t

 

l

o

a

d

s

 

C

U

D

A

 

k

e

r

n

e

l

s

 

w

h

i

c

h

 

t

a

k

e

 

a

b

o

u

t

 

1

-

2

G

B

 

o

f

 

m

e

m

o

r

y

 

d

e

p

e

n

d

i

n

g

 

o

n

 

t

h

e

 

G

P

U

.

 

T

h

e

r

e

f

o

r

e

 

y

o

u

 

a

l

w

a

y

s

 

h

a

v

e

 

l

e

s

s

 

u

s

a

b

l

e

 

m

e

m

o

r

y

 

t

h

a

n

 

t

h

e

 

a

c

t

u

a

l

 

s

i

z

e

 

o

f

 

t

h

e

 

G

P

U

.

 

T

o

 

s

e

e

 

h

o

w

 

m

u

c

h

 

m

e

m

o

r

y

 

i

s

 

a

c

t

u

a

l

l

y

 

u

s

e

d

 

d

o

 

`

t

o

r

c

h

.

o

n

e

s

(

1

)

.

c

u

d

a

(

)

`

 

a

n

d

 

l

o

o

k

 

a

t

 

t

h

e

 

m

e

m

o

r

y

 

u

s

a

g

e

.







 

 

 

 

T

h

e

r

e

f

o

r

e

 

w

h

e

n

 

y

o

u

 

c

r

e

a

t

e

 

m

e

m

o

r

y

 

m

a

p

s

 

w

i

t

h

 

`

m

a

x

_

m

e

m

o

r

y

`

 

m

a

k

e

 

s

u

r

e

 

t

o

 

a

d

j

u

s

t

 

t

h

e

 

a

v

a

i

l

a

b

l

e

 

m

e

m

o

r

y

 

a

c

c

o

r

d

i

n

g

l

y

 

t

o

 

a

v

o

i

d

 

o

u

t

-

o

f

-

m

e

m

o

r

y

 

e

r

r

o

r

s

.







<

/

T

i

p

>







A

d

d

i

t

i

o

n

a

l

l

y

,

 

i

f

 

y

o

u

 

d

o

 

s

o

m

e

 

a

d

d

i

t

i

o

n

a

l

 

o

p

e

r

a

t

i

o

n

s

 

w

i

t

h

 

y

o

u

r

 

o

u

t

p

u

t

s

 

w

i

t

h

o

u

t

 

p

l

a

c

i

n

g

 

t

h

e

m

 

b

a

c

k

 

o

n

 

t

h

e

 

C

P

U

 

(

f

o

r

 

i

n

s

t

a

n

c

e

 

i

n

s

i

d

e

 

t

h

e

 

`

g

e

n

e

r

a

t

e

`

 

m

e

t

h

o

d

 

o

f

 

T

r

a

n

s

f

o

r

m

e

r

s

)

 

a

n

d

 

i

f

 

y

o

u

 

p

l

a

c

e

d

 

y

o

u

r

 

i

n

p

u

t

s

 

o

n

 

a

 

G

P

U

,

 

t

h

a

t

 

G

P

U

 

w

i

l

l

 

c

o

n

s

u

m

e

 

m

o

r

e

 

m

e

m

o

r

y

 

t

h

a

n

 

t

h

e

 

o

t

h

e

r

s

 

(

A

c

c

e

l

e

r

a

t

e

 

a

l

w

a

y

s

 

p

l

a

c

e

 

t

h

e

 

o

u

t

p

u

t

 

b

a

c

k

 

t

o

 

t

h

e

 

d

e

v

i

c

e

 

o

f

 

t

h

e

 

i

n

p

u

t

)

.

 

T

h

e

r

e

f

o

r

e

 

i

f

 

y

o

u

 

w

o

u

l

d

 

l

i

k

e

 

t

o

 

o

p

t

i

m

i

z

e

 

t

h

e

 

m

a

x

i

m

u

m

 

b

a

t

c

h

 

s

i

z

e

 

a

n

d

 

y

o

u

 

h

a

v

e

 

m

a

n

y

 

G

P

U

s

,

 

g

i

v

e

 

t

h

e

 

f

i

r

s

t

 

G

P

U

 

l

e

s

s

 

m

e

m

o

r

y

.

 

F

o

r

 

e

x

a

m

p

l

e

,

 

w

i

t

h

 

B

L

O

O

M

-

1

7

6

B

 

o

n

 

8

x

8

0

 

A

1

0

0

 

s

e

t

u

p

,

 

t

h

e

 

c

l

o

s

e

-

t

o

-

i

d

e

a

l

 

m

a

p

 

i

s

:







`

`

`

p

y

t

h

o

n




m

a

x

_

m

e

m

o

r

y

 

=

 

{

0

:

 

"

3

0

G

I

B

"

,

 

1

:

 

"

4

6

G

I

B

"

,

 

2

:

 

"

4

6

G

I

B

"

,

 

3

:

 

"

4

6

G

I

B

"

,

 

4

:

 

"

4

6

G

I

B

"

,

 

5

:

 

"

4

6

G

I

B

"

,

 

6

:

 

"

4

6

G

I

B

"

,

 

7

:

 

"

4

6

G

I

B

"

}




`

`

`




a

s

 

y

o

u

 

c

a

n

 

s

e

e

 

w

e

 

g

a

v

e

 

t

h

e

 

r

e

m

a

i

n

i

n

g

 

7

 

G

P

U

s

 

~

5

0

%

 

m

o

r

e

 

m

e

m

o

r

y

 

t

h

a

n

 

G

P

U

 

0

.







I

f

 

y

o

u

 

o

p

t

 

t

o

 

f

u

l

l

y

 

d

e

s

i

g

n

 

t

h

e

 

`

d

e

v

i

c

e

_

m

a

p

`

 

y

o

u

r

s

e

l

f

,

 

i

t

 

s

h

o

u

l

d

 

b

e

 

a

 

d

i

c

t

i

o

n

a

r

y

 

w

i

t

h

 

k

e

y

s

 

b

e

i

n

g

 

m

o

d

u

l

e

 

n

a

m

e

s

 

o

f

 

y

o

u

r

 

m

o

d

e

l

 

a

n

d

 

v

a

l

u

e

s

 

b

e

i

n

g

 

a

 

v

a

l

i

d

 

d

e

v

i

c

e

 

i

d

e

n

t

i

f

i

e

r

 

(

f

o

r

 

i

n

s

t

a

n

c

e

 

a

n

 

i

n

t

e

g

e

r

 

f

o

r

 

t

h

e

 

G

P

U

s

)

 

o

r

 

`

"

c

p

u

"

`

 

f

o

r

 

C

P

U

 

o

f

f

l

o

a

d

,

 

`

"

d

i

s

k

"

`

 

f

o

r

 

d

i

s

k

 

o

f

f

l

o

a

d

.

 

T

h

e

 

k

e

y

s

 

n

e

e

d

 

t

o

 

c

o

v

e

r

 

t

h

e

 

w

h

o

l

e

 

m

o

d

e

l

,

 

y

o

u

 

c

a

n

 

t

h

e

n

 

d

e

f

i

n

e

 

y

o

u

r

 

d

e

v

i

c

e

 

m

a

p

 

a

s

 

y

o

u

 

w

i

s

h

:

 

f

o

r

 

i

n

s

t

a

n

c

e

,

 

i

f

 

y

o

u

r

 

m

o

d

e

l

 

h

a

s

 

t

w

o

 

b

l

o

c

k

s

 

(

l

e

t

'

s

 

s

a

y

 

`

b

l

o

c

k

1

`

 

a

n

d

 

`

b

l

o

c

k

2

`

)

 

w

h

i

c

h

 

e

a

c

h

 

c

o

n

t

a

i

n

 

t

h

r

e

e

 

l

i

n

e

a

r

 

l

a

y

e

r

s

 

(

l

e

t

'

s

 

s

a

y

 

`

l

i

n

e

a

r

1

`

,

 

`

l

i

n

e

a

r

2

`

 

a

n

d

 

`

l

i

n

e

a

r

3

`

)

,

 

a

 

v

a

l

i

d

 

d

e

v

i

c

e

 

m

a

p

 

c

a

n

 

b

e

:







`

`

`

p

y

t

h

o

n




d

e

v

i

c

e

_

m

a

p

 

=

 

{

"

b

l

o

c

k

1

"

:

 

0

,

 

"

b

l

o

c

k

2

"

:

 

1

}




`

`

`







a

n

o

t

h

e

r

 

o

n

e

 

t

h

a

t

 

i

s

 

v

a

l

i

d

 

c

o

u

l

d

 

b

e

:







`

`

`

p

y

t

h

o

n




d

e

v

i

c

e

_

m

a

p

 

=

 

{

"

b

l

o

c

k

1

"

:

 

0

,

 

"

b

l

o

c

k

2

.

l

i

n

e

a

r

1

"

:

 

0

,

 

"

b

l

o

c

k

2

.

l

i

n

e

a

r

2

"

:

 

1

,

 

"

b

l

o

c

k

2

.

l

i

n

e

a

r

3

"

:

 

1

}




`

`

`







O

n

 

t

h

e

 

o

t

h

e

r

 

h

a

n

d

,

 

t

h

i

s

 

o

n

e

 

i

s

 

n

o

t

 

v

a

l

i

d

 

a

s

 

i

t

 

d

o

e

s

 

n

o

t

 

c

o

v

e

r

 

e

v

e

r

y

 

p

a

r

a

m

e

t

e

r

 

o

f

 

t

h

e

 

m

o

d

e

l

:







`

`

`

p

y

t

h

o

n




d

e

v

i

c

e

_

m

a

p

 

=

 

{

"

b

l

o

c

k

1

"

:

 

0

,

 

"

b

l

o

c

k

2

.

l

i

n

e

a

r

1

"

:

 

1

,

 

"

b

l

o

c

k

2

.

l

i

n

e

a

r

2

"

:

 

1

}




`

`

`







<

T

i

p

>







 

 

 

 

T

o

 

b

e

 

t

h

e

 

m

o

s

t

 

e

f

f

i

c

i

e

n

t

,

 

m

a

k

e

 

s

u

r

e

 

y

o

u

r

 

d

e

v

i

c

e

 

m

a

p

 

p

u

t

s

 

t

h

e

 

p

a

r

a

m

e

t

e

r

s

 

o

n

 

t

h

e

 

G

P

U

s

 

i

n

 

a

 

s

e

q

u

e

n

t

i

a

l

 

m

a

n

n

e

r

 

(

e

.

g

.

 

d

o

n

'

t

 

p

u

t

 

o

n

e

 

o

f

 

t

h

e

 

f

i

r

s

t

 

w

e

i

g

h

t

s

 

o

n

 

G

P

U

 

0

,

 

t

h

e

n

 

w

e

i

g

h

t

s

 

o

n

 

G

P

U

 

1

 

a

n

d

 

t

h

e

 

l

a

s

t

 

w

e

i

g

h

t

 

b

a

c

k

 

t

o

 

G

P

U

 

0

)

 

t

o

 

a

v

o

i

d

 

m

a

k

i

n

g

 

m

a

n

y

 

t

r

a

n

s

f

e

r

s

 

o

f

 

d

a

t

a

 

b

e

t

w

e

e

n

 

t

h

e

 

G

P

U

s

.







<

/

T

i

p

>







#

#

 

C

P

U

 

o

f

f

l

o

a

d

 

o

n

l

y







I

f

 

y

o

u

 

w

a

n

t

 

t

o

 

o

f

f

l

o

a

d

 

y

o

u

r

 

m

o

d

e

l

 

o

n

 

C

P

U

,

 

y

o

u

 

c

a

n

 

u

s

e

 

`

c

p

u

_

o

f

f

l

o

a

d

(

)

`

.

 

A

s

 

a

 

r

e

s

u

l

t

,

 

a

l

l

 

p

a

r

a

m

e

t

e

r

s

 

o

f

 

t

h

e

 

m

o

d

e

l

 

w

i

l

l

 

b

e

 

o

f

f

l

o

a

d

e

d

 

a

n

d

 

o

n

l

y

 

o

n

e

 

c

o

p

y

 

o

f

 

t

h

e

 

s

t

a

t

e

 

d

i

c

t

 

o

f

 

t

h

e

 

m

o

d

e

l

 

w

i

l

l

 

b

e

 

k

e

p

t

.

 

D

u

r

i

n

g

 

t

h

e

 

f

o

r

w

a

r

d

 

p

a

s

s

,

 

p

a

r

a

m

e

t

e

r

s

 

w

i

l

l

 

b

e

 

e

x

t

r

a

c

t

e

d

 

f

r

o

m

 

t

h

a

t

 

s

t

a

t

e

 

d

i

c

t

 

a

n

d

 

p

u

t

 

o

n

 

t

h

e

 

e

x

e

c

u

t

i

o

n

 

d

e

v

i

c

e

 

a

n

d

 

p

a

s

s

e

d

 

a

s

 

t

h

e

y

 

a

r

e

 

n

e

e

d

e

d

,

 

t

h

e

n

 

o

f

f

l

o

a

d

e

d

 

a

g

a

i

n

.

 







`

`

`

p

y

t

h

o

n




c

p

u

_

o

f

f

l

o

a

d

(

m

o

d

e

l

,

 

e

x

e

c

u

t

i

o

n

_

d

e

v

i

c

e

)




`

`

`







Y

o

u

 

c

a

n

 

a

l

s

o

 

u

s

e

 

`

c

p

u

_

o

f

f

l

o

a

d

_

w

i

t

h

_

h

o

o

k

(

)

`

.

 

T

h

i

s

 

f

u

n

c

t

i

o

n

 

w

i

l

l

 

o

f

f

l

o

a

d

s

 

a

 

m

o

d

e

l

 

o

n

 

t

h

e

 

C

P

U

 

a

n

d

 

p

u

t

s

 

i

t

 

b

a

c

k

 

t

o

 

a

n

 

e

x

e

c

u

t

i

o

n

 

d

e

v

i

c

e

 

w

h

e

n

 

e

x

e

c

u

t

e

d

.

 

T

h

e

 

d

i

f

f

e

r

e

n

c

e

 

w

i

t

h

 

`

c

p

u

_

o

f

f

l

o

a

d

(

)

`

 

i

s

 

t

h

a

t

 

t

h

e

 

m

o

d

e

l

 

s

t

a

y

s

 

o

n

 

t

h

e

 

e

x

e

c

u

t

i

o

n

 

d

e

v

i

c

e

 

a

f

t

e

r

 

t

h

e

 

f

o

r

w

a

r

d

 

a

n

d

 

i

s

 

o

n

l

y

 

o

f

f

l

o

a

d

e

d

 

a

g

a

i

n

 

w

h

e

n

 

t

h

e

 

`

o

f

f

l

o

a

d

`

 

m

e

t

h

o

d

 

o

f

 

t

h

e

 

r

e

t

u

r

n

e

d

 

`

h

o

o

k

`

 

i

s

 

c

a

l

l

e

d

.

 

F

u

r

t

h

e

r

m

o

r

e

,

 

`

c

p

u

_

o

f

f

l

o

a

d

_

w

i

t

h

_

h

o

o

k

(

)

`

 

i

s

 

m

o

r

e

 

p

e

r

f

o

r

m

a

n

t

 

b

u

t

 

l

e

s

s

 

m

e

m

o

r

y

 

s

a

v

i

n

g

.

 

I

t

 

i

s

 

u

s

e

f

u

l

 

f

o

r

 

p

i

p

e

l

i

n

e

s

 

r

u

n

n

i

n

g

 

a

 

m

o

d

e

l

 

i

n

 

a

 

l

o

o

p

:







`

`

`

p

y

t

h

o

n




m

o

d

e

l

_

1

,

 

h

o

o

k

_

1

 

=

 

c

p

u

_

o

f

f

l

o

a

d

_

w

i

t

h

_

h

o

o

k

(

m

o

d

e

l

_

1

,

 

e

x

e

c

u

t

i

o

n

_

d

e

v

i

c

e

)




m

o

d

e

l

_

2

,

 

h

o

o

k

_

2

 

=

 

c

p

u

_

o

f

f

l

o

a

d

_

w

i

t

h

_

h

o

o

k

(

m

o

d

e

l

_

2

,

 

e

x

e

c

u

t

i

o

n

_

d

e

v

i

c

e

,

 

p

r

e

v

_

m

o

d

u

l

e

_

h

o

o

k

=

h

o

o

k

_

1

)




m

o

d

e

l

_

3

,

 

h

o

o

k

_

3

 

=

 

c

p

u

_

o

f

f

l

o

a

d

_

w

i

t

h

_

h

o

o

k

(

m

o

d

e

l

_

3

,

 

e

x

e

c

u

t

i

o

n

_

d

e

v

i

c

e

,

 

p

r

e

v

_

m

o

d

u

l

e

_

h

o

o

k

=

h

o

o

k

_

2

)







h

i

d

_

1

 

=

 

m

o

d

e

l

_

1

(

i

n

p

u

t

)




f

o

r

 

i

 

i

n

 

r

a

n

g

e

(

5

0

)

:




 

 

 

 

#

 

m

o

d

e

l

1

 

i

s

 

o

f

f

l

o

a

d

e

d

 

o

n

 

t

h

e

 

C

P

U

 

a

t

 

t

h

e

 

f

i

r

s

t

 

i

t

e

r

a

t

i

o

n

,

 

m

o

d

e

l

 

2

 

s

t

a

y

s

 

o

n

 

t

h

e

 

G

P

U

 

f

o

r

 

t

h

i

s

 

w

h

o

l

e

 

l

o

o

p

.




 

 

 

 

h

i

d

_

2

 

=

 

m

o

d

e

l

_

2

(

h

i

d

_

1

)




#

 

m

o

d

e

l

2

 

i

s

 

o

f

f

l

o

a

d

e

d

 

t

o

 

t

h

e

 

C

P

U

 

j

u

s

t

 

b

e

f

o

r

e

 

t

h

i

s

 

f

o

r

w

a

r

d

.




h

i

d

_

3

 

=

 

m

o

d

e

l

_

3

(

h

i

d

_

3

)







#

 

F

o

r

 

m

o

d

e

l

3

,

 

y

o

u

 

n

e

e

d

 

t

o

 

m

a

n

u

a

l

l

y

 

c

a

l

l

 

t

h

e

 

h

o

o

k

 

o

f

f

l

o

a

d

 

m

e

t

h

o

d

.




h

o

o

k

_

3

.

o

f

f

l

o

a

d

(

)




`

`

`







#

#

 

D

i

s

k

 

o

f

f

l

o

a

d

 

o

n

l

y







T

o

 

p

e

r

f

o

r

m

 

d

i

s

k

 

o

f

f

l

o

a

d

,

 

y

o

u

 

c

a

n

 

u

s

e

 

`

d

i

s

k

_

o

f

f

l

o

a

d

(

)

`

.

 

A

s

 

a

 

r

e

s

u

l

t

,

 

a

l

l

 

p

a

r

a

m

e

t

e

r

s

 

o

f

 

t

h

e

 

m

o

d

e

l

 

w

i

l

l

 

b

e

 

o

f

f

l

o

a

d

e

d

 

a

s

 

m

e

m

o

r

y

-

m

a

p

p

e

d

 

a

r

r

a

y

 

i

n

 

a

 

g

i

v

e

n

 

f

o

l

d

e

r

.

 

D

u

r

i

n

g

 

t

h

e

 

f

o

r

w

a

r

d

 

p

a

s

s

,

 

p

a

r

a

m

e

t

e

r

s

 

w

i

l

l

 

b

e

 

a

c

c

e

s

s

e

d

 

f

r

o

m

 

t

h

a

t

 

f

o

l

d

e

r

 

a

n

d

 

p

u

t

 

o

n

 

t

h

e

 

e

x

e

c

u

t

i

o

n

 

d

e

v

i

c

e

 

p

a

s

s

e

d

 

a

s

 

t

h

e

y

 

a

r

e

 

n

e

e

d

e

d

,

 

t

h

e

n

 

o

f

f

l

o

a

d

e

d

 

a

g

a

i

n

.







`

`

`

p

y

t

h

o

n




d

i

s

k

_

o

f

f

l

o

a

d

(

m

o

d

e

l

,

 

o

f

f

l

o

a

d

_

d

i

r

,

 

e

x

e

c

u

t

i

o

n

_

d

e

v

i

c

e

)




`

`

`







#

#

 

L

i

m

i

t

s

 

a

n

d

 

f

u

r

t

h

e

r

 

d

e

v

e

l

o

p

m

e

n

t







W

e

 

a

r

e

 

a

w

a

r

e

 

o

f

 

t

h

e

 

c

u

r

r

e

n

t

 

l

i

m

i

t

a

t

i

o

n

s

 

i

n

 

t

h

e

 

A

P

I

:







-

 

`

i

n

f

e

r

_

a

u

t

o

_

d

e

v

i

c

e

_

m

a

p

(

)

`

 

(

o

r

 

`

d

e

v

i

c

e

_

m

a

p

=

"

a

u

t

o

"

`

 

i

n

 

`

l

o

a

d

_

c

h

e

c

k

p

o

i

n

t

_

a

n

d

_

d

i

s

p

a

t

c

h

(

)

`

)

 

t

r

i

e

s

 

t

o

 

m

a

x

i

m

i

z

e

 

G

P

U

 

a

n

d

 

C

P

U

 

R

A

M

 

i

t

 

s

e

e

s

 

a

v

a

i

l

a

b

l

e

 

w

h

e

n

 

y

o

u

 

e

x

e

c

u

t

e

 

i

t

.

 

W

h

i

l

e

 

P

y

T

o

r

c

h

 

i

s

 

v

e

r

y

 

g

o

o

d

 

a

t

 

m

a

n

a

g

i

n

g

 

G

P

U

 

R

A

M

 

e

f

f

i

c

i

e

n

t

l

y

 

(

a

n

d

 

g

i

v

i

n

g

 

i

t

 

b

a

c

k

 

w

h

e

n

 

n

o

t

 

n

e

e

d

e

d

)

,

 

i

t

'

s

 

n

o

t

 

e

n

t

i

r

e

l

y

 

t

r

u

e

 

w

i

t

h

 

P

y

t

h

o

n

 

a

n

d

 

C

P

U

 

R

A

M

.

 

T

h

e

r

e

f

o

r

e

,

 

a

n

 

a

u

t

o

m

a

t

i

c

a

l

l

y

 

c

o

m

p

u

t

e

d

 

d

e

v

i

c

e

 

m

a

p

 

m

i

g

h

t

 

b

e

 

t

o

o

 

i

n

t

e

n

s

e

 

o

n

 

t

h

e

 

C

P

U

.

 

M

o

v

e

 

a

 

f

e

w

 

m

o

d

u

l

e

s

 

t

o

 

t

h

e

 

d

i

s

k

 

d

e

v

i

c

e

 

i

f

 

y

o

u

 

g

e

t

 

c

r

a

s

h

e

s

 

d

u

e

 

t

o

 

a

 

l

a

c

k

 

o

f

 

R

A

M

.




-

 

`

i

n

f

e

r

_

a

u

t

o

_

d

e

v

i

c

e

_

m

a

p

(

)

`

 

(

o

r

 

`

d

e

v

i

c

e

_

m

a

p

=

"

a

u

t

o

"

`

 

i

n

 

`

l

o

a

d

_

c

h

e

c

k

p

o

i

n

t

_

a

n

d

_

d

i

s

p

a

t

c

h

(

)

`

)

 

a

t

t

r

i

b

u

t

e

s

 

d

e

v

i

c

e

s

 

s

e

q

u

e

n

t

i

a

l

l

y

 

(

t

o

 

a

v

o

i

d

 

m

o

v

i

n

g

 

t

h

i

n

g

s

 

b

a

c

k

 

a

n

d

 

f

o

r

t

h

)

 

s

o

 

i

f

 

y

o

u

r

 

f

i

r

s

t

 

l

a

y

e

r

 

i

s

 

b

i

g

g

e

r

 

t

h

a

n

 

t

h

e

 

s

i

z

e

 

o

f

 

t

h

e

 

G

P

U

 

y

o

u

 

h

a

v

e

,

 

i

t

 

w

i

l

l

 

e

n

d

 

u

p

 

w

i

t

h

 

e

v

e

r

y

t

h

i

n

g

 

o

n

 

t

h

e

 

C

P

U

/

D

i

s

k

.




-

 

`

l

o

a

d

_

c

h

e

c

k

p

o

i

n

t

_

a

n

d

_

d

i

s

p

a

t

c

h

(

)

`

 

a

n

d

 

`

l

o

a

d

_

c

h

e

c

k

p

o

i

n

t

_

i

n

_

m

o

d

e

l

(

)

`

 

d

o

 

n

o

t

 

p

e

r

f

o

r

m

 

a

n

y

 

c

h

e

c

k

 

o

n

 

t

h

e

 

c

o

r

r

e

c

t

n

e

s

s

 

o

f

 

y

o

u

r

 

s

t

a

t

e

 

d

i

c

t

 

c

o

m

p

a

r

e

d

 

t

o

 

y

o

u

r

 

m

o

d

e

l

 

a

t

 

t

h

e

 

m

o

m

e

n

t

 

(

t

h

i

s

 

w

i

l

l

 

b

e

 

f

i

x

e

d

 

i

n

 

a

 

f

u

t

u

r

e

 

v

e

r

s

i

o

n

)

,

 

s

o

 

y

o

u

 

m

a

y

 

g

e

t

 

s

o

m

e

 

w

e

i

r

d

 

e

r

r

o

r

s

 

i

f

 

t

r

y

i

n

g

 

t

o

 

l

o

a

d

 

a

 

c

h

e

c

k

p

o

i

n

t

 

w

i

t

h

 

m

i

s

m

a

t

c

h

e

d

 

o

r

 

m

i

s

s

i

n

g

 

k

e

y

s

.




-

 

T

h

e

 

m

o

d

e

l

 

p

a

r

a

l

l

e

l

i

s

m

 

u

s

e

d

 

w

h

e

n

 

y

o

u

r

 

m

o

d

e

l

 

i

s

 

s

p

l

i

t

 

o

n

 

s

e

v

e

r

a

l

 

G

P

U

s

 

i

s

 

n

a

i

v

e

 

a

n

d

 

n

o

t

 

o

p

t

i

m

i

z

e

d

,

 

m

e

a

n

i

n

g

 

t

h

a

t

 

o

n

l

y

 

o

n

e

 

G

P

U

 

w

o

r

k

s

 

a

t

 

a

 

g

i

v

e

n

 

t

i

m

e

 

a

n

d

 

t

h

e

 

o

t

h

e

r

 

s

i

t

s

 

i

d

l

e

.




-

 

W

h

e

n

 

w

e

i

g

h

t

s

 

a

r

e

 

o

f

f

l

o

a

d

e

d

 

o

n

 

t

h

e

 

C

P

U

/

h

a

r

d

 

d

r

i

v

e

,

 

t

h

e

r

e

 

i

s

 

n

o

 

p

r

e

-

f

e

t

c

h

i

n

g

 

(

y

e

t

,

 

w

e

 

w

i

l

l

 

w

o

r

k

 

o

n

 

t

h

i

s

 

f

o

r

 

f

u

t

u

r

e

 

v

e

r

s

i

o

n

s

)

 

w

h

i

c

h

 

m

e

a

n

s

 

t

h

e

 

w

e

i

g

h

t

s

 

a

r

e

 

p

u

t

 

o

n

 

t

h

e

 

G

P

U

 

w

h

e

n

 

t

h

e

y

 

a

r

e

 

n

e

e

d

e

d

 

a

n

d

 

n

o

t

 

b

e

f

o

r

e

.




-

 

H

a

r

d

-

d

r

i

v

e

 

o

f

f

l

o

a

d

i

n

g

 

m

i

g

h

t

 

b

e

 

v

e

r

y

 

s

l

o

w

 

i

f

 

t

h

e

 

h

a

r

d

w

a

r

e

 

y

o

u

 

r

u

n

 

o

n

 

d

o

e

s

 

n

o

t

 

h

a

v

e

 

f

a

s

t

 

c

o

m

m

u

n

i

c

a

t

i

o

n

 

b

e

t

w

e

e

n

 

d

i

s

k

 

a

n

d

 

C

P

U

 

(

l

i

k

e

 

N

V

M

e

s

)

.







#

 

T

r

a

i

n

i

n

g

 

o

n

 

T

P

U

s







T

r

a

i

n

i

n

g

 

o

n

 

T

P

U

s

 

c

a

n

 

b

e

 

s

l

i

g

h

t

l

y

 

d

i

f

f

e

r

e

n

t

 

f

r

o

m

 

t

r

a

i

n

i

n

g

 

o

n

 

m

u

l

t

i

-

g

p

u

,

 

e

v

e

n

 

w

i

t

h

 

A

c

c

e

l

e

r

a

t

e

.

 

T

h

i

s

 

g

u

i

d

e

 

a

i

m

s

 

t

o

 

s

h

o

w

 

y

o

u

 




w

h

e

r

e

 

y

o

u

 

s

h

o

u

l

d

 

b

e

 

c

a

r

e

f

u

l

 

a

n

d

 

w

h

y

,

 

a

s

 

w

e

l

l

 

a

s

 

t

h

e

 

b

e

s

t

 

p

r

a

c

t

i

c

e

s

 

i

n

 

g

e

n

e

r

a

l

.







#

#

 

T

r

a

i

n

i

n

g

 

i

n

 

a

 

N

o

t

e

b

o

o

k







T

h

e

 

m

a

i

n

 

c

a

r

e

p

o

i

n

t

 

w

h

e

n

 

t

r

a

i

n

i

n

g

 

o

n

 

T

P

U

s

 

c

o

m

e

s

 

f

r

o

m

 

t

h

e

 

`

n

o

t

e

b

o

o

k

_

l

a

u

n

c

h

e

r

(

)

`

.

 

A

s

 

m

e

n

t

i

o

n

e

d

 

i

n

 

t

h

e

 

[

n

o

t

e

b

o

o

k

 

t

u

t

o

r

i

a

l

]

(

.

.

/

u

s

a

g

e

_

g

u

i

d

e

s

/

n

o

t

e

b

o

o

k

)

,

 

y

o

u

 

n

e

e

d

 

t

o

 




r

e

s

t

r

u

c

t

u

r

e

 

y

o

u

r

 

t

r

a

i

n

i

n

g

 

c

o

d

e

 

i

n

t

o

 

a

 

f

u

n

c

t

i

o

n

 

t

h

a

t

 

c

a

n

 

g

e

t

 

p

a

s

s

e

d

 

t

o

 

t

h

e

 

`

n

o

t

e

b

o

o

k

_

l

a

u

n

c

h

e

r

(

)

`

 

f

u

n

c

t

i

o

n

 

a

n

d

 

b

e

 

c

a

r

e

f

u

l

 

a

b

o

u

t

 

n

o

t

 

d

e

c

l

a

r

i

n

g

 

a

n

y

 

t

e

n

s

o

r

s

 

o

n

 

t

h

e

 

G

P

U

.







W

h

i

l

e

 

o

n

 

a

 

T

P

U

 

t

h

a

t

 

l

a

s

t

 

p

a

r

t

 

i

s

 

n

o

t

 

a

s

 

i

m

p

o

r

t

a

n

t

,

 

a

 

c

r

i

t

i

c

a

l

 

p

a

r

t

 

t

o

 

u

n

d

e

r

s

t

a

n

d

 

i

s

 

t

h

a

t

 

w

h

e

n

 

y

o

u

 

l

a

u

n

c

h

 

c

o

d

e

 

f

r

o

m

 

a

 

n

o

t

e

b

o

o

k

 

y

o

u

 

d

o

 

s

o

 

t

h

r

o

u

g

h

 

a

 

p

r

o

c

e

s

s

 

c

a

l

l

e

d

 

*

*

f

o

r

k

i

n

g

*

*

.

 




W

h

e

n

 

l

a

u

n

c

h

i

n

g

 

f

r

o

m

 

t

h

e

 

c

o

m

m

a

n

d

-

l

i

n

e

,

 

y

o

u

 

p

e

r

f

o

r

m

 

*

*

s

p

a

w

n

i

n

g

*

*

,

 

w

h

e

r

e

 

a

 

p

y

t

h

o

n

 

p

r

o

c

e

s

s

 

i

s

 

n

o

t

 

c

u

r

r

e

n

t

l

y

 

r

u

n

n

i

n

g

 

a

n

d

 

y

o

u

 

*

s

p

a

w

n

*

 

a

 

n

e

w

 

p

r

o

c

e

s

s

 

i

n

.

 

S

i

n

c

e

 

y

o

u

r

 

J

u

p

y

t

e

r

 

n

o

t

e

b

o

o

k

 

i

s

 

a

l

r

e

a

d

y

 




u

t

i

l

i

z

i

n

g

 

a

 

p

y

t

h

o

n

 

p

r

o

c

e

s

s

,

 

y

o

u

 

n

e

e

d

 

t

o

 

*

f

o

r

k

*

 

a

 

n

e

w

 

p

r

o

c

e

s

s

 

f

r

o

m

 

i

t

 

t

o

 

l

a

u

n

c

h

 

y

o

u

r

 

c

o

d

e

.

 







W

h

e

r

e

 

t

h

i

s

 

b

e

c

o

m

e

s

 

i

m

p

o

r

t

a

n

t

 

i

s

 

i

n

 

r

e

g

a

r

d

 

t

o

 

d

e

c

l

a

r

i

n

g

 

y

o

u

r

 

m

o

d

e

l

.

 

O

n

 

f

o

r

k

e

d

 

T

P

U

 

p

r

o

c

e

s

s

e

s

,

 

i

t

 

i

s

 

r

e

c

o

m

m

e

n

d

e

d

 

t

h

a

t

 

y

o

u

 

i

n

s

t

a

n

t

i

a

t

e

 

y

o

u

r

 

m

o

d

e

l

 

*

o

n

c

e

*

 

a

n

d

 

p

a

s

s

 

t

h

i

s

 

i

n

t

o

 

y

o

u

r

 




t

r

a

i

n

i

n

g

 

f

u

n

c

t

i

o

n

.

 

T

h

i

s

 

i

s

 

d

i

f

f

e

r

e

n

t

 

t

h

a

n

 

t

r

a

i

n

i

n

g

 

o

n

 

G

P

U

s

 

w

h

e

r

e

 

y

o

u

 

c

r

e

a

t

e

 

`

n

`

 

m

o

d

e

l

s

 

t

h

a

t

 

h

a

v

e

 

t

h

e

i

r

 

g

r

a

d

i

e

n

t

s

 

s

y

n

c

e

d

 

a

n

d

 

b

a

c

k

-

p

r

o

p

a

g

a

t

e

d

 

a

t

 

c

e

r

t

a

i

n

 

m

o

m

e

n

t

s

.

 

I

n

s

t

e

a

d

,

 

o

n

e

 




m

o

d

e

l

 

i

n

s

t

a

n

c

e

 

i

s

 

s

h

a

r

e

d

 

b

e

t

w

e

e

n

 

a

l

l

 

t

h

e

 

n

o

d

e

s

 

a

n

d

 

i

t

 

i

s

 

p

a

s

s

e

d

 

b

a

c

k

 

a

n

d

 

f

o

r

t

h

.

 

T

h

i

s

 

i

s

 

i

m

p

o

r

t

a

n

t

 

e

s

p

e

c

i

a

l

l

y

 

w

h

e

n

 

t

r

a

i

n

i

n

g

 

o

n

 

l

o

w

-

r

e

s

o

u

r

c

e

 

T

P

U

s

 

s

u

c

h

 

a

s

 

t

h

o

s

e

 

p

r

o

v

i

d

e

d

 

i

n

 

K

a

g

g

l

e

 

k

e

r

n

e

l

s

 

o

r




o

n

 

G

o

o

g

l

e

 

C

o

l

a

b

o

r

a

t

o

r

y

.

 







B

e

l

o

w

 

i

s

 

a

n

 

e

x

a

m

p

l

e

 

o

f

 

a

 

t

r

a

i

n

i

n

g

 

f

u

n

c

t

i

o

n

 

p

a

s

s

e

d

 

t

o

 

t

h

e

 

`

n

o

t

e

b

o

o

k

_

l

a

u

n

c

h

e

r

(

)

`

 

i

f

 

t

r

a

i

n

i

n

g

 

o

n

 

C

P

U

s

 

o

r

 

G

P

U

s

:







<

T

i

p

>







 

 

 

 

T

h

i

s

 

c

o

d

e

 

s

n

i

p

p

e

t

 

i

s

 

b

a

s

e

d

 

o

f

f

 

t

h

e

 

o

n

e

 

f

r

o

m

 

t

h

e

 

`

s

i

m

p

l

e

_

n

l

p

_

e

x

a

m

p

l

e

`

 

n

o

t

e

b

o

o

k

 

f

o

u

n

d

 

[

h

e

r

e

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

n

o

t

e

b

o

o

k

s

/

b

l

o

b

/

m

a

i

n

/

e

x

a

m

p

l

e

s

/

a

c

c

e

l

e

r

a

t

e

_

e

x

a

m

p

l

e

s

/

s

i

m

p

l

e

_

n

l

p

_

e

x

a

m

p

l

e

.

i

p

y

n

b

)

 

w

i

t

h

 

s

l

i

g

h

t

 




 

 

 

 

m

o

d

i

f

i

c

a

t

i

o

n

s

 

f

o

r

 

t

h

e

 

s

a

k

e

 

o

f

 

s

i

m

p

l

i

c

i

t

y







<

/

T

i

p

>







`

`

`

p

y

t

h

o

n




d

e

f

 

t

r

a

i

n

i

n

g

_

f

u

n

c

t

i

o

n

(

)

:




 

 

 

 

#

 

I

n

i

t

i

a

l

i

z

e

 

a

c

c

e

l

e

r

a

t

o

r




 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

)




 

 

 

 

m

o

d

e

l

 

=

 

A

u

t

o

M

o

d

e

l

F

o

r

S

e

q

u

e

n

c

e

C

l

a

s

s

i

f

i

c

a

t

i

o

n

.

f

r

o

m

_

p

r

e

t

r

a

i

n

e

d

(

"

b

e

r

t

-

b

a

s

e

-

c

a

s

e

d

"

,

 

n

u

m

_

l

a

b

e

l

s

=

2

)




 

 

 

 

t

r

a

i

n

_

d

a

t

a

l

o

a

d

e

r

,

 

e

v

a

l

_

d

a

t

a

l

o

a

d

e

r

 

=

 

c

r

e

a

t

e

_

d

a

t

a

l

o

a

d

e

r

s

(




 

 

 

 

 

 

 

 

t

r

a

i

n

_

b

a

t

c

h

_

s

i

z

e

=

h

y

p

e

r

p

a

r

a

m

e

t

e

r

s

[

"

t

r

a

i

n

_

b

a

t

c

h

_

s

i

z

e

"

]

,

 

e

v

a

l

_

b

a

t

c

h

_

s

i

z

e

=

h

y

p

e

r

p

a

r

a

m

e

t

e

r

s

[

"

e

v

a

l

_

b

a

t

c

h

_

s

i

z

e

"

]




 

 

 

 

)







 

 

 

 

#

 

I

n

s

t

a

n

t

i

a

t

e

 

o

p

t

i

m

i

z

e

r




 

 

 

 

o

p

t

i

m

i

z

e

r

 

=

 

A

d

a

m

W

(

p

a

r

a

m

s

=

m

o

d

e

l

.

p

a

r

a

m

e

t

e

r

s

(

)

,

 

l

r

=

h

y

p

e

r

p

a

r

a

m

e

t

e

r

s

[

"

l

e

a

r

n

i

n

g

_

r

a

t

e

"

]

)







 

 

 

 

#

 

P

r

e

p

a

r

e

 

e

v

e

r

y

t

h

i

n

g




 

 

 

 

#

 

T

h

e

r

e

 

i

s

 

n

o

 

s

p

e

c

i

f

i

c

 

o

r

d

e

r

 

t

o

 

r

e

m

e

m

b

e

r

,

 

w

e

 

j

u

s

t

 

n

e

e

d

 

t

o

 

u

n

p

a

c

k

 

t

h

e

 

o

b

j

e

c

t

s

 

i

n

 

t

h

e

 

s

a

m

e

 

o

r

d

e

r

 

w

e

 

g

a

v

e

 

t

h

e

m

 

t

o

 

t

h

e




 

 

 

 

#

 

p

r

e

p

a

r

e

 

m

e

t

h

o

d

.




 

 

 

 

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

t

r

a

i

n

_

d

a

t

a

l

o

a

d

e

r

,

 

e

v

a

l

_

d

a

t

a

l

o

a

d

e

r

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(




 

 

 

 

 

 

 

 

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

t

r

a

i

n

_

d

a

t

a

l

o

a

d

e

r

,

 

e

v

a

l

_

d

a

t

a

l

o

a

d

e

r




 

 

 

 

)







 

 

 

 

n

u

m

_

e

p

o

c

h

s

 

=

 

h

y

p

e

r

p

a

r

a

m

e

t

e

r

s

[

"

n

u

m

_

e

p

o

c

h

s

"

]




 

 

 

 

#

 

N

o

w

 

w

e

 

t

r

a

i

n

 

t

h

e

 

m

o

d

e

l




 

 

 

 

f

o

r

 

e

p

o

c

h

 

i

n

 

r

a

n

g

e

(

n

u

m

_

e

p

o

c

h

s

)

:




 

 

 

 

 

 

 

 

m

o

d

e

l

.

t

r

a

i

n

(

)




 

 

 

 

 

 

 

 

f

o

r

 

s

t

e

p

,

 

b

a

t

c

h

 

i

n

 

e

n

u

m

e

r

a

t

e

(

t

r

a

i

n

_

d

a

t

a

l

o

a

d

e

r

)

:




 

 

 

 

 

 

 

 

 

 

 

 

o

u

t

p

u

t

s

 

=

 

m

o

d

e

l

(

*

*

b

a

t

c

h

)




 

 

 

 

 

 

 

 

 

 

 

 

l

o

s

s

 

=

 

o

u

t

p

u

t

s

.

l

o

s

s




 

 

 

 

 

 

 

 

 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

b

a

c

k

w

a

r

d

(

l

o

s

s

)







 

 

 

 

 

 

 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




 

 

 

 

 

 

 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

.

z

e

r

o

_

g

r

a

d

(

)




`

`

`







`

`

`

p

y

t

h

o

n




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

n

o

t

e

b

o

o

k

_

l

a

u

n

c

h

e

r







n

o

t

e

b

o

o

k

_

l

a

u

n

c

h

e

r

(

t

r

a

i

n

i

n

g

_

f

u

n

c

t

i

o

n

)




`

`

`







<

T

i

p

>







 

 

 

 

T

h

e

 

`

n

o

t

e

b

o

o

k

_

l

a

u

n

c

h

e

r

`

 

w

i

l

l

 

d

e

f

a

u

l

t

 

t

o

 

8

 

p

r

o

c

e

s

s

e

s

 

i

f

 

A

c

c

e

l

e

r

a

t

e

 

h

a

s

 

b

e

e

n

 

c

o

n

f

i

g

u

r

e

d

 

f

o

r

 

a

 

T

P

U







<

/

T

i

p

>







I

f

 

y

o

u

 

u

s

e

 

t

h

i

s

 

e

x

a

m

p

l

e

 

a

n

d

 

d

e

c

l

a

r

e

 

t

h

e

 

m

o

d

e

l

 

*

i

n

s

i

d

e

*

 

t

h

e

 

t

r

a

i

n

i

n

g

 

l

o

o

p

,

 

t

h

e

n

 

o

n

 

a

 

l

o

w

-

r

e

s

o

u

r

c

e

 

s

y

s

t

e

m

 

y

o

u

 

w

i

l

l

 

p

o

t

e

n

t

i

a

l

l

y

 

s

e

e

 

a

n

 

e

r

r

o

r

 




l

i

k

e

:







`

`

`




P

r

o

c

e

s

s

E

x

i

t

e

d

E

x

c

e

p

t

i

o

n

:

 

p

r

o

c

e

s

s

 

0

 

t

e

r

m

i

n

a

t

e

d

 

w

i

t

h

 

s

i

g

n

a

l

 

S

I

G

S

E

G

V




`

`

`







T

h

i

s

 

e

r

r

o

r

 

i

s

 

*

e

x

t

r

e

m

e

l

y

*

 

c

r

y

p

t

i

c

 

b

u

t

 

t

h

e

 

b

a

s

i

c

 

e

x

p

l

a

n

a

t

i

o

n

 

i

s

 

y

o

u

 

r

a

n

 

o

u

t

 

o

f

 

s

y

s

t

e

m

 

R

A

M

.

 

Y

o

u

 

c

a

n

 

a

v

o

i

d

 

t

h

i

s

 

e

n

t

i

r

e

l

y

 

b

y

 

r

e

c

o

n

f

i

g

u

r

i

n

g

 

t

h

e

 

t

r

a

i

n

i

n

g

 

f

u

n

c

t

i

o

n

 

t

o

 




a

c

c

e

p

t

 

a

 

s

i

n

g

l

e

 

`

m

o

d

e

l

`

 

a

r

g

u

m

e

n

t

,

 

a

n

d

 

d

e

c

l

a

r

e

 

i

t

 

i

n

 

a

n

 

o

u

t

s

i

d

e

 

c

e

l

l

:







`

`

`

p

y

t

h

o

n




#

 

I

n

 

a

n

o

t

h

e

r

 

J

u

p

y

t

e

r

 

c

e

l

l




m

o

d

e

l

 

=

 

A

u

t

o

M

o

d

e

l

F

o

r

S

e

q

u

e

n

c

e

C

l

a

s

s

i

f

i

c

a

t

i

o

n

.

f

r

o

m

_

p

r

e

t

r

a

i

n

e

d

(

"

b

e

r

t

-

b

a

s

e

-

c

a

s

e

d

"

,

 

n

u

m

_

l

a

b

e

l

s

=

2

)




`

`

`







`

`

`

d

i

f

f




+

 

d

e

f

 

t

r

a

i

n

i

n

g

_

f

u

n

c

t

i

o

n

(

m

o

d

e

l

)

:




 

 

 

 

 

 

#

 

I

n

i

t

i

a

l

i

z

e

 

a

c

c

e

l

e

r

a

t

o

r




 

 

 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

)




-

 

 

 

 

 

m

o

d

e

l

 

=

 

A

u

t

o

M

o

d

e

l

F

o

r

S

e

q

u

e

n

c

e

C

l

a

s

s

i

f

i

c

a

t

i

o

n

.

f

r

o

m

_

p

r

e

t

r

a

i

n

e

d

(

"

b

e

r

t

-

b

a

s

e

-

c

a

s

e

d

"

,

 

n

u

m

_

l

a

b

e

l

s

=

2

)




 

 

 

 

 

 

t

r

a

i

n

_

d

a

t

a

l

o

a

d

e

r

,

 

e

v

a

l

_

d

a

t

a

l

o

a

d

e

r

 

=

 

c

r

e

a

t

e

_

d

a

t

a

l

o

a

d

e

r

s

(




 

 

 

 

 

 

 

 

 

 

t

r

a

i

n

_

b

a

t

c

h

_

s

i

z

e

=

h

y

p

e

r

p

a

r

a

m

e

t

e

r

s

[

"

t

r

a

i

n

_

b

a

t

c

h

_

s

i

z

e

"

]

,

 

e

v

a

l

_

b

a

t

c

h

_

s

i

z

e

=

h

y

p

e

r

p

a

r

a

m

e

t

e

r

s

[

"

e

v

a

l

_

b

a

t

c

h

_

s

i

z

e

"

]




 

 

 

 

 

 

)




 

 

.

.

.




`

`

`







A

n

d

 

f

i

n

a

l

l

y

 

c

a

l

l

i

n

g

 

t

h

e

 

t

r

a

i

n

i

n

g

 

f

u

n

c

t

i

o

n

 

w

i

t

h

:







`

`

`

d

i

f

f




 

 

f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

n

o

t

e

b

o

o

k

_

l

a

u

n

c

h

e

r




-

 

n

o

t

e

b

o

o

k

_

l

a

u

n

c

h

e

r

(

t

r

a

i

n

i

n

g

_

f

u

n

c

t

i

o

n

)




+

 

n

o

t

e

b

o

o

k

_

l

a

u

n

c

h

e

r

(

t

r

a

i

n

i

n

g

_

f

u

n

c

t

i

o

n

,

 

(

m

o

d

e

l

,

)

)




`

`

`







<

T

i

p

>







 

 

 

 

T

h

e

 

a

b

o

v

e

 

w

o

r

k

a

r

o

u

n

d

 

i

s

 

o

n

l

y

 

n

e

e

d

e

d

 

w

h

e

n

 

l

a

u

n

c

h

i

n

g

 

a

 

T

P

U

 

i

n

s

t

a

n

c

e

 

f

r

o

m

 

a

 

J

u

p

y

t

e

r

 

N

o

t

e

b

o

o

k

 

o

n

 

a

 

l

o

w

-

r

e

s

o

u

r

c

e

 

s

e

r

v

e

r

 

s

u

c

h

 

a

s

 

G

o

o

g

l

e

 

C

o

l

a

b

o

r

a

t

o

r

y

 

o

r

 

K

a

g

g

l

e

.

 

I

f

 




 

 

 

 

u

s

i

n

g

 

a

 

s

c

r

i

p

t

 

o

r

 

l

a

u

n

c

h

i

n

g

 

o

n

 

a

 

m

u

c

h

 

b

e

e

f

i

e

r

 

s

e

r

v

e

r

 

d

e

c

l

a

r

i

n

g

 

t

h

e

 

m

o

d

e

l

 

b

e

f

o

r

e

h

a

n

d

 

i

s

 

n

o

t

 

n

e

e

d

e

d

.







<

/

T

i

p

>







#

#

 

M

i

x

e

d

 

P

r

e

c

i

s

i

o

n

 

a

n

d

 

G

l

o

b

a

l

 

V

a

r

i

a

b

l

e

s

 







A

s

 

m

e

n

t

i

o

n

e

d

 

i

n

 

t

h

e

 

[

m

i

x

e

d

 

p

r

e

c

i

s

i

o

n

 

t

u

t

o

r

i

a

l

]

(

.

.

/

u

s

a

g

e

_

g

u

i

d

e

s

/

m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

)

,

 

A

c

c

e

l

e

r

a

t

e

 

s

u

p

p

o

r

t

s

 

f

p

1

6

 

a

n

d

 

b

f

1

6

,

 

b

o

t

h

 

o

f

 

w

h

i

c

h

 

c

a

n

 

b

e

 

u

s

e

d

 

o

n

 

T

P

U

s

.




T

h

a

t

 

b

e

i

n

g

 

s

a

i

d

,

 

i

d

e

a

l

l

y

 

`

b

f

1

6

`

 

s

h

o

u

l

d

 

b

e

 

u

t

i

l

i

z

e

d

 

a

s

 

i

t

 

i

s

 

e

x

t

r

e

m

e

l

y

 

e

f

f

i

c

i

e

n

t

 

t

o

 

u

s

e

.







T

h

e

r

e

 

a

r

e

 

t

w

o

 

"

l

a

y

e

r

s

"

 

w

h

e

n

 

u

s

i

n

g

 

`

b

f

1

6

`

 

a

n

d

 

A

c

c

e

l

e

r

a

t

e

 

o

n

 

T

P

U

s

,

 

a

t

 

t

h

e

 

b

a

s

e

 

l

e

v

e

l

 

a

n

d

 

a

t

 

t

h

e

 

o

p

e

r

a

t

i

o

n

 

l

e

v

e

l

.

 







A

t

 

t

h

e

 

b

a

s

e

 

l

e

v

e

l

,

 

t

h

i

s

 

i

s

 

e

n

a

b

l

e

d

 

w

h

e

n

 

p

a

s

s

i

n

g

 

`

m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

=

"

b

f

1

6

"

`

 

t

o

 

`

A

c

c

e

l

e

r

a

t

o

r

`

,

 

s

u

c

h

 

a

s

:




`

`

`

p

y

t

h

o

n




a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

=

"

b

f

1

6

"

)




`

`

`




B

y

 

d

e

f

a

u

l

t

,

 

t

h

i

s

 

w

i

l

l

 

c

a

s

t

 

`

t

o

r

c

h

.

f

l

o

a

t

`

 

a

n

d

 

`

t

o

r

c

h

.

d

o

u

b

l

e

`

 

t

o

 

`

b

f

l

o

a

t

1

6

`

 

o

n

 

T

P

U

s

.

 




T

h

e

 

s

p

e

c

i

f

i

c

 

c

o

n

f

i

g

u

r

a

t

i

o

n

 

b

e

i

n

g

 

s

e

t

 

i

s

 

a

n

 

e

n

v

i

r

o

n

m

e

n

t

a

l

 

v

a

r

i

a

b

l

e

 

o

f

 

`

X

L

A

_

U

S

E

_

B

F

1

6

`

 

i

s

 

s

e

t

 

t

o

 

`

1

`

.







T

h

e

r

e

 

i

s

 

a

 

f

u

r

t

h

e

r

 

c

o

n

f

i

g

u

r

a

t

i

o

n

 

y

o

u

 

c

a

n

 

p

e

r

f

o

r

m

 

w

h

i

c

h

 

i

s

 

s

e

t

t

i

n

g

 

t

h

e

 

`

X

L

A

_

D

O

W

N

C

A

S

T

_

B

F

1

6

`

 

e

n

v

i

r

o

n

m

e

n

t

a

l

 

v

a

r

i

a

b

l

e

.

 

I

f

 

s

e

t

 

t

o

 

`

1

`

,

 

t

h

e

n

 




`

t

o

r

c

h

.

f

l

o

a

t

`

 

i

s

 

`

b

f

l

o

a

t

1

6

`

 

a

n

d

 

`

t

o

r

c

h

.

d

o

u

b

l

e

`

 

i

s

 

`

f

l

o

a

t

3

2

`

.







T

h

i

s

 

i

s

 

p

e

r

f

o

r

m

e

d

 

i

n

 

t

h

e

 

`

A

c

c

e

l

e

r

a

t

o

r

`

 

o

b

j

e

c

t

 

w

h

e

n

 

p

a

s

s

i

n

g

 

`

d

o

w

n

c

a

s

t

_

b

f

1

6

=

T

r

u

e

`

:




`

`

`

p

y

t

h

o

n




a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

=

"

b

f

1

6

"

,

 

d

o

w

n

c

a

s

t

_

b

f

1

6

=

T

r

u

e

)




`

`

`







U

s

i

n

g

 

d

o

w

n

c

a

s

t

i

n

g

 

i

n

s

t

e

a

d

 

o

f

 

b

f

1

6

 

e

v

e

r

y

w

h

e

r

e

 

i

s

 

g

o

o

d

 

f

o

r

 

w

h

e

n

 

y

o

u

 

a

r

e

 

t

r

y

i

n

g

 

t

o

 

c

a

l

c

u

l

a

t

e

 

m

e

t

r

i

c

s

,

 

l

o

g

 

v

a

l

u

e

s

,

 

a

n

d

 

m

o

r

e

 

w

h

e

r

e

 

r

a

w

 

b

f

1

6

 

t

e

n

s

o

r

s

 

w

o

u

l

d

 

b

e

 

u

n

u

s

a

b

l

e

.

 







#

#

 

T

r

a

i

n

i

n

g

 

T

i

m

e

s

 

o

n

 

T

P

U

s







A

s

 

y

o

u

 

l

a

u

n

c

h

 

y

o

u

r

 

s

c

r

i

p

t

,

 

y

o

u

 

m

a

y

 

n

o

t

i

c

e

 

t

h

a

t

 

t

r

a

i

n

i

n

g

 

s

e

e

m

s

 

e

x

c

e

p

t

i

o

n

a

l

l

y

 

s

l

o

w

 

a

t

 

f

i

r

s

t

.

 

T

h

i

s

 

i

s

 

b

e

c

a

u

s

e

 

T

P

U

s




f

i

r

s

t

 

r

u

n

 

t

h

r

o

u

g

h

 

a

 

f

e

w

 

b

a

t

c

h

e

s

 

o

f

 

d

a

t

a

 

t

o

 

s

e

e

 

h

o

w

 

m

u

c

h

 

m

e

m

o

r

y

 

t

o

 

a

l

l

o

c

a

t

e

 

b

e

f

o

r

e

 

f

i

n

a

l

l

y

 

u

t

i

l

i

z

i

n

g

 

t

h

i

s

 

c

o

n

f

i

g

u

r

e

d

 




m

e

m

o

r

y

 

a

l

l

o

c

a

t

i

o

n

 

e

x

t

r

e

m

e

l

y

 

e

f

f

i

c

i

e

n

t

l

y

.

 







I

f

 

y

o

u

 

n

o

t

i

c

e

 

t

h

a

t

 

y

o

u

r

 

e

v

a

l

u

a

t

i

o

n

 

c

o

d

e

 

t

o

 

c

a

l

c

u

l

a

t

e

 

t

h

e

 

m

e

t

r

i

c

s

 

o

f

 

y

o

u

r

 

m

o

d

e

l

 

t

a

k

e

s

 

l

o

n

g

e

r

 

d

u

e

 

t

o

 

a

 

l

a

r

g

e

r

 

b

a

t

c

h

 

s

i

z

e

 

b

e

i

n

g

 

u

s

e

d

,

 




i

t

 

i

s

 

r

e

c

o

m

m

e

n

d

e

d

 

t

o

 

k

e

e

p

 

t

h

e

 

b

a

t

c

h

 

s

i

z

e

 

t

h

e

 

s

a

m

e

 

a

s

 

t

h

e

 

t

r

a

i

n

i

n

g

 

d

a

t

a

 

i

f

 

i

t

 

i

s

 

t

o

o

 

s

l

o

w

.

 

O

t

h

e

r

w

i

s

e

 

t

h

e

 

m

e

m

o

r

y

 

w

i

l

l

 

r

e

a

l

l

o

c

a

t

e

 

t

o

 

t

h

i

s

 




n

e

w

 

b

a

t

c

h

 

s

i

z

e

 

a

f

t

e

r

 

t

h

e

 

f

i

r

s

t

 

f

e

w

 

i

t

e

r

a

t

i

o

n

s

.

 







<

T

i

p

>







 

 

 

 

J

u

s

t

 

b

e

c

a

u

s

e

 

t

h

e

 

m

e

m

o

r

y

 

i

s

 

a

l

l

o

c

a

t

e

d

 

d

o

e

s

 

n

o

t

 

m

e

a

n

 

i

t

 

w

i

l

l

 

b

e

 

u

s

e

d

 

o

r

 

t

h

a

t

 

t

h

e

 

b

a

t

c

h

 

s

i

z

e

 

w

i

l

l

 

i

n

c

r

e

a

s

e

 

w

h

e

n

 

g

o

i

n

g

 

b

a

c

k

 

t

o

 

y

o

u

r

 

t

r

a

i

n

i

n

g

 

d

a

t

a

l

o

a

d

e

r

.







<

/

T

i

p

>







#

 

G

r

a

d

i

e

n

t

 

s

y

n

c

h

r

o

n

i

z

a

t

i

o

n







P

y

T

o

r

c

h

'

s

 

d

i

s

t

r

i

b

u

t

e

d

 

m

o

d

u

l

e

 

o

p

e

r

a

t

e

s

 

b

y

 

c

o

m

m

u

n

i

c

a

t

i

n

g

 

b

a

c

k

 

a

n

d

 

f

o

r

t

h

 

b

e

t

w

e

e

n

 

a

l

l

 

o

f

 

t

h

e

 

G

P

U

s

 

i

n

 

y

o

u

r

 

s

y

s

t

e

m

.




T

h

i

s

 

c

o

m

m

u

n

i

c

a

t

i

o

n

 

t

a

k

e

s

 

t

i

m

e

,

 

a

n

d

 

e

n

s

u

r

i

n

g

 

a

l

l

 

p

r

o

c

e

s

s

e

s

 

k

n

o

w

 

t

h

e

 

s

t

a

t

e

s

 

o

f

 

e

a

c

h

 

o

t

h

e

r

 

h

a

p

p

e

n

s

 

a

t

 

p

a

r

t

i

c

u

l

a

r

 

t

r

i

g

g

e

r

p

o

i

n

t

s




w

h

e

n

 

u

s

i

n

g

 

t

h

e

 

`

d

d

p

`

 

m

o

d

u

l

e

.

 







T

h

e

s

e

 

t

r

i

g

g

e

r

p

o

i

n

t

s

 

a

r

e

 

a

d

d

e

d

 

t

o

 

t

h

e

 

P

y

T

o

r

c

h

 

m

o

d

e

l

,

 

s

p

e

c

i

f

i

c

a

l

l

y

 

t

h

e

i

r

 

`

f

o

r

w

a

r

d

(

)

`

 

a

n

d

 

`

b

a

c

k

w

a

r

d

(

)

`

 

m

e

t

h

o

d

s

.

 




T

h

i

s

 

h

a

p

p

e

n

s

 

w

h

e

n

 

t

h

e

 

m

o

d

e

l

 

i

s

 

w

r

a

p

p

e

d

 

w

i

t

h

 

`

D

i

s

t

r

i

b

u

t

e

d

D

a

t

a

P

a

r

a

l

l

e

l

`

:




`

`

`

p

y

t

h

o

n




i

m

p

o

r

t

 

t

o

r

c

h

.

n

n

 

a

s

 

n

n




f

r

o

m

 

t

o

r

c

h

.

n

n

.

p

a

r

a

l

l

e

l

 

i

m

p

o

r

t

 

D

i

s

t

r

i

b

u

t

e

d

D

a

t

a

P

a

r

a

l

l

e

l







m

o

d

e

l

 

=

 

n

n

.

L

i

n

e

a

r

(

1

0

,

 

1

0

)




d

d

p

_

m

o

d

e

l

 

=

 

D

i

s

t

r

i

b

u

t

e

d

D

a

t

a

P

a

r

a

l

l

e

l

(

m

o

d

e

l

)




`

`

`




I

n

 

A

c

c

e

l

e

r

a

t

e

 

t

h

i

s

 

c

o

n

v

e

r

s

i

o

n

 

h

a

p

p

e

n

s

 

a

u

t

o

m

a

t

i

c

a

l

l

y

 

w

h

e

n

 

c

a

l

l

i

n

g

 

`

p

r

e

p

a

r

e

(

)

`

 

a

n

d

 

p

a

s

s

i

n

g

 

i

n

 

y

o

u

r

 

m

o

d

e

l

.







`

`

`

d

i

f

f




+

 

f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

A

c

c

e

l

e

r

a

t

o

r




+

 

a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

)




 

 

i

m

p

o

r

t

 

t

o

r

c

h

.

n

n

 

a

s

 

n

n




-

 

f

r

o

m

 

t

o

r

c

h

.

n

n

.

p

a

r

a

l

l

e

l

 

i

m

p

o

r

t

 

D

i

s

t

r

i

b

u

t

e

d

D

a

t

a

P

a

r

a

l

l

e

l







 

 

m

o

d

e

l

 

=

 

n

n

.

L

i

n

e

a

r

(

1

0

,

1

0

)




+

 

m

o

d

e

l

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(

m

o

d

e

l

)




`

`

`







#

#

 

T

h

e

 

s

l

o

w

d

o

w

n

 

i

n

 

g

r

a

d

i

e

n

t

 

a

c

c

u

m

u

l

a

t

i

o

n







Y

o

u

 

n

o

w

 

u

n

d

e

r

s

t

a

n

d

 

t

h

a

t

 

P

y

T

o

r

c

h

 

a

d

d

s

 

h

o

o

k

s

 

t

o

 

t

h

e

 

`

f

o

r

w

a

r

d

`

 

a

n

d

 

`

b

a

c

k

w

a

r

d

`

 

m

e

t

h

o

d

 

o

f

 

y

o

u

r

 

P

y

T

o

r

c

h

 

m

o

d

e

l

 

w

h

e

n

 




t

r

a

i

n

i

n

g

 

i

n

 

a

 

d

i

s

t

r

i

b

u

t

e

d

 

s

e

t

u

p

.

 

B

u

t

 

h

o

w

 

d

o

e

s

 

t

h

i

s

 

r

i

s

k

 

s

l

o

w

i

n

g

 

d

o

w

n

 

y

o

u

r

 

c

o

d

e

?







I

n

 

D

D

P

 

(

d

i

s

t

r

i

b

u

t

e

d

 

d

a

t

a

 

p

a

r

a

l

l

e

l

)

,

 

t

h

e

 

s

p

e

c

i

f

i

c

 

o

r

d

e

r

 

i

n

 

w

h

i

c

h

 

p

r

o

c

e

s

s

e

s

 

a

r

e

 

p

e

r

f

o

r

m

e

d

 

a

n

d

 

r

a

n

 

a

r

e

 

e

x

p

e

c

t

e

d




a

t

 

s

p

e

c

i

f

i

c

 

p

o

i

n

t

s

 

a

n

d

 

t

h

e

s

e

 

m

u

s

t

 

a

l

s

o

 

o

c

c

u

r

 

a

t

 

r

o

u

g

h

l

y

 

t

h

e

 

s

a

m

e

 

t

i

m

e

 

b

e

f

o

r

e

 

m

o

v

i

n

g

 

o

n

.







T

h

e

 

m

o

s

t

 

d

i

r

e

c

t

 

e

x

a

m

p

l

e

 

i

s

 

w

h

e

n

 

y

o

u

 

u

p

d

a

t

e

 

m

o

d

e

l

 

p

a

r

a

m

e

t

e

r

s

 

t

h

r

o

u

g

h




`

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)

`

.




W

i

t

h

o

u

t

 

g

r

a

d

i

e

n

t

 

a

c

c

u

m

u

l

a

t

i

o

n

,

 

a

l

l

 

i

n

s

t

a

n

c

e

s

 

o

f

 

t

h

e

 

m

o

d

e

l

 

n

e

e

d

 

t

o

 

h

a

v

e

 

u

p

d

a

t

e

d




t

h

e

i

r

 

g

r

a

d

i

e

n

t

s

 

c

o

m

p

u

t

e

d

,

 

c

o

l

l

a

t

e

d

,

 

a

n

d

 

u

p

d

a

t

e

d

 

b

e

f

o

r

e

 

m

o

v

i

n

g

 

o

n

 

t

o

 

t

h

e

 

n

e

x

t




b

a

t

c

h

 

o

f

 

d

a

t

a

.




W

h

e

n

 

p

e

r

f

o

r

m

i

n

g

 

g

r

a

d

i

e

n

t

 

a

c

c

u

m

u

l

a

t

i

o

n

,

 

y

o

u

 

a

c

c

u

m

u

l

a

t

e

 

`

n

`

 

l

o

s

s

 

g

r

a

d

i

e

n

t

s

 

a

n

d




s

k

i

p

 

`

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)

`

 

u

n

t

i

l

 

`

n

`

 

b

a

t

c

h

e

s

 

h

a

v

e

 

b

e

e

n

 

r

e

a

c

h

e

d

.

 

A

s

 

a

l

l

 

t

r

a

i

n

i

n

g




p

r

o

c

e

s

s

e

s

 

o

n

l

y

 

n

e

e

d

 

t

o

 

s

y

n

c

h

r

o

n

i

z

e

 

b

y

 

t

h

e

 

t

i

m

e

 

`

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)

`

 

i

s

 

c

a

l

l

e

d

,




w

i

t

h

o

u

t

 

a

n

y

 

m

o

d

i

f

i

c

a

t

i

o

n

 

t

o

 

y

o

u

r

 

t

r

a

i

n

i

n

g

 

s

t

e

p

,

 

t

h

i

s

 

n

e

e

d

l

e

s

s

 

i

n

t

e

r

-

p

r

o

c

e

s

s




c

o

m

m

u

n

i

c

a

t

i

o

n

 

c

a

n

 

c

a

u

s

e

 

a

 

s

i

g

n

i

f

i

c

a

n

t

 

s

l

o

w

d

o

w

n

.







 

H

o

w

 

c

a

n

 

y

o

u

 

a

v

o

i

d

 

t

h

i

s

 

o

v

e

r

h

e

a

d

?







#

#

 

S

o

l

v

i

n

g

 

t

h

e

 

s

l

o

w

d

o

w

n

 

p

r

o

b

l

e

m







S

i

n

c

e

 

y

o

u

 

a

r

e

 

s

k

i

p

p

i

n

g

 

m

o

d

e

l

 

p

a

r

a

m

e

t

e

r

 

u

p

d

a

t

e

s

 

w

h

e

n

 

t

r

a

i

n

i

n

g

 

o

n

 

t

h

e

s

e

 

b

a

t

c

h

e

s

,

 

t

h

e

i

r

 

g

r

a

d

i

e

n

t

s

 

d

o

 

n

o

t

 

n

e

e

d

 

t

o

 

b

e

 

s

y

n

c

h

r

o

n

i

z

e

d

 

u

n

t

i

l

 

t

h

e

 

p

o

i

n

t

 

w

h

e

r

e

 

`

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)

`

 

i

s

 

a

c

t

u

a

l

l

y

 

c

a

l

l

e

d

.

 




P

y

T

o

r

c

h

 

c

a

n

n

o

t

 

a

u

t

o

m

a

g

i

c

a

l

l

y

 

t

e

l

l

 

w

h

e

n

 

y

o

u

 

n

e

e

d

 

t

o

 

d

o

 

t

h

i

s

,

 

b

u

t

 

t

h

e

y

 

d

o

 

p

r

o

v

i

d

e

 

a

 

t

o

o

l

 

t

o

 

h

e

l

p

 

t

h

r

o

u

g

h

 

t

h

e

 

[

`

n

o

_

s

y

n

c

`

]

(

h

t

t

p

s

:

/

/

p

y

t

o

r

c

h

.

o

r

g

/

d

o

c

s

/

s

t

a

b

l

e

/

g

e

n

e

r

a

t

e

d

/

t

o

r

c

h

.

n

n

.

p

a

r

a

l

l

e

l

.

D

i

s

t

r

i

b

u

t

e

d

D

a

t

a

P

a

r

a

l

l

e

l

.

h

t

m

l

#

t

o

r

c

h

.

n

n

.

p

a

r

a

l

l

e

l

.

D

i

s

t

r

i

b

u

t

e

d

D

a

t

a

P

a

r

a

l

l

e

l

.

n

o

_

s

y

n

c

)

 

c

o

n

t

e

x

t

 

m

a

n

a

g

e

r




t

h

a

t

 

i

s

 

a

d

d

e

d

 

t

o

 

y

o

u

r

 

m

o

d

e

l

 

a

f

t

e

r

 

c

o

n

v

e

r

t

i

n

g

 

i

t

 

t

o

 

D

D

P

.







U

n

d

e

r

 

t

h

i

s

 

c

o

n

t

e

x

t

 

m

a

n

a

g

e

r

,

 

P

y

T

o

r

c

h

 

w

i

l

l

 

s

k

i

p

 

s

y

n

c

h

r

o

n

i

z

i

n

g

 

t

h

e

 

g

r

a

d

i

e

n

t

s

 

w

h

e

n




`

.

b

a

c

k

w

a

r

d

(

)

`

 

i

s

 

c

a

l

l

e

d

,

 

a

n

d

 

t

h

e

 

f

i

r

s

t

 

c

a

l

l

 

t

o

 

`

.

b

a

c

k

w

a

r

d

(

)

`

 

o

u

t

s

i

d

e

 

t

h

i

s

 




c

o

n

t

e

x

t

 

m

a

n

a

g

e

r

 

w

i

l

l

 

t

r

i

g

g

e

r

 

t

h

e

 

s

y

n

c

h

r

o

n

i

z

a

t

i

o

n

.

 

S

e

e

 

a

n

 

e

x

a

m

p

l

e

 

b

e

l

o

w

:




`

`

`

p

y

t

h

o

n




d

d

p

_

m

o

d

e

l

,

 

d

a

t

a

l

o

a

d

e

r

,

 

o

p

t

i

m

i

z

e

r

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(

m

o

d

e

l

,

 

d

a

t

a

l

o

a

d

e

r

,

 

o

p

t

i

m

i

z

e

r

)







f

o

r

 

i

n

d

e

x

,

 

b

a

t

c

h

 

i

n

 

e

n

u

m

e

r

a

t

e

(

d

a

t

a

l

o

a

d

e

r

)

:




 

 

 

 

i

n

p

u

t

s

,

 

t

a

r

g

e

t

s

 

=

 

b

a

t

c

h




 

 

 

 

#

 

T

r

i

g

g

e

r

 

g

r

a

d

i

e

n

t

 

s

y

n

c

h

r

o

n

i

z

a

t

i

o

n

 

o

n

 

t

h

e

 

l

a

s

t

 

b

a

t

c

h




 

 

 

 

i

f

 

i

n

d

e

x

 

!

=

 

(

l

e

n

(

d

a

t

a

l

o

a

d

e

r

)

 

-

 

1

)

:




 

 

 

 

 

 

 

 

w

i

t

h

 

d

d

p

_

m

o

d

e

l

.

n

o

_

s

y

n

c

(

)

:




 

 

 

 

 

 

 

 

 

 

 

 

#

 

G

r

a

d

i

e

n

t

s

 

o

n

l

y

 

a

c

c

u

m

u

l

a

t

e




 

 

 

 

 

 

 

 

 

 

 

 

o

u

t

p

u

t

s

 

=

 

d

d

p

_

m

o

d

e

l

(

i

n

p

u

t

s

)




 

 

 

 

 

 

 

 

 

 

 

 

l

o

s

s

 

=

 

l

o

s

s

_

f

u

n

c

(

o

u

t

p

u

t

s

)




 

 

 

 

 

 

 

 

 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

b

a

c

k

w

a

r

d

(

l

o

s

s

)




 

 

 

 

e

l

s

e

:




 

 

 

 

 

 

 

 

#

 

G

r

a

d

i

e

n

t

s

 

f

i

n

a

l

l

y

 

s

y

n

c




 

 

 

 

 

 

 

 

o

u

t

p

u

t

s

 

=

 

d

d

p

_

m

o

d

e

l

(

i

n

p

u

t

s

)




 

 

 

 

 

 

 

 

l

o

s

s

 

=

 

l

o

s

s

_

f

u

n

c

(

o

u

t

p

u

t

s

)




 

 

 

 

 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

b

a

c

k

w

a

r

d

(

l

o

s

s

)




 

 

 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




`

`

`







I

n

 

A

c

c

e

l

e

r

a

t

e

 

t

o

 

m

a

k

e

 

t

h

i

s

 

a

n

 

A

P

I

 

t

h

a

t

 

c

a

n

 

b

e

 

c

a

l

l

e

d

 

n

o

 

m

a

t

t

e

r

 

t

h

e

 

t

r

a

i

n

i

n

g

 

d

e

v

i

c

e

 

(

t

h

o

u

g

h

 

i

t

 

m

a

y

 

n

o

t

 

d

o

 

a

n

y

t

h

i

n

g

 

i

f

 

y

o

u

 

a

r

e

 

n

o

t

 

i

n

 

a

 

d

i

s

t

r

i

b

u

t

e

d

 

s

y

s

t

e

m

!

)

,




`

d

d

p

_

m

o

d

e

l

.

n

o

_

s

y

n

c

`

 

g

e

t

s

 

r

e

p

l

a

c

e

d

 

w

i

t

h

 

`

n

o

_

s

y

n

c

(

)

`

 

a

n

d

 

o

p

e

r

a

t

e

s

 

t

h

e

 

s

a

m

e

 

w

a

y

:







`

`

`

d

i

f

f




 

 

d

d

p

_

m

o

d

e

l

,

 

d

a

t

a

l

o

a

d

e

r

,

 

o

p

t

i

m

i

z

e

r

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(

m

o

d

e

l

,

 

d

a

t

a

l

o

a

d

e

r

,

 

o

p

t

i

m

i

z

e

r

)







 

 

f

o

r

 

i

n

d

e

x

,

 

b

a

t

c

h

 

i

n

 

e

n

u

m

e

r

a

t

e

(

d

a

t

a

l

o

a

d

e

r

)

:




 

 

 

 

 

 

i

n

p

u

t

s

,

 

t

a

r

g

e

t

s

 

=

 

b

a

t

c

h




 

 

 

 

 

 

#

 

T

r

i

g

g

e

r

 

g

r

a

d

i

e

n

t

 

s

y

n

c

h

r

o

n

i

z

a

t

i

o

n

 

o

n

 

t

h

e

 

l

a

s

t

 

b

a

t

c

h




 

 

 

 

 

 

i

f

 

i

n

d

e

x

 

!

=

 

(

l

e

n

(

d

a

t

a

l

o

a

d

e

r

)

-

1

)

:




-

 

 

 

 

 

 

 

 

 

w

i

t

h

 

d

d

p

_

m

o

d

e

l

.

n

o

_

s

y

n

c

(

)

:




+

 

 

 

 

 

 

 

 

 

w

i

t

h

 

a

c

c

e

l

e

r

a

t

o

r

.

n

o

_

s

y

n

c

(

m

o

d

e

l

)

:




 

 

 

 

 

 

 

 

 

 

 

 

 

 

#

 

G

r

a

d

i

e

n

t

s

 

o

n

l

y

 

a

c

c

u

m

u

l

a

t

e




 

 

 

 

 

 

 

 

 

 

 

 

 

 

o

u

t

p

u

t

s

 

=

 

d

d

p

_

m

o

d

e

l

(

i

n

p

u

t

s

)




 

 

 

 

 

 

 

 

 

 

 

 

 

 

l

o

s

s

 

=

 

l

o

s

s

_

f

u

n

c

(

o

u

t

p

u

t

s

,

 

t

a

r

g

e

t

s

)




 

 

 

 

 

 

 

 

 

 

 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

b

a

c

k

w

a

r

d

(

l

o

s

s

)




 

 

 

 

 

 

e

l

s

e

:




 

 

 

 

 

 

 

 

 

 

#

 

G

r

a

d

i

e

n

t

s

 

f

i

n

a

l

l

y

 

s

y

n

c




 

 

 

 

 

 

 

 

 

 

o

u

t

p

u

t

s

 

=

 

d

d

p

_

m

o

d

e

l

(

i

n

p

u

t

s

)




 

 

 

 

 

 

 

 

 

 

l

o

s

s

 

=

 

l

o

s

s

_

f

u

n

c

(

o

u

t

p

u

t

s

)




 

 

 

 

 

 

 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

b

a

c

k

w

a

r

d

(

l

o

s

s

)




 

 

 

 

 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




 

 

 

 

 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

.

z

e

r

o

_

g

r

a

d

(

)




`

`

`







A

s

 

y

o

u

 

m

a

y

 

e

x

p

e

c

t

,

 

t

h

e

 

`

a

c

c

u

m

u

l

a

t

e

(

)

`

 

f

u

n

c

t

i

o

n

 

w

r

a

p

s

 

a

r

o

u

n

d

 

t

h

i

s

 

c

o

n

d

i

t

i

o

n

a

l

 

c

h

e

c

k

 

b

y

 

k

e

e

p

i

n

g

 

t

r

a

c

k

 

o

f

 

t

h

e

 

c

u

r

r

e

n

t

 

b

a

t

c

h

 

n

u

m

b

e

r

,

 

l

e

a

v

i

n

g

 

y

o

u

 

w

i

t

h

 

t

h

e

 

f

i

n

a

l




g

r

a

d

i

e

n

t

 

a

c

c

u

m

u

l

a

t

i

o

n

 

A

P

I

:







`

`

`

p

y

t

h

o

n




d

d

p

_

m

o

d

e

l

,

 

d

a

t

a

l

o

a

d

e

r

,

 

o

p

t

i

m

i

z

e

r

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(

m

o

d

e

l

,

 

d

a

t

a

l

o

a

d

e

r

,

 

o

p

t

i

m

i

z

e

r

)







f

o

r

 

b

a

t

c

h

 

i

n

 

d

a

t

a

l

o

a

d

e

r

:




 

 

 

 

w

i

t

h

 

a

c

c

e

l

e

r

a

t

o

r

.

a

c

c

u

m

u

l

a

t

e

(

m

o

d

e

l

)

:




 

 

 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

.

z

e

r

o

_

g

r

a

d

(

)




 

 

 

 

 

 

 

 

i

n

p

u

t

s

,

 

t

a

r

g

e

t

s

 

=

 

b

a

t

c

h




 

 

 

 

 

 

 

 

o

u

t

p

u

t

s

 

=

 

m

o

d

e

l

(

i

n

p

u

t

s

)




 

 

 

 

 

 

 

 

l

o

s

s

 

=

 

l

o

s

s

_

f

u

n

c

t

i

o

n

(

o

u

t

p

u

t

s

,

 

t

a

r

g

e

t

s

)




 

 

 

 

 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

b

a

c

k

w

a

r

d

(

l

o

s

s

)




 

 

 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




 

 

 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

.

z

e

r

o

_

g

r

a

d

(

)




`

`

`







A

s

 

a

 

r

e

s

u

l

t

,

 

y

o

u

 

s

h

o

u

l

d

 

e

i

t

h

e

r

 

u

s

e

 

*

`

a

c

c

e

l

e

r

a

t

o

r

.

a

c

c

u

m

u

l

a

t

e

`

 

o

r

 

`

a

c

c

e

l

e

r

a

t

o

r

.

n

o

_

s

y

n

c

`

*

 

w

h

e

n

 

i

t

 

c

o

m

e

s

 

t

o

 

A

P

I

 

c

h

o

i

c

e

.

 







#

#

 

J

u

s

t

 

h

o

w

 

m

u

c

h

 

o

f

 

a

 

s

l

o

w

d

o

w

n

 

i

s

 

t

h

e

r

e

,

 

a

n

d

 

e

a

s

y

 

m

i

s

t

a

k

e

s

 

y

o

u

 

c

a

n

 

m

a

k

e







T

o

 

s

e

t

 

u

p

 

a

 

r

e

a

l

i

s

t

i

c

 

e

x

a

m

p

l

e

,

 

c

o

n

s

i

d

e

r

 

t

h

e

 

f

o

l

l

o

w

i

n

g

 

s

e

t

u

p

:







*

 

T

w

o

 

s

i

n

g

l

e

-

G

P

U

 

T

4

 

n

o

d

e

s

 

a

n

d

 

o

n

e

 

n

o

d

e

 

w

i

t

h

 

t

w

o

 

G

P

U

s




*

 

E

a

c

h

 

G

P

U

 

i

s

 

a

 

T

4

,

 

a

n

d

 

a

r

e

 

h

o

s

t

e

d

 

o

n

 

G

C

P




*

 

T

h

e

 

s

c

r

i

p

t

 

u

s

e

d

 

i

s

 

a

 

m

o

d

i

f

i

c

a

t

i

o

n

 

o

f

 

t

h

e

 

[

N

L

P

 

E

x

a

m

p

l

e

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

m

u

e

l

l

e

r

z

r

/

t

i

m

i

n

g

_

e

x

p

e

r

i

m

e

n

t

s

/

b

l

o

b

/

m

a

i

n

/

b

a

s

e

l

i

n

e

.

p

y

)

 

s

c

r

i

p

t




*

 

B

a

t

c

h

 

s

i

z

e

 

p

e

r

 

G

P

U

 

i

s

 

1

6

,

 

a

n

d

 

g

r

a

d

i

e

n

t

s

 

a

r

e

 

a

c

c

u

m

u

l

a

t

e

d

 

e

v

e

r

y

 

4

 

s

t

e

p

s







A

l

l

 

s

c

r

i

p

t

s

 

a

r

e

 

a

v

a

i

l

a

b

l

e

 

i

n

 

[

t

h

i

s

 

r

e

p

o

s

i

t

o

r

y

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

m

u

e

l

l

e

r

z

r

/

t

i

m

i

n

g

_

e

x

p

e

r

i

m

e

n

t

s

)

.







I

f

 

n

o

t

 

c

a

r

e

f

u

l

 

a

b

o

u

t

 

g

r

a

d

i

e

n

t

 

s

y

n

c

h

r

o

n

i

z

a

t

i

o

n

 

a

n

d

 

G

P

U

 

c

o

m

m

u

n

i

c

a

t

i

o

n

,

 

a

 

*

l

a

r

g

e

*

 

a

m

o

u

n

t

 

o

f

 

t

i

m

e

 

c

a

n

 

b

e

 

w

a

s

t

e

d

 




f

r

o

m

 

w

h

e

n

 

t

h

e

s

e

 

G

P

U

s

 

c

o

m

m

u

n

i

c

a

t

e

 

t

o

 

e

a

c

h

 

o

t

h

e

r

 

d

u

r

i

n

g

 

u

n

n

e

c

e

s

s

a

r

y

 

p

e

r

i

o

d

s

.







B

y

 

h

o

w

 

m

u

c

h

?







R

e

f

e

r

e

n

c

e

:




-

 

B

a

s

e

l

i

n

e

:

 

u

s

e

s

 

n

o

 

s

y

n

c

h

r

o

n

i

z

a

t

i

o

n

 

p

r

a

c

t

i

c

e

s

 

d

i

s

c

u

s

s

e

d

 

h

e

r

e




-

 

`

n

o

_

s

y

n

c

`

 

i

m

p

r

o

p

e

r

l

y

:

 

`

n

o

_

s

y

n

c

`

 

o

n

l

y

 

a

r

o

u

n

d

 

t

h

e

 

`

b

a

c

k

w

a

r

d

`

 

c

a

l

l

,

 

n

o

t

 

t

h

e

 

`

f

o

r

w

a

r

d

`




-

 

`

n

o

_

s

y

n

c

`

:

 

u

s

i

n

g

 

t

h

e

 

`

n

o

_

s

y

n

c

`

 

p

a

t

t

e

r

n

 

p

r

o

p

e

r

l

y




-

 

`

a

c

c

u

m

u

l

a

t

e

`

:

 

u

s

i

n

g

 

`

a

c

c

u

m

u

l

a

t

e

(

)

`

 

p

r

o

p

e

r

l

y







B

e

l

o

w

 

a

r

e

 

t

h

e

 

a

v

e

r

a

g

e

 

s

e

c

o

n

d

s

 

p

e

r

 

b

a

t

c

h

 

i

t

e

r

a

t

i

n

g

 

o

v

e

r

 

2

9

 

b

a

t

c

h

e

s

 

o

f

 

d

a

t

a

 

f

o

r

 

e

a

c

h

 

s

e

t

u

p

 

o

n

 

b

o

t

h

 

a

 

s

i

n

g

l

e

 

n

o

d

e

 

a

n

d

 

o

n

 

t

h

e

 

d

u

a

l

-

n

o

d

e

 

s

e

t

u

p

:







|

 

 

 

 

 

 

 

 

 

 

 

 

 

|

 

B

a

s

e

l

i

n

e

 

 

|

 

`

n

o

_

s

y

n

c

`

 

i

m

p

r

o

p

e

r

l

y

 

|

 

`

n

o

_

s

y

n

c

`

 

|

 

`

a

c

c

u

m

u

l

a

t

e

`

|

 




|

 

:

-

-

-

-

-

-

-

-

-

:

 

|

 

:

-

-

-

-

-

-

-

:

 

|

 

:

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

:

 

|

 

:

-

-

-

-

-

-

-

:

 

|

 

:

-

-

-

-

-

-

-

-

-

:

 

|




|

 

M

u

l

t

i

-

N

o

d

e

 

 

|

 

2

±

0

.

0

1

s

 

 

 

 

|

 

2

.

1

3

±

0

.

0

8

s

 

|

 

*

*

0

.

9

1

±

0

.

1

1

s

*

*

 

|

 

*

*

0

.

9

1

±

0

.

1

1

s

*

*

 

|




|

 

S

i

n

g

l

e

 

N

o

d

e

 

|

 

0

.

5

0

±

0

.

0

1

s

 

|

 

0

.

5

0

±

0

.

0

1

s

 

|

 

*

*

0

.

4

1

±

0

.

0

1

5

s

*

*

 

|

 

*

*

0

.

4

1

±

0

.

0

1

5

s

*

*

 

|







A

s

 

y

o

u

 

c

a

n

 

s

e

e

,

 

i

f

 

y

o

u

 

a

r

e

 

n

o

t

 

c

a

r

e

f

u

l

 

a

b

o

u

t

 

h

o

w

 

y

o

u

 

s

e

t

 

u

p

 

y

o

u

r

 

g

r

a

d

i

e

n

t

 

s

y

n

c

h

r

o

n

i

z

a

t

i

o

n

,

 

y

o

u

 

c

a

n

 

g

e

t

 

u

p

w

a

r

d

s

 

o

f

 

m

o

r

e

 

t

h

a

n

 

a

 

2

x

 

s

l

o

w

d

o

w

n

 

d

u

r

i

n

g

 

t

r

a

i

n

i

n

g

!







I

f

 

y

o

u

 

a

r

e

 

w

o

r

r

i

e

d

 

a

b

o

u

t

 

m

a

k

i

n

g

 

s

u

r

e

 

e

v

e

r

y

t

h

i

n

g

 

i

s

 

d

o

n

e

 

p

r

o

p

e

r

l

y

,

 

w

e

 

h

i

g

h

l

y

 

r

e

c

o

m

m

e

n

d

 

u

t

i

l

i

z

i

n

g

 

t

h

e

 

`

a

c

c

u

m

u

l

a

t

e

(

)

`

 

f

u

n

c

t

i

o

n

 

a

n

d

 

p

a

s

s

i

n

g

 

i

n




`

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

`

 

o

r

 

`

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

p

l

u

g

i

n

`

 

t

o

 

t

h

e

 

`

A

c

c

e

l

e

r

a

t

o

r

`

 

o

b

j

e

c

t

 

s

o

 

A

c

c

e

l

e

r

a

t

e

 

c

a

n

 

h

a

n

d

l

e

 

t

h

i

s

 

f

o

r

 

y

o

u

.







#

#

#

 

`

n

o

_

s

y

n

c

`

 

r

e

q

u

i

r

e

s

 

a

d

d

i

t

i

o

n

a

l

 

G

P

U

 

m

e

m

o

r

y

 

w

h

e

n

 

u

s

i

n

g

 

F

S

D

P







B

e

 

a

w

a

r

e

 

t

h

a

t

 

n

o

t

 

s

y

n

c

i

n

g

 

g

r

a

d

i

e

n

t

s

 

c

a

n

 

h

a

v

e

 

a

d

v

e

r

s

e

 

e

f

f

e

c

t

s

 

w

h

i

l

e

 

p

e

r

f

o

r

m

i

n

g

 

F

S

D

P

 

t

r

a

i

n

i

n

g

.

 

A

s

 

i

t

 

h

a

s

 

b

e

e

n

 

w

a

r

n

e

d

 

i

n

 

`

t

o

r

c

h

`

,

 

t

h

e

 

[

`

n

o

_

s

y

n

c

`

 

c

o

n

t

e

x

t

 

m

a

n

a

g

e

r

 

f

o

r

 

F

S

D

P

]

(

h

t

t

p

s

:

/

/

p

y

t

o

r

c

h

.

o

r

g

/

d

o

c

s

/

s

t

a

b

l

e

/

f

s

d

p

.

h

t

m

l

#

t

o

r

c

h

.

d

i

s

t

r

i

b

u

t

e

d

.

f

s

d

p

.

F

u

l

l

y

S

h

a

r

d

e

d

D

a

t

a

P

a

r

a

l

l

e

l

.

n

o

_

s

y

n

c

)

 

w

i

l

l

 

r

e

q

u

i

r

e

 

a

d

d

i

t

i

o

n

a

l

 

m

e

m

o

r

y

.







T

h

e

r

e

f

o

r

e

 

i

n

 

m

e

m

o

r

y

 

i

n

t

e

n

s

i

v

e

 

s

i

t

u

a

t

i

o

n

s

 

w

h

i

l

e

 

u

s

i

n

g

 

F

S

D

P

,

 

w

e

 

r

e

c

o

m

m

e

n

d

 

t

o

 

s

e

t

 

`

s

y

n

c

_

e

a

c

h

_

b

a

t

c

h

`

 

t

o

 

`

T

r

u

e

`

 

i

n

 

t

h

e

 

`

G

r

a

d

i

e

n

t

A

c

c

u

m

u

l

a

t

i

o

n

P

l

u

g

i

n

`

 

t

o

 

d

i

s

a

b

l

e

 

`

n

o

_

s

y

n

c

`

.







S

e

e

 

t

h

e

 

e

x

a

m

p

l

e

 

b

e

l

o

w

 

w

h

e

r

e

 

w

e

 

f

i

n

e

-

t

u

n

e

 

M

i

x

t

r

a

l

 

(

4

7

B

 

p

a

r

a

m

e

t

e

r

s

)

 

o

n

 

8

 

A

1

0

0

-

8

0

G

B

 

G

P

U

s

.

 

W

e

 

s

e

e

 

t

h

a

t

 

e

v

e

n

 

f

o

r

 

a

 

m

o

d

e

s

t

 

`

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

=

2

`

 

w

e

 

q

u

i

c

k

l

y

 

g

o

 

o

u

t

-

o

f

-

m

e

m

o

r

y

 

(

O

O

M

)

 

i

f

 

`

n

o

_

s

y

n

c

`

 

i

s

 

e

n

a

b

l

e

d

.

 

A

g

a

i

n

,

 

t

h

i

s

 

i

s

 

d

u

e

 

t

o

 

a

d

d

i

t

i

o

n

a

l

 

m

e

m

o

r

y

 

o

v

e

r

h

e

a

d

s

 

d

u

e

 

t

o

 

F

S

D

P

'

s

 

`

n

o

_

s

y

n

c

`

.

 

H

o

w

e

v

e

r

,

 

i

f

 

`

n

o

_

s

y

n

c

`

 

i

s

 

d

i

s

a

b

l

e

d

 

v

i

a

 

`

s

y

n

c

_

e

a

c

h

_

b

a

t

c

h

=

T

r

u

e

`

,

 

t

h

e

n

 

t

h

e

 

m

e

m

o

r

y

 

c

o

n

s

u

m

p

t

i

o

n

 

f

o

r

 

`

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

=

1

6

`

 

r

e

v

e

r

t

s

 

t

o

 

t

h

a

t

 

o

f

 

`

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

=

1

`

.







|

 

M

o

d

e

l

 

 

 

 

 

 

 

 

 

 

 

|

 

`

n

o

_

s

y

n

c

`

 

(

a

c

c

u

m

=

1

)

 

|

 

`

n

o

_

s

y

n

c

`

 

(

a

c

c

u

m

=

2

)

 

|

 

`

n

o

_

s

y

n

c

`

 

d

i

s

a

b

l

e

d

 

(

a

c

c

u

m

=

1

6

)




|

 

:

-

-

-

-

-

-

-

-

-

-

-

-

-

:

 

|

 

:

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

:

 

|

 

:

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

:

 

|

 

:

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

:

 




m

i

x

t

r

a

l

 

8

x

7

B

 

 

 

 

 

 

|

 

6

9

G

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

|

 

O

O

M

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

|

 

6

9

G







>

 

[

!

W

A

R

N

I

N

G

]

 




>

 

D

i

s

a

b

l

i

n

g

 

`

n

o

_

s

y

n

c

`

 

m

e

a

n

s

 

t

h

e

r

e

 

_

w

i

l

l

 

b

e

 

s

l

o

w

d

o

w

n

_

 

d

u

e

 

t

h

e

 

e

x

t

r

a

 

d

a

t

a

 

s

y

n

c

s

,

 

a

s

 

e

x

p

l

a

i

n

e

d

 

b

y

 

t

h

e

 

e

a

r

l

i

e

r

 

s

e

c

t

i

o

n

s

 

o

f

 

t

h

i

s

 

g

u

i

d

e

.







#

 

D

E

x

e

c

u

t

i

n

g

 

a

n

d

 

d

e

f

e

r

r

i

n

g

 

j

o

b

s







W

h

e

n

 

y

o

u

 

r

u

n

 

y

o

u

r

 

u

s

u

a

l

 

s

c

r

i

p

t

,

 

i

n

s

t

r

u

c

t

i

o

n

s

 

a

r

e

 

e

x

e

c

u

t

e

d

 

i

n

 

o

r

d

e

r

.

 

U

s

i

n

g

 

A

c

c

e

l

e

r

a

t

e

 

t

o

 

d

e

p

l

o

y

 

y

o

u

r

 

s

c

r

i

p

t

 

o

n

 

s

e

v

e

r

a

l




G

P

U

s

 

a

t

 

t

h

e

 

s

a

m

e

 

t

i

m

e

 

i

n

t

r

o

d

u

c

e

s

 

a

 

c

o

m

p

l

i

c

a

t

i

o

n

:

 

w

h

i

l

e

 

e

a

c

h

 

p

r

o

c

e

s

s

 

e

x

e

c

u

t

e

s

 

a

l

l

 

i

n

s

t

r

u

c

t

i

o

n

s

 

i

n

 

o

r

d

e

r

,

 

s

o

m

e

 

m

a

y

 

b

e




f

a

s

t

e

r

 

t

h

a

n

 

o

t

h

e

r

s

.







Y

o

u

 

m

i

g

h

t

 

n

e

e

d

 

t

o

 

w

a

i

t

 

f

o

r

 

a

l

l

 

p

r

o

c

e

s

s

e

s

 

t

o

 

h

a

v

e

 

r

e

a

c

h

e

d

 

a

 

c

e

r

t

a

i

n

 

p

o

i

n

t

 

b

e

f

o

r

e

 

e

x

e

c

u

t

i

n

g

 

a

 

g

i

v

e

n

 

i

n

s

t

r

u

c

t

i

o

n

.

 

F

o

r




i

n

s

t

a

n

c

e

,

 

y

o

u

 

s

h

o

u

l

d

n

'

t

 

s

a

v

e

 

a

 

m

o

d

e

l

 

b

e

f

o

r

e

 

b

e

i

n

g

 

s

u

r

e

 

e

v

e

r

y

 

p

r

o

c

e

s

s

 

i

s

 

d

o

n

e

 

w

i

t

h

 

t

r

a

i

n

i

n

g

,

 

a

n

d

 

y

o

u

 

w

o

u

l

d

n

'

t

 

w

a

n

t

 

t

o

 




c

o

n

t

i

n

u

e

 

t

r

a

i

n

i

n

g

 

b

e

f

o

r

e

 

a

l

l

 

t

h

e

 

m

o

d

e

l

 

w

e

i

g

h

t

s

 

h

a

v

e

 

b

e

e

n

 

l

o

a

d

e

d

 

i

n

.

 

T

o

 

d

o

 

t

h

i

s

,

 

j

u

s

t

 

w

r

i

t

e

 

t

h

e

 

f

o

l

l

o

w

i

n

g

 

l

i

n

e

 

i

n

 

y

o

u

r

 

c

o

d

e

:







`

`

`




a

c

c

e

l

e

r

a

t

o

r

.

w

a

i

t

_

f

o

r

_

e

v

e

r

y

o

n

e

(

)




`

`

`







T

h

i

s

 

i

n

s

t

r

u

c

t

i

o

n

 

w

i

l

l

 

b

l

o

c

k

 

a

l

l

 

t

h

e

 

p

r

o

c

e

s

s

e

s

 

t

h

a

t

 

a

r

r

i

v

e

 

f

i

r

s

t

 

u

n

t

i

l

 

a

l

l

 

t

h

e

 

o

t

h

e

r

 

p

r

o

c

e

s

s

e

s

 

h

a

v

e

 

r

e

a

c

h

e

d

 

t

h

a

t




p

o

i

n

t

 

(

i

f

 

y

o

u

 

r

u

n

 

y

o

u

r

 

s

c

r

i

p

t

 

o

n

 

j

u

s

t

 

o

n

e

 

G

P

U

 

o

r

 

C

P

U

,

 

t

h

i

s

 

w

o

n

'

t

 

d

o

 

a

n

y

t

h

i

n

g

)

.







A

 

f

e

w

 

e

x

a

m

p

l

e

 

c

a

s

e

s

 

o

f

 

w

h

e

n

 

t

o

 

u

s

e

 

t

h

i

s

 

u

t

i

l

i

t

y

 

a

r

e

 

l

i

s

t

e

d

 

b

e

l

o

w

:







<

T

i

p

>







 

 

 

 

S

o

m

e

 

o

f

 

t

h

e

s

e

 

a

r

e

 

u

t

i

l

i

z

e

d

 

w

i

t

h

 

t

h

e

 

`

m

a

i

n

_

p

r

o

c

e

s

s

_

f

i

r

s

t

(

)

`

 

c

o

n

t

e

x

t

 

m

a

n

a

g

e

r

,

 

w

h

i

c

h

 

u

t

i

l

i

z

e

s

 

`

w

a

i

t

_

f

o

r

_

e

v

e

r

y

o

n

e

(

)

`

 

t

o

 




 

 

 

 

r

u

n

 

a

 

p

a

r

t

i

c

u

l

a

r

 

s

e

t

 

o

f

 

c

o

d

e

 

o

n

 

t

h

e

 

m

a

i

n

 

p

r

o

c

e

s

s

 

b

e

f

o

r

e

h

a

n

d

 

b

e

f

o

r

e

 

t

r

i

g

g

e

r

i

n

g

 

a

n

d

 

l

a

u

n

c

h

i

n

g

 

t

h

e

 

o

t

h

e

r

 

p

r

o

c

e

s

s

e

s







<

/

T

i

p

>







#

#

 

D

o

w

n

l

o

a

d

i

n

g

 

a

 

D

a

t

a

s

e

t

 







W

h

e

n

 

d

o

w

n

l

o

a

d

i

n

g

 

a

 

d

a

t

a

s

e

t

,

 

y

o

u

 

s

h

o

u

l

d

 

d

o

w

n

l

o

a

d

 

i

t

 

f

i

r

s

t

 

o

n

 

t

h

e

 

m

a

i

n

 

p

r

o

c

e

s

s

 

a

n

d

 

t

h

e

n

 

l

o

a

d

 

t

h

e

 

c

a

c

h

e

d

 

d

a

t

a

s

e

t

 

a

f

t

e

r

w

a

r

d







<

T

i

p

>







 

 

 

 

`

l

o

a

d

_

d

a

t

a

s

e

t

`

 

w

i

l

l

 

p

e

r

f

o

r

m

 

a

 

l

o

c

k

 

u

n

d

e

r

 

t

h

e

 

h

o

o

d

 

t

o

 

s

t

o

p

 

m

u

l

t

i

p

l

e

 

d

o

w

n

l

o

a

d

s

 

f

r

o

m

 

h

a

p

p

e

n

i

n

g

 

a

t

 

o

n

c

e

,

 

b

u

t

 

i

f

 

y

o

u

 

a

r

e

 

d

o

w

n

l

o

a

d

i

n

g

 

s

o

m

e

t

h

i

n

g

 




 

 

 

 

n

o

t

 

u

s

i

n

g

 

t

h

i

s

 

l

i

b

r

a

r

y

 

y

o

u

 

s

h

o

u

l

d

 

u

s

e

 

t

h

i

s

 

m

e

t

h

o

d

.




 

 

 

 




<

/

T

i

p

>







`

`

`

p

y

t

h

o

n




w

i

t

h

 

a

c

c

e

l

e

r

a

t

o

r

.

m

a

i

n

_

p

r

o

c

e

s

s

_

f

i

r

s

t

(

)

:




 

 

 

 

d

a

t

a

s

e

t

s

 

=

 

l

o

a

d

_

d

a

t

a

s

e

t

(

"

g

l

u

e

"

,

 

"

m

r

p

c

"

)




`

`

`







U

n

d

e

r

 

t

h

e

 

h

o

o

d

 

t

h

i

s

 

i

s

 

t

h

e

 

s

a

m

e

 

a

s

 

c

a

l

l

i

n

g

:

 







`

`

`

p

y

t

h

o

n




#

 

F

i

r

s

t

 

d

o

 

s

o

m

e

t

h

i

n

g

 

o

n

 

t

h

e

 

m

a

i

n

 

p

r

o

c

e

s

s




i

f

 

a

c

c

e

l

e

r

a

t

o

r

.

i

s

_

m

a

i

n

_

p

r

o

c

e

s

s

:




 

 

 

 

d

a

t

a

s

e

t

s

 

=

 

l

o

a

d

_

d

a

t

a

s

e

t

(

"

g

l

u

e

"

,

 

"

m

r

p

c

"

)




e

l

s

e

:




 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

w

a

i

t

_

f

o

r

_

e

v

e

r

y

o

n

e

(

)







#

 

A

n

d

 

t

h

e

n

 

s

e

n

d

 

i

t

 

t

o

 

t

h

e

 

r

e

s

t

 

o

f

 

t

h

e

m




i

f

 

n

o

t

 

a

c

c

e

l

e

r

a

t

o

r

.

i

s

_

m

a

i

n

_

p

r

o

c

e

s

s

:




 

 

 

 

d

a

t

a

s

e

t

s

 

=

 

l

o

a

d

_

d

a

t

a

s

e

t

(

"

g

l

u

e

"

,

 

"

m

r

p

c

"

)




e

l

s

e

:




 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

w

a

i

t

_

f

o

r

_

e

v

e

r

y

o

n

e

(

)




`

`

`







#

#

 

S

a

v

i

n

g

 

t

h

e

 

`

s

t

a

t

e

_

d

i

c

t

`







W

h

e

n

 

s

a

v

i

n

g

 

t

h

e

 

`

s

t

a

t

e

_

d

i

c

t

`

 

o

f

 

t

h

e

 

m

o

d

e

l

,

 

s

i

n

c

e

 

y

o

u

 

w

o

u

l

d

 

n

o

r

m

a

l

l

y

 

s

a

v

e

 

o

n

e

 

f

i

l

e

 

o

n

 

j

u

s

t

 

t

h

e

 

m

a

i

n

 

p

r

o

c

e

s

s




y

o

u

 

s

h

o

u

l

d

 

s

p

e

c

i

f

y

 

t

h

a

t

:







`

`

`

p

y

t

h

o

n




i

f

 

a

c

c

e

l

e

r

a

t

o

r

.

i

s

_

m

a

i

n

_

p

r

o

c

e

s

s

:




 

 

 

 

m

o

d

e

l

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

u

n

w

r

a

p

_

m

o

d

e

l

(

m

o

d

e

l

)




 

 

 

 

t

o

r

c

h

.

s

a

v

e

(

m

o

d

e

l

.

s

t

a

t

e

_

d

i

c

t

(

)

,

 

"

w

e

i

g

h

t

s

.

p

t

h

"

)




`

`

`







#

#

 

L

o

a

d

i

n

g

 

i

n

 

t

h

e

 

`

s

t

a

t

e

_

d

i

c

t

`







W

h

e

n

 

l

o

a

d

i

n

g

 

i

n

 

t

h

e

 

`

s

t

a

t

e

_

d

i

c

t

`

 

t

o

 

a

 

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

o

r

 

s

c

h

e

d

u

l

e

r

,

 

y

o

u

 

s

h

o

u

l

d

 

w

a

i

t

 




f

o

r

 

a

l

l

 

w

o

r

k

e

r

s

 

t

o

 

h

a

v

e

 

t

h

e

 

w

e

i

g

h

t

s

 

l

o

a

d

e

d

 

i

n

 

b

e

f

o

r

e

 

m

o

v

i

n

g

 

o

n

 

t

o

 

t

r

a

i

n

i

n

g







`

`

`

p

y

t

h

o

n




w

i

t

h

 

a

c

c

e

l

e

r

a

t

o

r

.

m

a

i

n

_

p

r

o

c

e

s

s

_

f

i

r

s

t

(

)

:




 

 

 

 

s

t

a

t

e

 

=

 

t

o

r

c

h

.

l

o

a

d

(

"

w

e

i

g

h

t

s

.

p

t

h

"

)




 

 

 

 

m

o

d

e

l

.

l

o

a

d

_

s

t

a

t

e

_

d

i

c

t

(

s

t

a

t

e

)




`

`

`







#

#

 

A

p

p

l

y

i

n

g

 

a

 

m

u

l

t

i

-

w

o

r

k

e

r

 

C

P

U

 

o

p

e

r

a

t

i

o

n

 







A

p

p

l

y

i

n

g

 

a

 

`

m

a

p

(

)

`

 

o

p

e

r

a

t

i

o

n

 

o

n

 

m

u

l

t

i

p

l

e

 

w

o

r

k

e

r

s

,

 

s

u

c

h

 

a

s

 

t

o

k

e

n

i

z

i

n

g

 

s

h

o

u

l

d

 

b

e

 

d

o

n

e

 

o

n

 

t

h

e

 




m

a

i

n

 

p

r

o

c

e

s

s

 

f

i

r

s

t

,

 

a

n

d

 

t

h

e

n

 

p

r

o

p

a

g

a

t

e

d

 

t

o

 

e

a

c

h

 

o

n

e

.

 







`

`

`

p

y

t

h

o

n




d

a

t

a

s

e

t

s

 

=

 

l

o

a

d

_

d

a

t

a

s

e

t

(

"

g

l

u

e

"

,

 

"

m

r

p

c

"

)







w

i

t

h

 

a

c

c

e

l

e

r

a

t

o

r

.

m

a

i

n

_

p

r

o

c

e

s

s

_

f

i

r

s

t

(

)

:




 

 

 

 

t

o

k

e

n

i

z

e

d

_

d

a

t

a

s

e

t

s

 

=

 

d

a

t

a

s

e

t

s

.

m

a

p

(




 

 

 

 

 

 

 

 

t

o

k

e

n

i

z

e

_

f

u

n

c

t

i

o

n

,




 

 

 

 

 

 

 

 

b

a

t

c

h

e

d

=

T

r

u

e

,




 

 

 

 

 

 

 

 

r

e

m

o

v

e

_

c

o

l

u

m

n

s

=

[

"

i

d

x

"

,

 

"

s

e

n

t

e

n

c

e

1

"

,

 

"

s

e

n

t

e

n

c

e

2

"

]

,




 

 

 

 

)




`

`

`







#

#

 

A

p

p

l

y

i

n

g

 

c

h

e

c

k

s

 

s

u

c

h

 

a

s

 

E

a

r

l

y

 

S

t

o

p

p

i

n

g







T

o

 

h

a

v

e

 

a

 

c

h

e

c

k

 

t

h

a

t

 

w

o

r

k

s

 

w

i

t

h

 

a

 

f

l

a

g

 

s

e

t

 

b

y

 

a

 

p

a

r

t

i

c

u

l

a

r

 

p

r

o

c

e

s

s

,

 

t

h

e

 

`

s

e

t

_

t

r

i

g

g

e

r

`

 

a

n

d

 

`

c

h

e

c

k

_

t

r

i

g

g

e

r

`

 

A

P

I

 

s

h

o

u

l

d

 

b

e

 

u

s

e

d

.

 

U

s

e

f

u

l

 

e

x

a

m

p

l

e

s




f

o

r

 

d

o

i

n

g

 

s

o

 

c

a

n

 

i

n

c

l

u

d

e

 

s

i

t

u

a

t

i

o

n

s

 

s

u

c

h

 

a

s

 

u

s

i

n

g

 

e

a

r

l

y

 

s

t

o

p

p

i

n

g

 

a

n

d

 

m

o

n

i

t

o

r

i

n

g

 

t

h

e

 

l

o

s

s

 

(

a

s

 

e

a

c

h

 

l

o

s

s

 

s

l

i

g

h

t

l

y

 

d

i

f

f

e

r

s

 

o

n

 

e

a

c

h

 

p

r

o

c

e

s

s

)

.







C

a

l

l

 

`

A

c

c

e

l

e

r

a

t

o

r

.

s

e

t

_

t

r

i

g

g

e

r

(

)

`

 

w

h

e

n

 

y

o

u

r

 

c

o

n

d

i

t

i

o

n

 

h

a

s

 

b

e

e

n

 

m

e

t

,

 

a

n

d

 

`

A

c

c

e

l

e

r

a

t

o

r

.

c

h

e

c

k

_

t

r

i

g

g

e

r

(

)

`

 

w

h

e

n

 

c

h

e

c

k

i

n

g

 

i

f

 

t

h

a

t

 

c

o

n

d

i

t

i

o

n

 

h

a

s

 

b

e

e

n

 

m

e

t

 

i

n

 

a

n

y

 

p

r

o

c

e

s

s

:







`

`

`

p

y

t

h

o

n




f

o

r

 

(

x

,

y

)

 

i

n

 

d

a

t

a

_

l

o

a

d

e

r

:




 

 

 

 

l

o

g

i

t

s

 

=

 

m

o

d

e

l

(

x

)




 

 

 

 

l

o

s

s

 

=

 

l

o

s

s

_

f

u

n

c

(

l

o

g

i

t

s

,

 

y

)




 

 

 

 

#

 

A

s

s

u

m

e

 

`

s

h

o

u

l

d

_

d

o

_

e

a

r

l

y

_

s

t

o

p

p

i

n

g

`

 

i

s

 

a

 

c

u

s

t

o

m

 

d

e

f

i

n

e

d

 

f

u

n

c

t

i

o

n

 

t

h

a

t

 

r

e

t

u

r

n

s

 

a

 

c

o

n

d

i

t

i

o

n

a

l




 

 

 

 

i

f

 

s

h

o

u

l

d

_

d

o

_

e

a

r

l

y

_

s

t

o

p

p

i

n

g

(

l

o

s

s

)

:




 

 

 

 

 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

s

e

t

_

t

r

i

g

g

e

r

(

)







 

 

 

 

#

 

L

a

t

e

r

 

i

n

 

t

h

e

 

t

r

a

i

n

i

n

g

 

s

c

r

i

p

t

 

w

h

e

n

 

w

e

 

n

e

e

d

 

t

o

 

c

h

e

c

k

 

f

o

r

 

t

h

e

 

b

r

e

a

k

p

o

i

n

t




 

 

 

 

i

f

 

a

c

c

e

l

e

r

a

t

o

r

.

c

h

e

c

k

_

t

r

i

g

g

e

r

(

)

:




 

 

 

 

 

 

 

 

b

r

e

a

k




`

`

`







#

 

C

o

m

p

a

r

i

n

g

 

p

e

r

f

o

r

m

a

n

c

e

 

a

c

r

o

s

s

 

d

i

s

t

r

i

b

u

t

e

d

 

s

e

t

u

p

s







E

v

a

l

u

a

t

i

n

g

 

a

n

d

 

c

o

m

p

a

r

i

n

g

 

t

h

e

 

p

e

r

f

o

r

m

a

n

c

e

 

f

r

o

m

 

d

i

f

f

e

r

e

n

t

 

s

e

t

u

p

s

 

c

a

n

 

b

e

 

q

u

i

t

e

 

t

r

i

c

k

y

 

i

f

 

y

o

u

 

d

o

n

'

t

 

k

n

o

w

 

w

h

a

t

 

t

o

 

l

o

o

k

 

f

o

r

.




F

o

r

 

e

x

a

m

p

l

e

,

 

y

o

u

 

c

a

n

n

o

t

 

r

u

n

 

t

h

e

 

s

a

m

e

 

s

c

r

i

p

t

 

w

i

t

h

 

t

h

e

 

s

a

m

e

 

b

a

t

c

h

 

s

i

z

e

 

a

c

r

o

s

s

 

T

P

U

,

 

m

u

l

t

i

-

G

P

U

,

 

a

n

d

 

s

i

n

g

l

e

-

G

P

U

 

w

i

t

h

 

A

c

c

e

l

e

r

a

t

e

 




a

n

d

 

e

x

p

e

c

t

 

y

o

u

r

 

r

e

s

u

l

t

s

 

t

o

 

l

i

n

e

 

u

p

.

 







B

u

t

 

w

h

y

?







T

h

e

r

e

 

a

r

e

 

t

h

r

e

e

 

r

e

a

s

o

n

s

 

f

o

r

 

t

h

i

s

 

t

h

a

t

 

t

h

i

s

 

t

u

t

o

r

i

a

l

 

w

i

l

l

 

c

o

v

e

r

:

 







1

.

 

*

*

S

e

t

t

i

n

g

 

t

h

e

 

r

i

g

h

t

 

s

e

e

d

s

*

*




2

.

 

*

*

O

b

s

e

r

v

e

d

 

B

a

t

c

h

 

S

i

z

e

s

*

*




3

.

 

*

*

L

e

a

r

n

i

n

g

 

R

a

t

e

s

*

*







#

#

 

S

e

t

t

i

n

g

 

t

h

e

 

S

e

e

d

 







W

h

i

l

e

 

t

h

i

s

 

i

s

s

u

e

 

h

a

s

 

n

o

t

 

c

o

m

e

 

u

p

 

a

s

 

m

u

c

h

,

 

m

a

k

e

 

s

u

r

e

 

t

o

 

u

s

e

 

`

u

t

i

l

s

.

s

e

t

_

s

e

e

d

(

)

`

 

t

o

 

f

u

l

l

y

 

s

e

t

 

t

h

e

 

s

e

e

d

 

i

n

 

a

l

l

 

d

i

s

t

r

i

b

u

t

e

d

 

c

a

s

e

s

 

s

o

 

t

r

a

i

n

i

n

g

 

w

i

l

l

 

b

e

 

r

e

p

r

o

d

u

c

i

b

l

e

:







`

`

`

p

y

t

h

o

n




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

.

u

t

i

l

s

 

i

m

p

o

r

t

 

s

e

t

_

s

e

e

d







s

e

t

_

s

e

e

d

(

4

2

)




`

`

`







W

h

y

 

i

s

 

t

h

i

s

 

i

m

p

o

r

t

a

n

t

?

 

U

n

d

e

r

 

t

h

e

 

h

o

o

d

 

t

h

i

s

 

w

i

l

l

 

s

e

t

 

*

*

5

*

*

 

d

i

f

f

e

r

e

n

t

 

s

e

e

d

 

s

e

t

t

i

n

g

s

:







`

`

`

p

y

t

h

o

n




 

 

 

 

r

a

n

d

o

m

.

s

e

e

d

(

s

e

e

d

)




 

 

 

 

n

p

.

r

a

n

d

o

m

.

s

e

e

d

(

s

e

e

d

)




 

 

 

 

t

o

r

c

h

.

m

a

n

u

a

l

_

s

e

e

d

(

s

e

e

d

)




 

 

 

 

t

o

r

c

h

.

c

u

d

a

.

m

a

n

u

a

l

_

s

e

e

d

_

a

l

l

(

s

e

e

d

)




 

 

 

 

#

 

^

^

 

s

a

f

e

 

t

o

 

c

a

l

l

 

t

h

i

s

 

f

u

n

c

t

i

o

n

 

e

v

e

n

 

i

f

 

c

u

d

a

 

i

s

 

n

o

t

 

a

v

a

i

l

a

b

l

e




 

 

 

 

i

f

 

i

s

_

t

o

r

c

h

_

x

l

a

_

a

v

a

i

l

a

b

l

e

(

)

:




 

 

 

 

 

 

 

 

x

m

.

s

e

t

_

r

n

g

_

s

t

a

t

e

(

s

e

e

d

)




`

`

`







T

h

e

 

r

a

n

d

o

m

 

s

t

a

t

e

,

 

n

u

m

p

y

'

s

 

s

t

a

t

e

,

 

t

o

r

c

h

,

 

t

o

r

c

h

'

s

 

c

u

d

a

 

s

t

a

t

e

,

 

a

n

d

 

i

f

 

T

P

U

s

 

a

r

e

 

a

v

a

i

l

a

b

l

e

 

t

o

r

c

h

_

x

l

a

'

s

 

c

u

d

a

 

s

t

a

t

e

.







#

#

 

O

b

s

e

r

v

e

d

 

B

a

t

c

h

 

S

i

z

e

s

 







W

h

e

n

 

t

r

a

i

n

i

n

g

 

w

i

t

h

 

A

c

c

e

l

e

r

a

t

e

,

 

t

h

e

 

b

a

t

c

h

 

s

i

z

e

 

p

a

s

s

e

d

 

t

o

 

t

h

e

 

d

a

t

a

l

o

a

d

e

r

 

i

s

 

t

h

e

 

*

*

b

a

t

c

h

 

s

i

z

e

 

p

e

r

 

G

P

U

*

*

.

 

W

h

a

t

 

t

h

i

s

 

e

n

t

a

i

l

s

 

i

s

 




a

 

b

a

t

c

h

 

s

i

z

e

 

o

f

 

6

4

 

o

n

 

t

w

o

 

G

P

U

s

 

i

s

 

t

r

u

l

y

 

a

 

b

a

t

c

h

 

s

i

z

e

 

o

f

 

1

2

8

.

 

A

s

 

a

 

r

e

s

u

l

t

,

 

w

h

e

n

 

t

e

s

t

i

n

g

 

o

n

 

a

 

s

i

n

g

l

e

 

G

P

U

 

t

h

i

s

 

n

e

e

d

s

 

t

o

 

b

e

 

a

c

c

o

u

n

t

e

d

 

f

o

r

,




a

s

 

w

e

l

l

 

a

s

 

s

i

m

i

l

a

r

l

y

 

f

o

r

 

T

P

U

s

.

 







T

h

e

 

b

e

l

o

w

 

t

a

b

l

e

 

c

a

n

 

b

e

 

u

s

e

d

 

a

s

 

a

 

q

u

i

c

k

 

r

e

f

e

r

e

n

c

e

 

t

o

 

t

r

y

 

o

u

t

 

d

i

f

f

e

r

e

n

t

 

b

a

t

c

h

 

s

i

z

e

s

:







<

T

i

p

>







I

n

 

t

h

i

s

 

e

x

a

m

p

l

e

,

 

t

h

e

r

e

 

a

r

e

 

t

w

o

 

G

P

U

s

 

f

o

r

 

"

M

u

l

t

i

-

G

P

U

"

 

a

n

d

 

a

 

T

P

U

 

p

o

d

 

w

i

t

h

 

8

 

w

o

r

k

e

r

s







<

/

T

i

p

>







|

 

S

i

n

g

l

e

 

G

P

U

 

B

a

t

c

h

 

S

i

z

e

 

|

 

M

u

l

t

i

-

G

P

U

 

E

q

u

i

v

a

l

e

n

t

 

B

a

t

c

h

 

S

i

z

e

 

|

 

T

P

U

 

E

q

u

i

v

a

l

e

n

t

 

B

a

t

c

h

 

S

i

z

e

 

|




|

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

|

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

|

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

-

|




|

 

2

5

6

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

|

 

1

2

8

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

|

 

3

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

|




|

 

1

2

8

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

|

 

6

4

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

|

 

1

6

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

|




|

 

6

4

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

|

 

3

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

|

 

8

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

|




|

 

3

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

|

 

1

6

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

|

 

4

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

|







#

#

 

L

e

a

r

n

i

n

g

 

R

a

t

e

s

 







A

s

 

n

o

t

e

d

 

i

n

 

m

u

l

t

i

p

l

e

 

s

o

u

r

c

e

s

[

[

1

]

(

h

t

t

p

s

:

/

/

a

w

s

.

a

m

a

z

o

n

.

c

o

m

/

b

l

o

g

s

/

m

a

c

h

i

n

e

-

l

e

a

r

n

i

n

g

/

s

c

a

l

a

b

l

e

-

m

u

l

t

i

-

n

o

d

e

-

d

e

e

p

-

l

e

a

r

n

i

n

g

-

t

r

a

i

n

i

n

g

-

u

s

i

n

g

-

g

p

u

s

-

i

n

-

t

h

e

-

a

w

s

-

c

l

o

u

d

/

)

]

[

[

2

]

(

h

t

t

p

s

:

/

/

d

o

c

s

.

n

v

i

d

i

a

.

c

o

m

/

c

l

a

r

a

/

c

l

a

r

a

-

t

r

a

i

n

-

s

d

k

/

p

t

/

m

o

d

e

l

.

h

t

m

l

#

c

l

a

s

s

i

f

i

c

a

t

i

o

n

-

m

o

d

e

l

s

-

m

u

l

t

i

-

g

p

u

-

t

r

a

i

n

i

n

g

)

]

,

 

t

h

e

 

l

e

a

r

n

i

n

g

 

r

a

t

e

 

s

h

o

u

l

d

 

b

e

 

s

c

a

l

e

d

 

*

l

i

n

e

a

r

l

y

*

 

b

a

s

e

d

 

o

n

 

t

h

e

 

n

u

m

b

e

r

 

o

f

 

d

e

v

i

c

e

s

 

p

r

e

s

e

n

t

.

 

T

h

e

 

b

e

l

o

w

 




s

n

i

p

p

e

t

 

s

h

o

w

s

 

d

o

i

n

g

 

s

o

 

w

i

t

h

 

A

c

c

e

l

e

r

a

t

e

:







<

T

i

p

>







S

i

n

c

e

 

u

s

e

r

s

 

c

a

n

 

h

a

v

e

 

t

h

e

i

r

 

o

w

n

 

l

e

a

r

n

i

n

g

 

r

a

t

e

 

s

c

h

e

d

u

l

e

r

s

 

d

e

f

i

n

e

d

,

 

w

e

 

l

e

a

v

e

 

t

h

i

s

 

u

p

 

t

o

 

t

h

e

 

u

s

e

r

 

t

o

 

d

e

c

i

d

e

 

i

f

 

t

h

e

y

 

w

i

s

h

 

t

o

 

s

c

a

l

e

 

t

h

e

i

r

 




l

e

a

r

n

i

n

g

 

r

a

t

e

 

o

r

 

n

o

t

.




 




<

/

T

i

p

>







`

`

`

p

y

t

h

o

n




l

e

a

r

n

i

n

g

_

r

a

t

e

 

=

 

1

e

-

3




a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

)




l

e

a

r

n

i

n

g

_

r

a

t

e

 

*

=

 

a

c

c

e

l

e

r

a

t

o

r

.

n

u

m

_

p

r

o

c

e

s

s

e

s







o

p

t

i

m

i

z

e

r

 

=

 

A

d

a

m

W

(

p

a

r

a

m

s

=

m

o

d

e

l

.

p

a

r

a

m

e

t

e

r

s

(

)

,

 

l

r

=

l

e

a

r

n

i

n

g

_

r

a

t

e

)




`

`

`







Y

o

u

 

w

i

l

l

 

a

l

s

o

 

f

i

n

d

 

t

h

a

t

 

`

a

c

c

e

l

e

r

a

t

e

`

 

w

i

l

l

 

s

t

e

p

 

t

h

e

 

l

e

a

r

n

i

n

g

 

r

a

t

e

 

b

a

s

e

d

 

o

n

 

t

h

e

 

n

u

m

b

e

r

 

o

f

 

p

r

o

c

e

s

s

e

s

 

b

e

i

n

g

 

t

r

a

i

n

e

d

 

o

n

.

 

T

h

i

s

 

i

s

 

b

e

c

a

u

s

e

 




o

f

 

t

h

e

 

o

b

s

e

r

v

e

d

 

b

a

t

c

h

 

s

i

z

e

 

n

o

t

e

d

 

e

a

r

l

i

e

r

.

 

S

o

 

i

n

 

t

h

e

 

c

a

s

e

 

o

f

 

2

 

G

P

U

s

,

 

t

h

e

 

l

e

a

r

n

i

n

g

 

r

a

t

e

 

w

i

l

l

 

b

e

 

s

t

e

p

p

e

d

 

t

w

i

c

e

 

a

s

 

o

f

t

e

n

 

a

s

 

a

 

s

i

n

g

l

e

 

G

P

U




t

o

 

a

c

c

o

u

n

t

 

f

o

r

 

t

h

e

 

b

a

t

c

h

 

s

i

z

e

 

b

e

i

n

g

 

t

w

i

c

e

 

a

s

 

l

a

r

g

e

 

(

i

f

 

n

o

 

c

h

a

n

g

e

s

 

t

o

 

t

h

e

 

b

a

t

c

h

 

s

i

z

e

 

o

n

 

t

h

e

 

s

i

n

g

l

e

 

G

P

U

 

i

n

s

t

a

n

c

e

 

a

r

e

 

m

a

d

e

)

.







#

#

 

G

r

a

d

i

e

n

t

 

A

c

c

u

m

u

l

a

t

i

o

n

 

a

n

d

 

M

i

x

e

d

 

P

r

e

c

i

s

i

o

n







W

h

e

n

 

u

s

i

n

g

 

g

r

a

d

i

e

n

t

 

a

c

c

u

m

u

l

a

t

i

o

n

 

a

n

d

 

m

i

x

e

d

 

p

r

e

c

i

s

i

o

n

,

 

d

u

e

 

t

o

 

h

o

w

 

g

r

a

d

i

e

n

t

 

a

v

e

r

a

g

i

n

g

 

w

o

r

k

s

 

(

a

c

c

u

m

u

l

a

t

i

o

n

)

 

a

n

d

 

t

h

e

 

p

r

e

c

i

s

i

o

n

 

l

o

s

s

 

(

m

i

x

e

d

 

p

r

e

c

i

s

i

o

n

)

,

 




s

o

m

e

 

d

e

g

r

a

d

a

t

i

o

n

 

i

n

 

p

e

r

f

o

r

m

a

n

c

e

 

i

s

 

e

x

p

e

c

t

e

d

.

 

T

h

i

s

 

w

i

l

l

 

b

e

 

e

x

p

l

i

c

i

t

l

y

 

s

e

e

n

 

w

h

e

n

 

c

o

m

p

a

r

i

n

g

 

t

h

e

 

b

a

t

c

h

-

w

i

s

e

 

l

o

s

s

 

b

e

t

w

e

e

n

 

d

i

f

f

e

r

e

n

t

 

c

o

m

p

u

t

e

 




s

e

t

u

p

s

.

 

H

o

w

e

v

e

r

,

 

t

h

e

 

o

v

e

r

a

l

l

 

l

o

s

s

,

 

m

e

t

r

i

c

,

 

a

n

d

 

g

e

n

e

r

a

l

 

p

e

r

f

o

r

m

a

n

c

e

 

a

t

 

t

h

e

 

e

n

d

 

o

f

 

t

r

a

i

n

i

n

g

 

s

h

o

u

l

d

 

b

e

 

_

r

o

u

g

h

l

y

_

 

t

h

e

 

s

a

m

e

.







#

 

L

o

w

 

p

r

e

c

i

s

i

o

n

 

t

r

a

i

n

i

n

g

 

m

e

t

h

o

d

s







T

h

e

 

r

e

l

e

a

s

e

 

o

f

 

n

e

w

 

k

i

n

d

s

 

o

f

 

h

a

r

d

w

a

r

e

 

l

e

d

 

t

o

 

t

h

e

 

e

m

e

r

g

e

n

c

e

 

o

f

 

n

e

w

 

t

r

a

i

n

i

n

g

 

p

a

r

a

d

i

g

m

s

 

t

h

a

t

 

b

e

t

t

e

r

 

u

t

i

l

i

z

e

 

t

h

e

m

.

 

C

u

r

r

e

n

t

l

y

,

 

t

h

i

s

 

i

s

 

i

n

 

t

h

e

 

f

o

r

m

 

o

f

 

t

r

a

i

n

i

n

g




i

n

 

8

-

b

i

t

 

p

r

e

c

i

s

i

o

n

 

u

s

i

n

g

 

p

a

c

k

a

g

e

s

 

s

u

c

h

 

a

s

 

[

T

r

a

n

s

f

o

r

m

e

r

s

E

n

g

i

n

e

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

N

V

I

D

I

A

/

T

r

a

n

s

f

o

r

m

e

r

E

n

g

i

n

e

)

 

(

T

E

)

 

o

r

 

[

M

S

-

A

M

P

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

A

z

u

r

e

/

M

S

-

A

M

P

/

t

r

e

e

/

m

a

i

n

)

.







F

o

r

 

a

n

 

i

n

t

r

o

d

u

c

t

i

o

n

 

t

o

 

t

h

e

 

t

o

p

i

c

s

 

d

i

s

c

u

s

s

e

d

 

t

o

d

a

y

,

 

w

e

 

r

e

c

o

m

m

e

n

d

 

r

e

v

i

e

w

i

n

g

 

t

h

e

 

[

l

o

w

-

p

r

e

c

i

s

i

o

n

 

u

s

a

g

e

 

g

u

i

d

e

]

(

.

.

/

u

s

a

g

e

_

g

u

i

d

e

s

/

l

o

w

_

p

r

e

c

i

s

i

o

n

_

t

r

a

i

n

i

n

g

)

 

a

s

 

t

h

i

s

 

d

o

c

u

m

e

n

t

a

t

i

o

n

 

w

i

l

l

 

r

e

f

e

r

e

n

c

e

 

i

t

 

r

e

g

u

l

a

r

l

y

.

 







#

#

 

A

 

Q

u

i

c

k

 

C

h

a

r

t







B

e

l

o

w

 

i

s

 

a

 

q

u

i

c

k

 

c

h

a

r

t

 

f

r

o

m

 

t

h

e

 

M

S

-

A

M

P

 

d

o

c

u

m

e

n

t

a

t

i

o

n

 

s

h

o

w

i

n

g

 

t

h

e

 

d

i

f

f

e

r

e

n

t

 

b

i

t

-

p

r

e

c

i

s

i

o

n

s

 

f

o

r

 

e

a

c

h

 

s

o

l

u

t

i

o

n

 

d

u

r

i

n

g

 

t

r

a

i

n

i

n

g

:







O

p

t

i

m

i

z

a

t

i

o

n

 

L

e

v

e

l

 

|

 

C

o

m

p

u

t

a

t

i

o

n

(

G

E

M

M

)

 

|

 

C

o

m

m

 

|

 

W

e

i

g

h

t

 

|

 

M

a

s

t

e

r

 

W

e

i

g

h

t

 

|

 

W

e

i

g

h

t

 

G

r

a

d

i

e

n

t

 

|

 

O

p

t

i

m

i

z

e

r

 

S

t

a

t

e

s




-

-

 

|

 

-

-

 

|

 

-

-

 

|

 

-

-

 

|

 

-

-

 

|

 

-

-

 

|

 

-

-




F

P

1

6

 

A

M

P

 

|

 

F

P

1

6

 

|

 

F

P

3

2

 

|

 

F

P

3

2

 

|

 

N

/

A

 

|

 

F

P

3

2

 

|

 

F

P

3

2

+

F

P

3

2




N

v

i

d

i

a

 

T

E

 

|

 

F

P

8

 

|

 

F

P

3

2

 

|

 

F

P

3

2

 

|

 

N

/

A

 

|

 

F

P

3

2

 

|

 

F

P

3

2

+

F

P

3

2




M

S

-

A

M

P

 

O

1

 

|

 

F

P

8

 

|

 

F

P

8

 

|

 

F

P

1

6

 

|

 

N

/

A

 

|

 

F

P

8

 

|

 

F

P

3

2

+

F

P

3

2




M

S

-

A

M

P

 

O

2

 

|

 

F

P

8

 

|

 

F

P

8

 

|

 

F

P

1

6

 

|

 

N

/

A

 

|

 

F

P

8

 

|

 

F

P

8

+

F

P

1

6




M

S

-

A

M

P

 

O

3

 

|

 

F

P

8

 

|

 

F

P

8

 

|

 

F

P

8

 

|

 

F

P

1

6

 

|

 

F

P

8

 

|

 

F

P

8

+

F

P

1

6







#

#

 

`

T

r

a

n

s

f

o

r

m

e

r

s

E

n

g

i

n

e

`







`

T

r

a

n

s

f

o

r

m

e

r

s

E

n

g

i

n

e

`

 

i

s

 

t

h

e

 

f

i

r

s

t

 

s

o

l

u

t

i

o

n

 

t

o

 

t

r

y

i

n

g

 

t

o

 

t

r

a

i

n

 

i

n

 

8

-

b

i

t

 

f

l

o

a

t

i

n

g

 

p

o

i

n

t

.

 

I

t

 

w

o

r

k

s

 

b

y

 

u

s

i

n

g

 

d

r

o

p

-

i

n

 

r

e

p

l

a

c

e

m

e

n

t

 

l

a

y

e

r

s

 

f

o

r

 

c

e

r

t

a

i

n

 

o

n

e

s

 

i

n

 

a

 

m

o

d

e

l

 

t

h

a

t

 

u

t

i

l

i

z

e

s

 

t

h

e

i

r

 

F

P

8

-

e

n

g

i

n

e

 

t

o

 

r

e

d

u

c

e

 

t

h

e

 

n

u

m

b

e

r

 

o

f

 

b

i

t

s

 

(

s

u

c

h

 

a

s

 

3

2

 

t

o

 

8

)

 

w

i

t

h

o

u

t

 

d

e

g

r

a

d

i

n

g

 

t

h

e

 

f

i

n

a

l

 

a

c

c

u

r

a

c

y

 

o

f

 

t

h

e

 

m

o

d

e

l

.

 







S

p

e

c

i

f

i

c

a

l

l

y

,

 

A

c

c

e

l

e

r

a

t

e

 

w

i

l

l

 

f

i

n

d

 

a

n

d

 

r

e

p

l

a

c

e

 

t

h

e

 

f

o

l

l

o

w

i

n

g

 

l

a

y

e

r

s

 

w

i

t

h

 

`

T

r

a

n

s

f

o

r

m

e

r

s

E

n

g

i

n

e

`

 

v

e

r

s

i

o

n

s

:







*

 

`

n

n

.

L

a

y

e

r

N

o

r

m

`

 

f

o

r

 

`

t

e

.

L

a

y

e

r

N

o

r

m

`




*

 

`

n

n

.

L

i

n

e

a

r

`

 

f

o

r

 

`

t

e

.

L

i

n

e

a

r

`







A

s

 

a

 

r

e

s

u

l

t

 

w

e

 

w

i

n

d

 

u

p

 

w

i

t

h

 

a

 

m

o

d

e

l

 

t

h

a

t

 

h

a

s

 

m

o

s

t

 

o

f

 

i

t

s

 

l

a

y

e

r

s

 

i

n

 

B

F

1

6

,

 

w

h

i

l

e

 

s

o

m

e

 

l

a

y

e

r

s

 

a

r

e

 

i

n

 

F

P

8

 

r

e

d

u

c

i

n

g

 

s

o

m

e

 

o

f

 

t

h

e

 

m

e

m

o

r

y

.

 







A

n

e

c

d

o

t

a

l

l

y

,

 

w

e

 

h

a

v

e

 

n

o

t

i

c

e

d

 

t

h

a

t

 

p

e

r

f

o

r

m

a

n

c

e

 

g

a

i

n

s

 

d

o

n

'

t

 

r

e

a

l

l

y

 

s

t

a

r

t

 

s

h

o

w

i

n

g

 

w

h

e

n

 

u

s

i

n

g

 

`

T

r

a

n

s

f

o

r

m

e

r

E

n

g

i

n

e

`

 

u

n

t

i

l

 

a

 

l

a

r

g

e

 

m

a

j

o

r

i

t

y

 

o

f

 

t

h

e

 

l

a

y

e

r

s




i

n

 

t

h

e

 

m

o

d

e

l

 

a

r

e

 

m

a

d

e

 

u

p

 

o

f

 

t

h

o

s

e

 

t

w

o

 

l

a

y

e

r

s

 

t

o

 

r

e

p

l

a

c

e

.

 

A

s

 

a

 

r

e

s

u

l

t

,

 

o

n

l

y

 

l

a

r

g

e

r

 

m

o

d

e

l

s

 

h

a

v

e

 

s

h

o

w

n

 

p

e

r

f

o

r

m

a

n

c

e

 

i

m

p

r

o

v

e

m

e

n

t

s

 

w

h

e

n

 

t

h

e

 

n

u

m

b

e

r

 

o

f

 

p

a

r

a

m

e

t

e

r

s

 

i

s

 

a

r

o

u

n

d

 

a

n

d

 

u

p

w

a

r

d

s

 

o

f

 

a

 

f

e

w

 

b

i

l

l

i

o

n

.

 







T

h

e

 

`

T

r

a

n

s

f

o

r

m

e

r

E

n

g

i

n

e

`

 

c

a

n

 

r

e

c

e

i

v

e

 

m

a

n

y

 

d

i

f

f

e

r

e

n

t

 

a

r

g

u

m

e

n

t

s

 

t

h

a

t

 

c

u

s

t

o

m

i

z

e

 

h

o

w

 

i

t

 

p

e

r

f

o

r

m

s

 

F

P

8

 

c

a

l

c

u

l

a

t

i

o

n

s

 

a

n

d

 

w

h

a

t

 

t

h

e

y

 

d

o

.

 

A

 

f

u

l

l

 

l

i

s

t

 

o

f

 

t

h

e

 

a

r

g

u

m

e

n

t

s

 

i

s

 

a

v

a

i

l

a

b

l

e

 

b

e

l

o

w

:







*

 

`

m

a

r

g

i

n

`

:

 

T

h

e

 

m

a

r

g

i

n

 

t

o

 

u

s

e

 

f

o

r

 

t

h

e

 

g

r

a

d

i

e

n

t

 

s

c

a

l

i

n

g

.




*

 

`

i

n

t

e

r

v

a

l

`

:

 

T

h

e

 

i

n

t

e

r

v

a

l

 

t

o

 

u

s

e

 

f

o

r

 

h

o

w

 

o

f

t

e

n

 

t

h

e

 

s

c

a

l

i

n

g

 

f

a

c

t

o

r

 

i

s

 

r

e

c

o

m

p

u

t

e

d

.




*

 

`

f

p

8

_

f

o

r

m

a

t

`

`

:

 

T

h

e

 

f

o

r

m

a

t

 

t

o

 

u

s

e

 

f

o

r

 

t

h

e

 

F

P

8

 

r

e

c

i

p

e

.

 

M

u

s

t

 

b

e

 

o

n

e

 

o

f

 

`

H

Y

B

R

I

D

`

 

o

r

 

`

E

4

M

3

`

.

 

(

G

e

n

e

r

a

l

l

y

 

`

H

Y

B

R

I

D

`

 

f

o

r

 

t

r

a

i

n

i

n

g

,

 

`

E

4

M

3

`

 

f

o

r

 

e

v

a

l

u

a

t

i

o

n

)




*

 

`

a

m

a

x

_

h

i

s

t

o

r

y

_

l

e

n

`

:

 

T

h

e

 

l

e

n

g

t

h

 

o

f

 

t

h

e

 

h

i

s

t

o

r

y

 

t

o

 

u

s

e

 

f

o

r

 

t

h

e

 

s

c

a

l

i

n

g

 

f

a

c

t

o

r

 

c

o

m

p

u

t

a

t

i

o

n




*

 

`

a

m

a

x

_

c

o

m

p

u

t

e

_

a

l

g

o

`

:

 

T

h

e

 

a

l

g

o

r

i

t

h

m

 

t

o

 

u

s

e

 

f

o

r

 

t

h

e

 

s

c

a

l

i

n

g

 

f

a

c

t

o

r

 

c

o

m

p

u

t

a

t

i

o

n

.

 

M

u

s

t

 

b

e

 

o

n

e

 

o

f

 

`

m

a

x

`

 

o

r

 

`

m

o

s

t

_

r

e

c

e

n

t

`

.




*

 

`

o

v

e

r

r

i

d

e

_

l

i

n

e

a

r

_

p

r

e

c

i

s

i

o

n

`

:

 

W

h

e

t

h

e

r

 

o

r

 

n

o

t

 

t

o

 

e

x

e

c

u

t

e

 

`

f

p

r

o

p

`

,

 

`

d

g

r

a

d

`

,

 

a

n

d

 

`

w

g

r

a

d

`

 

G

E

M

M

S

 

i

n

 

h

i

g

h

e

r

 

p

r

e

c

i

s

i

o

n

.







Y

o

u

 

c

a

n

 

c

u

s

t

o

m

i

z

e

 

e

a

c

h

 

o

f

 

t

h

e

s

e

 

a

s

 

p

a

r

t

 

o

f

 

`

u

t

i

l

s

.

F

P

8

R

e

c

i

p

e

K

w

a

r

g

s

`

 

t

o

 

h

e

l

p

 

o

p

t

i

m

i

z

e

 

p

e

r

f

o

r

m

a

n

c

e

 

o

f

 

y

o

u

r

 

m

o

d

e

l

s

.







I

f

 

w

e

 

n

o

t

i

c

e

 

i

n

 

t

h

e

 

c

h

a

r

t

 

m

e

n

t

i

o

n

e

d

 

e

a

r

l

i

e

r

,

 

T

E

 

s

i

m

p

l

y

 

c

a

s

t

s

 

t

h

e

 

c

o

m

p

u

t

a

t

i

o

n

 

l

a

y

e

r

s

 

i

n

t

o

 

F

P

8

,

 

w

h

i

l

e

 

e

v

e

r

y

t

h

i

n

g

 

e

l

s

e

 

i

s

 

i

n

 

F

P

3

2

.

 

A

s

 

a

 

r

e

s

u

l

t

 

t

h

i

s

 

w

i

n

d

s

 

u

p

 

u

t

i

l

i

z

i

n

g

 

t

h

e

 

m

o

s

t

 

m

e

m

o

r

y

 

b

u

t

 

d

o

e

s

 

s

o

 

w

i

t

h

 

t

h

e

 

b

e

n

e

f

i

t

 

o

f

 

g

u

a

r

a

n

t

e

e

i

n

g

 

t

h

e

 

l

e

a

s

t

 

a

m

o

u

n

t

 

o

f

 

l

o

s

s

 

i

n

 

e

n

d

 

a

c

c

u

r

a

c

y

 

d

u

r

i

n

g

 

t

r

a

i

n

i

n

g

.

 







#

#

 

`

M

S

-

A

M

P

`







M

S

-

A

M

P

 

t

a

k

e

s

 

a

 

d

i

f

f

e

r

e

n

t

 

a

p

p

r

o

a

c

h

 

t

o

 

`

T

r

a

n

s

f

o

r

m

e

r

s

E

n

g

i

n

e

`

 

b

y

 

p

r

o

v

i

d

i

n

g

 

t

h

r

e

e

 

d

i

f

f

e

r

e

n

t

 

o

p

t

i

m

i

z

a

t

i

o

n

 

l

e

v

e

l

s

 

t

o

 

c

o

n

v

e

r

t

 

m

o

r

e

 

o

p

e

r

a

t

i

o

n

s

 

i

n

 

F

P

8

 

o

r

 

F

P

1

6

.







*

 

T

h

e

 

b

a

s

e

 

o

p

t

i

m

i

z

a

t

i

o

n

 

l

e

v

e

l

 

(

`

O

1

`

)

,

 

p

a

s

s

e

s

 

c

o

m

m

u

n

i

c

a

t

i

o

n

s

 

o

f

 

t

h

e

 

w

e

i

g

h

t

s

 

(

s

u

c

h

 

a

s

 

i

n

 

D

D

P

)

 

i

n

 

F

P

8

,

 

s

t

o

r

e

s

 

t

h

e

 

w

e

i

g

h

t

s

 

o

f

 

t

h

e

 

m

o

d

e

l

 

i

n

 

F

P

1

6

,

 

a

n

d

 

l

e

a

v

e

s

 

t

h

e

 

o

p

t

i

m

i

z

e

r

 

s

t

a

t

e

s

 

i

n

 

F

P

3

2

.

 

T

h

e

 

m

a

i

n

 

b

e

n

e

f

i

t

 

o

f

 

t

h

i

s

 

o

p

t

i

m

i

z

a

t

i

o

n

 

l

e

v

e

l

 

i

s

 

t

h

a

t

 

w

e

 

c

a

n

 

r

e

d

u

c

e

 

t

h

e

 

c

o

m

m

u

n

i

c

a

t

i

o

n

 

b

a

n

d

w

i

d

t

h

 

b

y

 

e

s

s

e

n

t

i

a

l

l

y

 

h

a

l

f

.

 

A

d

d

i

t

i

o

n

a

l

l

y

,

 

m

o

r

e

 

G

P

U

 

m

e

m

o

r

y

 

i

s

 

s

a

v

e

d

 

d

u

e

 

t

o

 

1

/

2

 

o

f

 

e

v

e

r

y

t

h

i

n

g

 

b

e

i

n

g

 

c

a

s

t

 

i

n

 

F

P

8

,

 

a

n

d

 

t

h

e

 

w

e

i

g

h

t

s

 

b

e

i

n

g

 

c

a

s

t

 

t

o

 

F

P

1

6

.

 

N

o

t

a

b

l

y

,

 

b

o

t

h

 

t

h

e

 

o

p

t

i

m

i

z

e

r

 

s

t

a

t

e

s

 

r

e

m

a

i

n

 

i

n

 

F

P

3

2

.







*

 

T

h

e

 

s

e

c

o

n

d

 

o

p

t

i

m

i

z

a

t

i

o

n

 

l

e

v

e

l

 

(

`

O

2

`

)

 

i

m

p

r

o

v

e

s

 

u

p

o

n

 

t

h

i

s

 

b

y

 

a

l

s

o

 

r

e

d

u

c

i

n

g

 

t

h

e

 

p

r

e

c

i

s

i

o

n

 

o

f

 

t

h

e

 

o

p

t

i

m

i

z

e

r

 

s

t

a

t

e

s

.

 

O

n

e

 

i

s

 

i

n

 

F

P

8

 

w

h

i

l

e

 

t

h

e

 

o

t

h

e

r

 

i

s

 

i

n

 

F

P

1

6

.

 

G

e

n

e

r

a

l

l

y

 

i

t

'

s

 

b

e

e

n

 

s

h

o

w

n

 

t

h

a

t

 

t

h

i

s

 

w

i

l

l

 

o

n

l

y

 

p

r

o

v

i

d

e

 

a

 

n

e

t

-

g

a

i

n

 

o

f

 

n

o

 

d

e

g

r

a

d

e

d

 

e

n

d

 

a

c

c

u

r

a

c

y

,

 

i

n

c

r

e

a

s

e

d

 

t

r

a

i

n

i

n

g

 

s

p

e

e

d

,

 

a

n

d

 

r

e

d

u

c

e

d

 

m

e

m

o

r

y

 

a

s

 

n

o

w

 

e

v

e

r

y

 

s

t

a

t

e

 

i

s

 

e

i

t

h

e

r

 

i

n

 

F

P

1

6

 

o

r

 

F

P

8

.

 







*

 

F

i

n

a

l

l

y

,

 

M

S

-

A

M

P

 

h

a

s

 

a

 

t

h

i

r

d

 

o

p

t

i

m

i

z

a

t

i

o

n

 

l

e

v

e

l

 

(

`

O

3

`

)

 

w

h

i

c

h

 

h

e

l

p

s

 

d

u

r

i

n

g

 

D

D

P

 

s

c

e

n

a

r

i

o

s

 

s

u

c

h

 

a

s

 

D

e

e

p

S

p

e

e

d

.

 

T

h

e

 

w

e

i

g

h

t

s

 

o

f

 

t

h

e

 

m

o

d

e

l

 

i

n

 

m

e

m

o

r

y

 

a

r

e

 

f

u

l

l

y

 

c

a

s

t

 

t

o

 

F

P

8

,

 

a

n

d

 

t

h

e

 

m

a

s

t

e

r

 

w

e

i

g

h

t

s

 

a

r

e

 

n

o

w

 

s

t

o

r

e

d

 

i

n

 

F

P

1

6

.

 

T

h

i

s

 

f

u

l

l

y

 

r

e

d

u

c

e

s

 

m

e

m

o

r

y

 

b

y

 

t

h

e

 

h

i

g

h

e

s

t

 

f

a

c

t

o

r

 

a

s

 

n

o

w

 

n

o

t

 

o

n

l

y

 

i

s

 

a

l

m

o

s

t

 

e

v

e

r

y

t

h

i

n

g

 

i

n

 

F

P

8

,

 

o

n

l

y

 

t

w

o

 

s

t

a

t

e

s

 

a

r

e

 

l

e

f

t

 

i

n

 

F

P

1

6

.

 

C

u

r

r

e

n

t

l

y

,

 

o

n

l

y

 

D

e

e

p

S

p

e

e

d

 

v

e

r

s

i

o

n

s

 

u

p

 

t

h

r

o

u

g

h

 

0

.

9

.

2

 

a

r

e

 

s

u

p

p

o

r

t

e

d

,

 

s

o

 

t

h

i

s

 

c

a

p

a

b

i

l

i

t

y

 

i

s

 

n

o

t

 

i

n

c

l

u

d

e

d

 

i

n

 

t

h

e

 

A

c

c

e

l

e

r

a

t

e

 

i

n

t

e

g

r

a

t

i

o

n







#

#

 

C

o

m

b

i

n

i

n

g

 

t

h

e

 

t

w

o







M

o

r

e

 

e

x

p

e

r

i

m

e

n

t

s

 

n

e

e

d

 

t

o

 

b

e

 

p

e

r

f

o

r

m

e

d

 

b

u

t

 

i

t

'

s

 

b

e

e

n

 

n

o

t

e

d

 

t

h

a

t

 

c

o

m

b

i

n

i

n

g

 

b

o

t

h

 

M

S

-

A

M

P

 

a

n

d

 

T

r

a

n

s

f

o

r

m

e

r

s

E

n

g

i

n

e

 

c

a

n

 

l

e

a

d

 

t

o

 

t

h

e

 

h

i

g

h

e

s

t

 

t

h

r

o

u

g

h

p

u

t

 

b

y

 

r

e

l

y

i

n

g

 

o

n

 

N

V

I

D

I

A

'

s

 

o

p

t

i

m

i

z

e

d

 

F

P

8

 

o

p

e

r

a

t

o

r

s

 

a

n

d

 

u

t

i

l

i

z

i

n

g

 

h

o

w

 

M

S

-

A

M

P

 

r

e

d

u

c

e

s

 

t

h

e

 

m

e

m

o

r

y

 

o

v

e

r

h

e

a

d

.







#

 

F

S

D

P

 

v

s

 

D

e

e

p

S

p

e

e

d







A

c

c

e

l

e

r

a

t

e

 

o

f

f

e

r

s

 

f

l

e

x

i

b

i

l

t

y

 

o

f

 

t

r

a

i

n

i

n

g

 

f

r

a

m

e

w

o

r

k

s

,

 

b

y

 

i

n

t

e

g

r

a

t

i

n

g

 

t

w

o

 

e

x

t

r

e

m

e

l

y

 

p

o

w

e

r

f

u

l

 

t

o

o

l

s

 

f

o

r

 

d

i

s

t

r

i

b

u

t

e

d

 

t

r

a

i

n

i

n

g

,

 

n

a

m

e

l

y

 

[

P

y

t

o

r

c

h

 

F

S

D

P

]

(

.

.

/

u

s

a

g

e

_

g

u

i

d

e

s

/

f

s

d

p

)

 

a

n

d

 

[

M

i

c

r

o

s

o

f

t

 

D

e

e

p

S

p

e

e

d

]

(

.

.

/

u

s

a

g

e

_

g

u

i

d

e

s

/

d

e

e

p

s

p

e

e

d

)

.

 

T

h

e

 

a

i

m

 

o

f

 

t

h

i

s

 

t

u

t

o

r

i

a

l

 

i

s

 

t

o

 

d

r

a

w

 

p

a

r

a

l

l

e

l

s

,

 

a

s

 

w

e

l

l

 

a

s

 

t

o

 

o

u

t

l

i

n

e

 

p

o

t

e

n

t

i

a

l

 

d

i

f

f

e

r

e

n

c

e

s

,

 

t

o

 

e

m

p

o

w

e

r

 

t

h

e

 

u

s

e

r

 

t

o

 

s

w

i

t

c

h

 

s

e

a

m

l

e

s

s

l

y

 

b

e

t

w

e

e

n

 

t

h

e

s

e

 

t

w

o

 

f

r

a

m

e

w

o

r

k

s

.







<

T

i

p

>







 

 

T

o

 

s

w

i

t

c

h

 

b

e

t

w

e

e

n

 

t

h

e

 

f

r

a

m

e

w

o

r

k

s

,

 

w

e

 

r

e

c

o

m

m

e

n

d

 

l

a

u

n

c

h

i

n

g

 

c

o

d

e

 

`

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

`

 

p

a

s

s

i

n

g

 

i

n

 

t

h

e

 

c

o

r

r

e

c

t

 

c

o

n

f

i

g

 

f

i

l

e

 

w

i

t

h

 

`

-

-

c

o

n

f

i

g

_

f

i

l

e

`

,

 

o

r

 

p

a

s

s

i

n

g

 

i

n

 

t

h

e

 

r

e

s

p

e

c

t

i

v

e

 

a

r

g

u

m

e

n

t

s

 

d

i

r

e

c

t

l

y

 

f

o

r

 

[

F

S

D

P

 

a

n

d

 

D

e

e

p

S

p

e

e

d

]

(

.

.

/

p

a

c

k

a

g

e

_

r

e

f

e

r

e

n

c

e

/

c

l

i

#

a

c

c

e

l

e

r

a

t

e

-

l

a

u

n

c

h

)

 

.







 

 

E

x

a

m

p

l

e

 

A

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

u

r

a

t

i

o

n

s

 

c

a

n

 

b

e

 

f

o

u

n

d

 

h

e

r

e

 

f

o

r

 

[

D

e

e

p

S

p

e

e

d

]

(

.

.

/

u

s

a

g

e

_

g

u

i

d

e

s

/

d

e

e

p

s

p

e

e

d

#

a

c

c

e

l

e

r

a

t

e

-

d

e

e

p

s

p

e

e

d

-

p

l

u

g

i

n

)

 

a

n

d

 

[

F

S

D

P

]

(

.

.

/

u

s

a

g

e

_

g

u

i

d

e

s

/

f

s

d

p

#

h

o

w

-

i

t

-

w

o

r

k

s

-

o

u

t

-

o

f

-

t

h

e

-

b

o

x

)

,

 

o

r

 

i

n

 

t

h

e

 

[

e

x

a

m

p

l

e

 

z

o

o

 

u

n

d

e

r

 

"

L

a

u

n

c

h

 

C

o

n

f

i

g

u

r

a

t

i

o

n

s

"

]

(

.

.

/

u

s

a

g

e

_

g

u

i

d

e

s

/

e

x

p

l

o

r

e

)




 




<

/

T

i

p

>







<

T

i

p

 

w

a

r

n

i

n

g

=

{

t

r

u

e

}

>







T

h

i

s

 

t

u

t

o

r

i

a

l

 

i

s

 

f

o

r

 

s

i

n

g

l

e

-

n

o

d

e

,

 

m

u

l

t

i

-

G

P

U

,

 

s

c

e

n

a

r

i

o

s

 

o

n

l

y

.







<

/

T

i

p

>







#

#

 

C

o

n

f

i

g

u

r

i

n

g

 

F

u

n

c

t

i

o

n

a

l

i

t

i

e

s







M

o

d

e

l

 

t

e

n

s

o

r

s

 

a

r

e

 

s

p

l

i

t

 

i

n

t

o

 

d

i

f

f

e

r

e

n

t

 

G

P

U

s

 

i

n

 

a

n

 

a

t

t

e

m

p

t

 

t

o

 

s

c

a

l

e

 

u

p

 

m

o

d

e

l

 

s

i

z

e

s

;

 

t

h

i

s

 

i

s

 

t

e

r

m

e

d

 

*

s

h

a

r

d

i

n

g

*

 

i

n

 

F

S

D

P

,

 

a

n

d

 

*

p

a

r

t

i

t

i

o

n

i

n

g

*

 

i

n

 

D

e

e

p

S

p

e

e

d

.

 

F

S

D

P

 

s

h

a

r

d

i

n

g

 

a

n

d

 

D

e

e

p

S

p

e

e

d

 

Z

e

R

O

 

(

p

a

r

t

i

t

i

o

n

i

n

g

)

 

s

t

a

g

e

s

 

a

r

e

 

c

o

n

f

i

g

u

r

e

d

 

b

y

 

`

-

-

f

s

d

p

_

s

h

a

r

d

i

n

g

_

s

t

r

a

t

e

g

y

`

,

 

a

n

d

 

`

-

-

z

e

r

o

_

s

t

a

g

e

`

,

 

r

e

s

p

e

c

t

i

v

e

l

y

.

 

 

I

n

 

p

a

r

t

i

c

u

l

a

r

,

 

F

S

D

P

 

`

F

U

L

L

_

S

H

A

R

D

`

 

m

a

p

s

 

t

o

 

D

e

e

p

S

p

e

e

d

 

Z

e

R

O

 

s

t

a

g

e

 

`

3

`

;

 

s

e

e

 

t

h

i

s

 

[

c

o

m

p

r

e

h

e

n

s

i

v

e

 

m

a

p

p

i

n

g

 

b

e

t

w

e

e

n

 

F

S

D

P

 

s

h

a

r

d

i

n

g

 

a

n

d

 

D

e

e

p

S

p

e

e

d

 

Z

e

R

O

 

s

e

t

t

i

n

g

s

]

(

.

.

/

u

s

a

g

e

_

g

u

i

d

e

s

/

f

s

d

p

#

m

a

p

p

i

n

g

-

b

e

t

w

e

e

n

-

f

s

d

p

-

s

h

a

r

d

i

n

g

-

s

t

r

a

t

e

g

i

e

s

-

a

n

d

-

d

e

e

p

s

p

e

e

d

-

z

e

r

o

-

s

t

a

g

e

s

)

.

 

T

h

e

 

b

e

l

o

w

 

t

a

b

l

e

 

s

u

m

m

a

r

i

z

e

s

 

a

n

d

 

g

r

o

u

p

s

 

s

i

m

i

l

a

r

 

s

e

t

t

i

n

g

s

:







G

r

o

u

p

 

|

 

F

r

a

m

e

w

o

r

k

 

|

 

C

o

n

f

i

g

u

r

a

t

i

o

n

 

|

 

E

x

a

m

p

l

e

 

|

 

R

e

s

t

r

i

c

t

i

o

n

s

 

(

i

f

 

a

n

y

)




-

-

|

-

-

|

-

-

|

-

-

|

-

-




s

h

a

r

d

i

n

g

 

/

 

p

a

r

t

i

t

i

o

n

i

n

g

 

|

 

F

S

D

P

<

b

r

>

D

e

e

p

S

p

e

e

d

 

|

 

`

-

-

f

s

d

p

_

s

h

a

r

d

i

n

g

_

s

t

r

a

t

e

g

y

`

<

b

r

>

`

-

-

z

e

r

o

_

s

t

a

g

e

`

 

|

 

`

1

`

 

(

`

F

U

L

L

_

S

H

A

R

D

`

)

 

<

b

r

>

`

3

`

 

|

 




o

f

f

l

o

a

d

 

|

 

F

S

D

P

<

b

r

>

D

e

e

p

S

p

e

e

d

 

|

 

`

-

-

f

s

d

p

_

o

f

f

l

o

a

d

_

p

a

r

a

m

s

`

<

b

r

>

`

-

-

o

f

f

l

o

a

d

_

p

a

r

a

m

_

d

e

v

i

c

e

`

<

b

r

>

`

-

-

o

f

f

l

o

a

d

_

o

p

t

i

m

i

z

e

r

_

d

e

v

i

c

e

`

 

|

 

`

t

r

u

e

`

<

b

r

>

`

c

p

u

`

<

b

r

>

`

c

p

u

`

 

|

 

a

l

l

 

o

r

 

n

o

t

h

i

n

g

 

<

b

r

>

<

b

r

>

 




m

o

d

e

l

 

l

o

a

d

i

n

g

 

|

 

F

S

D

P

<

b

r

>

D

e

e

p

S

p

e

e

d

 

|

 

<

s

p

a

n

 

s

t

y

l

e

=

"

w

h

i

t

e

-

s

p

a

c

e

:

n

o

w

r

a

p

;

"

>

`

-

-

f

s

d

p

_

c

p

u

_

r

a

m

_

e

f

f

i

c

i

e

n

t

_

l

o

a

d

i

n

g

`

<

/

s

p

a

n

>

<

b

r

>

`

-

-

z

e

r

o

3

_

i

n

i

t

_

f

l

a

g

`

 

|

 

`

t

r

u

e

`

<

b

r

>

`

t

r

u

e

`

 

|

 

<

b

r

>

o

n

l

y

 

Z

e

R

O

 

3




e

f

f

i

c

i

e

n

t

 

c

h

e

c

k

p

o

i

n

t

i

n

g

 

|

 

F

S

D

P

<

b

r

>

D

e

e

p

S

p

e

e

d

 

|

 

`

-

-

f

s

d

p

_

s

t

a

t

e

_

d

i

c

t

_

t

y

p

e

`

<

b

r

>

`

-

-

z

e

r

o

3

_

s

a

v

e

_

1

6

b

i

t

_

m

o

d

e

l

`

 

|

 

 

`

S

H

A

R

D

E

D

_

S

T

A

T

E

_

D

I

C

T

`

<

b

r

>

`

t

r

u

e

`

 

|

 

 

<

b

r

>

o

n

l

y

 

Z

e

R

O

 

3




w

e

i

g

h

t

s

 

p

r

e

f

e

t

c

h

i

n

g

 

|

 

F

S

D

P

<

b

r

>

<

b

r

>

D

e

e

p

S

p

e

e

d

 

|

 

`

-

-

f

s

d

p

_

f

o

r

w

a

r

d

_

p

r

e

f

e

t

c

h

`

<

b

r

>

`

-

-

f

s

d

p

_

b

a

c

k

w

a

r

d

_

p

r

e

f

e

t

c

h

`

<

b

r

>

N

o

n

e

 

|

 

`

t

r

u

e

`

<

b

r

>

`

B

A

C

K

W

A

R

D

_

P

R

E

`

 

|

 

<

b

r

>

<

b

r

>




m

o

d

e

l

 

|

 

F

S

D

P

<

b

r

>

<

b

r

>

D

e

e

p

S

p

e

e

d

 

|

 

 

`

-

-

f

s

d

p

_

a

u

t

o

_

w

r

a

p

_

p

o

l

i

c

y

`

<

b

r

>

<

s

p

a

n

 

s

t

y

l

e

=

"

w

h

i

t

e

-

s

p

a

c

e

:

n

o

w

r

a

p

;

"

>

`

-

-

f

s

d

p

_

t

r

a

n

s

f

o

r

m

e

r

_

l

a

y

e

r

_

c

l

s

_

t

o

_

w

r

a

p

`

<

/

s

p

a

n

>

<

b

r

>

N

o

n

e

 

|

 

`

T

R

A

N

S

F

O

R

M

E

R

_

B

A

S

E

D

_

W

R

A

P

`

<

b

r

>

<

L

a

y

e

r

 

C

l

a

s

s

>

 

|

<

b

r

>

U

s

u

a

l

l

y

 

n

o

t

 

n

e

e

d

e

d

 

<

b

r

>

T

r

a

n

s

p

a

r

e

n

t

 

t

o

 

u

s

e

r

.




p

a

r

a

m

e

t

e

r

s

 

s

u

m

m

o

n

i

n

g

 

|

 

F

S

D

P

<

b

r

>

D

e

e

p

S

p

e

e

d

 

|

 

`

-

-

f

s

d

p

_

u

s

e

_

o

r

i

g

_

p

a

r

a

m

s

`

<

b

r

>

N

o

n

e

 

|

 

`

t

r

u

e

`

 

|

 

r

e

q

u

i

r

e

d

 

f

o

r

 

`

t

o

r

c

h

.

c

o

m

p

i

l

e

`

<

b

r

>

T

r

a

n

s

p

a

r

e

n

t

 

t

o

 

u

s

e

r




p

a

r

a

m

e

t

e

r

s

 

s

y

n

c

i

n

g

 

|

 

F

S

D

P

<

b

r

>

D

e

e

p

S

p

e

e

d

 

|

 

`

-

-

f

s

d

p

_

s

y

n

c

_

m

o

d

u

l

e

_

s

t

a

t

e

s

`

<

b

r

>

N

o

n

e

 

|

 

`

t

r

u

e

`

 

|

 




t

r

a

i

n

i

n

g

 

|

 

F

S

D

P

<

b

r

>

D

e

e

p

S

p

e

e

d

 

|

 

N

o

n

e

<

b

r

>

`

-

-

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

`

<

b

r

>

`

-

-

g

r

a

d

i

e

n

t

_

c

l

i

p

p

i

n

g

`

 

|

 

<

b

r

>

`

a

u

t

o

`

<

b

r

>

`

a

u

t

o

`

 

|

 

T

r

a

n

s

p

a

r

e

n

t

 

t

o

 

u

s

e

r







F

o

r

 

d

e

t

a

i

l

e

d

 

d

e

s

c

r

i

p

t

i

o

n

s

 

o

f

 

t

h

e

 

a

b

o

v

e

,

 

r

e

f

e

r

 

t

o

 

[

`

A

c

c

e

l

e

r

a

t

e

`

 

l

a

u

n

c

h

 

d

o

c

u

m

e

n

t

a

t

i

o

n

]

(

.

.

/

p

a

c

k

a

g

e

_

r

e

f

e

r

e

n

c

e

/

c

l

i

#

a

c

c

e

l

e

r

a

t

e

-

l

a

u

n

c

h

)

.







<

T

i

p

>







 

 

 

 

T

o

 

a

c

c

e

s

s

 

o

t

h

e

r

 

D

e

e

p

S

p

e

e

d

 

c

o

n

f

i

g

u

r

a

t

i

o

n

s

,

 

s

u

c

h

 

a

s

 

m

i

x

e

d

 

p

r

e

c

i

s

i

o

n

 

s

e

t

t

i

n

g

s

,

 




 

 

 

 

y

o

u

 

n

e

e

d

 

t

o

 

p

a

s

s

 

i

n

 

a

 

`

-

-

d

e

e

p

s

p

e

e

d

_

c

o

n

f

i

g

_

f

i

l

e

`

,

 

s

e

e

 

t

h

e

 

[

d

o

c

u

m

e

n

t

a

t

i

o

n

]

(

.

.

/

u

s

a

g

e

_

g

u

i

d

e

s

/

d

e

e

p

s

p

e

e

d

#

d

e

e

p

s

p

e

e

d

-

c

o

n

f

i

g

-

f

i

l

e

)

.

 

 







 

 

 

 

D

e

e

p

S

p

e

e

d

 

c

a

n

 

b

e

 

a

l

s

o

 

c

o

n

f

i

g

u

r

e

d

 

v

i

a

 

`

D

e

e

p

S

p

e

e

d

P

l

u

g

i

n

`

,

 

e

.

g

.

,

 

`

D

e

e

p

S

p

e

e

d

P

l

u

g

i

n

.

z

e

r

o

_

s

t

a

g

e

`

 

i

s

 

e

q

u

i

v

a

l

e

n

t

 

o

f

 

`

-

-

z

e

r

o

_

s

t

a

g

e

`

,

 

a

n

d

 

`

D

e

e

p

S

p

e

e

d

P

l

u

g

i

n

.

h

f

_

d

s

_

c

o

n

f

i

g

`

 

c

a

n

 

b

e

 

u

s

e

d

 

t

o

 

p

a

s

s

 

`

-

-

d

e

e

p

e

e

d

_

c

o

n

f

i

g

_

f

i

l

e

.

`







<

/

T

i

p

>







<

T

i

p

>







 

 

 

 

F

S

D

P

 

c

a

n

 

b

e

 

a

l

s

o

 

c

o

n

f

i

g

u

r

e

d

 

v

i

a

 

`

F

u

l

l

y

S

h

a

r

d

e

d

D

a

t

a

P

a

r

a

l

l

e

l

P

l

u

g

i

n

`

,

 

e

.

g

.

,

 

`

F

u

l

l

y

S

h

a

r

d

e

d

D

a

t

a

P

a

r

a

l

l

e

l

P

l

u

g

i

n

.

s

h

a

r

d

i

n

g

_

s

t

r

a

t

e

g

y

`

 

i

s

 

e

q

u

i

v

a

l

e

n

t

 

o

f

 

`

-

-

f

s

d

p

_

s

h

a

r

d

i

n

g

_

s

t

r

a

t

e

g

y

`

.




 

 

 

 




<

/

T

i

p

>







#

#

#

 

C

h

e

c

k

p

o

i

n

t

i

n

g







D

o

 

n

o

t

e

 

t

h

a

t

 

w

h

i

l

e

 

F

S

D

P

 

c

a

n

 

b

e

 

c

o

n

f

i

g

u

r

e

d

 

v

i

a

 

`

-

-

f

s

d

p

_

s

t

a

t

e

_

d

i

c

t

_

t

y

p

e

`

 

t

o

 

s

a

v

e

 

e

i

t

h

e

r

 

f

u

l

l

 

/

 

s

h

a

r

d

e

d

 

c

h

e

c

k

p

o

i

n

t

s

.







<

T

i

p

>







 

 

 

 

F

o

r

 

D

e

e

p

S

p

e

e

d

 

Z

e

r

o

3

,

 

o

n

e

 

c

o

u

l

d

 

p

a

s

s

 

a

 

`

-

-

z

e

r

o

3

_

s

a

v

e

_

1

6

b

i

t

_

m

o

d

e

l

 

t

r

u

e

`

,

 

w

h

i

c

h

 

c

o

n

v

e

n

i

e

n

t

l

y

 

c

o

n

s

o

l

i

d

a

t

e

s

 

t

h

e

 

m

o

d

e

l

 

t

o

 

a

 

s

i

n

g

l

e

 

r

a

n

k

 

a

n

d

 

s

a

v

e

s

;

 

t

h

i

s

 

i

s

 

t

h

e

 

F

S

D

P

 

e

q

u

i

v

a

l

e

n

t

 

o

f

 

`

f

s

d

p

_

s

t

a

t

e

_

d

i

c

t

_

t

y

p

e

:

 

F

U

L

L

_

S

T

A

T

E

_

D

I

C

T

`

.

 







<

/

T

i

p

>







<

T

i

p

 

w

a

r

n

i

n

g

=

{

t

r

u

e

}

>







 

 

 

 

F

o

r

 

l

a

r

g

e

 

m

o

d

e

l

s

,

 

c

o

n

s

o

l

i

d

a

t

i

n

g

 

t

h

e

 

m

o

d

e

l

 

t

o

 

a

 

s

i

n

g

l

e

 

r

a

n

k

 

c

a

n

 

b

e

 

v

e

r

y

 

s

l

o

w

.







<

/

T

i

p

>







<

T

i

p

>







 

 

 

 

F

o

r

 

q

u

i

c

k

e

r

 

c

h

e

c

k

p

o

i

n

t

i

n

g

,

 

f

o

r

 

F

S

D

P

 

u

s

e

 

`

f

s

d

p

_

s

t

a

t

e

_

d

i

c

t

_

t

y

p

e

:

 

S

H

A

R

D

E

D

_

S

T

A

T

E

_

D

I

C

T

`

,

 

a

n

d

 

f

o

r

 

D

e

e

p

S

p

e

e

d

 

Z

e

r

o

3

 

[

u

s

e

 

t

h

e

 

`

z

e

r

o

_

t

o

_

f

p

3

2

.

p

y

`

 

s

c

r

i

p

t

 

t

o

 

p

o

s

t

-

c

o

n

v

e

r

t

 

s

h

a

r

d

e

d

 

c

h

e

c

k

p

o

i

n

t

s

]

(

h

t

t

p

s

:

/

/

w

w

w

.

d

e

e

p

s

p

e

e

d

.

a

i

/

t

u

t

o

r

i

a

l

s

/

z

e

r

o

/

#

e

x

t

r

a

c

t

i

n

g

-

w

e

i

g

h

t

s

)

.










<

/

T

i

p

>







#

#

#

 

O

f

f

l

o

a

d

i

n

g







F

S

D

P

 

o

n

l

y

 

a

l

l

o

w

s

 

*

a

l

l

-

o

r

-

n

o

t

h

i

n

g

*

 

o

f

f

l

o

a

d

 

(

i

.

e

.

,

 

e

i

t

h

e

r

 

o

f

f

l

o

a

d

 

p

a

r

a

m

e

t

e

r

s

,

 

g

r

a

d

i

e

n

t

s

,

 

a

n

d

 

o

p

t

i

m

i

z

e

r

,

 

o

r

 

k

e

e

p

 

t

h

e

m

 

a

l

l

 

i

n

 

G

P

U

)

,

 

b

u

t

 

D

e

e

p

S

p

e

e

d

 

c

a

n

 

o

f

f

l

o

a

d

 

p

a

r

a

m

e

t

e

r

s

 

a

n

d

 

o

p

t

i

m

i

z

e

r

 

d

i

f

f

e

r

e

n

t

l

y

.

 

F

u

r

t

h

e

r

m

o

r

e

,

 

D

e

e

p

S

p

e

e

d

 

a

l

s

o

 

s

u

p

p

o

r

t

s

 

[

o

f

f

l

o

a

d

i

n

g

 

t

o

 

N

V

M

E

]

(

h

t

t

p

s

:

/

/

w

w

w

.

d

e

e

p

s

p

e

e

d

.

a

i

/

d

o

c

s

/

c

o

n

f

i

g

-

j

s

o

n

/

#

p

a

r

a

m

e

t

e

r

-

o

f

f

l

o

a

d

i

n

g

)

.







#

#

#

 

P

r

e

f

e

t

c

h

i

n

g







F

S

D

P

 

a

l

l

o

w

s

 

t

w

o

 

p

r

e

f

e

t

c

h

i

n

g

 

c

o

n

f

i

g

u

r

a

t

i

o

n

s

 

`

-

-

f

s

d

p

_

f

o

r

w

a

r

d

_

p

r

e

f

e

t

c

h

`

 

a

n

d

 

`

-

-

f

s

d

p

_

b

a

c

k

w

a

r

d

_

p

r

e

f

e

t

c

h

`

 

t

o

 

i

m

p

r

o

v

e

 

o

v

e

r

l

a

p

 

o

f

 

c

o

m

m

s

 

/

 

c

o

m

p

u

t

a

t

i

o

n

 

a

t

 

a

 

c

o

s

t

 

o

f

 

e

x

t

r

a

 

m

e

m

o

r

y

,

 

s

e

e

 

[

F

S

D

P

 

d

o

c

u

m

e

n

t

a

t

i

o

n

]

(

h

t

t

p

s

:

/

/

p

y

t

o

r

c

h

.

o

r

g

/

d

o

c

s

/

s

t

a

b

l

e

/

f

s

d

p

.

h

t

m

l

)

.

 




F

o

r

 

D

e

e

p

S

p

e

e

d

,

 

t

h

e

 

p

r

e

f

e

t

c

h

i

n

g

 

w

i

l

l

 

b

e

 

t

u

r

n

e

d

 

o

n

 

w

h

e

n

 

n

e

e

d

e

d

,

 

a

n

d

 

i

t

 

t

u

r

n

s

 

o

n

 

d

e

p

e

n

d

i

n

g

 

o

n

 

c

e

r

t

a

i

n

 

h

y

p

e

r

-

p

a

r

a

m

s

 

l

i

k

e

 

`

s

t

a

g

e

3

_

p

a

r

a

m

_

p

e

r

s

i

s

t

e

n

c

e

_

t

h

r

e

s

h

o

l

d

`

,

 

`

s

t

a

g

e

3

_

m

a

x

_

r

e

u

s

e

_

d

i

s

t

a

n

c

e

`

,

 

e

t

c

,

 

[

t

h

a

t

 

c

a

n

 

b

e

 

c

o

n

f

i

g

u

r

e

d

 

f

o

r

 

Z

e

r

o

3

]

(

h

t

t

p

s

:

/

/

w

w

w

.

d

e

e

p

s

p

e

e

d

.

a

i

/

d

o

c

s

/

c

o

n

f

i

g

-

j

s

o

n

/

#

p

a

r

a

m

e

t

e

r

-

o

f

f

l

o

a

d

i

n

g

)

;

 

`

a

c

c

e

l

e

r

a

t

e

`

 

m

a

y

 

s

e

t

 

t

h

e

s

e

 

h

y

p

e

r

-

p

a

r

a

m

s

 

a

u

t

o

m

a

t

i

c

a

l

l

y

 

i

f

 

y

o

u

 

d

o

n

'

t

 

s

e

t

 

t

h

o

s

e

 

e

x

p

l

i

c

i

t

l

y

 

i

n

 

t

h

e

 

d

e

e

p

s

p

e

e

d

 

c

o

n

f

i

g

 

f

i

l

e

.







<

T

i

p

>







 

 

 

 

F

o

r

 

F

S

D

P

 

s

e

t

 

`

f

s

d

p

_

b

a

c

k

w

a

r

d

_

p

r

e

f

e

t

c

h

:

 

B

A

C

K

W

A

R

D

_

P

R

E

`

 

f

o

r

 

i

m

p

r

o

v

e

d

 

t

h

r

o

u

g

h

p

u

t

s

 

i

f

 

m

e

m

o

r

y

 

a

l

l

o

w

s

.







<

/

T

i

p

>







#

#

#

 

M

o

d

e

l

 

L

o

a

d

i

n

g







W

h

i

l

e

 

F

S

D

P

 

r

e

q

u

i

r

e

 

a

n

 

e

x

p

l

i

c

i

t

 

`

-

-

f

s

d

p

_

c

p

u

_

r

a

m

_

e

f

f

i

c

i

e

n

t

_

l

o

a

d

i

n

g

 

t

r

u

e

`

 

t

o

 

a

c

t

i

v

a

t

e

 

e

f

f

i

c

i

e

n

t

 

m

o

d

e

l

 

l

o

a

d

i

n

g

,

 

`

t

r

a

n

s

f

o

r

m

e

r

s

`

 

w

i

l

l

 

a

c

t

i

v

a

t

e

 

t

h

e

 

s

i

m

i

l

a

r

 

f

e

a

t

u

r

e

 

w

h

e

n

e

v

e

r

 

D

e

e

p

S

p

e

e

d

 

Z

e

r

o

3

 

i

s

 

u

s

e

d

.







<

T

i

p

>







 

 

 

 

F

o

r

 

F

S

D

P

,

 

w

h

e

n

e

v

e

r

 

s

e

t

t

i

n

g

 

`

-

-

f

s

d

p

_

c

p

u

_

r

a

m

_

e

f

f

i

c

i

e

n

t

_

l

o

a

d

i

n

g

 

t

r

u

e

`

,

 

`

a

c

c

e

l

e

r

a

t

e

`

 

w

i

l

l

 

a

u

t

o

m

a

t

i

c

a

l

l

y

 

s

e

t

 

`

s

y

n

c

_

m

o

d

u

l

e

_

s

t

a

t

e

s

`

 

t

o

 

t

r

u

e

.

 




 

 

 

 

F

o

r

 

R

A

M

 

e

f

f

i

c

i

e

n

t

 

l

o

a

d

i

n

g

 

t

h

e

 

w

e

i

g

h

t

s

 

w

i

l

l

 

b

e

 

l

o

a

d

e

d

 

o

n

l

y

 

i

n

 

a

 

s

i

n

g

e

 

r

a

n

k

,

 

a

n

d

 

t

h

u

s

 

r

e

q

u

i

r

e

s

 

`

s

y

n

c

_

m

o

d

u

l

e

_

s

t

a

t

e

s

`

 

t

o

 

b

r

o

a

d

c

a

s

t

 

w

e

i

g

h

t

s

 

t

o

 

o

t

h

e

r

 

r

a

n

k

s

.







<

/

T

i

p

>







#

#

#

 

M

o

d

e

l







F

S

D

P

 

r

e

q

u

i

r

e

s

 

a

n

 

e

x

p

l

i

c

i

t

 

`

-

-

f

s

d

p

_

a

u

t

o

_

w

r

a

p

_

p

o

l

i

c

y

`

 

f

o

r

 

t

h

e

 

a

l

g

o

r

i

t

h

m

 

t

o

 

d

e

c

i

d

e

 

h

o

w

 

t

o

 

s

c

h

e

d

u

l

e

 

t

h

e

 

a

l

l

-

g

a

t

h

e

r

 

a

n

d

 

r

e

d

u

c

e

-

s

c

a

t

t

e

r

 

o

p

e

r

a

t

i

o

n

s

.

 

B

u

t

 

f

o

r

 

D

e

e

p

S

p

e

e

d

 

t

h

i

s

 

i

s

 

t

r

a

n

s

p

a

r

e

n

t

 

t

o

 

t

h

e

 

u

s

e

r

.







<

T

i

p

>







 

 

 

 

F

o

r

 

F

S

D

P

,

 

s

i

m

p

l

y

 

s

e

t

 

`

f

s

d

p

_

a

u

t

o

_

w

r

a

p

_

p

o

l

i

c

y

:

 

T

R

A

N

S

F

O

R

M

E

R

_

B

A

S

E

D

_

W

R

A

P

`

.

 

W

i

t

h

 

t

h

e

 

l

a

t

e

s

t

 

`

t

r

a

n

s

f

o

r

m

e

r

s

`

 

v

e

r

s

i

o

n

s

,

 

w

e

 

t

r

y

 

o

u

r

 

b

e

s

t

 

t

o

 

f

i

g

u

r

e

 

o

u

t

 

t

h

e

 

s

u

i

t

a

b

l

e

 

`

f

s

d

p

_

t

r

a

n

s

f

o

r

m

e

r

_

l

a

y

e

r

_

c

l

s

_

t

o

_

w

r

a

p

`

 

f

o

r

 

H

F

 

t

r

a

n

s

f

o

r

m

e

r

s

 

m

o

d

e

l

s

.

 

H

o

w

e

v

e

r

,

 

i

f

 

y

o

u

 

g

e

t

 

a

n

 

e

r

r

o

r

 

r

e

g

a

r

d

i

n

g

 

i

t

,

 

p

l

e

a

s

e

 

s

p

e

c

i

f

y

 

t

h

i

s

.







<

/

T

i

p

>







#

#

#

 

P

a

r

a

m

e

t

e

r

s

 

S

u

m

m

o

n

i

n

g







F

S

D

P

 

r

e

q

u

i

r

e

s

 

a

n

 

e

x

p

l

i

c

i

t

 

`

-

-

f

s

d

p

_

u

s

e

_

o

r

i

g

_

p

a

r

a

m

s

`

 

f

l

a

g

 

i

f

 

u

s

i

n

g

 

`

t

o

r

c

h

.

c

o

m

p

i

l

e

`

,

 

s

e

e

 

[

t

h

e

 

p

y

t

o

r

c

h

 

d

o

c

u

m

e

n

a

t

i

o

n

]

(

h

t

t

p

s

:

/

/

p

y

t

o

r

c

h

.

o

r

g

/

d

o

c

s

/

s

t

a

b

l

e

/

f

s

d

p

.

h

t

m

l

#

m

o

d

u

l

e

-

t

o

r

c

h

.

d

i

s

t

r

i

b

u

t

e

d

.

f

s

d

p

)

.

 

F

o

r

 

D

e

e

p

S

p

e

e

d

 

t

h

i

s

 

i

s

 

t

r

a

n

s

p

a

r

e

n

t

 

t

o

 

t

h

e

 

u

s

e

r

.







<

T

i

p

>







 

 

 

 

F

o

r

 

F

S

D

P

,

 

w

h

e

n

 

u

s

i

n

g

 

`

t

o

r

c

h

.

c

o

m

p

i

l

e

`

 

p

l

e

a

s

e

 

s

e

t

 

`

f

s

d

p

_

u

s

e

_

o

r

i

g

_

p

a

r

a

m

s

:

 

T

r

u

e

`

.







<

/

T

i

p

>










#

#

 

T

r

a

i

n

i

n

g







D

e

e

p

s

p

e

e

d

 

r

e

q

u

i

r

e

s

 

e

x

p

l

i

c

i

t

 

`

-

-

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

`

 

a

n

d

 

`

-

-

g

r

a

d

i

e

n

t

_

c

l

i

p

p

i

n

g

`

 

f

l

a

g

s

.

 

F

o

r

 

F

S

D

P

 

t

h

i

s

 

i

s

 

t

r

a

n

s

p

a

r

e

n

t

 

t

o

 

t

h

e

 

u

s

e

r

.







<

T

i

p

>







 

 

 

 

W

h

e

n

 

u

s

i

n

g

 

D

e

e

p

S

p

e

e

d

,

 

s

e

t

 

`

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

:

 

"

a

u

t

o

"

`

 

a

n

d

 

`

g

r

a

d

i

e

n

t

_

c

l

i

p

p

i

n

g

:

 

"

a

u

t

o

"

`

 

t

o

 

a

u

t

o

m

a

t

i

c

a

l

l

y

 

p

i

c

k

 

u

p

 

v

a

l

u

e

s

 

s

e

t

 

i

n

 

t

h

e

 

`

A

c

c

e

l

e

r

a

t

o

r

`

 

o

r

 

`

T

r

a

i

n

i

n

g

A

r

g

u

m

e

n

t

s

`

 

(

i

f

 

u

s

i

n

g

 

`

t

r

a

n

s

f

o

r

m

e

r

s

`

)

.







<

/

T

i

p

>










#

#

 

O

n

 

D

i

f

f

e

r

e

n

c

e

s

 

i

n

 

D

a

t

a

 

P

r

e

c

i

s

i

o

n

 

H

a

n

d

l

i

n

g







T

o

 

d

i

s

c

u

s

s

 

t

h

e

 

h

o

w

 

d

a

t

a

 

p

r

e

c

i

s

i

o

n

 

i

s

 

h

a

n

d

l

e

d

 

i

n

 

b

o

t

h

 

F

S

D

P

 

a

n

d

 

D

e

e

p

s

p

e

e

d

,

 

i

t

 

i

s

 

i

n

s

t

r

u

c

t

i

v

e

 

t

o

 

f

i

r

s

t

 

g

i

v

e

 

a

n

 

o

v

e

r

v

i

e

w

 

o

f

 

h

o

w

 

m

o

d

e

l

 

p

a

r

a

m

e

t

e

r

s

 

a

r

e

 

h

a

n

d

l

e

d

 

i

n

 

t

h

e

s

e

 

f

r

a

m

e

w

o

r

k

s

.

 

B

e

f

o

r

e

 

t

h

e

 

m

o

d

e

l

 

/

 

o

p

t

i

m

i

z

e

r

 

p

a

r

a

m

e

t

e

r

s

 

a

r

e

 

d

i

s

t

r

i

b

u

t

e

d

 

a

c

r

o

s

s

 

G

P

U

s

,

 

p

a

r

a

m

e

t

e

r

 

p

r

e

p

a

r

a

t

i

o

n

 

i

s

 

i

n

v

o

l

v

e

d

 

t

o

 

f

i

r

s

t

 

"

f

l

a

t

t

e

n

"

 

t

h

e

m

 

t

o

 

 

o

n

e

-

d

i

m

e

n

s

i

o

n

a

l

 

[

`

t

o

r

c

h

.

T

e

n

s

o

r

`

]

(

h

t

t

p

s

:

/

/

p

y

t

o

r

c

h

.

o

r

g

/

d

o

c

s

/

s

t

a

b

l

e

/

t

e

n

s

o

r

s

.

h

t

m

l

#

t

o

r

c

h

-

t

e

n

s

o

r

)

.

 

T

h

e

 

i

m

p

l

e

m

e

n

t

a

t

i

o

n

 

o

f

 

F

S

D

P

 

/

 

D

e

e

p

S

p

e

e

d

 

v

a

r

i

e

s

 

i

n

 

t

h

e

 

r

e

s

p

e

c

t

 

o

f

 

t

h

e

 

`

d

t

y

p

e

`

 

i

n

 

w

h

i

c

h

 

t

h

e

s

e

 

"

f

l

a

t

t

e

n

e

d

"

 

p

a

r

a

m

e

t

e

r

s

 

a

r

e

 

s

t

o

r

e

d

,

 

a

n

d

 

t

h

e

r

e

 

a

r

e

 

r

a

m

i

f

i

c

a

t

i

o

n

s

 

w

i

t

h

 

r

e

g

a

r

d

s

 

t

o

 

h

o

w

 

[

`

t

o

r

c

h

.

O

p

t

i

m

i

z

e

r

`

]

(

h

t

t

p

s

:

/

/

p

y

t

o

r

c

h

.

o

r

g

/

d

o

c

s

/

s

t

a

b

l

e

/

o

p

t

i

m

.

h

t

m

l

#

m

o

d

u

l

e

-

t

o

r

c

h

.

o

p

t

i

m

)

 

a

l

l

o

c

a

t

e

 

t

h

e

i

r

 

`

d

t

y

p

e

`

s

.

 

T

h

e

 

t

a

b

l

e

 

b

e

l

o

w

 

o

u

t

l

i

n

e

s

 

t

h

e

 

p

r

o

c

e

s

s

e

s

 

f

o

r

 

b

o

t

h

 

f

r

a

m

e

w

o

r

k

s

;

 

t

h

e

 

"

L

o

c

a

l

"

 

c

o

l

u

m

n

 

i

n

d

i

c

a

t

e

s

 

t

h

e

 

p

r

o

c

e

s

s

 

o

c

c

u

r

r

i

n

g

 

a

t

 

a

 

p

e

r

-

g

p

u

 

l

e

v

e

l

,

 

t

h

e

r

e

f

o

r

e

 

a

n

y

 

m

e

m

o

r

y

 

o

v

e

r

h

e

a

d

s

 

b

y

 

u

p

c

a

s

t

i

n

g

 

s

h

o

u

l

d

 

b

e

 

u

n

d

e

r

s

t

o

o

d

 

t

o

 

b

e

 

a

m

o

r

t

i

z

e

d

 

b

y

 

t

h

e

 

n

u

m

b

e

r

 

o

f

 

g

p

u

s

 

u

s

e

d

.







<

T

i

p

>







 

 

 

 

A

s

 

a

 

r

u

l

e

 

o

f

 

t

h

u

m

b

,

 

f

o

r

 

s

t

a

b

l

e

 

t

r

a

i

n

i

n

g

 

w

i

t

h

 

a

u

t

o

m

a

t

i

c

 

m

i

x

e

d

 

p

r

e

c

i

s

i

o

n

,

 

a

l

l

 

t

h

e

 

t

r

a

i

n

a

b

l

e

 

p

a

r

a

m

e

t

e

r

s

 

h

a

v

e

 

t

o

 

b

e

 

i

n

 

`

t

o

r

c

h

.

f

l

o

a

t

3

2

`

.







<

/

T

i

p

>







P

r

o

c

e

s

s

 

|

 

L

o

c

a

l

 

|

 

F

r

a

m

e

w

o

r

k

 

|

 

D

e

t

a

i

l

s




-

-

|

-

-

|

-

-

|

-

-




L

o

a

d

i

n

g

,

 

i

.

e

.

,

 

`

A

u

t

o

M

o

d

e

l

.

f

r

o

m

_

p

r

e

t

r

a

i

n

e

d

(

.

.

.

,

 

t

o

r

c

h

_

d

t

y

p

e

=

t

o

r

c

h

_

d

t

y

p

e

)

`

 

|

 

 




P

r

e

p

a

r

a

t

i

o

n

,

 

i

.

e

.

,

 

c

r

e

a

t

i

o

n

 

o

f

 

"

f

l

a

t

 

p

a

r

a

m

s

"

 

|

 

✅

 

|

 

F

S

D

P

<

b

r

>

D

e

e

p

S

p

e

e

d

 

|

 

c

r

e

a

t

e

d

 

i

n

 

`

t

o

r

c

h

_

d

t

y

p

e

`

.

<

b

r

>

 

d

i

s

r

e

g

a

r

d

s

 

`

t

o

r

c

h

_

d

t

y

p

e

`

,

 

c

r

e

a

t

e

d

 

i

n

 

`

f

l

o

a

t

3

2

`

.




O

p

t

i

m

i

z

e

r

 

i

n

i

t

i

a

l

i

z

a

t

i

o

n

 

|

 

✅

 

|

 

F

S

D

P

<

b

r

>

D

e

e

p

S

p

e

e

d

 

 

|

 

c

r

e

a

t

e

s

 

p

a

r

a

m

e

t

e

r

s

 

i

n

 

`

t

o

r

c

h

_

d

t

y

p

e

`

<

b

r

>

 

c

r

e

a

t

e

s

 

p

a

r

a

m

e

t

e

r

s

 

i

n

 

`

f

l

o

a

t

3

2

`




T

r

a

i

n

i

n

g

 

S

t

e

p

,

 

i

.

e

,

 

f

o

r

w

a

r

d

,

 

b

a

c

k

w

a

r

d

,

 

r

e

d

u

c

t

i

o

n

 

|

 

|

 

F

S

D

P

<

b

r

>

D

e

e

p

S

p

e

e

d

 

 

|

 

f

o

l

l

o

w

s

 

[

`

M

i

x

e

d

P

r

e

c

i

s

i

o

n

`

]

(

h

t

t

p

s

:

/

/

p

y

t

o

r

c

h

.

o

r

g

/

d

o

c

s

/

s

t

a

b

l

e

/

f

s

d

p

.

h

t

m

l

#

t

o

r

c

h

.

d

i

s

t

r

i

b

u

t

e

d

.

f

s

d

p

.

M

i

x

e

d

P

r

e

c

i

s

i

o

n

)

<

b

r

>

 

f

o

l

l

o

w

s

 

`

d

e

e

p

s

p

e

e

d

_

c

o

n

f

i

g

_

f

i

l

e

`

 

m

i

x

e

d

 

p

r

e

c

i

s

i

o

n

 

s

e

t

t

i

n

g

s

.




O

p

t

i

m

i

z

e

r

 

(

P

r

e

-

S

t

e

p

)

 

|

 

✅

 

|

 

F

S

D

P

<

b

r

>

D

e

e

p

S

p

e

e

d

 

|

 

u

p

c

a

s

t

i

n

g

 

(

i

f

 

a

n

y

)

 

t

o

 

`

t

o

r

c

h

_

d

t

y

p

e

`

<

b

r

>

u

p

c

a

s

t

e

d

 

t

o

 

`

f

l

o

a

t

3

2

`




O

p

t

i

m

i

z

e

r

 

(

A

c

t

u

a

l

 

S

t

e

p

)

 

|

 

✅

 

|

 

F

S

D

P

<

b

r

>

D

e

e

p

S

p

e

e

d

 

 

|

 

o

c

c

u

r

s

 

i

n

 

`

t

o

r

c

h

_

d

t

y

p

e

`

 

<

b

r

>

 

o

c

c

u

r

s

 

i

n

 

`

f

l

o

a

t

3

2

`

.







<

T

i

p

 

w

a

r

n

i

n

g

=

{

t

r

u

e

}

>







 

 

 

 

T

h

e

r

e

f

o

r

e

 

w

h

e

n

 

u

s

i

n

g

 

D

e

e

p

S

p

e

e

d

 

a

 

s

m

a

l

l

 

n

u

m

b

e

r

 

o

f

 

G

P

U

s

,

 

b

e

 

a

w

a

r

e

 

o

f

 

p

o

t

e

n

t

i

a

l

l

y

 

s

i

g

n

i

f

i

c

a

n

t

 

m

e

m

o

r

y

 

o

v

e

r

h

e

a

d

s

 

d

u

e

 

t

o

 

t

h

e

 

u

p

c

a

s

t

i

n

g

 

d

u

r

i

n

g

 

p

r

e

p

e

r

a

t

i

o

n

.







<

/

T

i

p

>







<

T

i

p

>







 

 

 

 

W

i

t

h

 

F

S

D

P

,

 

i

n

 

t

h

e

 

a

b

s

e

n

c

e

 

o

f

 

m

i

x

e

d

 

p

r

e

c

i

s

i

o

n

,

 

i

t

 

i

s

 

p

o

s

s

i

b

l

e

 

t

o

 

o

p

e

r

a

t

e

 

t

h

e

 

[

`

t

o

r

c

h

.

O

p

t

i

m

i

z

e

r

`

]

(

h

t

t

p

s

:

/

/

p

y

t

o

r

c

h

.

o

r

g

/

d

o

c

s

/

s

t

a

b

l

e

/

o

p

t

i

m

.

h

t

m

l

#

m

o

d

u

l

e

-

t

o

r

c

h

.

o

p

t

i

m

)

 

i

n

 

l

o

w

 

p

r

e

c

i

s

i

o

n

 

`

t

o

r

c

h

_

d

t

y

p

e

`

,

 

w

h

i

c

h

 

m

a

y

 

b

e

 

h

e

l

p

f

u

l

 

w

h

e

n

 

u

s

i

n

g

 

s

m

a

l

l

 

n

u

m

b

e

r

 

o

f

 

G

P

U

s

.

 







<

/

T

i

p

>







<

T

i

p

 

w

a

r

n

i

n

g

=

{

t

r

u

e

}

>







 

 

 

 

W

i

t

h

 

m

i

x

e

d

 

p

r

e

c

i

s

i

o

n

,

 

F

S

D

P

 

a

n

d

 

D

e

e

p

S

p

e

e

d

 

w

i

l

l

 

u

p

c

a

s

t

 

i

n

 

t

h

e

 

m

o

d

e

l

 

p

r

e

p

a

r

a

t

i

o

n

 

s

t

e

p

 

(

c

.

f

.

 

t

a

b

l

e

 

a

b

o

v

e

)

.

 

B

u

t

 

d

o

 

n

o

t

e

 

t

h

a

t

 

F

S

D

P

 

w

i

l

l

 

t

h

e

n

 

s

a

v

e

 

c

h

e

c

k

p

o

i

n

t

s

 

i

n

 

t

h

e

 

u

p

c

a

s

t

e

d

 

p

r

e

c

i

s

i

o

n

;

 

D

e

e

p

s

p

e

e

d

 

m

a

y

 

s

t

i

l

l

 

s

a

v

e

 

l

o

w

 

p

r

e

c

i

s

i

o

n

 

c

h

e

c

k

p

o

i

n

t

s

 

i

f

 

`

-

-

z

e

r

o

3

_

s

a

v

e

_

1

6

b

i

t

_

m

o

d

e

l

`

 

i

s

 

s

p

e

c

i

f

i

e

d

.







<

/

T

i

p

>










T

o

 

c

l

a

r

i

f

y

 

t

h

e

 

a

b

o

v

e

 

t

a

b

l

e

 

c

o

n

s

i

d

e

r

 

t

h

e

 

c

o

n

c

r

e

t

e

 

e

x

a

m

p

l

e

s

 

b

e

l

o

w

;

 

t

h

e

 

o

p

t

i

m

i

z

e

r

 

p

r

e

-

 

a

n

d

 

a

c

t

u

a

l

 

s

t

e

p

 

c

o

m

b

i

n

e

d

 

f

o

r

 

b

r

e

v

i

t

y

.

 

W

i

t

h

 

F

S

D

P

 

i

t

 

i

s

 

p

o

s

s

i

b

l

e

 

t

o

 

o

p

e

r

a

t

e

 

i

n

 

t

h

e

 

t

w

o

 

m

o

d

e

s

 

s

h

o

w

n

 

b

e

l

o

w

,

 

b

u

t

 

D

e

e

p

S

p

e

e

d

 

c

a

n

 

o

n

l

y

 

o

p

e

r

a

t

e

 

i

n

 

o

n

e

.







F

r

a

m

e

w

o

r

k

 

|

 

M

o

d

e

l

 

L

o

a

d

i

n

g

 

(

`

t

o

r

c

h

_

d

t

y

p

e

`

)

 

|

 

M

i

x

e

d

 

P

r

e

c

i

s

i

o

n

 

|

 

P

r

e

p

a

r

a

t

i

o

n

 

(

L

o

c

a

l

)

 

|

 

T

r

a

i

n

i

n

g

 

|

 

O

p

t

i

m

i

z

e

r

 

(

L

o

c

a

l

)




-

-

|

-

-

|

-

-

|

-

-

|

-

-

|

-

-




F

S

D

P

 

|

 

b

f

1

6

 

|

 

d

e

f

a

u

l

t

 

(

n

o

n

e

)

 

|

 

b

f

1

6

 

|

 

b

f

1

6

 

|

 

b

f

1

6




F

S

D

P

 

|

 

b

f

1

6

 

|

 

b

f

1

6

 

|

 

f

p

3

2

 

|

 

b

f

1

6

 

|

 

f

p

3

2




D

e

e

p

S

p

e

e

d

 

 

 

|

 

b

f

1

6

 

|

 

b

f

1

6

 

|

 

f

p

3

2

 

|

 

b

f

1

6

 

|

 

f

p

3

2







#

 

A

c

c

e

l

e

r

a

t

e

'

s

 

i

n

t

e

r

n

a

l

 

m

e

c

h

a

n

i

s

m

s







I

n

t

e

r

n

a

l

l

y

,

 

A

c

c

e

l

e

r

a

t

e

 

w

o

r

k

s

 

b

y

 

f

i

r

s

t

 

a

n

a

l

y

z

i

n

g

 

t

h

e

 

e

n

v

i

r

o

n

m

e

n

t

 

i

n

 

w

h

i

c

h

 

t

h

e

 

s

c

r

i

p

t

 

i

s

 

l

a

u

n

c

h

e

d

 

t

o

 

d

e

t

e

r

m

i

n

e

 

w

h

i

c

h




k

i

n

d

 

o

f

 

d

i

s

t

r

i

b

u

t

e

d

 

s

e

t

u

p

 

i

s

 

u

s

e

d

,

 

h

o

w

 

m

a

n

y

 

d

i

f

f

e

r

e

n

t

 

p

r

o

c

e

s

s

e

s

 

t

h

e

r

e

 

a

r

e

 

a

n

d

 

w

h

i

c

h

 

o

n

e

 

t

h

e

 

c

u

r

r

e

n

t

 

s

c

r

i

p

t

 

i

s

 

i

n

.

 

A

l

l




t

h

a

t

 

i

n

f

o

r

m

a

t

i

o

n

 

i

s

 

s

t

o

r

e

d

 

i

n

 

t

h

e

 

`

~

A

c

c

e

l

e

r

a

t

o

r

S

t

a

t

e

`

.







T

h

i

s

 

c

l

a

s

s

 

i

s

 

i

n

i

t

i

a

l

i

z

e

d

 

t

h

e

 

f

i

r

s

t

 

t

i

m

e

 

y

o

u

 

i

n

s

t

a

n

t

i

a

t

e

 

a

n

 

`

~

A

c

c

e

l

e

r

a

t

o

r

`

 

a

s

 

w

e

l

l

 

a

s

 

p

e

r

f

o

r

m

i

n

g

 

a

n

y




s

p

e

c

i

f

i

c

 

i

n

i

t

i

a

l

i

z

a

t

i

o

n

 

y

o

u

r

 

d

i

s

t

r

i

b

u

t

e

d

 

s

e

t

u

p

 

n

e

e

d

s

.

 

I

t

s

 

s

t

a

t

e

 

i

s

 

t

h

e

n

 

u

n

i

q

u

e

l

y

 

s

h

a

r

e

d

 

t

h

r

o

u

g

h

 

a

l

l

 

i

n

s

t

a

n

c

e

s

 

o

f




`

A

c

c

e

l

e

r

a

t

o

r

S

t

a

t

e

`

.

 

(

T

h

e

 

s

a

m

e

 

c

a

n

 

a

l

s

o

 

b

e

 

d

o

n

e

 

w

i

t

h

 

t

h

e

 

`

P

a

r

t

i

a

l

S

t

a

t

e

`

,

 

a

 

m

o

r

e

 

b

a

r

e

b

o

n

e

s

 

v

e

r

s

i

o

n

 

i

t

 

i

n

h

e

r

i

t

s

)







T

h

e

n

,

 

w

h

e

n

 

c

a

l

l

i

n

g

 

`

p

r

e

p

a

r

e

(

)

`

,

 

t

h

e

 

l

i

b

r

a

r

y

:







-

 

w

r

a

p

s

 

y

o

u

r

 

m

o

d

e

l

(

s

)

 

i

n

 

t

h

e

 

c

o

n

t

a

i

n

e

r

 

a

d

a

p

t

e

d

 

f

o

r

 

t

h

e

 

d

i

s

t

r

i

b

u

t

e

d

 

s

e

t

u

p

,




-

 

w

r

a

p

s

 

y

o

u

r

 

o

p

t

i

m

i

z

e

r

(

s

)

 

i

n

 

a

n

 

`

A

c

c

e

l

e

r

a

t

e

d

O

p

t

i

m

i

z

e

r

`

,




-

 

w

r

a

p

s

 

y

o

u

r

 

s

c

h

e

d

u

l

e

r

(

s

)

 

i

n

 

a

n

 

`

A

c

c

e

l

e

r

a

t

e

d

S

c

h

e

d

u

l

e

r

`




-

 

c

r

e

a

t

e

s

 

a

 

n

e

w

 

v

e

r

s

i

o

n

 

o

f

 

y

o

u

r

 

d

a

t

a

l

o

a

d

e

r

(

s

)

 

i

n

 

a

 

`

D

a

t

a

L

o

a

d

e

r

S

h

a

r

d

`

 

o

r

 

`

D

a

t

a

L

o

a

d

e

r

D

i

s

p

a

t

c

h

e

r

`







W

h

i

l

e

 

t

h

e

 

m

o

d

e

l

(

s

)

,

 

o

p

t

i

m

i

z

e

r

(

s

)

,

 

a

n

d

 

s

c

h

e

d

u

l

e

r

(

s

)

 

a

r

e

 

j

u

s

t

 

p

u

t

 

i

n

 

s

i

m

p

l

e

 

w

r

a

p

p

e

r

s

,

 

t

h

e

 

d

a

t

a

l

o

a

d

e

r

(

s

)

 

a

r

e

 

r

e

-

c

r

e

a

t

e

d

.

 

T

h

i

s

 

i

s

 

m

o

s

t

l

y




b

e

c

a

u

s

e

 

P

y

T

o

r

c

h

 

d

o

e

s

 

n

o

t

 

l

e

t

 

t

h

e

 

u

s

e

r

 

c

h

a

n

g

e

 

t

h

e

 

`

b

a

t

c

h

_

s

a

m

p

l

e

r

`

 

o

f

 

a

 

d

a

t

a

l

o

a

d

e

r

 

o

n

c

e

 

i

t

'

s

 

b

e

e

n

 

c

r

e

a

t

e

d

 

a

n

d

 

t

h

e




l

i

b

r

a

r

y

 

h

a

n

d

l

e

s

 

t

h

e

 

s

h

a

r

d

i

n

g

 

o

f

 

y

o

u

r

 

d

a

t

a

 

b

e

t

w

e

e

n

 

p

r

o

c

e

s

s

e

s

 

b

y

 

c

h

a

n

g

i

n

g

 

t

h

a

t

 

`

b

a

t

c

h

_

s

a

m

p

l

e

r

`

 

t

o

 

y

i

e

l

d

 

e

v

e

r

y

 

o

t

h

e

r




`

n

u

m

_

p

r

o

c

e

s

s

e

s

`

 

b

a

t

c

h

e

s

 

(

i

f

 

e

n

a

b

l

e

d

)

.







T

h

e

 

`

D

a

t

a

L

o

a

d

e

r

S

h

a

r

d

`

 

s

u

b

c

l

a

s

s

e

s

 

`

D

a

t

a

L

o

a

d

e

r

`

 

t

o

 

a

d

d

 

t

h

e

 

f

o

l

l

o

w

i

n

g

 

f

u

n

c

t

i

o

n

a

l

i

t

y

:







-

 

i

t

 

s

y

n

c

h

r

o

n

i

z

e

s

 

t

h

e

 

a

p

p

r

o

p

r

i

a

t

e

 

r

a

n

d

o

m

 

n

u

m

b

e

r

 

g

e

n

e

r

a

t

o

r

 

o

f

 

a

l

l

 

p

r

o

c

e

s

s

e

s

 

a

t

 

e

a

c

h

 

n

e

w

 

i

t

e

r

a

t

i

o

n

,

 

t

o

 

e

n

s

u

r

e

 

a

n

y




 

 

r

a

n

d

o

m

i

z

a

t

i

o

n

 

(

l

i

k

e

 

s

h

u

f

f

l

i

n

g

)

 

i

s

 

d

o

n

e

 

t

h

e

 

e

x

a

c

t

 

s

a

m

e

 

w

a

y

 

a

c

r

o

s

s

 

p

r

o

c

e

s

s

e

s

.




-

 

i

t

 

p

u

t

s

 

t

h

e

 

b

a

t

c

h

e

s

 

o

n

 

t

h

e

 

p

r

o

p

e

r

 

d

e

v

i

c

e

 

b

e

f

o

r

e

 

y

i

e

l

d

i

n

g

 

t

h

e

m

 

(

u

n

l

e

s

s

 

y

o

u

 

h

a

v

e

 

o

p

t

e

d

 

o

u

t

 

o

f




 

 

`

d

e

v

i

c

e

_

p

l

a

c

e

m

e

n

t

=

T

r

u

e

`

)

.




 

 




T

h

e

 

`

D

a

t

a

L

o

a

d

e

r

D

i

s

p

a

t

c

h

e

r

`

 

s

u

b

c

l

a

s

s

e

s

 

d

i

f

f

e

r

s

 

f

r

o

m

 

t

h

e

 

`

D

a

t

a

L

o

a

d

e

r

S

h

a

r

d

`

 

i

n

 

t

h

a

t

 

w

h

e

n

 

i

t

e

r

a

t

i

n

g

 

t

h

r

o

u

g

h

 

t

h

e

 

`

D

a

t

a

L

o

a

d

e

r

`

,

 

t

h

e

 

d

a

t

a

 

i

s

 

a

l

l

 

s

t

a

r

t

i

n

g

 

f

r

o

m

 

p

r

o

c

e

s

s

 

0

 

a

n

d

 

*

t

h

e

n

*

 

s

p

l

i

t

 

a

n

d

 

s

e

n

t

 

o

f

f

 

t

o

 

e

a

c

h

 

p

r

o

c

e

s

s

 

r

a

t

h

e

r

 

t

h

a

n

 

i

t

 

h

a

p

p

e

n

i

n

g

 

a

t

 

t

h

e

 

d

a

t

a

s

e

t

 

l

e

v

e

l

.







T

h

e

 

r

a

n

d

o

m

 

n

u

m

b

e

r

 

g

e

n

e

r

a

t

o

r

 

s

y

n

c

h

r

o

n

i

z

a

t

i

o

n

 

w

i

l

l

 

b

y

 

d

e

f

a

u

l

t

 

s

y

n

c

h

r

o

n

i

z

e

:







-

 

t

h

e

 

`

g

e

n

e

r

a

t

o

r

`

 

a

t

t

r

i

b

u

t

e

 

o

f

 

a

 

g

i

v

e

n

 

s

a

m

p

l

e

r

 

(

l

i

k

e

 

t

h

e

 

P

y

T

o

r

c

h

 

`

R

a

n

d

o

m

S

a

m

p

l

e

r

`

)

 

f

o

r

 

P

y

T

o

r

c

h

 

>

=

 

1

.

6




-

 

t

h

e

 

m

a

i

n

 

r

a

n

d

o

m

 

n

u

m

b

e

r

 

g

e

n

e

r

a

t

o

r

 

i

n

 

P

y

T

o

r

c

h

 

<

=

1

.

5

.

1







Y

o

u

 

c

a

n

 

c

h

o

o

s

e

 

w

h

i

c

h

 

r

a

n

d

o

m

 

n

u

m

b

e

r

 

g

e

n

e

r

a

t

o

r

(

s

)

 

t

o

 

s

y

n

c

h

r

o

n

i

z

e

 

w

i

t

h

 

t

h

e

 

`

r

n

g

_

t

y

p

e

s

`

 

a

r

g

u

m

e

n

t

 

o

f

 

t

h

e

 

m

a

i

n




`

A

c

c

e

l

e

r

a

t

o

r

`

.

 

I

n

 

P

y

T

o

r

c

h

 

>

=

 

1

.

6

,

 

i

t

 

i

s

 

r

e

c

o

m

m

e

n

d

e

d

 

t

o

 

r

e

l

y

 

o

n

 

a

 

l

o

c

a

l

 

`

g

e

n

e

r

a

t

o

r

`

 

t

o

 

a

v

o

i

d




s

e

t

t

i

n

g

 

t

h

e

 

s

a

m

e

 

s

e

e

d

 

i

n

 

t

h

e

 

m

a

i

n

 

r

a

n

d

o

m

 

n

u

m

b

e

r

 

g

e

n

e

r

a

t

o

r

 

i

n

 

a

l

l

 

p

r

o

c

e

s

s

e

s

.







<

T

i

p

 

w

a

r

n

i

n

g

=

{

t

r

u

e

}

>







 

 

 

 

S

y

n

c

h

r

o

n

i

z

a

t

i

o

n

 

o

f

 

t

h

e

 

m

a

i

n

 

t

o

r

c

h

 

(

o

r

 

C

U

D

A

 

o

r

 

X

L

A

)

 

r

a

n

d

o

m

 

n

u

m

b

e

r

 

g

e

n

e

r

a

t

o

r

 

w

i

l

l

 

a

f

f

e

c

t

 

a

n

y

 

o

t

h

e

r

 

p

o

t

e

n

t

i

a

l

 

r

a

n

d

o

m




 

 

 

 

a

r

t

i

f

a

c

t

s

 

y

o

u

 

c

o

u

l

d

 

h

a

v

e

 

i

n

 

y

o

u

r

 

d

a

t

a

s

e

t

 

(

l

i

k

e

 

r

a

n

d

o

m

 

d

a

t

a

 

a

u

g

m

e

n

t

a

t

i

o

n

)

 

i

n

 

t

h

e

 

s

e

n

s

e

 

t

h

a

t

 

a

l

l

 

p

r

o

c

e

s

s

e

s

 

w

i

l

l

 

g

e

t




 

 

 

 

t

h

e

 

s

a

m

e

 

r

a

n

d

o

m

 

n

u

m

b

e

r

s

 

f

r

o

m

 

t

h

e

 

t

o

r

c

h

 

r

a

n

d

o

m

 

m

o

d

u

l

e

s

 

(

s

o

 

w

i

l

l

 

a

p

p

l

y

 

t

h

e

 

s

a

m

e

 

r

a

n

d

o

m

 

d

a

t

a

 

a

u

g

m

e

n

t

a

t

i

o

n

 

i

f

 

i

t

'

s




 

 

 

 

c

o

n

t

r

o

l

l

e

d

 

b

y

 

t

o

r

c

h

)

.







<

/

T

i

p

>







<

T

i

p

>







 

 

 

 

T

h

e

 

r

a

n

d

o

m

i

z

a

t

i

o

n

 

p

a

r

t

 

o

f

 

y

o

u

r

 

c

u

s

t

o

m

 

s

a

m

p

l

e

r

,

 

b

a

t

c

h

 

s

a

m

p

l

e

r

 

o

r

 

i

t

e

r

a

b

l

e

 

d

a

t

a

s

e

t

 

s

h

o

u

l

d

 

b

e

 

d

o

n

e

 

u

s

i

n

g

 

a

 

l

o

c

a

l




 

 

 

 

`

t

o

r

c

h

.

G

e

n

e

r

a

t

o

r

`

 

o

b

j

e

c

t

 

(

i

n

 

P

y

T

o

r

c

h

 

>

=

 

1

.

6

)

,

 

s

e

e

 

t

h

e

 

t

r

a

d

i

t

i

o

n

a

l

 

`

R

a

n

d

o

m

S

a

m

p

l

e

r

`

,

 

a

s

 

a

n

 

e

x

a

m

p

l

e

.







<

/

T

i

p

>







I

f

 

y

o

u

 

h

a

v

e

 

[

`

t

o

r

c

h

d

a

t

a

>

=

0

.

8

.

0

`

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

p

y

t

o

r

c

h

/

d

a

t

a

/

t

r

e

e

/

m

a

i

n

)

 

i

n

s

t

a

l

l

e

d

,

 

a

n

d

 

y

o

u

 

h

a

v

e

 

p

a

s

s

e

d

 

`

u

s

e

_

s

t

a

t

e

f

u

l

_

d

a

t

a

l

o

a

d

e

r

=

T

r

u

e

`

 

i

n

t

o

 

y

o

u

r

 

`

D

a

t

a

L

o

a

d

e

r

C

o

n

f

i

g

u

r

a

t

i

o

n

`

,

 

t

h

e

s

e

 

c

l

a

s

s

e

s

 

w

i

l

l

 

d

i

r

e

c

t

l

y

 

i

n

h

e

r

i

t

 

f

r

o

m

 

`

S

t

a

t

e

f

u

l

D

a

t

a

L

o

a

d

e

r

`

 

i

n

s

t

e

a

d

,

 

a

n

d

 

m

a

i

n

t

a

i

n

 

a

 

`

s

t

a

t

e

_

d

i

c

t

`

.







F

o

r

 

m

o

r

e

 

d

e

t

a

i

l

s

 

a

b

o

u

t

 

t

h

e

 

i

n

t

e

r

n

a

l

s

,

 

s

e

e

 

t

h

e

 

[

I

n

t

e

r

n

a

l

s

 

p

a

g

e

]

(

p

a

c

k

a

g

e

_

r

e

f

e

r

e

n

c

e

/

t

o

r

c

h

_

w

r

a

p

p

e

r

s

)

.







#

 

A

d

d

 

A

c

c

e

l

e

r

a

t

e

 

t

o

 

y

o

u

r

 

c

o

d

e







E

a

c

h

 

d

i

s

t

r

i

b

u

t

e

d

 

t

r

a

i

n

i

n

g

 

f

r

a

m

e

w

o

r

k

 

h

a

s

 

t

h

e

i

r

 

o

w

n

 

w

a

y

 

o

f

 

d

o

i

n

g

 

t

h

i

n

g

s

 

w

h

i

c

h

 

c

a

n

 

r

e

q

u

i

r

e

 

w

r

i

t

i

n

g

 

a

 

l

o

t

 

o

f

 

c

u

s

t

o

m

 

c

o

d

e

 

t

o

 

a

d

a

p

t

 

i

t

 

t

o

 

y

o

u

r

 

P

y

T

o

r

c

h

 

t

r

a

i

n

i

n

g

 

c

o

d

e

 

a

n

d

 

t

r

a

i

n

i

n

g

 

e

n

v

i

r

o

n

m

e

n

t

.

 

A

c

c

e

l

e

r

a

t

e

 

o

f

f

e

r

s

 

a

 

f

r

i

e

n

d

l

y

 

w

a

y

 

t

o

 

i

n

t

e

r

f

a

c

e

 

w

i

t

h

 

t

h

e

s

e

 

d

i

s

t

r

i

b

u

t

e

d

 

t

r

a

i

n

i

n

g

 

f

r

a

m

e

w

o

r

k

s

 

w

i

t

h

o

u

t

 

h

a

v

i

n

g

 

t

o

 

l

e

a

r

n

 

t

h

e

 

s

p

e

c

i

f

i

c

 

d

e

t

a

i

l

s

 

o

f

 

e

a

c

h

 

o

n

e

.

 

A

c

c

e

l

e

r

a

t

e

 

t

a

k

e

s

 

c

a

r

e

 

o

f

 

t

h

o

s

e

 

d

e

t

a

i

l

s

 

f

o

r

 

y

o

u

,

 

s

o

 

y

o

u

 

c

a

n

 

f

o

c

u

s

 

o

n

 

t

h

e

 

t

r

a

i

n

i

n

g

 

c

o

d

e

 

a

n

d

 

s

c

a

l

e

 

i

t

 

t

o

 

a

n

y

 

d

i

s

t

r

i

b

u

t

e

d

 

t

r

a

i

n

i

n

g

 

e

n

v

i

r

o

n

m

e

n

t

.







I

n

 

t

h

i

s

 

t

u

t

o

r

i

a

l

,

 

y

o

u

'

l

l

 

l

e

a

r

n

 

h

o

w

 

t

o

 

a

d

a

p

t

 

y

o

u

r

 

e

x

i

s

t

i

n

g

 

P

y

T

o

r

c

h

 

c

o

d

e

 

w

i

t

h

 

A

c

c

e

l

e

r

a

t

e

 

a

n

d

 

g

e

t

 

y

o

u

 

o

n

 

y

o

u

r

 

w

a

y

 

t

o

w

a

r

d

 

t

r

a

i

n

i

n

g

 

o

n

 

d

i

s

t

r

i

b

u

t

e

d

 

s

y

s

t

e

m

s

 

w

i

t

h

 

e

a

s

e

!

 

Y

o

u

'

l

l

 

s

t

a

r

t

 

w

i

t

h

 

a

 

b

a

s

i

c

 

P

y

T

o

r

c

h

 

t

r

a

i

n

i

n

g

 

l

o

o

p

 

(

i

t

 

a

s

s

u

m

e

s

 

a

l

l

 

t

h

e

 

t

r

a

i

n

i

n

g

 

o

b

j

e

c

t

s

 

l

i

k

e

 

`

m

o

d

e

l

`

 

a

n

d

 

`

o

p

t

i

m

i

z

e

r

`

 

h

a

v

e

 

b

e

e

n

 

s

e

t

u

p

 

a

l

r

e

a

d

y

)

 

a

n

d

 

p

r

o

g

r

e

s

s

i

v

e

l

y

 

i

n

t

e

g

r

a

t

e

 

A

c

c

e

l

e

r

a

t

e

 

i

n

t

o

 

i

t

.







`

`

`

p

y

t

h

o

n




d

e

v

i

c

e

 

=

 

"

c

u

d

a

"




m

o

d

e

l

.

t

o

(

d

e

v

i

c

e

)







f

o

r

 

b

a

t

c

h

 

i

n

 

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

:




 

 

 

 

o

p

t

i

m

i

z

e

r

.

z

e

r

o

_

g

r

a

d

(

)




 

 

 

 

i

n

p

u

t

s

,

 

t

a

r

g

e

t

s

 

=

 

b

a

t

c

h




 

 

 

 

i

n

p

u

t

s

 

=

 

i

n

p

u

t

s

.

t

o

(

d

e

v

i

c

e

)




 

 

 

 

t

a

r

g

e

t

s

 

=

 

t

a

r

g

e

t

s

.

t

o

(

d

e

v

i

c

e

)




 

 

 

 

o

u

t

p

u

t

s

 

=

 

m

o

d

e

l

(

i

n

p

u

t

s

)




 

 

 

 

l

o

s

s

 

=

 

l

o

s

s

_

f

u

n

c

t

i

o

n

(

o

u

t

p

u

t

s

,

 

t

a

r

g

e

t

s

)




 

 

 

 

l

o

s

s

.

b

a

c

k

w

a

r

d

(

)




 

 

 

 

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




 

 

 

 

s

c

h

e

d

u

l

e

r

.

s

t

e

p

(

)




`

`

`







#

#

 

A

c

c

e

l

e

r

a

t

o

r







T

h

e

 

`

A

c

c

e

l

e

r

a

t

o

r

`

 

i

s

 

t

h

e

 

m

a

i

n

 

c

l

a

s

s

 

f

o

r

 

a

d

a

p

t

i

n

g

 

y

o

u

r

 

c

o

d

e

 

t

o

 

w

o

r

k

 

w

i

t

h

 

A

c

c

e

l

e

r

a

t

e

.

 

I

t

 

k

n

o

w

s

 

a

b

o

u

t

 

t

h

e

 

d

i

s

t

r

i

b

u

t

e

d

 

s

e

t

u

p

 

y

o

u

'

r

e

 

u

s

i

n

g

 

s

u

c

h

 

a

s

 

t

h

e

 

n

u

m

b

e

r

 

o

f

 

d

i

f

f

e

r

e

n

t

 

p

r

o

c

e

s

s

e

s

 

a

n

d

 

y

o

u

r

 

h

a

r

d

w

a

r

e

 

t

y

p

e

.

 

T

h

i

s

 

c

l

a

s

s

 

a

l

s

o

 

p

r

o

v

i

d

e

s

 

a

c

c

e

s

s

 

t

o

 

m

a

n

y

 

o

f

 

t

h

e

 

n

e

c

e

s

s

a

r

y

 

m

e

t

h

o

d

s

 

f

o

r

 

e

n

a

b

l

i

n

g

 

y

o

u

r

 

P

y

T

o

r

c

h

 

c

o

d

e

 

t

o

 

w

o

r

k

 

i

n

 

a

n

y

 

d

i

s

t

r

i

b

u

t

e

d

 

t

r

a

i

n

i

n

g

 

e

n

v

i

r

o

n

m

e

n

t

 

a

n

d

 

f

o

r

 

m

a

n

a

g

i

n

g

 

a

n

d

 

e

x

e

c

u

t

i

n

g

 

p

r

o

c

e

s

s

e

s

 

a

c

r

o

s

s

 

d

e

v

i

c

e

s

.







T

h

a

t

'

s

 

w

h

y

 

y

o

u

 

s

h

o

u

l

d

 

a

l

w

a

y

s

 

s

t

a

r

t

 

b

y

 

i

m

p

o

r

t

i

n

g

 

a

n

d

 

c

r

e

a

t

i

n

g

 

a

n

 

`

A

c

c

e

l

e

r

a

t

o

r

`

 

i

n

s

t

a

n

c

e

 

i

n

 

y

o

u

r

 

s

c

r

i

p

t

.







`

`

`

p

y

t

h

o

n




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

A

c

c

e

l

e

r

a

t

o

r







a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

)




`

`

`







T

h

e

 

`

A

c

c

e

l

e

r

a

t

o

r

`

 

a

l

s

o

 

k

n

o

w

s

 

w

h

i

c

h

 

d

e

v

i

c

e

 

t

o

 

m

o

v

e

 

y

o

u

r

 

P

y

T

o

r

c

h

 

o

b

j

e

c

t

s

 

t

o

,

 

s

o

 

i

t

 

i

s

 

r

e

c

o

m

m

e

n

d

e

d

 

t

o

 

l

e

t

 

A

c

c

e

l

e

r

a

t

e

 

h

a

n

d

l

e

 

t

h

i

s

 

f

o

r

 

y

o

u

.







`

`

`

d

i

f

f




-

 

d

e

v

i

c

e

 

=

 

"

c

u

d

a

"




+

 

d

e

v

i

c

e

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

d

e

v

i

c

e




 

 

m

o

d

e

l

.

t

o

(

d

e

v

i

c

e

)




`

`

`







#

#

 

P

r

e

p

a

r

e

 

P

y

T

o

r

c

h

 

o

b

j

e

c

t

s







N

e

x

t

,

 

y

o

u

 

n

e

e

d

 

t

o

 

p

r

e

p

a

r

e

 

y

o

u

r

 

P

y

T

o

r

c

h

 

o

b

j

e

c

t

s

 

(

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

s

c

h

e

d

u

l

e

r

,

 

e

t

c

.

)

 

f

o

r

 

d

i

s

t

r

i

b

u

t

e

d

 

t

r

a

i

n

i

n

g

.

 

T

h

e

 

`

p

r

e

p

a

r

e

(

)

`

 

m

e

t

h

o

d

 

t

a

k

e

s

 

c

a

r

e

 

o

f

 

p

l

a

c

i

n

g

 

y

o

u

r

 

m

o

d

e

l

 

i

n

 

t

h

e

 

a

p

p

r

o

p

r

i

a

t

e

 

c

o

n

t

a

i

n

e

r

 

(

l

i

k

e

 

s

i

n

g

l

e

 

G

P

U

 

o

r

 

m

u

l

t

i

-

G

P

U

)

 

f

o

r

 

y

o

u

r

 

t

r

a

i

n

i

n

g

 

s

e

t

u

p

,

 

a

d

a

p

t

i

n

g

 

t

h

e

 

o

p

t

i

m

i

z

e

r

 

a

n

d

 

s

c

h

e

d

u

l

e

r

 

t

o

 

u

s

e

 

A

c

c

e

l

e

r

a

t

e

'

s

 

`

A

c

c

e

l

e

r

a

t

e

d

O

p

t

i

m

i

z

e

r

`

 

a

n

d

 

`

A

c

c

e

l

e

r

a

t

e

d

S

c

h

e

d

u

l

e

r

`

,

 

a

n

d

 

c

r

e

a

t

i

n

g

 

a

 

n

e

w

 

d

a

t

a

l

o

a

d

e

r

 

t

h

a

t

 

c

a

n

 

b

e

 

s

h

a

r

d

e

d

 

a

c

r

o

s

s

 

p

r

o

c

e

s

s

e

s

.







>

 

[

!

T

I

P

]




>

 

A

c

c

e

l

e

r

a

t

e

 

o

n

l

y

 

p

r

e

p

a

r

e

s

 

o

b

j

e

c

t

s

 

t

h

a

t

 

i

n

h

e

r

i

t

 

f

r

o

m

 

t

h

e

i

r

 

r

e

s

p

e

c

t

i

v

e

 

P

y

T

o

r

c

h

 

c

l

a

s

s

e

s

 

s

u

c

h

 

a

s

 

`

t

o

r

c

h

.

o

p

t

i

m

.

O

p

t

i

m

i

z

e

r

`

.







T

h

e

 

P

y

T

o

r

c

h

 

o

b

j

e

c

t

s

 

a

r

e

 

r

e

t

u

r

n

e

d

 

i

n

 

t

h

e

 

s

a

m

e

 

o

r

d

e

r

 

t

h

e

y

'

r

e

 

s

e

n

t

.







`

`

`

p

y




m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

,

 

s

c

h

e

d

u

l

e

r

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(




 

 

 

 

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

,

 

s

c

h

e

d

u

l

e

r




)




`

`

`







#

#

 

T

r

a

i

n

i

n

g

 

l

o

o

p







F

i

n

a

l

l

y

,

 

r

e

m

o

v

e

 

t

h

e

 

`

t

o

(

d

e

v

i

c

e

)

`

 

c

a

l

l

s

 

t

o

 

t

h

e

 

i

n

p

u

t

s

 

a

n

d

 

t

a

r

g

e

t

s

 

i

n

 

t

h

e

 

t

r

a

i

n

i

n

g

 

l

o

o

p

 

b

e

c

a

u

s

e

 

A

c

c

e

l

e

r

a

t

e

'

s

 

D

a

t

a

L

o

a

d

e

r

 

c

l

a

s

s

e

s

 

a

u

t

o

m

a

t

i

c

a

l

l

y

 

p

l

a

c

e

s

 

t

h

e

m

 

o

n

 

t

h

e

 

r

i

g

h

t

 

d

e

v

i

c

e

.

 

Y

o

u

 

s

h

o

u

l

d

 

a

l

s

o

 

r

e

p

l

a

c

e

 

t

h

e

 

u

s

u

a

l

 

`

b

a

c

k

w

a

r

d

(

)

`

 

p

a

s

s

 

w

i

t

h

 

A

c

c

e

l

e

r

a

t

e

'

s

 

`

b

a

c

k

w

a

r

d

(

)

`

 

m

e

t

h

o

d

 

w

h

i

c

h

 

s

c

a

l

e

s

 

t

h

e

 

g

r

a

d

i

e

n

t

s

 

f

o

r

 

y

o

u

 

a

n

d

 

u

s

e

s

 

t

h

e

 

a

p

p

r

o

p

r

i

a

t

e

 

`

b

a

c

k

w

a

r

d

(

)

`

 

m

e

t

h

o

d

 

d

e

p

e

n

d

i

n

g

 

o

n

 

y

o

u

r

 

d

i

s

t

r

i

b

u

t

e

d

 

s

e

t

u

p

 

(

f

o

r

 

e

x

a

m

p

l

e

,

 

D

e

e

p

S

p

e

e

d

 

o

r

 

M

e

g

a

t

r

o

n

)

.







`

`

`

d

i

f

f




-

 

 

 

i

n

p

u

t

s

 

=

 

i

n

p

u

t

s

.

t

o

(

d

e

v

i

c

e

)




-

 

 

 

t

a

r

g

e

t

s

 

=

 

t

a

r

g

e

t

s

.

t

o

(

d

e

v

i

c

e

)




 

 

 

 

o

u

t

p

u

t

s

 

=

 

m

o

d

e

l

(

i

n

p

u

t

s

)




 

 

 

 

l

o

s

s

 

=

 

l

o

s

s

_

f

u

n

c

t

i

o

n

(

o

u

t

p

u

t

s

,

 

t

a

r

g

e

t

s

)




-

 

 

 

l

o

s

s

.

b

a

c

k

w

a

r

d

(

)




+

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

b

a

c

k

w

a

r

d

(

l

o

s

s

)




`

`

`







P

u

t

 

e

v

e

r

y

t

h

i

n

g

 

t

o

g

e

t

h

e

r

 

a

n

d

 

y

o

u

r

 

n

e

w

 

A

c

c

e

l

e

r

a

t

e

 

t

r

a

i

n

i

n

g

 

l

o

o

p

 

s

h

o

u

l

d

 

n

o

w

 

l

o

o

k

 

l

i

k

e

 

t

h

i

s

!







`

`

`

p

y

t

h

o

n




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

A

c

c

e

l

e

r

a

t

o

r




a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

)







d

e

v

i

c

e

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

d

e

v

i

c

e




m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

,

 

s

c

h

e

d

u

l

e

r

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(




 

 

 

 

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

,

 

s

c

h

e

d

u

l

e

r




)







f

o

r

 

b

a

t

c

h

 

i

n

 

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

:




 

 

 

 

o

p

t

i

m

i

z

e

r

.

z

e

r

o

_

g

r

a

d

(

)




 

 

 

 

i

n

p

u

t

s

,

 

t

a

r

g

e

t

s

 

=

 

b

a

t

c

h




 

 

 

 

o

u

t

p

u

t

s

 

=

 

m

o

d

e

l

(

i

n

p

u

t

s

)




 

 

 

 

l

o

s

s

 

=

 

l

o

s

s

_

f

u

n

c

t

i

o

n

(

o

u

t

p

u

t

s

,

 

t

a

r

g

e

t

s

)




 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

b

a

c

k

w

a

r

d

(

l

o

s

s

)




 

 

 

 

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




 

 

 

 

s

c

h

e

d

u

l

e

r

.

s

t

e

p

(

)




`

`

`







#

#

 

T

r

a

i

n

i

n

g

 

f

e

a

t

u

r

e

s







A

c

c

e

l

e

r

a

t

e

 

o

f

f

e

r

s

 

a

d

d

i

t

i

o

n

a

l

 

f

e

a

t

u

r

e

s

 

-

 

l

i

k

e

 

g

r

a

d

i

e

n

t

 

a

c

c

u

m

u

l

a

t

i

o

n

,

 

g

r

a

d

i

e

n

t

 

c

l

i

p

p

i

n

g

,

 

m

i

x

e

d

 

p

r

e

c

i

s

i

o

n

 

t

r

a

i

n

i

n

g

 

a

n

d

 

m

o

r

e

 

-

 

y

o

u

 

c

a

n

 

a

d

d

 

t

o

 

y

o

u

r

 

s

c

r

i

p

t

 

t

o

 

i

m

p

r

o

v

e

 

y

o

u

r

 

t

r

a

i

n

i

n

g

 

r

u

n

.

 

L

e

t

'

s

 

e

x

p

l

o

r

e

 

t

h

e

s

e

 

t

h

r

e

e

 

f

e

a

t

u

r

e

s

.







#

#

#

 

G

r

a

d

i

e

n

t

 

a

c

c

u

m

u

l

a

t

i

o

n







G

r

a

d

i

e

n

t

 

a

c

c

u

m

u

l

a

t

i

o

n

 

e

n

a

b

l

e

s

 

y

o

u

 

t

o

 

t

r

a

i

n

 

o

n

 

l

a

r

g

e

r

 

b

a

t

c

h

 

s

i

z

e

s

 

b

y

 

a

c

c

u

m

u

l

a

t

i

n

g

 

t

h

e

 

g

r

a

d

i

e

n

t

s

 

o

v

e

r

 

m

u

l

t

i

p

l

e

 

b

a

t

c

h

e

s

 

b

e

f

o

r

e

 

u

p

d

a

t

i

n

g

 

t

h

e

 

w

e

i

g

h

t

s

.

 

T

h

i

s

 

c

a

n

 

b

e

 

u

s

e

f

u

l

 

f

o

r

 

g

e

t

t

i

n

g

 

a

r

o

u

n

d

 

m

e

m

o

r

y

 

l

i

m

i

t

a

t

i

o

n

s

.

 

T

o

 

e

n

a

b

l

e

 

t

h

i

s

 

f

e

a

t

u

r

e

 

i

n

 

A

c

c

e

l

e

r

a

t

e

,

 

s

p

e

c

i

f

y

 

t

h

e

 

`

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

`

 

p

a

r

a

m

e

t

e

r

 

i

n

 

t

h

e

 

`

A

c

c

e

l

e

r

a

t

o

r

`

 

c

l

a

s

s

 

a

n

d

 

a

d

d

 

t

h

e

 

`

a

c

c

u

m

u

l

a

t

e

(

)

`

 

c

o

n

t

e

x

t

 

m

a

n

a

g

e

r

 

t

o

 

y

o

u

r

 

s

c

r

i

p

t

.







`

`

`

d

i

f

f




+

 

a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

=

2

)




 

 

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

)







 

 

f

o

r

 

i

n

p

u

t

,

 

l

a

b

e

l

 

i

n

 

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

:




+

 

 

 

 

 

w

i

t

h

 

a

c

c

e

l

e

r

a

t

o

r

.

a

c

c

u

m

u

l

a

t

e

(

m

o

d

e

l

)

:




 

 

 

 

 

 

 

 

 

 

p

r

e

d

i

c

t

i

o

n

s

 

=

 

m

o

d

e

l

(

i

n

p

u

t

)




 

 

 

 

 

 

 

 

 

 

l

o

s

s

 

=

 

l

o

s

s

_

f

u

n

c

t

i

o

n

(

p

r

e

d

i

c

t

i

o

n

s

,

 

l

a

b

e

l

)




 

 

 

 

 

 

 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

b

a

c

k

w

a

r

d

(

l

o

s

s

)




 

 

 

 

 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




 

 

 

 

 

 

 

 

 

 

s

c

h

e

d

u

l

e

r

.

s

t

e

p

(

)




 

 

 

 

 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

.

z

e

r

o

_

g

r

a

d

(

)




`

`

`







#

#

#

 

G

r

a

d

i

e

n

t

 

c

l

i

p

p

i

n

g







G

r

a

d

i

e

n

t

 

c

l

i

p

p

i

n

g

 

i

s

 

a

 

t

e

c

h

n

i

q

u

e

 

t

o

 

p

r

e

v

e

n

t

 

"

e

x

p

l

o

d

i

n

g

 

g

r

a

d

i

e

n

t

s

"

,

 

a

n

d

 

A

c

c

e

l

e

r

a

t

e

 

o

f

f

e

r

s

:







*

 

`

c

l

i

p

_

g

r

a

d

_

v

a

l

u

e

_

(

)

`

 

t

o

 

c

l

i

p

 

g

r

a

d

i

e

n

t

s

 

t

o

 

a

 

m

i

n

i

m

u

m

 

a

n

d

 

m

a

x

i

m

u

m

 

v

a

l

u

e




*

 

`

c

l

i

p

_

g

r

a

d

_

n

o

r

m

_

(

)

`

 

f

o

r

 

n

o

r

m

a

l

i

z

i

n

g

 

g

r

a

d

i

e

n

t

s

 

t

o

 

a

 

c

e

r

t

a

i

n

 

v

a

l

u

e







#

#

#

 

M

i

x

e

d

 

p

r

e

c

i

s

i

o

n







M

i

x

e

d

 

p

r

e

c

i

s

i

o

n

 

a

c

c

e

l

e

r

a

t

e

s

 

t

r

a

i

n

i

n

g

 

b

y

 

u

s

i

n

g

 

a

 

l

o

w

e

r

 

p

r

e

c

i

s

i

o

n

 

d

a

t

a

 

t

y

p

e

 

l

i

k

e

 

f

p

1

6

 

(

h

a

l

f

-

p

r

e

c

i

s

i

o

n

)

 

t

o

 

c

a

l

c

u

l

a

t

e

 

t

h

e

 

g

r

a

d

i

e

n

t

s

.

 

F

o

r

 

t

h

e

 

b

e

s

t

 

p

e

r

f

o

r

m

a

n

c

e

 

w

i

t

h

 

A

c

c

e

l

e

r

a

t

e

,

 

t

h

e

 

l

o

s

s

 

s

h

o

u

l

d

 

b

e

 

c

o

m

p

u

t

e

d

 

i

n

s

i

d

e

 

y

o

u

r

 

m

o

d

e

l

 

(

l

i

k

e

 

i

n

 

T

r

a

n

s

f

o

r

m

e

r

s

 

m

o

d

e

l

s

)

 

b

e

c

a

u

s

e

 

c

o

m

p

u

t

a

t

i

o

n

s

 

o

u

t

s

i

d

e

 

o

f

 

t

h

e

 

m

o

d

e

l

 

a

r

e

 

c

o

m

p

u

t

e

d

 

i

n

 

f

u

l

l

 

p

r

e

c

i

s

i

o

n

.







S

e

t

 

t

h

e

 

m

i

x

e

d

 

p

r

e

c

i

s

i

o

n

 

t

y

p

e

 

t

o

 

u

s

e

 

i

n

 

t

h

e

 

`

A

c

c

e

l

e

r

a

t

o

r

`

,

 

a

n

d

 

t

h

e

n

 

u

s

e

 

t

h

e

 

`

a

u

t

o

c

a

s

t

(

)

`

 

c

o

n

t

e

x

t

 

m

a

n

a

g

e

r

 

t

o

 

a

u

t

o

m

a

t

i

c

a

l

l

y

 

c

a

s

t

 

t

h

e

 

v

a

l

u

e

s

 

t

o

 

t

h

e

 

s

p

e

c

i

f

i

e

d

 

d

a

t

a

 

t

y

p

e

.







>

 

[

!

W

A

R

N

I

N

G

]




>

 

A

c

c

e

l

e

r

a

t

e

 

e

n

a

b

l

e

s

 

a

u

t

o

m

a

t

i

c

 

m

i

x

e

d

 

p

r

e

c

i

s

i

o

n

,

 

s

o

 

`

a

u

t

o

c

a

s

t

(

)

`

 

i

s

 

o

n

l

y

 

n

e

e

d

e

d

 

i

f

 

t

h

e

r

e

 

a

r

e

 

o

t

h

e

r

 

m

i

x

e

d

 

p

r

e

c

i

s

i

o

n

 

o

p

e

r

a

t

i

o

n

s

 

b

e

s

i

d

e

s

 

t

h

o

s

e

 

p

e

r

f

o

r

m

e

d

 

o

n

 

l

o

s

s

 

b

y

 

`

b

a

c

k

w

a

r

d

(

)

`

 

w

h

i

c

h

 

a

l

r

e

a

d

y

 

h

a

n

d

l

e

s

 

t

h

e

 

s

c

a

l

i

n

g

.







`

`

`

d

i

f

f




+

 

a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

=

"

f

p

1

6

"

)




+

 

w

i

t

h

 

a

c

c

e

l

e

r

a

t

o

r

.

a

u

t

o

c

a

s

t

(

)

:




 

 

 

 

 

 

l

o

s

s

 

=

 

c

o

m

p

l

e

x

_

l

o

s

s

_

f

u

n

c

t

i

o

n

(

o

u

t

p

u

t

s

,

 

t

a

r

g

e

t

)

:




`

`

`







#

#

 

S

a

v

e

 

a

n

d

 

l

o

a

d







A

c

c

e

l

e

r

a

t

e

 

c

a

n

 

a

l

s

o

 

s

a

v

e

 

a

n

d

 

l

o

a

d

 

a

 

*

m

o

d

e

l

*

 

o

n

c

e

 

t

r

a

i

n

i

n

g

 

i

s

 

c

o

m

p

l

e

t

e

 

o

r

 

y

o

u

 

c

a

n

 

a

l

s

o

 

s

a

v

e

 

t

h

e

 

m

o

d

e

l

 

a

n

d

 

o

p

t

i

m

i

z

e

r

 

*

s

t

a

t

e

*

 

w

h

i

c

h

 

c

o

u

l

d

 

b

e

 

u

s

e

f

u

l

 

f

o

r

 

r

e

s

u

m

i

n

g

 

t

r

a

i

n

i

n

g

.







#

#

#

 

M

o

d

e

l







O

n

c

e

 

a

l

l

 

p

r

o

c

e

s

s

e

s

 

a

r

e

 

c

o

m

p

l

e

t

e

,

 

u

n

w

r

a

p

 

t

h

e

 

m

o

d

e

l

 

w

i

t

h

 

t

h

e

 

`

u

n

w

r

a

p

_

m

o

d

e

l

(

)

`

 

m

e

t

h

o

d

 

b

e

f

o

r

e

 

s

a

v

i

n

g

 

i

t

 

b

e

c

a

u

s

e

 

t

h

e

 

`

p

r

e

p

a

r

e

(

)

`

 

m

e

t

h

o

d

 

w

r

a

p

p

e

d

 

y

o

u

r

 

m

o

d

e

l

 

i

n

t

o

 

t

h

e

 

p

r

o

p

e

r

 

i

n

t

e

r

f

a

c

e

 

f

o

r

 

d

i

s

t

r

i

b

u

t

e

d

 

t

r

a

i

n

i

n

g

.

 

I

f

 

y

o

u

 

d

o

n

'

t

 

u

n

w

r

a

p

 

t

h

e

 

m

o

d

e

l

,

 

s

a

v

i

n

g

 

t

h

e

 

m

o

d

e

l

 

s

t

a

t

e

 

d

i

c

t

i

o

n

a

r

y

 

a

l

s

o

 

s

a

v

e

s

 

a

n

y

 

p

o

t

e

n

t

i

a

l

 

e

x

t

r

a

 

l

a

y

e

r

s

 

f

r

o

m

 

t

h

e

 

l

a

r

g

e

r

 

m

o

d

e

l

 

a

n

d

 

y

o

u

 

w

o

n

'

t

 

b

e

 

a

b

l

e

 

t

o

 

l

o

a

d

 

t

h

e

 

w

e

i

g

h

t

s

 

b

a

c

k

 

i

n

t

o

 

y

o

u

r

 

b

a

s

e

 

m

o

d

e

l

.







Y

o

u

 

s

h

o

u

l

d

 

u

s

e

 

t

h

e

 

`

s

a

v

e

_

m

o

d

e

l

(

)

`

 

m

e

t

h

o

d

 

t

o

 

u

n

w

r

a

p

 

a

n

d

 

s

a

v

e

 

t

h

e

 

m

o

d

e

l

 

s

t

a

t

e

 

d

i

c

t

i

o

n

a

r

y

.

 

T

h

i

s

 

m

e

t

h

o

d

 

c

a

n

 

a

l

s

o

 

s

a

v

e

 

a

 

m

o

d

e

l

 

i

n

t

o

 

s

h

a

r

d

e

d

 

c

h

e

c

k

p

o

i

n

t

s

 

o

r

 

i

n

t

o

 

t

h

e

 

[

s

a

f

e

t

e

n

s

o

r

s

]

(

h

t

t

p

s

:

/

/

h

f

.

c

o

/

d

o

c

s

/

s

a

f

e

t

e

n

s

o

r

s

/

i

n

d

e

x

)

 

f

o

r

m

a

t

.







<

h

f

o

p

t

i

o

n

s

 

i

d

=

"

s

a

v

e

"

>




<

h

f

o

p

t

i

o

n

 

i

d

=

"

s

i

n

g

l

e

 

c

h

e

c

k

p

o

i

n

t

"

>







`

`

`

p

y




a

c

c

e

l

e

r

a

t

o

r

.

w

a

i

t

_

f

o

r

_

e

v

e

r

y

o

n

e

(

)




a

c

c

e

l

e

r

a

t

o

r

.

s

a

v

e

_

m

o

d

e

l

(

m

o

d

e

l

,

 

s

a

v

e

_

d

i

r

e

c

t

o

r

y

)




`

`

`







<

T

i

p

>







F

o

r

 

m

o

d

e

l

s

 

f

r

o

m

 

t

h

e

 

[

T

r

a

n

s

f

o

r

m

e

r

s

]

(

h

t

t

p

s

:

/

/

h

f

.

c

o

/

d

o

c

s

/

t

r

a

n

s

f

o

r

m

e

r

s

/

i

n

d

e

x

)

 

l

i

b

r

a

r

y

,

 

s

a

v

e

 

t

h

e

 

m

o

d

e

l

 

w

i

t

h

 

t

h

e

 

[

s

a

v

e

_

p

r

e

t

r

a

i

n

e

d

]

(

h

t

t

p

s

:

/

/

h

u

g

g

i

n

g

f

a

c

e

.

c

o

/

d

o

c

s

/

t

r

a

n

s

f

o

r

m

e

r

s

/

m

a

i

n

/

e

n

/

m

a

i

n

_

c

l

a

s

s

e

s

/

m

o

d

e

l

#

t

r

a

n

s

f

o

r

m

e

r

s

.

P

r

e

T

r

a

i

n

e

d

M

o

d

e

l

.

s

a

v

e

_

p

r

e

t

r

a

i

n

e

d

)

 

m

e

t

h

o

d

 

s

o

 

t

h

a

t

 

i

t

 

c

a

n

 

b

e

 

r

e

l

o

a

d

e

d

 

w

i

t

h

 

t

h

e

 

[

f

r

o

m

_

p

r

e

t

r

a

i

n

e

d

]

(

h

t

t

p

s

:

/

/

h

u

g

g

i

n

g

f

a

c

e

.

c

o

/

d

o

c

s

/

t

r

a

n

s

f

o

r

m

e

r

s

/

m

a

i

n

/

e

n

/

m

a

i

n

_

c

l

a

s

s

e

s

/

m

o

d

e

l

#

t

r

a

n

s

f

o

r

m

e

r

s

.

P

r

e

T

r

a

i

n

e

d

M

o

d

e

l

.

f

r

o

m

_

p

r

e

t

r

a

i

n

e

d

)

 

m

e

t

h

o

d

.







`

`

`

p

y




f

r

o

m

 

t

r

a

n

s

f

o

r

m

e

r

s

 

i

m

p

o

r

t

 

A

u

t

o

M

o

d

e

l







u

n

w

r

a

p

p

e

d

_

m

o

d

e

l

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

u

n

w

r

a

p

_

m

o

d

e

l

(

m

o

d

e

l

)




u

n

w

r

a

p

p

e

d

_

m

o

d

e

l

.

s

a

v

e

_

p

r

e

t

r

a

i

n

e

d

(




 

 

 

 

"

p

a

t

h

/

t

o

/

m

y

_

m

o

d

e

l

_

d

i

r

e

c

t

o

r

y

"

,




 

 

 

 

i

s

_

m

a

i

n

_

p

r

o

c

e

s

s

=

a

c

c

e

l

e

r

a

t

o

r

.

i

s

_

m

a

i

n

_

p

r

o

c

e

s

s

,




 

 

 

 

s

a

v

e

_

f

u

n

c

t

i

o

n

=

a

c

c

e

l

e

r

a

t

o

r

.

s

a

v

e

,




)







m

o

d

e

l

 

=

 

A

u

t

o

M

o

d

e

l

.

f

r

o

m

_

p

r

e

t

r

a

i

n

e

d

(

"

p

a

t

h

/

t

o

/

m

y

_

m

o

d

e

l

_

d

i

r

e

c

t

o

r

y

"

)




`

`

`







<

/

T

i

p

>







T

o

 

l

o

a

d

 

y

o

u

r

 

w

e

i

g

h

t

s

,

 

u

s

e

 

t

h

e

 

`

u

n

w

r

a

p

_

m

o

d

e

l

(

)

`

 

m

e

t

h

o

d

 

t

o

 

u

n

w

r

a

p

 

t

h

e

 

m

o

d

e

l

 

f

i

r

s

t

 

b

e

f

o

r

e

 

l

o

a

d

i

n

g

 

t

h

e

 

w

e

i

g

h

t

s

.

 

A

l

l

 

m

o

d

e

l

 

p

a

r

a

m

e

t

e

r

s

 

a

r

e

 

r

e

f

e

r

e

n

c

e

s

 

t

o

 

t

e

n

s

o

r

s

,

 

s

o

 

t

h

i

s

 

l

o

a

d

s

 

y

o

u

r

 

w

e

i

g

h

t

s

 

i

n

s

i

d

e

 

`

m

o

d

e

l

`

.







`

`

`

p

y




u

n

w

r

a

p

p

e

d

_

m

o

d

e

l

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

u

n

w

r

a

p

_

m

o

d

e

l

(

m

o

d

e

l

)




p

a

t

h

_

t

o

_

c

h

e

c

k

p

o

i

n

t

 

=

 

o

s

.

p

a

t

h

.

j

o

i

n

(

s

a

v

e

_

d

i

r

e

c

t

o

r

y

,

"

p

y

t

o

r

c

h

_

m

o

d

e

l

.

b

i

n

"

)




u

n

w

r

a

p

p

e

d

_

m

o

d

e

l

.

l

o

a

d

_

s

t

a

t

e

_

d

i

c

t

(

t

o

r

c

h

.

l

o

a

d

(

p

a

t

h

_

t

o

_

c

h

e

c

k

p

o

i

n

t

)

)




`

`

`







<

/

h

f

o

p

t

i

o

n

>




<

h

f

o

p

t

i

o

n

 

i

d

=

"

s

h

a

r

d

e

d

 

c

h

e

c

k

p

o

i

n

t

"

>







S

e

t

 

`

s

a

f

e

_

s

e

r

i

a

l

i

z

a

t

i

o

n

=

T

r

u

e

`

 

t

o

 

s

a

v

e

 

t

h

e

 

m

o

d

e

l

 

i

n

 

t

h

e

 

s

a

f

e

t

e

n

s

o

r

 

f

o

r

m

a

t

.







`

`

`

p

y




a

c

c

e

l

e

r

a

t

o

r

.

w

a

i

t

_

f

o

r

_

e

v

e

r

y

o

n

e

(

)




a

c

c

e

l

e

r

a

t

o

r

.

s

a

v

e

_

m

o

d

e

l

(

m

o

d

e

l

,

 

s

a

v

e

_

d

i

r

e

c

t

o

r

y

,

 

m

a

x

_

s

h

a

r

d

_

s

i

z

e

=

"

1

G

B

"

,

 

s

a

f

e

_

s

e

r

i

a

l

i

z

a

t

i

o

n

=

T

r

u

e

)




`

`

`







T

o

 

l

o

a

d

 

a

 

s

h

a

r

d

e

d

 

c

h

e

c

k

p

o

i

n

t

 

o

r

 

a

 

s

a

f

e

t

e

n

s

o

r

 

f

o

r

m

a

t

t

e

d

 

c

h

e

c

k

p

o

i

n

t

,

 

u

s

e

 

t

h

e

 

`

l

o

a

d

_

c

h

e

c

k

p

o

i

n

t

_

i

n

_

m

o

d

e

l

(

)

`

 

m

e

t

h

o

d

.

 

T

h

i

s

 

m

e

t

h

o

d

 

a

l

l

o

w

s

 

y

o

u

 

t

o

 

l

o

a

d

 

a

 

c

h

e

c

k

p

o

i

n

t

 

o

n

t

o

 

a

 

s

p

e

c

i

f

i

c

 

d

e

v

i

c

e

.







`

`

`

p

y




l

o

a

d

_

c

h

e

c

k

p

o

i

n

t

_

i

n

_

m

o

d

e

l

(

u

n

w

r

a

p

p

e

d

_

m

o

d

e

l

,

 

s

a

v

e

_

d

i

r

e

c

t

o

r

y

,

 

d

e

v

i

c

e

_

m

a

p

=

{

"

"

:

d

e

v

i

c

e

}

)




`

`

`







<

/

h

f

o

p

t

i

o

n

>




<

/

h

f

o

p

t

i

o

n

s

>







#

#

#

 

S

t

a

t

e







D

u

r

i

n

g

 

t

r

a

i

n

i

n

g

,

 

y

o

u

 

m

a

y

 

w

a

n

t

 

t

o

 

s

a

v

e

 

t

h

e

 

c

u

r

r

e

n

t

 

s

t

a

t

e

 

o

f

 

t

h

e

 

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

r

a

n

d

o

m

 

g

e

n

e

r

a

t

o

r

s

,

 

a

n

d

 

p

o

t

e

n

t

i

a

l

l

y

 

l

e

a

r

n

i

n

g

 

r

a

t

e

 

s

c

h

e

d

u

l

e

r

s

 

s

o

 

t

h

e

y

 

c

a

n

 

b

e

 

r

e

s

t

o

r

e

d

 

i

n

 

t

h

e

 

*

s

a

m

e

 

s

c

r

i

p

t

*

.

 

Y

o

u

 

s

h

o

u

l

d

 

a

d

d

 

t

h

e

 

`

s

a

v

e

_

s

t

a

t

e

(

)

`

 

a

n

d

 

`

l

o

a

d

_

s

t

a

t

e

(

)

`

 

m

e

t

h

o

d

s

 

t

o

 

y

o

u

r

 

s

c

r

i

p

t

 

t

o

 

s

a

v

e

 

a

n

d

 

l

o

a

d

 

s

t

a

t

e

s

.







T

o

 

f

u

r

t

h

e

r

 

c

u

s

t

o

m

i

z

e

 

w

h

e

r

e

 

a

n

d

 

h

o

w

 

s

t

a

t

e

s

 

a

r

e

 

s

a

v

e

d

 

t

h

r

o

u

g

h

 

`

s

a

v

e

_

s

t

a

t

e

(

)

`

,

 

u

s

e

 

t

h

e

 

`

P

r

o

j

e

c

t

C

o

n

f

i

g

u

r

a

t

i

o

n

`

 

c

l

a

s

s

.

 

F

o

r

 

e

x

a

m

p

l

e

,

 

i

f

 

`

a

u

t

o

m

a

t

i

c

_

c

h

e

c

k

p

o

i

n

t

_

n

a

m

i

n

g

`

 

i

s

 

e

n

a

b

l

e

d

,

 

e

a

c

h

 

s

a

v

e

d

 

c

h

e

c

k

p

o

i

n

t

 

i

s

 

s

t

o

r

e

d

 

a

t

 

`

A

c

c

e

l

e

r

a

t

o

r

.

p

r

o

j

e

c

t

_

d

i

r

/

c

h

e

c

k

p

o

i

n

t

s

/

c

h

e

c

k

p

o

i

n

t

_

{

c

h

e

c

k

p

o

i

n

t

_

n

u

m

b

e

r

}

`

.







A

n

y

 

o

t

h

e

r

 

s

t

a

t

e

f

u

l

 

i

t

e

m

s

 

t

o

 

b

e

 

s

t

o

r

e

d

 

s

h

o

u

l

d

 

b

e

 

r

e

g

i

s

t

e

r

e

d

 

w

i

t

h

 

t

h

e

 

`

r

e

g

i

s

t

e

r

_

f

o

r

_

c

h

e

c

k

p

o

i

n

t

i

n

g

(

)

`

 

m

e

t

h

o

d

 

s

o

 

t

h

e

y

 

c

a

n

 

b

e

 

s

a

v

e

d

 

a

n

d

 

l

o

a

d

e

d

.

 

E

v

e

r

y

 

o

b

j

e

c

t

 

p

a

s

s

e

d

 

t

o

 

t

h

i

s

 

m

e

t

h

o

d

 

t

o

 

b

e

 

s

t

o

r

e

d

 

m

u

s

t

 

h

a

v

e

 

a

 

`

l

o

a

d

_

s

t

a

t

e

_

d

i

c

t

`

 

a

n

d

 

`

s

t

a

t

e

_

d

i

c

t

`

 

f

u

n

c

t

i

o

n

.







>

 

[

!

T

I

P

]




>

 

I

f

 

y

o

u

 

h

a

v

e

 

[

`

t

o

r

c

h

d

a

t

a

>

=

0

.

8

.

0

`

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

p

y

t

o

r

c

h

/

d

a

t

a

/

t

r

e

e

/

m

a

i

n

)

 

i

n

s

t

a

l

l

e

d

,

 

y

o

u

 

c

a

n

 

a

d

d

i

t

i

o

n

a

l

l

y

 

p

a

s

s

 

`

u

s

e

_

s

t

a

t

e

f

u

l

_

d

a

t

a

l

o

a

d

e

r

=

T

r

u

e

`

 

i

n

t

o

 

y

o

u

r

 

`

D

a

t

a

L

o

a

d

e

r

C

o

n

f

i

g

u

r

a

t

i

o

n

`

.

 

T

h

i

s

 

e

x

t

e

n

d

s

 

A

c

c

e

l

e

r

a

t

e

'

s

 

D

a

t

a

L

o

a

d

e

r

 

c

l

a

s

s

e

s

 

w

i

t

h

 

a

 

`

l

o

a

d

_

s

t

a

t

e

_

d

i

c

t

`

 

a

n

d

 

`

s

t

a

t

e

_

d

i

c

t

`

 

f

u

n

c

t

i

o

n

,

 

a

n

d

 

m

a

k

e

s

 

i

t

 

s

o

 

`

A

c

c

e

l

e

r

a

t

o

r

.

s

a

v

e

_

s

t

a

t

e

`

 

a

n

d

 

`

A

c

c

e

l

e

r

a

t

o

r

.

l

o

a

d

_

s

t

a

t

e

`

 

a

l

s

o

 

t

r

a

c

k

 

h

o

w

 

f

a

r

 

i

n

t

o

 

t

h

e

 

t

r

a

i

n

i

n

g

 

d

a

t

a

s

e

t

 

i

t

 

h

a

s

 

r

e

a

d

 

w

h

e

n

 

p

e

r

s

i

s

t

i

n

g

 

t

h

e

 

m

o

d

e

l

.







#

 

L

a

u

n

c

h

i

n

g

 

A

c

c

e

l

e

r

a

t

e

 

s

c

r

i

p

t

s







I

n

 

t

h

e

 

p

r

e

v

i

o

u

s

 

t

u

t

o

r

i

a

l

,

 

y

o

u

 

w

e

r

e

 

i

n

t

r

o

d

u

c

e

d

 

t

o

 

h

o

w

 

t

o

 

m

o

d

i

f

y

 

y

o

u

r

 

c

u

r

r

e

n

t

 

t

r

a

i

n

i

n

g

 

s

c

r

i

p

t

 

t

o

 

u

s

e

 

A

c

c

e

l

e

r

a

t

e

.




T

h

e

 

f

i

n

a

l

 

v

e

r

s

i

o

n

 

o

f

 

t

h

a

t

 

c

o

d

e

 

i

s

 

s

h

o

w

n

 

b

e

l

o

w

:







`

`

`

p

y

t

h

o

n




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

A

c

c

e

l

e

r

a

t

o

r







a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

)







m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

,

 

s

c

h

e

d

u

l

e

r

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(




 

 

 

 

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

,

 

s

c

h

e

d

u

l

e

r




)







f

o

r

 

b

a

t

c

h

 

i

n

 

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

:




 

 

 

 

o

p

t

i

m

i

z

e

r

.

z

e

r

o

_

g

r

a

d

(

)




 

 

 

 

i

n

p

u

t

s

,

 

t

a

r

g

e

t

s

 

=

 

b

a

t

c

h




 

 

 

 

o

u

t

p

u

t

s

 

=

 

m

o

d

e

l

(

i

n

p

u

t

s

)




 

 

 

 

l

o

s

s

 

=

 

l

o

s

s

_

f

u

n

c

t

i

o

n

(

o

u

t

p

u

t

s

,

 

t

a

r

g

e

t

s

)




 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

b

a

c

k

w

a

r

d

(

l

o

s

s

)




 

 

 

 

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




 

 

 

 

s

c

h

e

d

u

l

e

r

.

s

t

e

p

(

)




`

`

`







B

u

t

 

h

o

w

 

d

o

 

y

o

u

 

r

u

n

 

t

h

i

s

 

c

o

d

e

 

a

n

d

 

h

a

v

e

 

i

t

 

u

t

i

l

i

z

e

 

t

h

e

 

s

p

e

c

i

a

l

 

h

a

r

d

w

a

r

e

 

a

v

a

i

l

a

b

l

e

 

t

o

 

i

t

?







F

i

r

s

t

,

 

y

o

u

 

s

h

o

u

l

d

 

r

e

w

r

i

t

e

 

t

h

e

 

a

b

o

v

e

 

c

o

d

e

 

i

n

t

o

 

a

 

f

u

n

c

t

i

o

n

,

 

a

n

d

 

m

a

k

e

 

i

t

 

c

a

l

l

a

b

l

e

 

a

s

 

a

 

s

c

r

i

p

t

.

 

F

o

r

 

e

x

a

m

p

l

e

:







`

`

`

d

i

f

f




 

 

f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

A

c

c

e

l

e

r

a

t

o

r




 

 




+

 

d

e

f

 

m

a

i

n

(

)

:




 

 

 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

)







 

 

 

 

 

 

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

,

 

s

c

h

e

d

u

l

e

r

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(




 

 

 

 

 

 

 

 

 

 

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

,

 

s

c

h

e

d

u

l

e

r




 

 

 

 

 

 

)







 

 

 

 

 

 

f

o

r

 

b

a

t

c

h

 

i

n

 

t

r

a

i

n

i

n

g

_

d

a

t

a

l

o

a

d

e

r

:




 

 

 

 

 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

.

z

e

r

o

_

g

r

a

d

(

)




 

 

 

 

 

 

 

 

 

 

i

n

p

u

t

s

,

 

t

a

r

g

e

t

s

 

=

 

b

a

t

c

h




 

 

 

 

 

 

 

 

 

 

o

u

t

p

u

t

s

 

=

 

m

o

d

e

l

(

i

n

p

u

t

s

)




 

 

 

 

 

 

 

 

 

 

l

o

s

s

 

=

 

l

o

s

s

_

f

u

n

c

t

i

o

n

(

o

u

t

p

u

t

s

,

 

t

a

r

g

e

t

s

)




 

 

 

 

 

 

 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

b

a

c

k

w

a

r

d

(

l

o

s

s

)




 

 

 

 

 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




 

 

 

 

 

 

 

 

 

 

s

c

h

e

d

u

l

e

r

.

s

t

e

p

(

)







+

 

i

f

 

_

_

n

a

m

e

_

_

 

=

=

 

"

_

_

m

a

i

n

_

_

"

:




+

 

 

 

 

 

m

a

i

n

(

)




`

`

`







N

e

x

t

,

 

y

o

u

 

n

e

e

d

 

t

o

 

l

a

u

n

c

h

 

i

t

 

w

i

t

h

 

`

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

`

.

 







<

T

i

p

 

w

a

r

n

i

n

g

=

{

t

r

u

e

}

>







 

 

I

t

'

s

 

r

e

c

o

m

m

e

n

d

e

d

 

y

o

u

 

r

u

n

 

`

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

`

 

b

e

f

o

r

e

 

u

s

i

n

g

 

`

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

`

 

t

o

 

c

o

n

f

i

g

u

r

e

 

y

o

u

r

 

e

n

v

i

r

o

n

m

e

n

t

 

t

o

 

y

o

u

r

 

l

i

k

i

n

g

.

 




 

 

O

t

h

e

r

w

i

s

e

 

A

c

c

e

l

e

r

a

t

e

 

w

i

l

l

 

u

s

e

 

v

e

r

y

 

b

a

s

i

c

 

d

e

f

a

u

l

t

s

 

d

e

p

e

n

d

i

n

g

 

o

n

 

y

o

u

r

 

s

y

s

t

e

m

 

s

e

t

u

p

.







<

/

T

i

p

>










#

#

 

U

s

i

n

g

 

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h







A

c

c

e

l

e

r

a

t

e

 

h

a

s

 

a

 

s

p

e

c

i

a

l

 

C

L

I

 

c

o

m

m

a

n

d

 

t

o

 

h

e

l

p

 

y

o

u

 

l

a

u

n

c

h

 

y

o

u

r

 

c

o

d

e

 

i

n

 

y

o

u

r

 

s

y

s

t

e

m

 

t

h

r

o

u

g

h

 

`

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

`

.




T

h

i

s

 

c

o

m

m

a

n

d

 

w

r

a

p

s

 

a

r

o

u

n

d

 

a

l

l

 

o

f

 

t

h

e

 

d

i

f

f

e

r

e

n

t

 

c

o

m

m

a

n

d

s

 

n

e

e

d

e

d

 

t

o

 

l

a

u

n

c

h

 

y

o

u

r

 

s

c

r

i

p

t

 

o

n

 

v

a

r

i

o

u

s

 

p

l

a

t

f

o

r

m

s

,

 

w

i

t

h

o

u

t

 

y

o

u

 

h

a

v

i

n

g

 

t

o

 

r

e

m

e

m

b

e

r

 

w

h

a

t

 

e

a

c

h

 

o

f

 

t

h

e

m

 

i

s

.







<

T

i

p

>







 

 

I

f

 

y

o

u

 

a

r

e

 

f

a

m

i

l

i

a

r

 

w

i

t

h

 

l

a

u

n

c

h

i

n

g

 

s

c

r

i

p

t

s

 

i

n

 

P

y

T

o

r

c

h

 

y

o

u

r

s

e

l

f

 

s

u

c

h

 

a

s

 

w

i

t

h

 

`

t

o

r

c

h

r

u

n

`

,

 

y

o

u

 

c

a

n

 

s

t

i

l

l

 

d

o

 

t

h

i

s

.

 

I

t

 

i

s

 

n

o

t

 

r

e

q

u

i

r

e

d

 

t

o

 

u

s

e

 

`

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

`

.







<

/

T

i

p

>







Y

o

u

 

c

a

n

 

l

a

u

n

c

h

 

y

o

u

r

 

s

c

r

i

p

t

 

q

u

i

c

k

l

y

 

b

y

 

u

s

i

n

g

:







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

{

s

c

r

i

p

t

_

n

a

m

e

.

p

y

}

 

-

-

a

r

g

1

 

-

-

a

r

g

2

 

.

.

.




`

`

`







J

u

s

t

 

p

u

t

 

`

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

`

 

a

t

 

t

h

e

 

s

t

a

r

t

 

o

f

 

y

o

u

r

 

c

o

m

m

a

n

d

,

 

a

n

d

 

p

a

s

s

 

i

n

 

a

d

d

i

t

i

o

n

a

l

 

a

r

g

u

m

e

n

t

s

 

a

n

d

 

p

a

r

a

m

e

t

e

r

s

 

t

o

 

y

o

u

r

 

s

c

r

i

p

t

 

a

f

t

e

r

w

a

r

d

 

l

i

k

e

 

n

o

r

m

a

l

!







S

i

n

c

e

 

t

h

i

s

 

r

u

n

s

 

t

h

e

 

v

a

r

i

o

u

s

 

t

o

r

c

h

 

s

p

a

w

n

 

m

e

t

h

o

d

s

,

 

a

l

l

 

o

f

 

t

h

e

 

e

x

p

e

c

t

e

d

 

e

n

v

i

r

o

n

m

e

n

t

 

v

a

r

i

a

b

l

e

s

 

c

a

n

 

b

e

 

m

o

d

i

f

i

e

d

 

h

e

r

e

 

a

s

 

w

e

l

l

.




F

o

r

 

e

x

a

m

p

l

e

,

 

h

e

r

e

 

i

s

 

h

o

w

 

t

o

 

u

s

e

 

`

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

`

 

w

i

t

h

 

a

 

s

i

n

g

l

e

 

G

P

U

:







`

`

`

b

a

s

h




#

 

f

o

r

 

c

u

d

a

 

d

e

v

i

c

e

:




C

U

D

A

_

V

I

S

I

B

L

E

_

D

E

V

I

C

E

S

=

"

0

"

 

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

{

s

c

r

i

p

t

_

n

a

m

e

.

p

y

}

 

-

-

a

r

g

1

 

-

-

a

r

g

2

 

.

.

.




#

 

f

o

r

 

x

p

u

 

d

e

v

i

c

e

:




Z

E

_

A

F

F

I

N

I

T

Y

_

M

A

S

K

=

"

0

"

 

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

{

s

c

r

i

p

t

_

n

a

m

e

.

p

y

}

 

-

-

a

r

g

1

 

-

-

a

r

g

2

 

.

.

.




`

`

`







Y

o

u

 

c

a

n

 

a

l

s

o

 

u

s

e

 

`

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

`

 

w

i

t

h

o

u

t

 

p

e

r

f

o

r

m

i

n

g

 

`

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

`

 

f

i

r

s

t

,

 

b

u

t

 

y

o

u

 

m

a

y

 

n

e

e

d

 

t

o

 

m

a

n

u

a

l

l

y

 

p

a

s

s

 

i

n

 

t

h

e

 

r

i

g

h

t

 

c

o

n

f

i

g

u

r

a

t

i

o

n

 

p

a

r

a

m

e

t

e

r

s

.




I

n

 

t

h

i

s

 

c

a

s

e

,

 

A

c

c

e

l

e

r

a

t

e

 

w

i

l

l

 

m

a

k

e

 

s

o

m

e

 

h

y

p

e

r

p

a

r

a

m

e

t

e

r

 

d

e

c

i

s

i

o

n

s

 

f

o

r

 

y

o

u

,

 

e

.

g

.

,

 

i

f

 

G

P

U

s

 

a

r

e

 

a

v

a

i

l

a

b

l

e

,

 

i

t

 

w

i

l

l

 

u

s

e

 

a

l

l

 

o

f

 

t

h

e

m

 

b

y

 

d

e

f

a

u

l

t

 

w

i

t

h

o

u

t

 

t

h

e

 

m

i

x

e

d

 

p

r

e

c

i

s

i

o

n

.




H

e

r

e

 

i

s

 

h

o

w

 

y

o

u

 

w

o

u

l

d

 

u

s

e

 

a

l

l

 

G

P

U

s

 

a

n

d

 

t

r

a

i

n

 

w

i

t

h

 

m

i

x

e

d

 

p

r

e

c

i

s

i

o

n

 

d

i

s

a

b

l

e

d

:







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

-

-

m

u

l

t

i

_

g

p

u

 

{

s

c

r

i

p

t

_

n

a

m

e

.

p

y

}

 

{

-

-

a

r

g

1

}

 

{

-

-

a

r

g

2

}

 

.

.

.




`

`

`







O

r

 

b

y

 

s

p

e

c

i

f

y

i

n

g

 

a

 

n

u

m

b

e

r

 

o

f

 

G

P

U

s

 

t

o

 

u

s

e

:







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

-

-

n

u

m

_

p

r

o

c

e

s

s

e

s

=

2

 

{

s

c

r

i

p

t

_

n

a

m

e

.

p

y

}

 

{

-

-

a

r

g

1

}

 

{

-

-

a

r

g

2

}

 

.

.

.




`

`

`







T

o

 

g

e

t

 

m

o

r

e

 

s

p

e

c

i

f

i

c

 

y

o

u

 

s

h

o

u

l

d

 

p

a

s

s

 

i

n

 

t

h

e

 

n

e

e

d

e

d

 

p

a

r

a

m

e

t

e

r

s

 

y

o

u

r

s

e

l

f

.

 

F

o

r

 

i

n

s

t

a

n

c

e

,

 

h

e

r

e

 

i

s

 

h

o

w

 

y

o

u

 




w

o

u

l

d

 

a

l

s

o

 

l

a

u

n

c

h

 

t

h

a

t

 

s

a

m

e

 

s

c

r

i

p

t

 

o

n

 

t

w

o

 

G

P

U

s

 

u

s

i

n

g

 

m

i

x

e

d

 

p

r

e

c

i

s

i

o

n

 

w

h

i

l

e

 

a

v

o

i

d

i

n

g

 

a

l

l

 

o

f

 

t

h

e

 

w

a

r

n

i

n

g

s

:

 







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

-

-

m

u

l

t

i

_

g

p

u

 

-

-

m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

=

f

p

1

6

 

-

-

n

u

m

_

p

r

o

c

e

s

s

e

s

=

2

 

{

s

c

r

i

p

t

_

n

a

m

e

.

p

y

}

 

{

-

-

a

r

g

1

}

 

{

-

-

a

r

g

2

}

 

.

.

.




`

`

`







F

o

r

 

a

 

c

o

m

p

l

e

t

e

 

l

i

s

t

 

o

f

 

p

a

r

a

m

e

t

e

r

s

 

y

o

u

 

c

a

n

 

p

a

s

s

 

i

n

,

 

r

u

n

:







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

-

h




`

`

`







<

T

i

p

>







 

 

E

v

e

n

 

i

f

 

y

o

u

 

a

r

e

 

n

o

t

 

u

s

i

n

g

 

A

c

c

e

l

e

r

a

t

e

 

i

n

 

y

o

u

r

 

c

o

d

e

,

 

y

o

u

 

c

a

n

 

s

t

i

l

l

 

u

s

e

 

t

h

e

 

l

a

u

n

c

h

e

r

 

f

o

r

 

s

t

a

r

t

i

n

g

 

y

o

u

r

 

s

c

r

i

p

t

s

!







<

/

T

i

p

>







F

o

r

 

a

 

v

i

s

u

a

l

i

z

a

t

i

o

n

 

o

f

 

t

h

i

s

 

d

i

f

f

e

r

e

n

c

e

,

 

t

h

a

t

 

e

a

r

l

i

e

r

 

`

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

`

 

o

n

 

m

u

l

t

i

-

g

p

u

 

w

o

u

l

d

 

l

o

o

k

 

s

o

m

e

t

h

i

n

g

 

l

i

k

e

 

s

o

 

w

i

t

h

 

`

t

o

r

c

h

r

u

n

`

:







`

`

`

b

a

s

h




M

I

X

E

D

_

P

R

E

C

I

S

I

O

N

=

"

f

p

1

6

"

 

t

o

r

c

h

r

u

n

 

-

-

n

p

r

o

c

_

p

e

r

_

n

o

d

e

=

2

 

-

-

n

n

o

d

e

s

=

1

 

{

s

c

r

i

p

t

_

n

a

m

e

.

p

y

}

 

{

-

-

a

r

g

1

}

 

{

-

-

a

r

g

2

}

 

.

.

.




`

`

`







Y

o

u

 

c

a

n

 

a

l

s

o

 

l

a

u

n

c

h

 

y

o

u

r

 

s

c

r

i

p

t

 

u

t

i

l

i

z

i

n

g

 

t

h

e

 

l

a

u

n

c

h

 

C

L

I

 

a

s

 

a

 

p

y

t

h

o

n

 

m

o

d

u

l

e

 

i

t

s

e

l

f

,

 

e

n

a

b

l

i

n

g

 

t

h

e

 

a

b

i

l

i

t

y

 

t

o

 

p

a

s

s

 

i

n

 

o

t

h

e

r

 

p

y

t

h

o

n

-

s

p

e

c

i

f

i

c




l

a

u

n

c

h

i

n

g

 

b

e

h

a

v

i

o

r

s

.

 

T

o

 

d

o

 

s

o

,

 

u

s

e

 

`

a

c

c

e

l

e

r

a

t

e

.

c

o

m

m

a

n

d

s

.

l

a

u

n

c

h

`

 

i

n

s

t

e

a

d

 

o

f

 

`

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

`

:







`

`

`

b

a

s

h




p

y

t

h

o

n

 

-

m

 

a

c

c

e

l

e

r

a

t

e

.

c

o

m

m

a

n

d

s

.

l

a

u

n

c

h

 

-

-

n

u

m

_

p

r

o

c

e

s

s

e

s

=

2

 

{

s

c

r

i

p

t

_

n

a

m

e

.

p

y

}

 

{

-

-

a

r

g

1

}

 

{

-

-

a

r

g

2

}




`

`

`







I

f

 

y

o

u

 

w

a

n

t

 

t

o

 

e

x

e

c

u

t

e

 

t

h

e

 

s

c

r

i

p

t

 

w

i

t

h

 

a

n

y

 

o

t

h

e

r

 

p

y

t

h

o

n

 

f

l

a

g

s

,

 

y

o

u

 

c

a

n

 

p

a

s

s

 

t

h

e

m

 

i

n

 

a

s

 

w

e

l

l

 

s

i

m

i

l

a

r

 

t

o

 

`

-

m

`

,

 

s

u

c

h

 

a

s

 




t

h

e

 

b

e

l

o

w

 

e

x

a

m

p

l

e

 

e

n

a

b

l

i

n

g

 

u

n

b

u

f

f

e

r

e

d

 

s

t

d

o

u

t

 

a

n

d

 

s

t

d

e

r

r

:







`

`

`

b

a

s

h




p

y

t

h

o

n

 

-

u

 

-

m

 

a

c

c

e

l

e

r

a

t

e

.

c

o

m

m

a

n

d

s

.

l

a

u

n

c

h

 

-

-

n

u

m

_

p

r

o

c

e

s

s

e

s

=

2

 

{

s

c

r

i

p

t

_

n

a

m

e

.

p

y

}

 

{

-

-

a

r

g

1

}

 

{

-

-

a

r

g

2

}




`

`

`







<

T

i

p

>







 

 

Y

o

u

 

c

a

n

 

r

u

n

 

y

o

u

r

 

c

o

d

e

 

o

n

 

C

P

U

 

a

s

 

w

e

l

l

!

 

T

h

i

s

 

i

s

 

h

e

l

p

f

u

l

 

f

o

r

 

d

e

b

u

g

g

i

n

g

 

a

n

d

 

t

e

s

t

i

n

g

 

p

u

r

p

o

s

e

s

 

o

n

 

t

o

y

 

m

o

d

e

l

s

 

a

n

d

 

d

a

t

a

s

e

t

s

.

 







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

-

-

c

p

u

 

{

s

c

r

i

p

t

_

n

a

m

e

.

p

y

}

 

{

-

-

a

r

g

1

}

 

{

-

-

a

r

g

2

}




`

`

`

 

 







<

/

T

i

p

>







#

#

 

W

h

y

 

y

o

u

 

s

h

o

u

l

d

 

a

l

w

a

y

s

 

u

s

e

 

`

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

`







W

h

y

 

i

s

 

i

t

 

u

s

e

f

u

l

 

t

o

 

t

h

e

 

p

o

i

n

t

 

y

o

u

 

s

h

o

u

l

d

 

*

*

a

l

w

a

y

s

*

*

 

r

u

n

 

`

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

`

?

 







R

e

m

e

m

b

e

r

 

t

h

a

t

 

e

a

r

l

i

e

r

 

c

a

l

l

 

t

o

 

`

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

`

 

a

s

 

w

e

l

l

 

a

s

 

`

t

o

r

c

h

r

u

n

`

?




P

o

s

t

 

c

o

n

f

i

g

u

r

a

t

i

o

n

,

 

t

o

 

r

u

n

 

t

h

a

t

 

s

c

r

i

p

t

 

w

i

t

h

 

t

h

e

 

n

e

e

d

e

d

 

p

a

r

t

s

 

y

o

u

 

j

u

s

t

 

n

e

e

d

 

t

o

 

u

s

e

 

`

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

`

 

o

u

t

r

i

g

h

t

,

 

w

i

t

h

o

u

t

 

p

a

s

s

i

n

g

 

a

n

y

t

h

i

n

g

 

e

l

s

e

 

i

n

:







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

{

s

c

r

i

p

t

_

n

a

m

e

.

p

y

}

 

{

-

-

a

r

g

1

}

 

{

-

-

a

r

g

2

}

 

.

.

.




`

`

`










#

#

 

C

u

s

t

o

m

 

C

o

n

f

i

g

u

r

a

t

i

o

n

s







A

s

 

b

r

i

e

f

l

y

 

m

e

n

t

i

o

n

e

d

 

e

a

r

l

i

e

r

,

 

`

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

`

 

s

h

o

u

l

d

 

b

e

 

m

o

s

t

l

y

 

u

s

e

d

 

t

h

r

o

u

g

h

 

c

o

m

b

i

n

i

n

g

 

s

e

t

 

c

o

n

f

i

g

u

r

a

t

i

o

n

s

 




m

a

d

e

 

w

i

t

h

 

t

h

e

 

`

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

`

 

c

o

m

m

a

n

d

.

 

T

h

e

s

e

 

c

o

n

f

i

g

s

 

a

r

e

 

s

a

v

e

d

 

t

o

 

a

 

`

d

e

f

a

u

l

t

_

c

o

n

f

i

g

.

y

a

m

l

`

 

f

i

l

e

 

i

n

 

y

o

u

r

 

c

a

c

h

e

 

f

o

l

d

e

r

 

f

o

r

 

A

c

c

e

l

e

r

a

t

e

.

 




T

h

i

s

 

c

a

c

h

e

 

f

o

l

d

e

r

 

i

s

 

l

o

c

a

t

e

d

 

a

t

 

(

w

i

t

h

 

d

e

c

r

e

a

s

i

n

g

 

o

r

d

e

r

 

o

f

 

p

r

i

o

r

i

t

y

)

:







-

 

T

h

e

 

c

o

n

t

e

n

t

 

o

f

 

y

o

u

r

 

e

n

v

i

r

o

n

m

e

n

t

 

v

a

r

i

a

b

l

e

 

`

H

F

_

H

O

M

E

`

 

s

u

f

f

i

x

e

d

 

w

i

t

h

 

`

a

c

c

e

l

e

r

a

t

e

`

.




-

 

I

f

 

i

t

 

d

o

e

s

 

n

o

t

 

e

x

i

s

t

,

 

t

h

e

 

c

o

n

t

e

n

t

 

o

f

 

y

o

u

r

 

e

n

v

i

r

o

n

m

e

n

t

 

v

a

r

i

a

b

l

e

 

`

X

D

G

_

C

A

C

H

E

_

H

O

M

E

`

 

s

u

f

f

i

x

e

d

 

w

i

t

h




 

 

`

h

u

g

g

i

n

g

f

a

c

e

/

a

c

c

e

l

e

r

a

t

e

`

.




-

 

I

f

 

t

h

i

s

 

d

o

e

s

 

n

o

t

 

e

x

i

s

t

 

e

i

t

h

e

r

,

 

t

h

e

 

f

o

l

d

e

r

 

`

~

/

.

c

a

c

h

e

/

h

u

g

g

i

n

g

f

a

c

e

/

a

c

c

e

l

e

r

a

t

e

`

.







T

o

 

h

a

v

e

 

m

u

l

t

i

p

l

e

 

c

o

n

f

i

g

u

r

a

t

i

o

n

s

,

 

t

h

e

 

f

l

a

g

 

`

-

-

c

o

n

f

i

g

_

f

i

l

e

`

 

c

a

n

 

b

e

 

p

a

s

s

e

d

 

t

o

 

t

h

e

 

`

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

`

 

c

o

m

m

a

n

d

 

p

a

i

r

e

d

 




w

i

t

h

 

t

h

e

 

l

o

c

a

t

i

o

n

 

o

f

 

t

h

e

 

c

u

s

t

o

m

 

y

a

m

l

.

 







A

n

 

e

x

a

m

p

l

e

 

y

a

m

l

 

m

a

y

 

l

o

o

k

 

s

o

m

e

t

h

i

n

g

 

l

i

k

e

 

t

h

e

 

f

o

l

l

o

w

i

n

g

 

f

o

r

 

t

w

o

 

G

P

U

s

 

o

n

 

a

 

s

i

n

g

l

e

 

m

a

c

h

i

n

e

 

u

s

i

n

g

 

`

f

p

1

6

`

 

f

o

r

 

m

i

x

e

d

 

p

r

e

c

i

s

i

o

n

:




`

`

`

y

a

m

l




c

o

m

p

u

t

e

_

e

n

v

i

r

o

n

m

e

n

t

:

 

L

O

C

A

L

_

M

A

C

H

I

N

E




d

e

e

p

s

p

e

e

d

_

c

o

n

f

i

g

:

 

{

}




d

i

s

t

r

i

b

u

t

e

d

_

t

y

p

e

:

 

M

U

L

T

I

_

G

P

U




f

s

d

p

_

c

o

n

f

i

g

:

 

{

}




m

a

c

h

i

n

e

_

r

a

n

k

:

 

0




m

a

i

n

_

p

r

o

c

e

s

s

_

i

p

:

 

n

u

l

l




m

a

i

n

_

p

r

o

c

e

s

s

_

p

o

r

t

:

 

n

u

l

l




m

a

i

n

_

t

r

a

i

n

i

n

g

_

f

u

n

c

t

i

o

n

:

 

m

a

i

n




m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

:

 

f

p

1

6




n

u

m

_

m

a

c

h

i

n

e

s

:

 

1




n

u

m

_

p

r

o

c

e

s

s

e

s

:

 

2




u

s

e

_

c

p

u

:

 

f

a

l

s

e




`

`

`







L

a

u

n

c

h

i

n

g

 

a

 

s

c

r

i

p

t

 

f

r

o

m

 

t

h

e

 

l

o

c

a

t

i

o

n

 

o

f

 

t

h

a

t

 

c

u

s

t

o

m

 

y

a

m

l

 

f

i

l

e

 

l

o

o

k

s

 

l

i

k

e

 

t

h

e

 

f

o

l

l

o

w

i

n

g

:




`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

-

-

c

o

n

f

i

g

_

f

i

l

e

 

{

p

a

t

h

/

t

o

/

c

o

n

f

i

g

/

m

y

_

c

o

n

f

i

g

_

f

i

l

e

.

y

a

m

l

}

 

{

s

c

r

i

p

t

_

n

a

m

e

.

p

y

}

 

{

-

-

a

r

g

1

}

 

{

-

-

a

r

g

2

}

 

.

.

.




`

`

`







#

#

 

M

u

l

t

i

-

n

o

d

e

 

t

r

a

i

n

i

n

g




M

u

l

t

i

-

n

o

d

e

 

t

r

a

i

n

i

n

g

 

w

i

t

h

 

A

c

c

e

l

e

r

a

t

e

 

i

s

 

s

i

m

i

l

a

r

 

t

o

 

[

m

u

l

t

i

-

n

o

d

e

 

t

r

a

i

n

i

n

g

 

w

i

t

h

 

t

o

r

c

h

r

u

n

]

(

h

t

t

p

s

:

/

/

p

y

t

o

r

c

h

.

o

r

g

/

t

u

t

o

r

i

a

l

s

/

i

n

t

e

r

m

e

d

i

a

t

e

/

d

d

p

_

s

e

r

i

e

s

_

m

u

l

t

i

n

o

d

e

.

h

t

m

l

)

.

 

T

h

e

 

s

i

m

p

l

e

s

t

 

w

a

y

 

t

o

 

l

a

u

n

c

h

 

a

 

m

u

l

t

i

-

n

o

d

e

 

t

r

a

i

n

i

n

g

 

r

u

n

 

i

s

 

t

o

 

d

o

 

t

h

e

 

f

o

l

l

o

w

i

n

g

:







-

 

C

o

p

y

 

y

o

u

r

 

c

o

d

e

b

a

s

e

 

a

n

d

 

d

a

t

a

 

t

o

 

a

l

l

 

n

o

d

e

s

.

 

(

o

r

 

p

l

a

c

e

 

t

h

e

m

 

o

n

 

a

 

s

h

a

r

e

d

 

f

i

l

e

s

y

s

t

e

m

)




-

 

S

e

t

u

p

 

y

o

u

r

 

p

y

t

h

o

n

 

p

a

c

k

a

g

e

s

 

o

n

 

a

l

l

 

n

o

d

e

s

.




-

 

R

u

n

 

`

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

`

 

o

n

 

t

h

e

 

m

a

i

n

 

s

i

n

g

l

e

 

n

o

d

e

 

f

i

r

s

t

.

 

A

f

t

e

r

 

s

p

e

c

i

f

y

i

n

g

 

t

h

e

 

n

u

m

b

e

r

 

o

f

 

n

o

d

e

s

,

 

y

o

u

 

w

i

l

l

 

b

e

 

a

s

k

e

d

 

t

o

 

s

p

e

c

i

f

y

 

t

h

e

 

r

a

n

k

 

o

f

 

e

a

c

h

 

n

o

d

e

 

(

t

h

i

s

 

w

i

l

l

 

b

e

 

0

 

f

o

r

 

t

h

e

 

m

a

i

n

/

m

a

s

t

e

r

 

n

o

d

e

)

,

 

a

l

o

n

g

 

w

i

t

h

 

t

h

e

 

I

P

 

a

d

d

r

e

s

s

 

a

n

d

 

p

o

r

t

 

f

o

r

 

t

h

e

 

m

a

i

n

 

p

r

o

c

e

s

s

.

 

T

h

i

s

 

i

s

 

r

e

q

u

i

r

e

d

 

f

o

r

 

t

h

e

 

w

o

r

k

e

r

 

n

o

d

e

s

 

t

o

 

c

o

m

m

u

n

i

c

a

t

e

 

w

i

t

h

 

t

h

e

 

m

a

i

n

 

p

r

o

c

e

s

s

.

 

A

f

t

e

r

w

a

r

d

s

,

 

y

o

u

 

c

a

n

 

c

o

p

y

 

o

r

 

s

e

n

d

 

t

h

i

s

 

c

o

n

f

i

g

 

f

i

l

e

 

a

c

r

o

s

s

 

a

l

l

 

o

f

 

y

o

u

r

 

n

o

d

e

s

,

 

c

h

a

n

g

i

n

g

 

t

h

e

 

`

m

a

c

h

i

n

e

_

r

a

n

k

`

 

t

o

 

1

,

 

2

,

3

,

 

e

t

c

.

 

t

o

 

a

v

o

i

d

 

h

a

v

i

n

g

 

t

o

 

r

u

n

 

t

h

e

 

c

o

m

m

a

n

d

 

(

o

r

 

j

u

s

t

 

f

o

l

l

o

w

 

t

h

e

i

r

 

d

i

r

e

c

t

i

o

n

s

 

d

i

r

e

c

t

l

y

 

f

o

r

 

l

a

u

n

c

h

i

n

g

 

w

i

t

h

 

`

t

o

r

c

h

r

u

n

`

 

a

s

 

w

e

l

l

)







O

n

c

e

 

y

o

u

 

h

a

v

e

 

d

o

n

e

 

t

h

i

s

,

 

y

o

u

 

c

a

n

 

s

t

a

r

t

 

y

o

u

r

 

m

u

l

t

i

-

n

o

d

e

 

t

r

a

i

n

i

n

g

 

r

u

n

 

b

y

 

r

u

n

n

i

n

g

 

`

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

`

 

(

o

r

 

`

t

o

r

c

h

r

u

n

`

)

 

o

n

 

a

l

l

 

n

o

d

e

s

.







<

T

i

p

>




 

 

 

 

I

t

 

i

s

 

r

e

q

u

i

r

e

d

 

t

h

a

t

 

t

h

e

 

c

o

m

m

a

n

d

 

b

e

 

r

a

n

 

o

n

 

a

l

l

 

n

o

d

e

s

 

f

o

r

 

e

v

e

r

y

t

h

i

n

g

 

t

o

 

s

t

a

r

t

,

 

n

o

t

 

j

u

s

t

 

r

u

n

n

i

n

g

 

i

t

 

f

r

o

m

 

t

h

e

 

m

a

i

n

 

n

o

d

e

.

 

Y

o

u

 

c

a

n

 

u

s

e

 

s

o

m

e

t

h

i

n

g

 

l

i

k

e

 

S

L

U

R

M

 

o

r

 

a

 

d

i

f

f

e

r

e

n

t

 

p

r

o

c

e

s

s

 

e

x

e

c

u

t

o

r

 

t

o

 

w

r

a

p

 

a

r

o

u

n

d

 

t

h

i

s

 

r

e

q

u

i

r

e

m

e

n

t

 

a

n

d

 

c

a

l

l

 

e

v

e

r

y

t

h

i

n

g

 

f

r

o

m

 

a

 

s

i

n

g

l

e

 

c

o

m

m

a

n

d

.




<

/

T

i

p

>







<

T

i

p

>







 

I

t

 

i

s

 

r

e

c

o

m

m

e

n

d

e

d

 

t

o

 

u

s

e

 

t

h

e

 

i

n

t

r

a

n

e

t

 

I

P

 

o

f

 

y

o

u

r

 

m

a

i

n

 

n

o

d

e

 

o

v

e

r

 

t

h

e

 

p

u

b

l

i

c

 

I

P

 

f

o

r

 

b

e

t

t

e

r

 

l

a

t

e

n

c

y

.

 

T

h

i

s

 

i

s

 

t

h

e

 

`

1

9

2

.

1

6

8

.

x

.

x

`

 

o

r

 

t

h

e

 

`

1

7

2

.

x

.

x

.

x

`

 

a

d

d

r

e

s

s

 

y

o

u

 

s

e

e

 

w

h

e

n

 

y

o

u

 

r

u

n

 

`

h

o

s

t

n

a

m

e

 

-

I

`

 

o

n

 

t

h

e

 

m

a

i

n

 

n

o

d

e

.







<

/

T

i

p

>







T

o

 

g

e

t

 

a

 

b

e

t

t

e

r

 

i

d

e

a

 

a

b

o

u

t

 

m

u

l

t

i

-

n

o

d

e

 

t

r

a

i

n

i

n

g

,

 

c

h

e

c

k

 

o

u

t

 

o

u

r

 

e

x

a

m

p

l

e

 

f

o

r

 

[

m

u

l

t

i

-

n

o

d

e

 

t

r

a

i

n

i

n

g

 

w

i

t

h

 

F

S

D

P

]

(

h

t

t

p

s

:

/

/

h

u

g

g

i

n

g

f

a

c

e

.

c

o

/

b

l

o

g

/

r

a

m

-

e

f

f

i

c

i

e

n

t

-

p

y

t

o

r

c

h

-

f

s

d

p

)

.







#

 

E

x

e

c

u

t

i

o

n

 

p

r

o

c

e

s

s







W

h

e

n

 

w

o

r

k

i

n

g

 

w

i

t

h

 

d

i

s

t

r

i

b

u

t

e

d

 

t

r

a

i

n

i

n

g

 

s

y

s

t

e

m

s

,

 

i

t

 

i

s

 

i

m

p

o

r

t

a

n

t

 

t

o

 

m

a

n

a

g

e

 

h

o

w

 

a

n

d

 

w

h

e

n

 

p

r

o

c

e

s

s

e

s

 

a

r

e

 

e

x

e

c

u

t

e

d

 

a

c

r

o

s

s

 

G

P

U

s

.

 

S

o

m

e

 

p

r

o

c

e

s

s

e

s

 

a

r

e

 

c

o

m

p

l

e

t

e

d

 

f

a

s

t

e

r

 

t

h

a

n

 

o

t

h

e

r

s

,

 

a

n

d

 

s

o

m

e

 

p

r

o

c

e

s

s

e

s

 

s

h

o

u

l

d

n

'

t

 

b

e

g

i

n

 

i

f

 

o

t

h

e

r

s

 

h

a

v

e

n

'

t

 

f

i

n

i

s

h

e

d

 

y

e

t

.

 

A

c

c

e

l

e

r

a

t

e

 

p

r

o

v

i

d

e

s

 

t

o

o

l

s

 

f

o

r

 

o

r

c

h

e

s

t

r

a

t

i

n

g

 

w

h

e

n

 

p

r

o

c

e

s

s

e

s

 

a

r

e

 

e

x

e

c

u

t

e

d

 

t

o

 

e

n

s

u

r

e

 

e

v

e

r

y

t

h

i

n

g

 

r

e

m

a

i

n

s

 

s

y

n

c

h

r

o

n

i

z

e

d

 

a

c

r

o

s

s

 

a

l

l

 

d

e

v

i

c

e

s

.







T

h

i

s

 

t

u

t

o

r

i

a

l

 

w

i

l

l

 

t

e

a

c

h

 

y

o

u

 

h

o

w

 

t

o

 

e

x

e

c

u

t

e

 

a

 

p

r

o

c

e

s

s

 

o

n

 

o

n

l

y

 

o

n

e

 

m

a

c

h

i

n

e

 

a

n

d

 

h

o

w

 

t

o

 

d

e

l

a

y

 

e

x

e

c

u

t

i

o

n

 

u

n

t

i

l

 

a

l

l

 

p

r

o

c

e

s

s

e

s

 

h

a

v

e

 

r

e

a

c

h

e

d

 

a

 

c

e

r

t

a

i

n

 

p

o

i

n

t

.







#

#

 

E

x

e

c

u

t

e

 

o

n

 

o

n

e

 

p

r

o

c

e

s

s







C

e

r

t

a

i

n

 

c

o

d

e

 

o

n

l

y

 

n

e

e

d

s

 

t

o

 

b

e

 

r

u

n

 

o

n

c

e

 

o

n

 

a

 

g

i

v

e

n

 

m

a

c

h

i

n

e

,

 

s

u

c

h

 

a

s

 

p

r

i

n

t

i

n

g

 

a

 

l

o

g

 

s

t

a

t

e

m

e

n

t

 

o

r

 

o

n

l

y

 

d

i

s

p

l

a

y

i

n

g

 

o

n

e

 

p

r

o

g

r

e

s

s

 

b

a

r

 

o

n

 

t

h

e

 

l

o

c

a

l

 

m

a

i

n

 

p

r

o

c

e

s

s

.







<

h

f

o

p

t

i

o

n

s

 

i

d

=

"

l

o

c

a

l

-

e

x

e

c

u

t

i

o

n

"

>




<

h

f

o

p

t

i

o

n

 

i

d

=

"

s

t

a

t

e

m

e

n

t

s

"

>







Y

o

u

 

s

h

o

u

l

d

 

u

s

e

 

`

a

c

c

e

l

e

r

a

t

o

r

.

i

s

_

l

o

c

a

l

_

m

a

i

n

_

p

r

o

c

e

s

s

`

 

t

o

 

i

n

d

i

c

a

t

e

 

c

o

d

e

 

t

h

a

t

 

s

h

o

u

l

d

 

o

n

l

y

 

b

e

 

e

x

e

c

u

t

e

d

 

o

n

c

e

.







`

`

`

p

y




f

r

o

m

 

t

q

d

m

.

a

u

t

o

 

i

m

p

o

r

t

 

t

q

d

m







p

r

o

g

r

e

s

s

_

b

a

r

 

=

 

t

q

d

m

(

r

a

n

g

e

(

a

r

g

s

.

m

a

x

_

t

r

a

i

n

_

s

t

e

p

s

)

,

 

d

i

s

a

b

l

e

=

n

o

t

 

a

c

c

e

l

e

r

a

t

o

r

.

i

s

_

l

o

c

a

l

_

m

a

i

n

_

p

r

o

c

e

s

s

)




`

`

`







Y

o

u

 

c

o

u

l

d

 

a

l

s

o

 

w

r

a

p

 

a

 

s

t

a

t

e

m

e

n

t

 

w

i

t

h

 

`

a

c

c

e

l

e

r

a

t

o

r

.

i

s

_

l

o

c

a

l

_

m

a

i

n

_

p

r

o

c

e

s

s

`

.







>

 

[

!

T

I

P

]




>

 

F

o

r

 

s

t

a

n

d

a

l

o

n

e

 

`

p

r

i

n

t

`

 

s

t

a

t

e

m

e

n

t

s

 

t

h

a

t

 

a

r

e

n

'

t

 

w

r

a

p

p

e

d

 

i

n

 

`

a

c

c

e

l

e

r

a

t

o

r

.

i

s

_

l

o

c

a

l

_

m

a

i

n

_

p

r

o

c

e

s

s

`

,

 

r

e

p

l

a

c

e

 

`

p

r

i

n

t

`

 

w

i

t

h

 

A

c

c

e

l

e

r

a

t

e

'

s

 

`

p

r

i

n

t

(

)

`

 

m

e

t

h

o

d

 

t

o

 

o

n

l

y

 

p

r

i

n

t

 

o

n

c

e

 

p

e

r

 

p

r

o

c

e

s

s

.







`

`

`

p

y




i

f

 

a

c

c

e

l

e

r

a

t

o

r

.

i

s

_

l

o

c

a

l

_

m

a

i

n

_

p

r

o

c

e

s

s

:




 

 

 

 

p

r

i

n

t

(

"

A

c

c

e

l

e

r

a

t

e

 

i

s

 

t

h

e

 

b

e

s

t

"

)




`

`

`







<

/

h

f

o

p

t

i

o

n

>




<

h

f

o

p

t

i

o

n

 

i

d

=

"

f

u

n

c

t

i

o

n

"

>







F

o

r

 

a

 

f

u

n

c

t

i

o

n

 

t

h

a

t

 

s

h

o

u

l

d

 

o

n

l

y

 

b

e

 

e

x

e

c

u

t

e

d

 

o

n

c

e

,

 

u

s

e

 

`

o

n

_

l

o

c

a

l

_

m

a

i

n

_

p

r

o

c

e

s

s

(

)

`

.







`

`

`

p

y




@

a

c

c

e

l

e

r

a

t

o

r

.

o

n

_

l

o

c

a

l

_

m

a

i

n

_

p

r

o

c

e

s

s




d

e

f

 

d

o

_

m

y

_

t

h

i

n

g

(

)

:




 

 

 

 

"

S

o

m

e

t

h

i

n

g

 

d

o

n

e

 

o

n

c

e

 

p

e

r

 

s

e

r

v

e

r

"




 

 

 

 

d

o

_

t

h

i

n

g

_

o

n

c

e

_

p

e

r

_

s

e

r

v

e

r

(

)




`

`

`







<

/

h

f

o

p

t

i

o

n

>




<

/

h

f

o

p

t

i

o

n

s

>







Y

o

u

 

c

o

u

l

d

 

a

l

s

o

 

d

i

r

e

c

t

 

A

c

c

e

l

e

r

a

t

e

 

t

o

 

e

x

e

c

u

t

e

 

c

o

d

e

 

o

n

c

e

 

a

c

r

o

s

s

 

*

a

l

l

 

p

r

o

c

e

s

s

e

s

*

 

r

e

g

a

r

d

l

e

s

s

 

o

f

 

t

h

e

 

n

u

m

b

e

r

 

o

f

 

m

a

c

h

i

n

e

s

.

 

T

h

i

s

 

i

s

 

u

s

e

f

u

l

 

i

f

 

y

o

u

'

r

e

 

u

p

l

o

a

d

i

n

g

 

a

 

f

i

n

a

l

 

m

o

d

e

l

 

t

o

 

t

h

e

 

H

u

b

.







<

h

f

o

p

t

i

o

n

s

 

i

d

=

"

m

a

i

n

-

e

x

e

c

u

t

i

o

n

"

>




<

h

f

o

p

t

i

o

n

 

i

d

=

"

s

t

a

t

e

m

e

n

t

"

>







Y

o

u

 

s

h

o

u

l

d

 

u

s

e

 

`

a

c

c

e

l

e

r

a

t

o

r

.

i

s

_

m

a

i

n

_

p

r

o

c

e

s

s

`

 

t

o

 

i

n

d

i

c

a

t

e

 

c

o

d

e

 

t

h

a

t

 

s

h

o

u

l

d

 

o

n

l

y

 

b

e

 

e

x

e

c

u

t

e

d

 

o

n

c

e

 

a

c

r

o

s

s

 

a

l

l

 

p

r

o

c

e

s

s

e

s

.







`

`

`

p

y




i

f

 

a

c

c

e

l

e

r

a

t

o

r

.

i

s

_

m

a

i

n

_

p

r

o

c

e

s

s

:




 

 

 

 

r

e

p

o

.

p

u

s

h

_

t

o

_

h

u

b

(

)




`

`

`







<

/

h

f

o

p

t

i

o

n

>




<

h

f

o

p

t

i

o

n

 

i

d

=

"

f

u

n

c

t

i

o

n

"

>







F

o

r

 

a

 

f

u

n

c

t

i

o

n

 

t

h

a

t

 

s

h

o

u

l

d

 

o

n

l

y

 

b

e

 

e

x

e

c

u

t

e

d

 

o

n

c

e

 

a

c

r

o

s

s

 

a

l

l

 

p

r

o

c

e

s

s

e

s

,

 

u

s

e

 

`

o

n

_

m

a

i

n

_

p

r

o

c

e

s

s

(

)

`

.







`

`

`

p

y




@

a

c

c

e

l

e

r

a

t

o

r

.

o

n

_

m

a

i

n

_

p

r

o

c

e

s

s




d

e

f

 

d

o

_

m

y

_

t

h

i

n

g

(

)

:




 

 

 

 

"

S

o

m

e

t

h

i

n

g

 

d

o

n

e

 

o

n

c

e

 

p

e

r

 

s

e

r

v

e

r

"




 

 

 

 

d

o

_

t

h

i

n

g

_

o

n

c

e

(

)




`

`

`







<

/

h

f

o

p

t

i

o

n

>




<

/

h

f

o

p

t

i

o

n

s

>







#

#

 

E

x

e

c

u

t

e

 

o

n

 

a

 

s

p

e

c

i

f

i

c

 

p

r

o

c

e

s

s







A

c

c

e

l

e

r

a

t

e

 

c

a

n

 

a

l

s

o

 

h

e

l

p

 

y

o

u

 

e

x

e

c

u

t

e

 

f

u

n

c

t

i

o

n

s

 

t

h

a

t

 

s

h

o

u

l

d

 

o

n

l

y

 

b

e

 

e

x

e

c

u

t

e

d

 

o

n

 

a

 

s

p

e

c

i

f

i

c

 

p

r

o

c

e

s

s

 

o

r

 

a

 

l

o

c

a

l

 

p

r

o

c

e

s

s

 

i

n

d

e

x

.







<

h

f

o

p

t

i

o

n

s

 

i

d

=

"

s

p

e

c

i

f

i

c

-

e

x

e

c

u

t

i

o

n

"

>




<

h

f

o

p

t

i

o

n

 

i

d

=

"

s

p

e

c

i

f

i

c

 

p

r

o

c

e

s

s

"

>







U

s

e

 

t

h

e

 

`

o

n

_

p

r

o

c

e

s

s

(

)

`

 

m

e

t

h

o

d

 

a

n

d

 

s

p

e

c

i

f

y

 

t

h

e

 

p

r

o

c

e

s

s

 

i

n

d

e

x

 

t

o

 

e

x

e

c

u

t

e

 

a

 

f

u

n

c

t

i

o

n

 

o

n

.







`

`

`

p

y




@

a

c

c

e

l

e

r

a

t

o

r

.

o

n

_

p

r

o

c

e

s

s

(

p

r

o

c

e

s

s

_

i

n

d

e

x

=

0

)




d

e

f

 

d

o

_

m

y

_

t

h

i

n

g

(

)

:




 

 

 

 

"

S

o

m

e

t

h

i

n

g

 

d

o

n

e

 

o

n

 

p

r

o

c

e

s

s

 

i

n

d

e

x

 

0

"




 

 

 

 

d

o

_

t

h

i

n

g

_

o

n

_

i

n

d

e

x

_

z

e

r

o

(

)




`

`

`







<

/

h

f

o

p

t

i

o

n

>




<

h

f

o

p

t

i

o

n

 

i

d

=

"

l

o

c

a

l

 

p

r

o

c

e

s

s

"

>







U

s

e

 

t

h

e

 

`

o

n

_

l

o

c

a

l

_

p

r

o

c

e

s

s

(

)

`

 

m

e

t

h

o

d

 

a

n

d

 

s

p

e

c

i

f

y

 

t

h

e

 

l

o

c

a

l

 

p

r

o

c

e

s

s

 

i

n

d

e

x

 

t

o

 

e

x

e

c

u

t

e

 

a

 

f

u

n

c

t

i

o

n

 

o

n

.







`

`

`

p

y




@

a

c

c

e

l

e

r

a

t

o

r

.

o

n

_

l

o

c

a

l

_

p

r

o

c

e

s

s

(

l

o

c

a

l

_

p

r

o

c

e

s

s

_

i

d

x

=

0

)




d

e

f

 

d

o

_

m

y

_

t

h

i

n

g

(

)

:




 

 

 

 

"

S

o

m

e

t

h

i

n

g

 

d

o

n

e

 

o

n

 

p

r

o

c

e

s

s

 

i

n

d

e

x

 

0

 

o

n

 

e

a

c

h

 

s

e

r

v

e

r

"




 

 

 

 

d

o

_

t

h

i

n

g

_

o

n

_

i

n

d

e

x

_

z

e

r

o

_

o

n

_

e

a

c

h

_

s

e

r

v

e

r

(

)




`

`

`







<

/

h

f

o

p

t

i

o

n

>




<

/

h

f

o

p

t

i

o

n

s

>







#

#

 

D

e

f

e

r

 

e

x

e

c

u

t

i

o

n







W

h

e

n

 

y

o

u

 

r

u

n

 

y

o

u

r

 

s

c

r

i

p

t

 

o

n

 

s

e

v

e

r

a

l

 

G

P

U

s

 

a

t

 

t

h

e

 

s

a

m

e

 

t

i

m

e

,

 

s

o

m

e

 

c

o

d

e

 

m

a

y

 

b

e

 

e

x

e

c

u

t

e

d

 

f

a

s

t

e

r

 

t

h

a

n

 

o

t

h

e

r

s

.

 

Y

o

u

 

m

i

g

h

t

 

n

e

e

d

 

t

o

 

w

a

i

t

 

f

o

r

 

a

l

l

 

p

r

o

c

e

s

s

e

s

 

t

o

 

r

e

a

c

h

 

a

 

c

e

r

t

a

i

n

 

p

o

i

n

t

 

b

e

f

o

r

e

 

e

x

e

c

u

t

i

n

g

 

t

h

e

 

n

e

x

t

 

s

e

t

 

o

f

 

i

n

s

t

r

u

c

t

i

o

n

s

.

 

F

o

r

 

i

n

s

t

a

n

c

e

,

 

y

o

u

 

s

h

o

u

l

d

n

’

t

 

s

a

v

e

 

a

 

m

o

d

e

l

 

b

e

f

o

r

e

 

m

a

k

i

n

g

 

s

u

r

e

 

e

v

e

r

y

 

p

r

o

c

e

s

s

 

i

s

 

d

o

n

e

 

w

i

t

h

 

t

r

a

i

n

i

n

g

.







T

o

 

d

o

 

t

h

i

s

,

 

a

d

d

 

`

w

a

i

t

_

f

o

r

_

e

v

e

r

y

o

n

e

(

)

`

 

i

n

 

y

o

u

r

 

c

o

d

e

.

 

T

h

i

s

 

b

l

o

c

k

s

 

a

l

l

 

p

r

o

c

e

s

s

e

s

 

t

h

a

t

 

h

a

v

e

 

f

i

n

i

s

h

e

d

 

f

i

r

s

t

 

f

r

o

m

 

c

o

n

t

i

n

u

i

n

g

 

u

n

t

i

l

 

a

l

l

 

r

e

m

a

i

n

i

n

g

 

p

r

o

c

e

s

s

e

s

 

h

a

v

e

 

r

e

a

c

h

e

d

 

t

h

e

 

s

a

m

e

 

p

o

i

n

t

 

(

t

h

i

s

 

h

a

s

 

n

o

 

e

f

f

e

c

t

 

i

f

 

y

o

u

'

r

e

 

r

u

n

n

i

n

g

 

o

n

 

a

 

s

i

n

g

l

e

 

G

P

U

 

o

r

 

C

P

U

)

.







`

`

`

p

y




a

c

c

e

l

e

r

a

t

o

r

.

w

a

i

t

_

f

o

r

_

e

v

e

r

y

o

n

e

(

)




`

`

`







#

 

L

a

u

n

c

h

i

n

g

 

d

i

s

t

r

i

b

u

t

e

d

 

t

r

a

i

n

i

n

g

 

f

r

o

m

 

J

u

p

y

t

e

r

 

N

o

t

e

b

o

o

k

s







T

h

i

s

 

t

u

t

o

r

i

a

l

 

t

e

a

c

h

e

s

 

y

o

u

 

h

o

w

 

t

o

 

f

i

n

e

 

t

u

n

e

 

a

 

c

o

m

p

u

t

e

r

 

v

i

s

i

o

n

 

m

o

d

e

l

 

w

i

t

h

 

🤗

 

A

c

c

e

l

e

r

a

t

e

 

f

r

o

m

 

a

 

J

u

p

y

t

e

r

 

N

o

t

e

b

o

o

k

 

o

n

 

a

 

d

i

s

t

r

i

b

u

t

e

d

 

s

y

s

t

e

m

.




Y

o

u

 

w

i

l

l

 

a

l

s

o

 

l

e

a

r

n

 

h

o

w

 

t

o

 

s

e

t

u

p

 

a

 

f

e

w

 

r

e

q

u

i

r

e

m

e

n

t

s

 

n

e

e

d

e

d

 

f

o

r

 

e

n

s

u

r

i

n

g

 

y

o

u

r

 

e

n

v

i

r

o

n

m

e

n

t

 

i

s

 

c

o

n

f

i

g

u

r

e

d

 

p

r

o

p

e

r

l

y

,

 

y

o

u

r

 

d

a

t

a

 

h

a

s

 

b

e

e

n

 

p

r

e

p

a

r

e

d

 

p

r

o

p

e

r

l

y

,

 

a

n

d

 

f

i

n

a

l

l

y

 

h

o

w

 

t

o

 

l

a

u

n

c

h

 

t

r

a

i

n

i

n

g

.







<

T

i

p

>







 

 

 

 

T

h

i

s

 

t

u

t

o

r

i

a

l

 

i

s

 

a

l

s

o

 

a

v

a

i

l

a

b

l

e

 

a

s

 

a

 

J

u

p

y

t

e

r

 

N

o

t

e

b

o

o

k

 

[

h

e

r

e

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

n

o

t

e

b

o

o

k

s

/

b

l

o

b

/

m

a

i

n

/

e

x

a

m

p

l

e

s

/

a

c

c

e

l

e

r

a

t

e

_

e

x

a

m

p

l

e

s

/

s

i

m

p

l

e

_

c

v

_

e

x

a

m

p

l

e

.

i

p

y

n

b

)







<

/

T

i

p

>







#

#

 

C

o

n

f

i

g

u

r

i

n

g

 

t

h

e

 

E

n

v

i

r

o

n

m

e

n

t







B

e

f

o

r

e

 

a

n

y

 

t

r

a

i

n

i

n

g

 

c

a

n

 

b

e

 

p

e

r

f

o

r

m

e

d

,

 

a

 

A

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

 

f

i

l

e

 

m

u

s

t

 

e

x

i

s

t

 

i

n

 

t

h

e

 

s

y

s

t

e

m

.

 

U

s

u

a

l

l

y

 

t

h

i

s

 

c

a

n

 

b

e

 

d

o

n

e

 

b

y

 

r

u

n

n

i

n

g

 

t

h

e

 

f

o

l

l

o

w

i

n

g

 

i

n

 

a

 

t

e

r

m

i

n

a

l

 

a

n

d

 

a

n

s

w

e

r

i

n

g

 

t

h

e

 

p

r

o

m

p

t

s

:







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g




`

`

`







H

o

w

e

v

e

r

,

 

i

f

 

g

e

n

e

r

a

l

 

d

e

f

a

u

l

t

s

 

a

r

e

 

f

i

n

e

 

a

n

d

 

y

o

u

 

a

r

e

 

*

n

o

t

*

 

r

u

n

n

i

n

g

 

o

n

 

a

 

T

P

U

,

 

A

c

c

e

l

e

r

a

t

e

 

h

a

s

 

a

 

u

t

i

l

i

t

y

 

t

o

 

q

u

i

c

k

l

y

 

w

r

i

t

e

 

y

o

u

r

 

G

P

U

 

c

o

n

f

i

g

u

r

a

t

i

o

n

 

i

n

t

o

 

a

 

c

o

n

f

i

g

 

f

i

l

e

 

v

i

a

 

`

u

t

i

l

s

.

w

r

i

t

e

_

b

a

s

i

c

_

c

o

n

f

i

g

(

)

`

.







T

h

e

 

f

o

l

l

o

w

i

n

g

 

c

o

d

e

 

w

i

l

l

 

r

e

s

t

a

r

t

 

J

u

p

y

t

e

r

 

a

f

t

e

r

 

w

r

i

t

i

n

g

 

t

h

e

 

c

o

n

f

i

g

u

r

a

t

i

o

n

,

 

a

s

 

C

U

D

A

 

c

o

d

e

 

w

a

s

 

c

a

l

l

e

d

 

t

o

 

p

e

r

f

o

r

m

 

t

h

i

s

.

 







<

T

i

p

 

w

a

r

n

i

n

g

=

{

t

r

u

e

}

>







 

 

 

 

C

U

D

A

 

c

a

n

'

t

 

b

e

 

i

n

i

t

i

a

l

i

z

e

d

 

m

o

r

e

 

t

h

a

n

 

o

n

c

e

 

o

n

 

a

 

m

u

l

t

i

-

G

P

U

 

s

y

s

t

e

m

.

 

I

t

'

s

 

f

i

n

e

 

t

o

 

d

e

b

u

g

 

i

n

 

t

h

e

 

n

o

t

e

b

o

o

k

 

a

n

d

 

h

a

v

e

 

c

a

l

l

s

 

t

o

 

C

U

D

A

,

 

b

u

t

 

i

n

 

o

r

d

e

r

 

t

o

 

f

i

n

a

l

l

y

 

t

r

a

i

n

 

a

 

f

u

l

l

 

c

l

e

a

n

u

p

 

a

n

d

 

r

e

s

t

a

r

t

 

w

i

l

l

 

n

e

e

d

 

t

o

 

b

e

 

p

e

r

f

o

r

m

e

d

.




 

 

 

 




<

/

T

i

p

>







`

`

`

p

y

t

h

o

n




i

m

p

o

r

t

 

o

s




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

.

u

t

i

l

s

 

i

m

p

o

r

t

 

w

r

i

t

e

_

b

a

s

i

c

_

c

o

n

f

i

g







w

r

i

t

e

_

b

a

s

i

c

_

c

o

n

f

i

g

(

)

 

 

#

 

W

r

i

t

e

 

a

 

c

o

n

f

i

g

 

f

i

l

e




o

s

.

_

e

x

i

t

(

0

0

)

 

 

#

 

R

e

s

t

a

r

t

 

t

h

e

 

n

o

t

e

b

o

o

k




`

`

`







#

#

 

P

r

e

p

a

r

i

n

g

 

t

h

e

 

D

a

t

a

s

e

t

 

a

n

d

 

M

o

d

e

l







N

e

x

t

 

y

o

u

 

s

h

o

u

l

d

 

p

r

e

p

a

r

e

 

y

o

u

r

 

d

a

t

a

s

e

t

.

 

A

s

 

m

e

n

t

i

o

n

e

d

 

a

t

 

e

a

r

l

i

e

r

,

 

g

r

e

a

t

 

c

a

r

e

 

s

h

o

u

l

d

 

b

e

 

t

a

k

e

n

 

w

h

e

n

 

p

r

e

p

a

r

i

n

g

 

t

h

e

 

`

D

a

t

a

L

o

a

d

e

r

s

`

 

a

n

d

 

m

o

d

e

l

 

t

o

 

m

a

k

e

 

s

u

r

e

 

t

h

a

t

 

*

*

n

o

t

h

i

n

g

*

*

 

i

s

 

p

u

t

 

o

n

 

*

a

n

y

*

 

G

P

U

.

 







I

f

 

y

o

u

 

d

o

,

 

i

t

 

i

s

 

r

e

c

o

m

m

e

n

d

e

d

 

t

o

 

p

u

t

 

t

h

a

t

 

s

p

e

c

i

f

i

c

 

c

o

d

e

 

i

n

t

o

 

a

 

f

u

n

c

t

i

o

n

 

a

n

d

 

c

a

l

l

 

t

h

a

t

 

f

r

o

m

 

w

i

t

h

i

n

 

t

h

e

 

n

o

t

e

b

o

o

k

 

l

a

u

n

c

h

e

r

 

i

n

t

e

r

f

a

c

e

,

 

w

h

i

c

h

 

w

i

l

l

 

b

e

 

s

h

o

w

n

 

l

a

t

e

r

.

 







M

a

k

e

 

s

u

r

e

 

t

h

e

 

d

a

t

a

s

e

t

 

i

s

 

d

o

w

n

l

o

a

d

e

d

 

b

a

s

e

d

 

o

n

 

t

h

e

 

d

i

r

e

c

t

i

o

n

s

 

[

h

e

r

e

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

a

c

c

e

l

e

r

a

t

e

/

t

r

e

e

/

m

a

i

n

/

e

x

a

m

p

l

e

s

#

s

i

m

p

l

e

-

v

i

s

i

o

n

-

e

x

a

m

p

l

e

)







`

`

`

p

y

t

h

o

n




i

m

p

o

r

t

 

o

s

,

 

r

e

,

 

t

o

r

c

h

,

 

P

I

L




i

m

p

o

r

t

 

n

u

m

p

y

 

a

s

 

n

p







f

r

o

m

 

t

o

r

c

h

.

o

p

t

i

m

.

l

r

_

s

c

h

e

d

u

l

e

r

 

i

m

p

o

r

t

 

O

n

e

C

y

c

l

e

L

R




f

r

o

m

 

t

o

r

c

h

.

u

t

i

l

s

.

d

a

t

a

 

i

m

p

o

r

t

 

D

a

t

a

L

o

a

d

e

r

,

 

D

a

t

a

s

e

t




f

r

o

m

 

t

o

r

c

h

v

i

s

i

o

n

.

t

r

a

n

s

f

o

r

m

s

 

i

m

p

o

r

t

 

C

o

m

p

o

s

e

,

 

R

a

n

d

o

m

R

e

s

i

z

e

d

C

r

o

p

,

 

R

e

s

i

z

e

,

 

T

o

T

e

n

s

o

r







f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

A

c

c

e

l

e

r

a

t

o

r




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

.

u

t

i

l

s

 

i

m

p

o

r

t

 

s

e

t

_

s

e

e

d




f

r

o

m

 

t

i

m

m

 

i

m

p

o

r

t

 

c

r

e

a

t

e

_

m

o

d

e

l




`

`

`







F

i

r

s

t

 

y

o

u

 

n

e

e

d

 

t

o

 

c

r

e

a

t

e

 

a

 

f

u

n

c

t

i

o

n

 

t

o

 

e

x

t

r

a

c

t

 

t

h

e

 

c

l

a

s

s

 

n

a

m

e

 

b

a

s

e

d

 

o

n

 

a

 

f

i

l

e

n

a

m

e

:







`

`

`

p

y

t

h

o

n




i

m

p

o

r

t

 

o

s







d

a

t

a

_

d

i

r

 

=

 

"

.

.

/

.

.

/

i

m

a

g

e

s

"




f

n

a

m

e

s

 

=

 

o

s

.

l

i

s

t

d

i

r

(

d

a

t

a

_

d

i

r

)




f

n

a

m

e

 

=

 

f

n

a

m

e

s

[

0

]




p

r

i

n

t

(

f

n

a

m

e

)




`

`

`







`

`

`

p

y

t

h

o

n

 

o

u

t




b

e

a

g

l

e

_

3

2

.

j

p

g




`

`

`







I

n

 

t

h

e

 

c

a

s

e

 

h

e

r

e

,

 

t

h

e

 

l

a

b

e

l

 

i

s

 

`

b

e

a

g

l

e

`

.

 

U

s

i

n

g

 

r

e

g

e

x

 

y

o

u

 

c

a

n

 

e

x

t

r

a

c

t

 

t

h

e

 

l

a

b

e

l

 

f

r

o

m

 

t

h

e

 

f

i

l

e

n

a

m

e

:







`

`

`

p

y

t

h

o

n




i

m

p

o

r

t

 

r

e










d

e

f

 

e

x

t

r

a

c

t

_

l

a

b

e

l

(

f

n

a

m

e

)

:




 

 

 

 

s

t

e

m

 

=

 

f

n

a

m

e

.

s

p

l

i

t

(

o

s

.

p

a

t

h

.

s

e

p

)

[

-

1

]




 

 

 

 

r

e

t

u

r

n

 

r

e

.

s

e

a

r

c

h

(

r

"

^

(

.

*

)

_

\

d

+

\

.

j

p

g

$

"

,

 

s

t

e

m

)

.

g

r

o

u

p

s

(

)

[

0

]




`

`

`







`

`

`

p

y

t

h

o

n




e

x

t

r

a

c

t

_

l

a

b

e

l

(

f

n

a

m

e

)




`

`

`







A

n

d

 

y

o

u

 

c

a

n

 

s

e

e

 

i

t

 

p

r

o

p

e

r

l

y

 

r

e

t

u

r

n

e

d

 

t

h

e

 

r

i

g

h

t

 

n

a

m

e

 

f

o

r

 

o

u

r

 

f

i

l

e

:







`

`

`

p

y

t

h

o

n

 

o

u

t




"

b

e

a

g

l

e

"




`

`

`







N

e

x

t

 

a

 

`

D

a

t

a

s

e

t

`

 

c

l

a

s

s

 

s

h

o

u

l

d

 

b

e

 

m

a

d

e

 

t

o

 

h

a

n

d

l

e

 

g

r

a

b

b

i

n

g

 

t

h

e

 

i

m

a

g

e

 

a

n

d

 

t

h

e

 

l

a

b

e

l

:







`

`

`

p

y

t

h

o

n




c

l

a

s

s

 

P

e

t

s

D

a

t

a

s

e

t

(

D

a

t

a

s

e

t

)

:




 

 

 

 

d

e

f

 

_

_

i

n

i

t

_

_

(

s

e

l

f

,

 

f

i

l

e

_

n

a

m

e

s

,

 

i

m

a

g

e

_

t

r

a

n

s

f

o

r

m

=

N

o

n

e

,

 

l

a

b

e

l

_

t

o

_

i

d

=

N

o

n

e

)

:




 

 

 

 

 

 

 

 

s

e

l

f

.

f

i

l

e

_

n

a

m

e

s

 

=

 

f

i

l

e

_

n

a

m

e

s




 

 

 

 

 

 

 

 

s

e

l

f

.

i

m

a

g

e

_

t

r

a

n

s

f

o

r

m

 

=

 

i

m

a

g

e

_

t

r

a

n

s

f

o

r

m




 

 

 

 

 

 

 

 

s

e

l

f

.

l

a

b

e

l

_

t

o

_

i

d

 

=

 

l

a

b

e

l

_

t

o

_

i

d







 

 

 

 

d

e

f

 

_

_

l

e

n

_

_

(

s

e

l

f

)

:




 

 

 

 

 

 

 

 

r

e

t

u

r

n

 

l

e

n

(

s

e

l

f

.

f

i

l

e

_

n

a

m

e

s

)







 

 

 

 

d

e

f

 

_

_

g

e

t

i

t

e

m

_

_

(

s

e

l

f

,

 

i

d

x

)

:




 

 

 

 

 

 

 

 

f

n

a

m

e

 

=

 

s

e

l

f

.

f

i

l

e

_

n

a

m

e

s

[

i

d

x

]




 

 

 

 

 

 

 

 

r

a

w

_

i

m

a

g

e

 

=

 

P

I

L

.

I

m

a

g

e

.

o

p

e

n

(

f

n

a

m

e

)




 

 

 

 

 

 

 

 

i

m

a

g

e

 

=

 

r

a

w

_

i

m

a

g

e

.

c

o

n

v

e

r

t

(

"

R

G

B

"

)




 

 

 

 

 

 

 

 

i

f

 

s

e

l

f

.

i

m

a

g

e

_

t

r

a

n

s

f

o

r

m

 

i

s

 

n

o

t

 

N

o

n

e

:




 

 

 

 

 

 

 

 

 

 

 

 

i

m

a

g

e

 

=

 

s

e

l

f

.

i

m

a

g

e

_

t

r

a

n

s

f

o

r

m

(

i

m

a

g

e

)




 

 

 

 

 

 

 

 

l

a

b

e

l

 

=

 

e

x

t

r

a

c

t

_

l

a

b

e

l

(

f

n

a

m

e

)




 

 

 

 

 

 

 

 

i

f

 

s

e

l

f

.

l

a

b

e

l

_

t

o

_

i

d

 

i

s

 

n

o

t

 

N

o

n

e

:




 

 

 

 

 

 

 

 

 

 

 

 

l

a

b

e

l

 

=

 

s

e

l

f

.

l

a

b

e

l

_

t

o

_

i

d

[

l

a

b

e

l

]




 

 

 

 

 

 

 

 

r

e

t

u

r

n

 

{

"

i

m

a

g

e

"

:

 

i

m

a

g

e

,

 

"

l

a

b

e

l

"

:

 

l

a

b

e

l

}




`

`

`







N

o

w

 

t

o

 

b

u

i

l

d

 

t

h

e

 

d

a

t

a

s

e

t

.

 

O

u

t

s

i

d

e

 

t

h

e

 

t

r

a

i

n

i

n

g

 

f

u

n

c

t

i

o

n

 

y

o

u

 

c

a

n

 

f

i

n

d

 

a

n

d

 

d

e

c

l

a

r

e

 

a

l

l

 

t

h

e

 

f

i

l

e

n

a

m

e

s

 

a

n

d

 

l

a

b

e

l

s

 

a

n

d

 

u

s

e

 

t

h

e

m

 

a

s

 

r

e

f

e

r

e

n

c

e

s

 

i

n

s

i

d

e

 

t

h

e

 




l

a

u

n

c

h

e

d

 

f

u

n

c

t

i

o

n

:







`

`

`

p

y

t

h

o

n




f

n

a

m

e

s

 

=

 

[

o

s

.

p

a

t

h

.

j

o

i

n

(

"

.

.

/

.

.

/

i

m

a

g

e

s

"

,

 

f

n

a

m

e

)

 

f

o

r

 

f

n

a

m

e

 

i

n

 

f

n

a

m

e

s

 

i

f

 

f

n

a

m

e

.

e

n

d

s

w

i

t

h

(

"

.

j

p

g

"

)

]




`

`

`







N

e

x

t

 

g

a

t

h

e

r

 

a

l

l

 

t

h

e

 

l

a

b

e

l

s

:







`

`

`

p

y

t

h

o

n




a

l

l

_

l

a

b

e

l

s

 

=

 

[

e

x

t

r

a

c

t

_

l

a

b

e

l

(

f

n

a

m

e

)

 

f

o

r

 

f

n

a

m

e

 

i

n

 

f

n

a

m

e

s

]




i

d

_

t

o

_

l

a

b

e

l

 

=

 

l

i

s

t

(

s

e

t

(

a

l

l

_

l

a

b

e

l

s

)

)




i

d

_

t

o

_

l

a

b

e

l

.

s

o

r

t

(

)




l

a

b

e

l

_

t

o

_

i

d

 

=

 

{

l

b

l

:

 

i

 

f

o

r

 

i

,

 

l

b

l

 

i

n

 

e

n

u

m

e

r

a

t

e

(

i

d

_

t

o

_

l

a

b

e

l

)

}




`

`

`







N

e

x

t

,

 

y

o

u

 

s

h

o

u

l

d

 

m

a

k

e

 

a

 

`

g

e

t

_

d

a

t

a

l

o

a

d

e

r

s

`

 

f

u

n

c

t

i

o

n

 

t

h

a

t

 

w

i

l

l

 

r

e

t

u

r

n

 

y

o

u

r

 

b

u

i

l

t

 

d

a

t

a

l

o

a

d

e

r

s

 

f

o

r

 

y

o

u

.

 

A

s

 

m

e

n

t

i

o

n

e

d

 

e

a

r

l

i

e

r

,

 

i

f

 

d

a

t

a

 

i

s

 

a

u

t

o

m

a

t

i

c

a

l

l

y

 




s

e

n

t

 

t

o

 

t

h

e

 

G

P

U

 

o

r

 

a

 

T

P

U

 

d

e

v

i

c

e

 

w

h

e

n

 

b

u

i

l

d

i

n

g

 

y

o

u

r

 

`

D

a

t

a

L

o

a

d

e

r

s

`

,

 

t

h

e

y

 

m

u

s

t

 

b

e

 

b

u

i

l

t

 

u

s

i

n

g

 

t

h

i

s

 

m

e

t

h

o

d

.

 







`

`

`

p

y

t

h

o

n




d

e

f

 

g

e

t

_

d

a

t

a

l

o

a

d

e

r

s

(

b

a

t

c

h

_

s

i

z

e

:

 

i

n

t

 

=

 

6

4

)

:




 

 

 

 

"

B

u

i

l

d

s

 

a

 

s

e

t

 

o

f

 

d

a

t

a

l

o

a

d

e

r

s

 

w

i

t

h

 

a

 

b

a

t

c

h

_

s

i

z

e

"




 

 

 

 

r

a

n

d

o

m

_

p

e

r

m

 

=

 

n

p

.

r

a

n

d

o

m

.

p

e

r

m

u

t

a

t

i

o

n

(

l

e

n

(

f

n

a

m

e

s

)

)




 

 

 

 

c

u

t

 

=

 

i

n

t

(

0

.

8

 

*

 

l

e

n

(

f

n

a

m

e

s

)

)




 

 

 

 

t

r

a

i

n

_

s

p

l

i

t

 

=

 

r

a

n

d

o

m

_

p

e

r

m

[

:

c

u

t

]




 

 

 

 

e

v

a

l

_

s

p

l

i

t

 

=

 

r

a

n

d

o

m

_

p

e

r

m

[

c

u

t

:

]







 

 

 

 

#

 

F

o

r

 

t

r

a

i

n

i

n

g

 

a

 

s

i

m

p

l

e

 

R

a

n

d

o

m

R

e

s

i

z

e

d

C

r

o

p

 

w

i

l

l

 

b

e

 

u

s

e

d




 

 

 

 

t

r

a

i

n

_

t

f

m

 

=

 

C

o

m

p

o

s

e

(

[

R

a

n

d

o

m

R

e

s

i

z

e

d

C

r

o

p

(

(

2

2

4

,

 

2

2

4

)

,

 

s

c

a

l

e

=

(

0

.

5

,

 

1

.

0

)

)

,

 

T

o

T

e

n

s

o

r

(

)

]

)




 

 

 

 

t

r

a

i

n

_

d

a

t

a

s

e

t

 

=

 

P

e

t

s

D

a

t

a

s

e

t

(

[

f

n

a

m

e

s

[

i

]

 

f

o

r

 

i

 

i

n

 

t

r

a

i

n

_

s

p

l

i

t

]

,

 

i

m

a

g

e

_

t

r

a

n

s

f

o

r

m

=

t

r

a

i

n

_

t

f

m

,

 

l

a

b

e

l

_

t

o

_

i

d

=

l

a

b

e

l

_

t

o

_

i

d

)







 

 

 

 

#

 

F

o

r

 

e

v

a

l

u

a

t

i

o

n

 

a

 

d

e

t

e

r

m

i

n

i

s

t

i

c

 

R

e

s

i

z

e

 

w

i

l

l

 

b

e

 

u

s

e

d




 

 

 

 

e

v

a

l

_

t

f

m

 

=

 

C

o

m

p

o

s

e

(

[

R

e

s

i

z

e

(

(

2

2

4

,

 

2

2

4

)

)

,

 

T

o

T

e

n

s

o

r

(

)

]

)




 

 

 

 

e

v

a

l

_

d

a

t

a

s

e

t

 

=

 

P

e

t

s

D

a

t

a

s

e

t

(

[

f

n

a

m

e

s

[

i

]

 

f

o

r

 

i

 

i

n

 

e

v

a

l

_

s

p

l

i

t

]

,

 

i

m

a

g

e

_

t

r

a

n

s

f

o

r

m

=

e

v

a

l

_

t

f

m

,

 

l

a

b

e

l

_

t

o

_

i

d

=

l

a

b

e

l

_

t

o

_

i

d

)







 

 

 

 

#

 

I

n

s

t

a

n

t

i

a

t

e

 

d

a

t

a

l

o

a

d

e

r

s




 

 

 

 

t

r

a

i

n

_

d

a

t

a

l

o

a

d

e

r

 

=

 

D

a

t

a

L

o

a

d

e

r

(

t

r

a

i

n

_

d

a

t

a

s

e

t

,

 

s

h

u

f

f

l

e

=

T

r

u

e

,

 

b

a

t

c

h

_

s

i

z

e

=

b

a

t

c

h

_

s

i

z

e

,

 

n

u

m

_

w

o

r

k

e

r

s

=

4

)




 

 

 

 

e

v

a

l

_

d

a

t

a

l

o

a

d

e

r

 

=

 

D

a

t

a

L

o

a

d

e

r

(

e

v

a

l

_

d

a

t

a

s

e

t

,

 

s

h

u

f

f

l

e

=

F

a

l

s

e

,

 

b

a

t

c

h

_

s

i

z

e

=

b

a

t

c

h

_

s

i

z

e

 

*

 

2

,

 

n

u

m

_

w

o

r

k

e

r

s

=

4

)




 

 

 

 

r

e

t

u

r

n

 

t

r

a

i

n

_

d

a

t

a

l

o

a

d

e

r

,

 

e

v

a

l

_

d

a

t

a

l

o

a

d

e

r




`

`

`







F

i

n

a

l

l

y

,

 

y

o

u

 

s

h

o

u

l

d

 

i

m

p

o

r

t

 

t

h

e

 

s

c

h

e

d

u

l

e

r

 

t

o

 

b

e

 

u

s

e

d

 

l

a

t

e

r

:







`

`

`

p

y

t

h

o

n




f

r

o

m

 

t

o

r

c

h

.

o

p

t

i

m

.

l

r

_

s

c

h

e

d

u

l

e

r

 

i

m

p

o

r

t

 

C

o

s

i

n

e

A

n

n

e

a

l

i

n

g

L

R




`

`

`







#

#

 

W

r

i

t

i

n

g

 

t

h

e

 

T

r

a

i

n

i

n

g

 

F

u

n

c

t

i

o

n







N

o

w

 

y

o

u

 

c

a

n

 

b

u

i

l

d

 

t

h

e

 

t

r

a

i

n

i

n

g

 

l

o

o

p

.

 

`

n

o

t

e

b

o

o

k

_

l

a

u

n

c

h

e

r

(

)

`

 

w

o

r

k

s

 

b

y

 

p

a

s

s

i

n

g

 

i

n

 

a

 

f

u

n

c

t

i

o

n

 

t

o

 

c

a

l

l

 

t

h

a

t

 

w

i

l

l

 

b

e

 

r

a

n

 

a

c

r

o

s

s

 

t

h

e

 

d

i

s

t

r

i

b

u

t

e

d

 

s

y

s

t

e

m

.







H

e

r

e

 

i

s

 

a

 

b

a

s

i

c

 

t

r

a

i

n

i

n

g

 

l

o

o

p

 

f

o

r

 

t

h

e

 

a

n

i

m

a

l

 

c

l

a

s

s

i

f

i

c

a

t

i

o

n

 

p

r

o

b

l

e

m

:







<

T

i

p

>







 

 

 

 

T

h

e

 

c

o

d

e

 

h

a

s

 

b

e

e

n

 

s

p

l

i

t

 

u

p

 

t

o

 

a

l

l

o

w

 

f

o

r

 

e

x

p

l

a

n

a

t

i

o

n

s

 

o

n

 

e

a

c

h

 

s

e

c

t

i

o

n

.

 

A

 

f

u

l

l

 

v

e

r

s

i

o

n

 

t

h

a

t

 

c

a

n

 

b

e

 

c

o

p

y

 

a

n

d

 

p

a

s

t

e

d

 

w

i

l

l

 

b

e

 

a

v

a

i

l

a

b

l

e

 

a

t

 

t

h

e

 

e

n

d







<

/

T

i

p

>










`

`

`

p

y

t

h

o

n




d

e

f

 

t

r

a

i

n

i

n

g

_

l

o

o

p

(

m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

=

"

f

p

1

6

"

,

 

s

e

e

d

:

 

i

n

t

 

=

 

4

2

,

 

b

a

t

c

h

_

s

i

z

e

:

 

i

n

t

 

=

 

6

4

)

:




 

 

 

 

s

e

t

_

s

e

e

d

(

s

e

e

d

)




 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

=

m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

)




`

`

`







F

i

r

s

t

 

y

o

u

 

s

h

o

u

l

d

 

s

e

t

 

t

h

e

 

s

e

e

d

 

a

n

d

 

c

r

e

a

t

e

 

a

n

 

`

A

c

c

e

l

e

r

a

t

o

r

`

 

o

b

j

e

c

t

 

a

s

 

e

a

r

l

y

 

i

n

 

t

h

e

 

t

r

a

i

n

i

n

g

 

l

o

o

p

 

a

s

 

p

o

s

s

i

b

l

e

.







<

T

i

p

 

w

a

r

n

i

n

g

=

{

t

r

u

e

}

>







 

 

 

 

I

f

 

t

r

a

i

n

i

n

g

 

o

n

 

t

h

e

 

T

P

U

,

 

y

o

u

r

 

t

r

a

i

n

i

n

g

 

l

o

o

p

 

s

h

o

u

l

d

 

t

a

k

e

 

i

n

 

t

h

e

 

m

o

d

e

l

 

a

s

 

a

 

p

a

r

a

m

e

t

e

r

 

a

n

d

 

i

t

 

s

h

o

u

l

d

 

b

e

 

i

n

s

t

a

n

t

i

a

t

e

d

 




 

 

 

 

o

u

t

s

i

d

e

 

o

f

 

t

h

e

 

t

r

a

i

n

i

n

g

 

l

o

o

p

 

f

u

n

c

t

i

o

n

.

 

S

e

e

 

t

h

e

 

[

T

P

U

 

b

e

s

t

 

p

r

a

c

t

i

c

e

s

]

(

.

.

/

c

o

n

c

e

p

t

_

g

u

i

d

e

s

/

t

r

a

i

n

i

n

g

_

t

p

u

)

 




 

 

 

 

t

o

 

l

e

a

r

n

 

w

h

y







<

/

T

i

p

>







N

e

x

t

 

y

o

u

 

s

h

o

u

l

d

 

b

u

i

l

d

 

y

o

u

r

 

d

a

t

a

l

o

a

d

e

r

s

 

a

n

d

 

c

r

e

a

t

e

 

y

o

u

r

 

m

o

d

e

l

:







`

`

`

p

y

t

h

o

n




 

 

 

 

t

r

a

i

n

_

d

a

t

a

l

o

a

d

e

r

,

 

e

v

a

l

_

d

a

t

a

l

o

a

d

e

r

 

=

 

g

e

t

_

d

a

t

a

l

o

a

d

e

r

s

(

b

a

t

c

h

_

s

i

z

e

)




 

 

 

 

m

o

d

e

l

 

=

 

c

r

e

a

t

e

_

m

o

d

e

l

(

"

r

e

s

n

e

t

5

0

d

"

,

 

p

r

e

t

r

a

i

n

e

d

=

T

r

u

e

,

 

n

u

m

_

c

l

a

s

s

e

s

=

l

e

n

(

l

a

b

e

l

_

t

o

_

i

d

)

)




`

`

`







<

T

i

p

>







 

 

 

 

Y

o

u

 

b

u

i

l

d

 

t

h

e

 

m

o

d

e

l

 

h

e

r

e

 

s

o

 

t

h

a

t

 

t

h

e

 

s

e

e

d

 

a

l

s

o

 

c

o

n

t

r

o

l

s

 

t

h

e

 

n

e

w

 

w

e

i

g

h

t

 

i

n

i

t

i

a

l

i

z

a

t

i

o

n







<

/

T

i

p

>







A

s

 

y

o

u

 

a

r

e

 

p

e

r

f

o

r

m

i

n

g

 

t

r

a

n

s

f

e

r

 

l

e

a

r

n

i

n

g

 

i

n

 

t

h

i

s

 

e

x

a

m

p

l

e

,

 

t

h

e

 

e

n

c

o

d

e

r

 

o

f

 

t

h

e

 

m

o

d

e

l

 

s

t

a

r

t

s

 

o

u

t

 

f

r

o

z

e

n

 

s

o

 

t

h

e

 

h

e

a

d

 

o

f

 

t

h

e

 

m

o

d

e

l

 

c

a

n

 

b

e

 




t

r

a

i

n

e

d

 

o

n

l

y

 

i

n

i

t

i

a

l

l

y

:







`

`

`

p

y

t

h

o

n




 

 

 

 

f

o

r

 

p

a

r

a

m

 

i

n

 

m

o

d

e

l

.

p

a

r

a

m

e

t

e

r

s

(

)

:




 

 

 

 

 

 

 

 

p

a

r

a

m

.

r

e

q

u

i

r

e

s

_

g

r

a

d

 

=

 

F

a

l

s

e




 

 

 

 

f

o

r

 

p

a

r

a

m

 

i

n

 

m

o

d

e

l

.

g

e

t

_

c

l

a

s

s

i

f

i

e

r

(

)

.

p

a

r

a

m

e

t

e

r

s

(

)

:




 

 

 

 

 

 

 

 

p

a

r

a

m

.

r

e

q

u

i

r

e

s

_

g

r

a

d

 

=

 

T

r

u

e




`

`

`







N

o

r

m

a

l

i

z

i

n

g

 

t

h

e

 

b

a

t

c

h

e

s

 

o

f

 

i

m

a

g

e

s

 

w

i

l

l

 

m

a

k

e

 

t

r

a

i

n

i

n

g

 

a

 

l

i

t

t

l

e

 

f

a

s

t

e

r

:







`

`

`

p

y

t

h

o

n




 

 

 

 

m

e

a

n

 

=

 

t

o

r

c

h

.

t

e

n

s

o

r

(

m

o

d

e

l

.

d

e

f

a

u

l

t

_

c

f

g

[

"

m

e

a

n

"

]

)

[

N

o

n

e

,

 

:

,

 

N

o

n

e

,

 

N

o

n

e

]




 

 

 

 

s

t

d

 

=

 

t

o

r

c

h

.

t

e

n

s

o

r

(

m

o

d

e

l

.

d

e

f

a

u

l

t

_

c

f

g

[

"

s

t

d

"

]

)

[

N

o

n

e

,

 

:

,

 

N

o

n

e

,

 

N

o

n

e

]




`

`

`







T

o

 

m

a

k

e

 

t

h

e

s

e

 

c

o

n

s

t

a

n

t

s

 

a

v

a

i

l

a

b

l

e

 

o

n

 

t

h

e

 

a

c

t

i

v

e

 

d

e

v

i

c

e

,

 

y

o

u

 

s

h

o

u

l

d

 

s

e

t

 

i

t

 

t

o

 

t

h

e

 

A

c

c

e

l

e

r

a

t

o

r

'

s

 

d

e

v

i

c

e

:







`

`

`

p

y

t

h

o

n




 

 

 

 

m

e

a

n

 

=

 

m

e

a

n

.

t

o

(

a

c

c

e

l

e

r

a

t

o

r

.

d

e

v

i

c

e

)




 

 

 

 

s

t

d

 

=

 

s

t

d

.

t

o

(

a

c

c

e

l

e

r

a

t

o

r

.

d

e

v

i

c

e

)




`

`

`







N

e

x

t

 

i

n

s

t

a

n

t

i

a

t

e

 

t

h

e

 

r

e

s

t

 

o

f

 

t

h

e

 

P

y

T

o

r

c

h

 

c

l

a

s

s

e

s

 

u

s

e

d

 

f

o

r

 

t

r

a

i

n

i

n

g

:







`

`

`

p

y

t

h

o

n




 

 

 

 

o

p

t

i

m

i

z

e

r

 

=

 

t

o

r

c

h

.

o

p

t

i

m

.

A

d

a

m

(

p

a

r

a

m

s

=

m

o

d

e

l

.

p

a

r

a

m

e

t

e

r

s

(

)

,

 

l

r

=

3

e

-

2

 

/

 

2

5

)




 

 

 

 

l

r

_

s

c

h

e

d

u

l

e

r

 

=

 

O

n

e

C

y

c

l

e

L

R

(

o

p

t

i

m

i

z

e

r

=

o

p

t

i

m

i

z

e

r

,

 

m

a

x

_

l

r

=

3

e

-

2

,

 

e

p

o

c

h

s

=

5

,

 

s

t

e

p

s

_

p

e

r

_

e

p

o

c

h

=

l

e

n

(

t

r

a

i

n

_

d

a

t

a

l

o

a

d

e

r

)

)




`

`

`







B

e

f

o

r

e

 

p

a

s

s

i

n

g

 

e

v

e

r

y

t

h

i

n

g

 

t

o

 

`

p

r

e

p

a

r

e

(

)

`

.







<

T

i

p

>







 

 

 

 

T

h

e

r

e

 

i

s

 

n

o

 

s

p

e

c

i

f

i

c

 

o

r

d

e

r

 

t

o

 

r

e

m

e

m

b

e

r

,

 

y

o

u

 

j

u

s

t

 

n

e

e

d

 

t

o

 

u

n

p

a

c

k

 

t

h

e

 

o

b

j

e

c

t

s

 

i

n

 

t

h

e

 

s

a

m

e

 

o

r

d

e

r

 

y

o

u

 

g

a

v

e

 

t

h

e

m

 

t

o

 

t

h

e

 

p

r

e

p

a

r

e

 

m

e

t

h

o

d

.







<

/

T

i

p

>







`

`

`

p

y

t

h

o

n




 

 

 

 

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

t

r

a

i

n

_

d

a

t

a

l

o

a

d

e

r

,

 

e

v

a

l

_

d

a

t

a

l

o

a

d

e

r

,

 

l

r

_

s

c

h

e

d

u

l

e

r

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(




 

 

 

 

 

 

 

 

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

t

r

a

i

n

_

d

a

t

a

l

o

a

d

e

r

,

 

e

v

a

l

_

d

a

t

a

l

o

a

d

e

r

,

 

l

r

_

s

c

h

e

d

u

l

e

r




 

 

 

 

)




`

`

`







N

o

w

 

t

r

a

i

n

 

t

h

e

 

m

o

d

e

l

:







`

`

`

p

y

t

h

o

n




 

 

 

 

f

o

r

 

e

p

o

c

h

 

i

n

 

r

a

n

g

e

(

5

)

:




 

 

 

 

 

 

 

 

m

o

d

e

l

.

t

r

a

i

n

(

)




 

 

 

 

 

 

 

 

f

o

r

 

b

a

t

c

h

 

i

n

 

t

r

a

i

n

_

d

a

t

a

l

o

a

d

e

r

:




 

 

 

 

 

 

 

 

 

 

 

 

i

n

p

u

t

s

 

=

 

(

b

a

t

c

h

[

"

i

m

a

g

e

"

]

 

-

 

m

e

a

n

)

 

/

 

s

t

d




 

 

 

 

 

 

 

 

 

 

 

 

o

u

t

p

u

t

s

 

=

 

m

o

d

e

l

(

i

n

p

u

t

s

)




 

 

 

 

 

 

 

 

 

 

 

 

l

o

s

s

 

=

 

t

o

r

c

h

.

n

n

.

f

u

n

c

t

i

o

n

a

l

.

c

r

o

s

s

_

e

n

t

r

o

p

y

(

o

u

t

p

u

t

s

,

 

b

a

t

c

h

[

"

l

a

b

e

l

"

]

)




 

 

 

 

 

 

 

 

 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

b

a

c

k

w

a

r

d

(

l

o

s

s

)




 

 

 

 

 

 

 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




 

 

 

 

 

 

 

 

 

 

 

 

l

r

_

s

c

h

e

d

u

l

e

r

.

s

t

e

p

(

)




 

 

 

 

 

 

 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

.

z

e

r

o

_

g

r

a

d

(

)




`

`

`







T

h

e

 

e

v

a

l

u

a

t

i

o

n

 

l

o

o

p

 

w

i

l

l

 

l

o

o

k

 

s

l

i

g

h

t

l

y

 

d

i

f

f

e

r

e

n

t

 

c

o

m

p

a

r

e

d

 

t

o

 

t

h

e

 

t

r

a

i

n

i

n

g

 

l

o

o

p

.

 

T

h

e

 

n

u

m

b

e

r

 

o

f

 

e

l

e

m

e

n

t

s

 

p

a

s

s

e

d

 

a

s

 

w

e

l

l

 

a

s

 

t

h

e

 

o

v

e

r

a

l

l

 




t

o

t

a

l

 

a

c

c

u

r

a

c

y

 

o

f

 

e

a

c

h

 

b

a

t

c

h

 

w

i

l

l

 

b

e

 

a

d

d

e

d

 

t

o

 

t

w

o

 

c

o

n

s

t

a

n

t

s

:







`

`

`

p

y

t

h

o

n




 

 

 

 

 

 

 

 

m

o

d

e

l

.

e

v

a

l

(

)




 

 

 

 

 

 

 

 

a

c

c

u

r

a

t

e

 

=

 

0




 

 

 

 

 

 

 

 

n

u

m

_

e

l

e

m

s

 

=

 

0




`

`

`







N

e

x

t

 

y

o

u

 

h

a

v

e

 

t

h

e

 

r

e

s

t

 

o

f

 

y

o

u

r

 

s

t

a

n

d

a

r

d

 

P

y

T

o

r

c

h

 

l

o

o

p

:







`

`

`

p

y

t

h

o

n




 

 

 

 

 

 

 

 

f

o

r

 

b

a

t

c

h

 

i

n

 

e

v

a

l

_

d

a

t

a

l

o

a

d

e

r

:




 

 

 

 

 

 

 

 

 

 

 

 

i

n

p

u

t

s

 

=

 

(

b

a

t

c

h

[

"

i

m

a

g

e

"

]

 

-

 

m

e

a

n

)

 

/

 

s

t

d




 

 

 

 

 

 

 

 

 

 

 

 

w

i

t

h

 

t

o

r

c

h

.

n

o

_

g

r

a

d

(

)

:




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

o

u

t

p

u

t

s

 

=

 

m

o

d

e

l

(

i

n

p

u

t

s

)




 

 

 

 

 

 

 

 

 

 

 

 

p

r

e

d

i

c

t

i

o

n

s

 

=

 

o

u

t

p

u

t

s

.

a

r

g

m

a

x

(

d

i

m

=

-

1

)




`

`

`







B

e

f

o

r

e

 

f

i

n

a

l

l

y

 

t

h

e

 

l

a

s

t

 

m

a

j

o

r

 

d

i

f

f

e

r

e

n

c

e

.

 







W

h

e

n

 

p

e

r

f

o

r

m

i

n

g

 

d

i

s

t

r

i

b

u

t

e

d

 

e

v

a

l

u

a

t

i

o

n

,

 

t

h

e

 

p

r

e

d

i

c

t

i

o

n

s

 

a

n

d

 

l

a

b

e

l

s

 

n

e

e

d

 

t

o

 

b

e

 

p

a

s

s

e

d

 

t

h

r

o

u

g

h

 




`

g

a

t

h

e

r

(

)

`

 

s

o

 

t

h

a

t

 

a

l

l

 

o

f

 

t

h

e

 

d

a

t

a

 

i

s

 

a

v

a

i

l

a

b

l

e

 

o

n

 

t

h

e

 

c

u

r

r

e

n

t

 

d

e

v

i

c

e

 

a

n

d

 

a

 

p

r

o

p

e

r

l

y

 

c

a

l

c

u

l

a

t

e

d

 

m

e

t

r

i

c

 

c

a

n

 

b

e

 

a

c

h

i

e

v

e

d

:







`

`

`

p

y

t

h

o

n




 

 

 

 

 

 

 

 

 

 

 

 

a

c

c

u

r

a

t

e

_

p

r

e

d

s

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

g

a

t

h

e

r

(

p

r

e

d

i

c

t

i

o

n

s

)

 

=

=

 

a

c

c

e

l

e

r

a

t

o

r

.

g

a

t

h

e

r

(

b

a

t

c

h

[

"

l

a

b

e

l

"

]

)




 

 

 

 

 

 

 

 

 

 

 

 

n

u

m

_

e

l

e

m

s

 

+

=

 

a

c

c

u

r

a

t

e

_

p

r

e

d

s

.

s

h

a

p

e

[

0

]




 

 

 

 

 

 

 

 

 

 

 

 

a

c

c

u

r

a

t

e

 

+

=

 

a

c

c

u

r

a

t

e

_

p

r

e

d

s

.

l

o

n

g

(

)

.

s

u

m

(

)




`

`

`







N

o

w

 

y

o

u

 

j

u

s

t

 

n

e

e

d

 

t

o

 

c

a

l

c

u

l

a

t

e

 

t

h

e

 

a

c

t

u

a

l

 

m

e

t

r

i

c

 

f

o

r

 

t

h

i

s

 

p

r

o

b

l

e

m

,

 

a

n

d

 

y

o

u

 

c

a

n

 

p

r

i

n

t

 

i

t

 

o

n

 

t

h

e

 

m

a

i

n

 

p

r

o

c

e

s

s

 

u

s

i

n

g

 

`

p

r

i

n

t

(

)

`

:







`

`

`

p

y

t

h

o

n




 

 

 

 

 

 

 

 

e

v

a

l

_

m

e

t

r

i

c

 

=

 

a

c

c

u

r

a

t

e

.

i

t

e

m

(

)

 

/

 

n

u

m

_

e

l

e

m

s




 

 

 

 

 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

i

n

t

(

f

"

e

p

o

c

h

 

{

e

p

o

c

h

}

:

 

{

1

0

0

 

*

 

e

v

a

l

_

m

e

t

r

i

c

:

.

2

f

}

"

)




`

`

`







A

 

f

u

l

l

 

v

e

r

s

i

o

n

 

o

f

 

t

h

i

s

 

t

r

a

i

n

i

n

g

 

l

o

o

p

 

i

s

 

a

v

a

i

l

a

b

l

e

 

b

e

l

o

w

:







`

`

`

p

y

t

h

o

n




d

e

f

 

t

r

a

i

n

i

n

g

_

l

o

o

p

(

m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

=

"

f

p

1

6

"

,

 

s

e

e

d

:

 

i

n

t

 

=

 

4

2

,

 

b

a

t

c

h

_

s

i

z

e

:

 

i

n

t

 

=

 

6

4

)

:




 

 

 

 

s

e

t

_

s

e

e

d

(

s

e

e

d

)




 

 

 

 

#

 

I

n

i

t

i

a

l

i

z

e

 

a

c

c

e

l

e

r

a

t

o

r




 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

=

m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

)




 

 

 

 

#

 

B

u

i

l

d

 

d

a

t

a

l

o

a

d

e

r

s




 

 

 

 

t

r

a

i

n

_

d

a

t

a

l

o

a

d

e

r

,

 

e

v

a

l

_

d

a

t

a

l

o

a

d

e

r

 

=

 

g

e

t

_

d

a

t

a

l

o

a

d

e

r

s

(

b

a

t

c

h

_

s

i

z

e

)







 

 

 

 

#

 

I

n

s

t

a

n

t

i

a

t

e

 

t

h

e

 

m

o

d

e

l

 

(

y

o

u

 

b

u

i

l

d

 

t

h

e

 

m

o

d

e

l

 

h

e

r

e

 

s

o

 

t

h

a

t

 

t

h

e

 

s

e

e

d

 

a

l

s

o

 

c

o

n

t

r

o

l

s

 

n

e

w

 

w

e

i

g

h

t

 

i

n

i

t

a

l

i

z

i

a

t

i

o

n

s

)




 

 

 

 

m

o

d

e

l

 

=

 

c

r

e

a

t

e

_

m

o

d

e

l

(

"

r

e

s

n

e

t

5

0

d

"

,

 

p

r

e

t

r

a

i

n

e

d

=

T

r

u

e

,

 

n

u

m

_

c

l

a

s

s

e

s

=

l

e

n

(

l

a

b

e

l

_

t

o

_

i

d

)

)







 

 

 

 

#

 

F

r

e

e

z

e

 

t

h

e

 

b

a

s

e

 

m

o

d

e

l




 

 

 

 

f

o

r

 

p

a

r

a

m

 

i

n

 

m

o

d

e

l

.

p

a

r

a

m

e

t

e

r

s

(

)

:




 

 

 

 

 

 

 

 

p

a

r

a

m

.

r

e

q

u

i

r

e

s

_

g

r

a

d

 

=

 

F

a

l

s

e




 

 

 

 

f

o

r

 

p

a

r

a

m

 

i

n

 

m

o

d

e

l

.

g

e

t

_

c

l

a

s

s

i

f

i

e

r

(

)

.

p

a

r

a

m

e

t

e

r

s

(

)

:




 

 

 

 

 

 

 

 

p

a

r

a

m

.

r

e

q

u

i

r

e

s

_

g

r

a

d

 

=

 

T

r

u

e







 

 

 

 

#

 

Y

o

u

 

c

a

n

 

n

o

r

m

a

l

i

z

e

 

t

h

e

 

b

a

t

c

h

e

s

 

o

f

 

i

m

a

g

e

s

 

t

o

 

b

e

 

a

 

b

i

t

 

f

a

s

t

e

r




 

 

 

 

m

e

a

n

 

=

 

t

o

r

c

h

.

t

e

n

s

o

r

(

m

o

d

e

l

.

d

e

f

a

u

l

t

_

c

f

g

[

"

m

e

a

n

"

]

)

[

N

o

n

e

,

 

:

,

 

N

o

n

e

,

 

N

o

n

e

]




 

 

 

 

s

t

d

 

=

 

t

o

r

c

h

.

t

e

n

s

o

r

(

m

o

d

e

l

.

d

e

f

a

u

l

t

_

c

f

g

[

"

s

t

d

"

]

)

[

N

o

n

e

,

 

:

,

 

N

o

n

e

,

 

N

o

n

e

]







 

 

 

 

#

 

T

o

 

m

a

k

e

 

t

h

e

s

e

 

c

o

n

s

t

a

n

t

s

 

a

v

a

i

l

a

b

l

e

 

o

n

 

t

h

e

 

a

c

t

i

v

e

 

d

e

v

i

c

e

,

 

s

e

t

 

i

t

 

t

o

 

t

h

e

 

a

c

c

e

l

e

r

a

t

o

r

 

d

e

v

i

c

e




 

 

 

 

m

e

a

n

 

=

 

m

e

a

n

.

t

o

(

a

c

c

e

l

e

r

a

t

o

r

.

d

e

v

i

c

e

)




 

 

 

 

s

t

d

 

=

 

s

t

d

.

t

o

(

a

c

c

e

l

e

r

a

t

o

r

.

d

e

v

i

c

e

)







 

 

 

 

#

 

I

n

s

t

a

n

t

i

a

t

e

 

t

h

e

 

o

p

t

i

m

i

z

e

r




 

 

 

 

o

p

t

i

m

i

z

e

r

 

=

 

t

o

r

c

h

.

o

p

t

i

m

.

A

d

a

m

(

p

a

r

a

m

s

=

m

o

d

e

l

.

p

a

r

a

m

e

t

e

r

s

(

)

,

 

l

r

=

3

e

-

2

 

/

 

2

5

)







 

 

 

 

#

 

I

n

s

t

a

n

t

i

a

t

e

 

t

h

e

 

l

e

a

r

n

i

n

g

 

r

a

t

e

 

s

c

h

e

d

u

l

e

r




 

 

 

 

l

r

_

s

c

h

e

d

u

l

e

r

 

=

 

O

n

e

C

y

c

l

e

L

R

(

o

p

t

i

m

i

z

e

r

=

o

p

t

i

m

i

z

e

r

,

 

m

a

x

_

l

r

=

3

e

-

2

,

 

e

p

o

c

h

s

=

5

,

 

s

t

e

p

s

_

p

e

r

_

e

p

o

c

h

=

l

e

n

(

t

r

a

i

n

_

d

a

t

a

l

o

a

d

e

r

)

)







 

 

 

 

#

 

P

r

e

p

a

r

e

 

e

v

e

r

y

t

h

i

n

g




 

 

 

 

#

 

T

h

e

r

e

 

i

s

 

n

o

 

s

p

e

c

i

f

i

c

 

o

r

d

e

r

 

t

o

 

r

e

m

e

m

b

e

r

,

 

y

o

u

 

j

u

s

t

 

n

e

e

d

 

t

o

 

u

n

p

a

c

k

 

t

h

e

 

o

b

j

e

c

t

s

 

i

n

 

t

h

e

 

s

a

m

e

 

o

r

d

e

r

 

y

o

u

 

g

a

v

e

 

t

h

e

m

 

t

o

 

t

h

e




 

 

 

 

#

 

p

r

e

p

a

r

e

 

m

e

t

h

o

d

.




 

 

 

 

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

t

r

a

i

n

_

d

a

t

a

l

o

a

d

e

r

,

 

e

v

a

l

_

d

a

t

a

l

o

a

d

e

r

,

 

l

r

_

s

c

h

e

d

u

l

e

r

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(




 

 

 

 

 

 

 

 

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

t

r

a

i

n

_

d

a

t

a

l

o

a

d

e

r

,

 

e

v

a

l

_

d

a

t

a

l

o

a

d

e

r

,

 

l

r

_

s

c

h

e

d

u

l

e

r




 

 

 

 

)







 

 

 

 

#

 

N

o

w

 

y

o

u

 

t

r

a

i

n

 

t

h

e

 

m

o

d

e

l




 

 

 

 

f

o

r

 

e

p

o

c

h

 

i

n

 

r

a

n

g

e

(

5

)

:




 

 

 

 

 

 

 

 

m

o

d

e

l

.

t

r

a

i

n

(

)




 

 

 

 

 

 

 

 

f

o

r

 

b

a

t

c

h

 

i

n

 

t

r

a

i

n

_

d

a

t

a

l

o

a

d

e

r

:




 

 

 

 

 

 

 

 

 

 

 

 

i

n

p

u

t

s

 

=

 

(

b

a

t

c

h

[

"

i

m

a

g

e

"

]

 

-

 

m

e

a

n

)

 

/

 

s

t

d




 

 

 

 

 

 

 

 

 

 

 

 

o

u

t

p

u

t

s

 

=

 

m

o

d

e

l

(

i

n

p

u

t

s

)




 

 

 

 

 

 

 

 

 

 

 

 

l

o

s

s

 

=

 

t

o

r

c

h

.

n

n

.

f

u

n

c

t

i

o

n

a

l

.

c

r

o

s

s

_

e

n

t

r

o

p

y

(

o

u

t

p

u

t

s

,

 

b

a

t

c

h

[

"

l

a

b

e

l

"

]

)




 

 

 

 

 

 

 

 

 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

b

a

c

k

w

a

r

d

(

l

o

s

s

)




 

 

 

 

 

 

 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

.

s

t

e

p

(

)




 

 

 

 

 

 

 

 

 

 

 

 

l

r

_

s

c

h

e

d

u

l

e

r

.

s

t

e

p

(

)




 

 

 

 

 

 

 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

.

z

e

r

o

_

g

r

a

d

(

)







 

 

 

 

 

 

 

 

m

o

d

e

l

.

e

v

a

l

(

)




 

 

 

 

 

 

 

 

a

c

c

u

r

a

t

e

 

=

 

0




 

 

 

 

 

 

 

 

n

u

m

_

e

l

e

m

s

 

=

 

0




 

 

 

 

 

 

 

 

f

o

r

 

b

a

t

c

h

 

i

n

 

e

v

a

l

_

d

a

t

a

l

o

a

d

e

r

:




 

 

 

 

 

 

 

 

 

 

 

 

i

n

p

u

t

s

 

=

 

(

b

a

t

c

h

[

"

i

m

a

g

e

"

]

 

-

 

m

e

a

n

)

 

/

 

s

t

d




 

 

 

 

 

 

 

 

 

 

 

 

w

i

t

h

 

t

o

r

c

h

.

n

o

_

g

r

a

d

(

)

:




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

o

u

t

p

u

t

s

 

=

 

m

o

d

e

l

(

i

n

p

u

t

s

)




 

 

 

 

 

 

 

 

 

 

 

 

p

r

e

d

i

c

t

i

o

n

s

 

=

 

o

u

t

p

u

t

s

.

a

r

g

m

a

x

(

d

i

m

=

-

1

)




 

 

 

 

 

 

 

 

 

 

 

 

a

c

c

u

r

a

t

e

_

p

r

e

d

s

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

g

a

t

h

e

r

(

p

r

e

d

i

c

t

i

o

n

s

)

 

=

=

 

a

c

c

e

l

e

r

a

t

o

r

.

g

a

t

h

e

r

(

b

a

t

c

h

[

"

l

a

b

e

l

"

]

)




 

 

 

 

 

 

 

 

 

 

 

 

n

u

m

_

e

l

e

m

s

 

+

=

 

a

c

c

u

r

a

t

e

_

p

r

e

d

s

.

s

h

a

p

e

[

0

]




 

 

 

 

 

 

 

 

 

 

 

 

a

c

c

u

r

a

t

e

 

+

=

 

a

c

c

u

r

a

t

e

_

p

r

e

d

s

.

l

o

n

g

(

)

.

s

u

m

(

)







 

 

 

 

 

 

 

 

e

v

a

l

_

m

e

t

r

i

c

 

=

 

a

c

c

u

r

a

t

e

.

i

t

e

m

(

)

 

/

 

n

u

m

_

e

l

e

m

s




 

 

 

 

 

 

 

 

#

 

U

s

e

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

i

n

t

 

t

o

 

p

r

i

n

t

 

o

n

l

y

 

o

n

 

t

h

e

 

m

a

i

n

 

p

r

o

c

e

s

s

.




 

 

 

 

 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

i

n

t

(

f

"

e

p

o

c

h

 

{

e

p

o

c

h

}

:

 

{

1

0

0

 

*

 

e

v

a

l

_

m

e

t

r

i

c

:

.

2

f

}

"

)




`

`

`







#

#

 

U

s

i

n

g

 

t

h

e

 

n

o

t

e

b

o

o

k

_

l

a

u

n

c

h

e

r







A

l

l

 

t

h

a

t

'

s

 

l

e

f

t

 

i

s

 

t

o

 

u

s

e

 

t

h

e

 

`

n

o

t

e

b

o

o

k

_

l

a

u

n

c

h

e

r

(

)

`

.







Y

o

u

 

p

a

s

s

 

i

n

 

t

h

e

 

f

u

n

c

t

i

o

n

,

 

t

h

e

 

a

r

g

u

m

e

n

t

s

 

(

a

s

 

a

 

t

u

p

l

e

)

,

 

a

n

d

 

t

h

e

 

n

u

m

b

e

r

 

o

f

 

p

r

o

c

e

s

s

e

s

 

t

o

 

t

r

a

i

n

 

o

n

.

 

(

S

e

e

 

t

h

e

 

[

d

o

c

u

m

e

n

t

a

t

i

o

n

]

(

.

.

/

p

a

c

k

a

g

e

_

r

e

f

e

r

e

n

c

e

/

l

a

u

n

c

h

e

r

s

)

 

f

o

r

 

m

o

r

e

 

i

n

f

o

r

m

a

t

i

o

n

)







`

`

`

p

y

t

h

o

n




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

 

i

m

p

o

r

t

 

n

o

t

e

b

o

o

k

_

l

a

u

n

c

h

e

r




`

`

`







`

`

`

p

y

t

h

o

n




a

r

g

s

 

=

 

(

"

f

p

1

6

"

,

 

4

2

,

 

6

4

)




n

o

t

e

b

o

o

k

_

l

a

u

n

c

h

e

r

(

t

r

a

i

n

i

n

g

_

l

o

o

p

,

 

a

r

g

s

,

 

n

u

m

_

p

r

o

c

e

s

s

e

s

=

2

)




`

`

`







I

n

 

t

h

e

 

c

a

s

e

 

o

f

 

r

u

n

n

i

n

g

 

o

n

 

m

u

l

t

i

p

l

e

 

n

o

d

e

s

,

 

y

o

u

 

n

e

e

d

 

t

o

 

s

e

t

 

u

p

 

a

 

J

u

p

y

t

e

r

 

s

e

s

s

i

o

n

 

a

t

 

e

a

c

h

 

n

o

d

e

 

a

n

d

 

r

u

n

 

t

h

e

 

l

a

u

n

c

h

i

n

g

 

c

e

l

l

 

a

t

 

t

h

e

 

s

a

m

e

 

t

i

m

e

.







F

o

r

 

a

n

 

e

n

v

i

r

o

n

m

e

n

t

 

c

o

n

t

a

i

n

i

n

g

 

2

 

n

o

d

e

s

 

(

c

o

m

p

u

t

e

r

s

)

 

w

i

t

h

 

8

 

G

P

U

s

 

e

a

c

h

 

a

n

d

 

t

h

e

 

m

a

i

n

 

c

o

m

p

u

t

e

r

 

w

i

t

h

 

a

n

 

I

P

 

a

d

d

r

e

s

s

 

o

f

 

"

1

7

2

.

3

1

.

4

3

.

8

"

,

 

i

t

 

w

o

u

l

d

 

l

o

o

k

 

l

i

k

e

 

s

o

:







`

`

`

p

y

t

h

o

n




n

o

t

e

b

o

o

k

_

l

a

u

n

c

h

e

r

(

t

r

a

i

n

i

n

g

_

l

o

o

p

,

 

a

r

g

s

,

 

m

a

s

t

e

r

_

a

d

d

r

=

"

1

7

2

.

3

1

.

4

3

.

8

"

,

 

n

o

d

e

_

r

a

n

k

=

0

,

 

n

u

m

_

n

o

d

e

s

=

2

,

 

n

u

m

_

p

r

o

c

e

s

s

e

s

=

8

)




`

`

`







A

n

d

 

i

n

 

t

h

e

 

s

e

c

o

n

d

 

J

u

p

y

t

e

r

 

s

e

s

s

i

o

n

 

o

n

 

t

h

e

 

o

t

h

e

r

 

m

a

c

h

i

n

e

:







<

T

i

p

>







 

 

 

 

N

o

t

i

c

e

 

h

o

w

 

t

h

e

 

`

n

o

d

e

_

r

a

n

k

`

 

h

a

s

 

c

h

a

n

g

e

d







<

/

T

i

p

>







`

`

`

p

y

t

h

o

n




n

o

t

e

b

o

o

k

_

l

a

u

n

c

h

e

r

(

t

r

a

i

n

i

n

g

_

l

o

o

p

,

 

a

r

g

s

,

 

m

a

s

t

e

r

_

a

d

d

r

=

"

1

7

2

.

3

1

.

4

3

.

8

"

,

 

n

o

d

e

_

r

a

n

k

=

1

,

 

n

u

m

_

n

o

d

e

s

=

2

,

 

n

u

m

_

p

r

o

c

e

s

s

e

s

=

8

)




`

`

`







I

n

 

t

h

e

 

c

a

s

e

 

o

f

 

r

u

n

n

i

n

g

 

o

n

 

t

h

e

 

T

P

U

,

 

i

t

 

w

o

u

l

d

 

l

o

o

k

 

l

i

k

e

 

s

o

:







`

`

`

p

y

t

h

o

n




m

o

d

e

l

 

=

 

c

r

e

a

t

e

_

m

o

d

e

l

(

"

r

e

s

n

e

t

5

0

d

"

,

 

p

r

e

t

r

a

i

n

e

d

=

T

r

u

e

,

 

n

u

m

_

c

l

a

s

s

e

s

=

l

e

n

(

l

a

b

e

l

_

t

o

_

i

d

)

)







a

r

g

s

 

=

 

(

m

o

d

e

l

,

 

"

f

p

1

6

"

,

 

4

2

,

 

6

4

)




n

o

t

e

b

o

o

k

_

l

a

u

n

c

h

e

r

(

t

r

a

i

n

i

n

g

_

l

o

o

p

,

 

a

r

g

s

,

 

n

u

m

_

p

r

o

c

e

s

s

e

s

=

8

)




`

`

`







T

o

 

l

a

u

n

c

h

 

t

h

e

 

t

r

a

i

n

i

n

g

 

p

r

o

c

e

s

s

 

w

i

t

h

 

e

l

a

s

t

i

c

i

t

y

,

 

e

n

a

b

l

i

n

g

 

f

a

u

l

t

 

t

o

l

e

r

a

n

c

e

,

 

y

o

u

 

c

a

n

 

u

s

e

 

t

h

e

 

`

e

l

a

s

t

i

c

_

l

a

u

n

c

h

`

 

f

e

a

t

u

r

e

 

p

r

o

v

i

d

e

d

 

b

y

 

P

y

T

o

r

c

h

.

 

T

h

i

s

 

r

e

q

u

i

r

e

s

 

s

e

t

t

i

n

g

 

a

d

d

i

t

i

o

n

a

l

 

p

a

r

a

m

e

t

e

r

s

 

s

u

c

h

 

a

s

 

`

r

d

z

v

_

b

a

c

k

e

n

d

`

 

a

n

d

 

`

m

a

x

_

r

e

s

t

a

r

t

s

`

.

 

H

e

r

e

 

i

s

 

a

n

 

e

x

a

m

p

l

e

 

o

f

 

h

o

w

 

t

o

 

u

s

e

 

`

n

o

t

e

b

o

o

k

_

l

a

u

n

c

h

e

r

`

 

w

i

t

h

 

e

l

a

s

t

i

c

 

c

a

p

a

b

i

l

i

t

i

e

s

:







`

`

`

p

y

t

h

o

n




n

o

t

e

b

o

o

k

_

l

a

u

n

c

h

e

r

(




 

 

 

 

t

r

a

i

n

i

n

g

_

l

o

o

p

,




 

 

 

 

a

r

g

s

,




 

 

 

 

n

u

m

_

p

r

o

c

e

s

s

e

s

=

2

,




 

 

 

 

m

a

x

_

r

e

s

t

a

r

t

s

=

3




)




`

`

`







A

s

 

i

t

'

s

 

r

u

n

n

i

n

g

 

i

t

 

w

i

l

l

 

p

r

i

n

t

 

t

h

e

 

p

r

o

g

r

e

s

s

 

a

s

 

w

e

l

l

 

a

s

 

s

t

a

t

e

 

h

o

w

 

m

a

n

y

 

d

e

v

i

c

e

s

 

y

o

u

 

r

a

n

 

o

n

.

 

T

h

i

s

 

t

u

t

o

r

i

a

l

 

w

a

s

 

r

a

n

 

w

i

t

h

 

t

w

o

 

G

P

U

s

:







`

`

`

p

y

t

h

o

n

 

o

u

t




L

a

u

n

c

h

i

n

g

 

t

r

a

i

n

i

n

g

 

o

n

 

2

 

G

P

U

s

.




e

p

o

c

h

 

0

:

 

8

8

.

1

2




e

p

o

c

h

 

1

:

 

9

1

.

7

3




e

p

o

c

h

 

2

:

 

9

2

.

5

8




e

p

o

c

h

 

3

:

 

9

3

.

9

0




e

p

o

c

h

 

4

:

 

9

4

.

7

1




`

`

`







A

n

d

 

t

h

a

t

'

s

 

i

t

!







P

l

e

a

s

e

 

n

o

t

e

 

t

h

a

t

 

`

n

o

t

e

b

o

o

k

_

l

a

u

n

c

h

e

r

(

)

`

 

i

g

n

o

r

e

s

 

t

h

e

 

A

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

 

f

i

l

e

,

 

t

o

 

l

a

u

n

c

h

 

b

a

s

e

d

 

o

n

 

t

h

e

 

c

o

n

f

i

g

 

u

s

e

:







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h




`

`

`







#

#

 

D

e

b

u

g

g

i

n

g

 







A

 

c

o

m

m

o

n

 

i

s

s

u

e

 

w

h

e

n

 

r

u

n

n

i

n

g

 

t

h

e

 

`

n

o

t

e

b

o

o

k

_

l

a

u

n

c

h

e

r

`

 

i

s

 

r

e

c

e

i

v

i

n

g

 

a

 

C

U

D

A

 

h

a

s

 

a

l

r

e

a

d

y

 

b

e

e

n

 

i

n

i

t

i

a

l

i

z

e

d

 

i

s

s

u

e

.

 

T

h

i

s

 

u

s

u

a

l

l

y

 

s

t

e

m

s




f

r

o

m

 

a

n

 

i

m

p

o

r

t

 

o

r

 

p

r

i

o

r

 

c

o

d

e

 

i

n

 

t

h

e

 

n

o

t

e

b

o

o

k

 

t

h

a

t

 

m

a

k

e

s

 

a

 

c

a

l

l

 

t

o

 

t

h

e

 

P

y

T

o

r

c

h

 

`

t

o

r

c

h

.

c

u

d

a

`

 

s

u

b

l

i

b

r

a

r

y

.

 

T

o

 

h

e

l

p

 

n

a

r

r

o

w

 

d

o

w

n

 

w

h

a

t

 

w

e

n

t

 

w

r

o

n

g

,




y

o

u

 

c

a

n

 

l

a

u

n

c

h

 

t

h

e

 

`

n

o

t

e

b

o

o

k

_

l

a

u

n

c

h

e

r

`

 

w

i

t

h

 

`

A

C

C

E

L

E

R

A

T

E

_

D

E

B

U

G

_

M

O

D

E

=

y

e

s

`

 

i

n

 

y

o

u

r

 

e

n

v

i

r

o

n

m

e

n

t

 

a

n

d

 

a

n

 

a

d

d

i

t

i

o

n

a

l

 

c

h

e

c

k




w

i

l

l

 

b

e

 

m

a

d

e

 

w

h

e

n

 

s

p

a

w

n

i

n

g

 

t

h

a

t

 

a

 

r

e

g

u

l

a

r

 

p

r

o

c

e

s

s

 

c

a

n

 

b

e

 

c

r

e

a

t

e

d

 

a

n

d

 

u

t

i

l

i

z

e

 

C

U

D

A

 

w

i

t

h

o

u

t

 

i

s

s

u

e

.

 

(

Y

o

u

r

 

C

U

D

A

 

c

o

d

e

 

c

a

n

 

s

t

i

l

l

 

b

e

 

r

a

n

 

a

f

t

e

r

w

a

r

d

s

)

.







#

#

 

C

o

n

c

l

u

s

i

o

n







T

h

i

s

 

n

o

t

e

b

o

o

k

 

s

h

o

w

e

d

 

h

o

w

 

t

o

 

p

e

r

f

o

r

m

 

d

i

s

t

r

i

b

u

t

e

d

 

t

r

a

i

n

i

n

g

 

f

r

o

m

 

i

n

s

i

d

e

 

o

f

 

a

 

J

u

p

y

t

e

r

 

N

o

t

e

b

o

o

k

.

 

S

o

m

e

 

k

e

y

 

n

o

t

e

s

 

t

o

 

r

e

m

e

m

b

e

r

:







-

 

M

a

k

e

 

s

u

r

e

 

t

o

 

s

a

v

e

 

a

n

y

 

c

o

d

e

 

t

h

a

t

 

u

s

e

 

C

U

D

A

 

(

o

r

 

C

U

D

A

 

i

m

p

o

r

t

s

)

 

f

o

r

 

t

h

e

 

f

u

n

c

t

i

o

n

 

p

a

s

s

e

d

 

t

o

 

`

n

o

t

e

b

o

o

k

_

l

a

u

n

c

h

e

r

(

)

`




-

 

S

e

t

 

t

h

e

 

`

n

u

m

_

p

r

o

c

e

s

s

e

s

`

 

t

o

 

b

e

 

t

h

e

 

n

u

m

b

e

r

 

o

f

 

d

e

v

i

c

e

s

 

u

s

e

d

 

f

o

r

 

t

r

a

i

n

i

n

g

 

(

s

u

c

h

 

a

s

 

n

u

m

b

e

r

 

o

f

 

G

P

U

s

,

 

C

P

U

s

,

 

T

P

U

s

,

 

e

t

c

)




-

 

I

f

 

u

s

i

n

g

 

t

h

e

 

T

P

U

,

 

d

e

c

l

a

r

e

 

y

o

u

r

 

m

o

d

e

l

 

o

u

t

s

i

d

e

 

t

h

e

 

t

r

a

i

n

i

n

g

 

l

o

o

p

 

f

u

n

c

t

i

o

n







#

 

O

v

e

r

v

i

e

w







W

e

l

c

o

m

e

 

t

o

 

t

h

e

 

A

c

c

e

l

e

r

a

t

e

 

t

u

t

o

r

i

a

l

s

!

 

T

h

e

s

e

 

i

n

t

r

o

d

u

c

t

o

r

y

 

g

u

i

d

e

s

 

w

i

l

l

 

h

e

l

p

 

c

a

t

c

h

 

y

o

u

 

u

p

 

t

o

 

s

p

e

e

d

 

o

n

 

w

o

r

k

i

n

g

 

w

i

t

h

 

A

c

c

e

l

e

r

a

t

e

.




Y

o

u

'

l

l

 

l

e

a

r

n

 

h

o

w

 

t

o

 

m

o

d

i

f

y

 

y

o

u

r

 

c

o

d

e

 

t

o

 

h

a

v

e

 

i

t

 

w

o

r

k

 

w

i

t

h

 

t

h

e

 

A

P

I

 

s

e

a

m

l

e

s

s

l

y

,

 

h

o

w

 

t

o

 

l

a

u

n

c

h

 

y

o

u

r

 

s

c

r

i

p

t

 

p

r

o

p

e

r

l

y

,




a

n

d

 

m

o

r

e

!







T

h

e

s

e

 

t

u

t

o

r

i

a

l

s

 

a

s

s

u

m

e

 

s

o

m

e

 

b

a

s

i

c

 

k

n

o

w

l

e

d

g

e

 

o

f

 

P

y

t

h

o

n

 

a

n

d

 

f

a

m

i

l

i

a

r

i

t

y

 

w

i

t

h

 

t

h

e

 

P

y

T

o

r

c

h

 

f

r

a

m

e

w

o

r

k

.







I

f

 

y

o

u

 

h

a

v

e

 

a

n

y

 

q

u

e

s

t

i

o

n

s

 

a

b

o

u

t

 

A

c

c

e

l

e

r

a

t

e

,

 

f

e

e

l

 

f

r

e

e

 

t

o

 

j

o

i

n

 

a

n

d

 

a

s

k

 

t

h

e

 

c

o

m

m

u

n

i

t

y

 

o

n

 

o

u

r

 

[

f

o

r

u

m

]

(

h

t

t

p

s

:

/

/

d

i

s

c

u

s

s

.

h

u

g

g

i

n

g

f

a

c

e

.

c

o

/

c

/

a

c

c

e

l

e

r

a

t

e

/

1

8

)

.







#

 

T

P

U

 

t

r

a

i

n

i

n

g







A

 

[

T

P

U

 

(

T

e

n

s

o

r

 

P

r

o

c

e

s

s

i

n

g

 

U

n

i

t

)

]

(

h

t

t

p

s

:

/

/

c

l

o

u

d

.

g

o

o

g

l

e

.

c

o

m

/

t

p

u

/

d

o

c

s

/

i

n

t

r

o

-

t

o

-

t

p

u

)

 

i

s

 

a

 

t

y

p

e

 

o

f

 

h

a

r

d

w

a

r

e

 

s

p

e

c

i

f

i

c

a

l

l

y

 

d

e

s

i

g

n

e

d

 

f

o

r

 

t

r

a

i

n

i

n

g

 

m

o

d

e

l

s

 

e

f

f

i

c

i

e

n

t

l

y

.

 

A

c

c

e

l

e

r

a

t

e

 

s

u

p

p

o

r

t

s

 

T

P

U

 

t

r

a

i

n

i

n

g

,

 

b

u

t

 

t

h

e

r

e

 

a

r

e

 

a

 

f

e

w

 

t

h

i

n

g

s

 

y

o

u

 

s

h

o

u

l

d

 

b

e

 

a

w

a

r

e

 

o

f

,

 

n

a

m

e

l

y

 

g

r

a

p

h

 

c

o

m

p

i

l

a

t

i

o

n

.

 

T

h

i

s

 

t

u

t

o

r

i

a

l

 

b

r

i

e

f

l

y

 

d

i

s

c

u

s

s

e

s

 

c

o

m

p

i

l

a

t

i

o

n

,

 

a

n

d

 

f

o

r

 

m

o

r

e

 

d

e

t

a

i

l

s

,

 

t

a

k

e

 

a

 

l

o

o

k

 

a

t

 

t

h

e

 

[

T

r

a

i

n

i

n

g

 

o

n

 

T

P

U

s

 

w

i

t

h

 

A

c

c

e

l

e

r

a

t

e

]

(

.

.

/

c

o

n

c

e

p

t

_

g

u

i

d

e

s

/

t

r

a

i

n

i

n

g

_

t

p

u

)

 

g

u

i

d

e

.







#

#

 

C

o

m

p

i

l

a

t

i

o

n







A

 

T

P

U

 

c

r

e

a

t

e

s

 

a

 

g

r

a

p

h

 

o

f

 

a

l

l

 

t

h

e

 

o

p

e

r

a

t

i

o

n

s

 

i

n

 

t

h

e

 

t

r

a

i

n

i

n

g

 

s

t

e

p

 

s

u

c

h

 

a

s

 

t

h

e

 

f

o

r

w

a

r

d

 

p

a

s

s

,

 

b

a

c

k

w

a

r

d

 

p

a

s

s

 

a

n

d

 

o

p

t

i

m

i

z

e

r

 

s

t

e

p

.

 

T

h

i

s

 

i

s

 

w

h

y

 

t

h

e

 

f

i

r

s

t

 

t

r

a

i

n

i

n

g

 

s

t

e

p

 

a

l

w

a

y

s

 

t

a

k

e

s

 

a

 

w

h

i

l

e

 

b

e

c

a

u

s

e

 

b

u

i

l

d

i

n

g

 

a

n

d

 

c

o

m

p

i

l

i

n

g

 

t

h

i

s

 

g

r

a

p

h

 

t

a

k

e

s

 

t

i

m

e

.

 

B

u

t

 

o

n

c

e

 

c

o

m

p

i

l

a

t

i

o

n

 

i

s

 

c

o

m

p

l

e

t

e

,

 

i

t

 

i

s

 

c

a

c

h

e

d

 

a

n

d

 

a

l

l

 

s

u

b

s

e

q

u

e

n

t

 

s

t

e

p

s

 

a

r

e

 

m

u

c

h

 

f

a

s

t

e

r

.







T

h

e

 

k

e

y

 

i

s

 

t

o

 

a

v

o

i

d

 

c

o

m

p

i

l

i

n

g

 

y

o

u

r

 

c

o

d

e

 

a

g

a

i

n

 

o

r

 

e

l

s

e

 

t

r

a

i

n

i

n

g

 

i

s

 

s

u

p

e

r

 

s

l

o

w

.

 

T

h

i

s

 

m

e

a

n

s

 

a

l

l

 

y

o

u

r

 

o

p

e

r

a

t

i

o

n

s

 

m

u

s

t

 

b

e

 

e

x

a

c

t

l

y

 

t

h

e

 

s

a

m

e

:







*

 

a

l

l

 

t

e

n

s

o

r

s

 

i

n

 

y

o

u

r

 

b

a

t

c

h

e

s

 

m

u

s

t

 

h

a

v

e

 

t

h

e

 

s

a

m

e

 

l

e

n

g

t

h

 

(

f

o

r

 

e

x

a

m

p

l

e

,

 

n

o

 

d

y

n

a

m

i

c

 

p

a

d

d

i

n

g

 

f

o

r

 

N

L

P

 

t

a

s

k

s

)




*

 

y

o

u

r

 

c

o

d

e

 

m

u

s

t

 

b

e

 

s

t

a

t

i

c

 

(

f

o

r

 

e

x

a

m

p

l

e

,

 

n

o

 

l

a

y

e

r

s

 

w

i

t

h

 

f

o

r

 

l

o

o

p

s

 

t

h

a

t

 

h

a

v

e

 

d

i

f

f

e

r

e

n

t

 

l

e

n

g

t

h

s

 

d

e

p

e

n

d

i

n

g

 

o

n

 

t

h

e

 

i

n

p

u

t

 

s

u

c

h

 

a

s

 

a

 

L

S

T

M

)







#

#

 

W

e

i

g

h

t

 

t

y

i

n

g







A

 

c

o

m

m

o

n

 

l

a

n

g

u

a

g

e

 

m

o

d

e

l

 

d

e

s

i

g

n

 

i

s

 

t

o

 

t

i

e

 

t

h

e

 

w

e

i

g

h

t

s

 

o

f

 

t

h

e

 

e

m

b

e

d

d

i

n

g

 

a

n

d

 

s

o

f

t

m

a

x

 

l

a

y

e

r

s

.

 

H

o

w

e

v

e

r

,

 

m

o

v

i

n

g

 

t

h

e

 

m

o

d

e

l

 

t

o

 

a

 

T

P

U

 

(

e

i

t

h

e

r

 

y

o

u

r

s

e

l

f

 

o

r

 

p

a

s

s

i

n

g

 

i

t

 

t

o

 

t

h

e

 

`

p

r

e

p

a

r

e

(

)

`

 

m

e

t

h

o

d

)

 

b

r

e

a

k

s

 

t

h

e

 

w

e

i

g

h

t

 

t

y

i

n

g

 

a

n

d

 

y

o

u

'

l

l

 

n

e

e

d

 

t

o

 

r

e

t

i

e

 

t

h

e

 

w

e

i

g

h

t

s

.







T

o

 

a

d

d

 

s

p

e

c

i

a

l

 

b

e

h

a

v

i

o

r

 

(

l

i

k

e

 

w

e

i

g

h

t

 

t

y

i

n

g

)

 

i

n

 

y

o

u

r

 

s

c

r

i

p

t

 

f

o

r

 

T

P

U

s

,

 

s

e

t

 

`

d

i

s

t

r

i

b

u

t

e

d

_

t

y

p

e

`

 

t

o

 

`

D

i

s

t

r

i

b

u

t

e

d

T

y

p

e

.

T

P

U

`

 

f

i

r

s

t

.

 

T

h

e

n

 

y

o

u

 

c

a

n

 

u

s

e

 

t

h

e

 

[

t

i

e

_

w

e

i

g

h

t

s

]

(

h

t

t

p

s

:

/

/

h

u

g

g

i

n

g

f

a

c

e

.

c

o

/

d

o

c

s

/

t

r

a

n

s

f

o

r

m

e

r

s

/

m

a

i

n

/

e

n

/

m

a

i

n

_

c

l

a

s

s

e

s

/

m

o

d

e

l

#

t

r

a

n

s

f

o

r

m

e

r

s

.

P

r

e

T

r

a

i

n

e

d

M

o

d

e

l

.

t

i

e

_

w

e

i

g

h

t

s

)

 

m

e

t

h

o

d

 

t

o

 

t

i

e

 

t

h

e

 

w

e

i

g

h

t

s

.







`

`

`

p

y




i

f

 

a

c

c

e

l

e

r

a

t

o

r

.

d

i

s

t

r

i

b

u

t

e

d

_

t

y

p

e

 

=

=

 

D

i

s

t

r

i

b

u

t

e

d

T

y

p

e

.

T

P

U

:




 

 

 

 

m

o

d

e

l

.

t

i

e

_

w

e

i

g

h

t

s

(

)




`

`

`







#

 

T

r

o

u

b

l

e

s

h

o

o

t







T

h

i

s

 

g

u

i

d

e

 

p

r

o

v

i

d

e

s

 

s

o

l

u

t

i

o

n

s

 

t

o

 

s

o

m

e

 

i

s

s

u

e

s

 

y

o

u

 

m

i

g

h

t

 

e

n

c

o

u

n

t

e

r

 

w

h

e

n

 

u

s

i

n

g

 

A

c

c

e

l

e

r

a

t

e

.

 

N

o

t

 

a

l

l

 

e

r

r

o

r

s

 

a

r

e

 

c

o

v

e

r

e

d

 

b

e

c

a

u

s

e

 

A

c

c

e

l

e

r

a

t

e

 

i

s

 

a

n

 

a

c

t

i

v

e

 

l

i

b

r

a

r

y

 

t

h

a

t

 

i

s

 

c

o

n

t

i

n

u

o

u

s

l

y

 

e

v

o

l

v

i

n

g

 

a

n

d

 

t

h

e

r

e

 

a

r

e

 

m

a

n

y

 

d

i

f

f

e

r

e

n

t

 

u

s

e

 

c

a

s

e

s

 

a

n

d

 

d

i

s

t

r

i

b

u

t

e

d

 

t

r

a

i

n

i

n

g

 

s

e

t

u

p

s

.

 

I

f

 

t

h

e

 

s

o

l

u

t

i

o

n

s

 

d

e

s

c

r

i

b

e

d

 

h

e

r

e

 

d

o

n

'

t

 

h

e

l

p

 

w

i

t

h

 

y

o

u

r

 

s

p

e

c

i

f

i

c

 

e

r

r

o

r

,

 

p

l

e

a

s

e

 

t

a

k

e

 

a

 

l

o

o

k

 

a

t

 

t

h

e

 

[

A

s

k

 

f

o

r

 

h

e

l

p

]

(

#

a

s

k

-

f

o

r

-

h

e

l

p

)

 

s

e

c

t

i

o

n

 

t

o

 

l

e

a

r

n

 

w

h

e

r

e

 

a

n

d

 

h

o

w

 

t

o

 

g

e

t

 

h

e

l

p

.







#

#

 

L

o

g

g

i

n

g







L

o

g

g

i

n

g

 

c

a

n

 

h

e

l

p

 

y

o

u

 

i

d

e

n

t

i

f

y

 

w

h

e

r

e

 

a

n

 

e

r

r

o

r

 

i

s

 

c

o

m

i

n

g

 

f

r

o

m

.

 

I

n

 

a

 

d

i

s

t

r

i

b

u

t

e

d

 

s

e

t

u

p

 

w

i

t

h

 

m

u

l

t

i

p

l

e

 

p

r

o

c

e

s

s

e

s

,

 

l

o

g

g

i

n

g

 

c

a

n

 

b

e

 

a

 

c

h

a

l

l

e

n

g

e

,

 

b

u

t

 

A

c

c

e

l

e

r

a

t

e

 

p

r

o

v

i

d

e

s

 

t

h

e

 

`

l

o

g

g

i

n

g

(

)

`

 

u

t

i

l

i

t

y

 

t

o

 

e

n

s

u

r

e

 

l

o

g

s

 

a

r

e

 

s

y

n

c

h

r

o

n

i

z

e

d

.







T

o

 

t

r

o

u

b

l

e

s

h

o

o

t

 

a

n

 

i

s

s

u

e

,

 

u

s

e

 

`

l

o

g

g

i

n

g

(

)

`

 

i

n

s

t

e

a

d

 

o

f

 

t

h

e

 

s

t

a

n

d

a

r

d

 

P

y

t

h

o

n

 

[

`

l

o

g

g

i

n

g

`

]

(

h

t

t

p

s

:

/

/

d

o

c

s

.

p

y

t

h

o

n

.

o

r

g

/

3

/

l

i

b

r

a

r

y

/

l

o

g

g

i

n

g

.

h

t

m

l

#

m

o

d

u

l

e

-

l

o

g

g

i

n

g

)

 

m

o

d

u

l

e

.

 

S

e

t

 

t

h

e

 

v

e

r

b

o

s

i

t

y

 

l

e

v

e

l

 

(

`

I

N

F

O

`

,

 

`

D

E

B

U

G

`

,

 

`

W

A

R

N

I

N

G

`

,

 

`

E

R

R

O

R

`

,

 

`

C

R

I

T

I

C

A

L

`

)

 

w

i

t

h

 

t

h

e

 

`

l

o

g

_

l

e

v

e

l

`

 

p

a

r

a

m

e

t

e

r

,

 

a

n

d

 

t

h

e

n

 

y

o

u

 

c

a

n

 

e

i

t

h

e

r

:







1

.

 

E

x

p

o

r

t

 

t

h

e

 

`

l

o

g

_

l

e

v

e

l

`

 

a

s

 

t

h

e

 

`

A

C

C

E

L

E

R

A

T

E

_

L

O

G

_

L

E

V

E

L

`

 

e

n

v

i

r

o

n

m

e

n

t

 

v

a

r

i

a

b

l

e

.




2

.

 

P

a

s

s

 

t

h

e

 

`

l

o

g

_

l

e

v

e

l

`

 

d

i

r

e

c

t

l

y

 

t

o

 

`

g

e

t

_

l

o

g

g

e

r

`

.







F

o

r

 

e

x

a

m

p

l

e

,

 

t

o

 

s

e

t

 

`

l

o

g

_

l

e

v

e

l

=

"

I

N

F

O

"

`

:







`

`

`

p

y




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

.

l

o

g

g

i

n

g

 

i

m

p

o

r

t

 

g

e

t

_

l

o

g

g

e

r







l

o

g

g

e

r

 

=

 

g

e

t

_

l

o

g

g

e

r

(

_

_

n

a

m

e

_

_

,

 

l

o

g

_

l

e

v

e

l

=

"

D

E

B

U

G

"

)




`

`

`







B

y

 

d

e

f

a

u

l

t

,

 

t

h

e

 

l

o

g

 

i

s

 

c

a

l

l

e

d

 

o

n

 

m

a

i

n

 

p

r

o

c

e

s

s

e

s

 

o

n

l

y

.

 

T

o

 

c

a

l

l

 

i

t

 

o

n

 

a

l

l

 

p

r

o

c

e

s

s

e

s

,

 

p

a

s

s

 

`

m

a

i

n

_

p

r

o

c

e

s

s

_

o

n

l

y

=

F

a

l

s

e

`

.




I

f

 

a

 

l

o

g

 

s

h

o

u

l

d

 

b

e

 

c

a

l

l

e

d

 

o

n

 

a

l

l

 

p

r

o

c

e

s

s

e

s

 

a

n

d

 

i

n

 

o

r

d

e

r

,

 

a

l

s

o

 

p

a

s

s

 

`

i

n

_

o

r

d

e

r

=

T

r

u

e

`

.







`

`

`

p

y




f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

.

l

o

g

g

i

n

g

 

i

m

p

o

r

t

 

g

e

t

_

l

o

g

g

e

r







l

o

g

g

e

r

 

=

 

g

e

t

_

l

o

g

g

e

r

(

_

_

n

a

m

e

_

_

,

 

l

o

g

_

l

e

v

e

l

=

"

D

E

B

U

G

"

)




#

 

l

o

g

 

a

l

l

 

p

r

o

c

e

s

s

e

s




l

o

g

g

e

r

.

d

e

b

u

g

(

"

t

h

i

n

g

_

t

o

_

l

o

g

"

,

 

m

a

i

n

_

p

r

o

c

e

s

s

_

o

n

l

y

=

F

a

l

s

e

)




#

 

l

o

g

 

a

l

l

 

p

r

o

c

e

s

s

e

s

 

i

n

 

o

r

d

e

r




l

o

g

g

e

r

.

d

e

b

u

g

(

"

t

h

i

n

g

_

t

o

_

l

o

g

"

,

 

m

a

i

n

_

p

r

o

c

e

s

s

_

o

n

l

y

=

F

a

l

s

e

,

 

i

n

_

o

r

d

e

r

=

T

r

u

e

)




`

`

`







#

#

 

H

a

n

g

i

n

g

 

c

o

d

e

 

a

n

d

 

t

i

m

e

o

u

t

 

e

r

r

o

r

s







T

h

e

r

e

 

c

a

n

 

b

e

 

m

a

n

y

 

r

e

a

s

o

n

s

 

w

h

y

 

y

o

u

r

 

c

o

d

e

 

i

s

 

h

a

n

g

i

n

g

.

 

L

e

t

'

s

 

t

a

k

e

 

a

 

l

o

o

k

 

a

t

 

h

o

w

 

t

o

 

s

o

l

v

e

 

s

o

m

e

 

o

f

 

t

h

e

 

m

o

s

t

 

c

o

m

m

o

n

 

i

s

s

u

e

s

 

t

h

a

t

 

c

a

n

 

c

a

u

s

e

 

y

o

u

r

 

c

o

d

e

 

t

o

 

h

a

n

g

.







#

#

#

 

M

i

s

m

a

t

c

h

e

d

 

t

e

n

s

o

r

 

s

h

a

p

e

s







M

i

s

m

a

t

c

h

e

d

 

t

e

n

s

o

r

 

s

h

a

p

e

s

 

i

s

 

a

 

c

o

m

m

o

n

 

i

s

s

u

e

 

t

h

a

t

 

c

a

n

 

c

a

u

s

e

 

y

o

u

r

 

c

o

d

e

 

t

o

 

h

a

n

g

 

f

o

r

 

a

 

s

i

g

n

i

f

i

c

a

n

t

 

a

m

o

u

n

t

 

o

f

 

t

i

m

e

 

o

n

 

a

 

d

i

s

t

r

i

b

u

t

e

d

 

s

e

t

u

p

.







W

h

e

n

 

r

u

n

n

i

n

g

 

s

c

r

i

p

t

s

 

i

n

 

a

 

d

i

s

t

r

i

b

u

t

e

d

 

s

e

t

u

p

,

 

f

u

n

c

t

i

o

n

s

 

s

u

c

h

 

a

s

 

`

A

c

c

e

l

e

r

a

t

o

r

.

g

a

t

h

e

r

(

)

`

 

a

n

d

 

`

A

c

c

e

l

e

r

a

t

o

r

.

r

e

d

u

c

e

(

)

`

 

a

r

e

 

n

e

c

e

s

s

a

r

y

 

t

o

 

g

r

a

b

 

t

e

n

s

o

r

s

 

a

c

r

o

s

s

 

d

e

v

i

c

e

s

 

t

o

 

c

o

l

l

e

c

t

i

v

e

l

y

 

p

e

r

f

o

r

m

 

o

p

e

r

a

t

i

o

n

s

 

o

n

 

t

h

e

m

.

 

T

h

e

s

e

 

(

a

n

d

 

o

t

h

e

r

)

 

f

u

n

c

t

i

o

n

s

 

r

e

l

y

 

o

n

 

`

t

o

r

c

h

.

d

i

s

t

r

i

b

u

t

e

d

`

 

t

o

 

p

e

r

f

o

r

m

 

a

 

`

g

a

t

h

e

r

`

 

o

p

e

r

a

t

i

o

n

,

 

w

h

i

c

h

 

r

e

q

u

i

r

e

s

 

t

e

n

s

o

r

s

 

t

o

 

h

a

v

e

 

t

h

e

 

*

*

e

x

a

c

t

 

s

a

m

e

 

s

h

a

p

e

*

*

 

a

c

r

o

s

s

 

a

l

l

 

p

r

o

c

e

s

s

e

s

.

 

W

h

e

n

 

t

h

e

 

t

e

n

s

o

r

 

s

h

a

p

e

s

 

d

o

n

'

t

 

m

a

t

c

h

,

 

y

o

u

r

 

c

o

d

e

 

h

a

n

g

s

 

a

n

d

 

y

o

u

'

l

l

 

e

v

e

n

t

u

a

l

l

y

 

h

i

t

 

a

 

t

i

m

e

o

u

t

 

e

x

c

e

p

t

i

o

n

.







Y

o

u

 

c

a

n

 

u

s

e

 

A

c

c

e

l

e

r

a

t

e

'

s

 

o

p

e

r

a

t

i

o

n

a

l

 

d

e

b

u

g

 

m

o

d

e

 

t

o

 

i

m

m

e

d

i

a

t

e

l

y

 

c

a

t

c

h

 

t

h

i

s

 

i

s

s

u

e

.

 

W

e

 

r

e

c

o

m

m

e

n

d

 

e

n

a

b

l

i

n

g

 

t

h

i

s

 

m

o

d

e

 

d

u

r

i

n

g

 

t

h

e

 

`

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

`

 

s

e

t

u

p

,

 

b

u

t

 

y

o

u

 

c

a

n

 

a

l

s

o

 

e

n

a

b

l

e

 

i

t

 

f

r

o

m

 

t

h

e

 

C

L

I

,

 

a

s

 

a

n

 

e

n

v

i

r

o

n

m

e

n

t

 

v

a

r

i

a

b

l

e

,

 

o

r

 

b

y

 

m

a

n

u

a

l

l

y

 

e

d

i

t

i

n

g

 

t

h

e

 

`

c

o

n

f

i

g

.

y

a

m

l

`

 

f

i

l

e

.







<

h

f

o

p

t

i

o

n

s

 

i

d

=

"

m

i

s

m

a

t

c

h

"

>




<

h

f

o

p

t

i

o

n

 

i

d

=

"

C

L

I

"

>







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

-

-

d

e

b

u

g

 

{

m

y

_

s

c

r

i

p

t

.

p

y

}

 

-

-

a

r

g

1

 

-

-

a

r

g

2




`

`

`







<

/

h

f

o

p

t

i

o

n

>




<

h

f

o

p

t

i

o

n

 

i

d

=

"

e

n

v

i

r

o

n

m

e

n

t

 

v

a

r

i

a

b

l

e

"

>







I

f

 

e

n

a

b

l

i

n

g

 

d

e

b

u

g

 

m

o

d

e

 

a

s

 

a

n

 

e

n

v

i

r

o

n

m

e

n

t

 

v

a

r

i

a

b

l

e

,

 

y

o

u

 

d

o

n

'

t

 

n

e

e

d

 

t

o

 

c

a

l

l

 

`

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

`

.







`

`

`

b

a

s

h




A

C

C

E

L

E

R

A

T

E

_

D

E

B

U

G

_

M

O

D

E

=

"

1

"

 

t

o

r

c

h

r

u

n

 

{

m

y

_

s

c

r

i

p

t

.

p

y

}

 

-

-

a

r

g

1

 

-

-

a

r

g

2




`

`

`







<

/

h

f

o

p

t

i

o

n

>




<

h

f

o

p

t

i

o

n

 

i

d

=

"

c

o

n

f

i

g

.

y

a

m

l

"

>







A

d

d

 

`

d

e

b

u

g

:

 

t

r

u

e

`

 

t

o

 

y

o

u

r

 

`

c

o

n

f

i

g

.

y

a

m

l

`

 

f

i

l

e

.







`

`

`

y

a

m

l




c

o

m

p

u

t

e

_

e

n

v

i

r

o

n

m

e

n

t

:

 

L

O

C

A

L

_

M

A

C

H

I

N

E




d

e

b

u

g

:

 

t

r

u

e




`

`

`







<

/

h

f

o

p

t

i

o

n

>




<

/

h

f

o

p

t

i

o

n

s

>







O

n

c

e

 

y

o

u

 

e

n

a

b

l

e

 

d

e

b

u

g

 

m

o

d

e

,

 

y

o

u

 

s

h

o

u

l

d

 

g

e

t

 

a

 

t

r

a

c

e

b

a

c

k

 

t

h

a

t

 

p

o

i

n

t

s

 

t

o

 

t

h

e

 

t

e

n

s

o

r

 

s

h

a

p

e

 

m

i

s

m

a

t

c

h

 

i

s

s

u

e

.







`

`

`

p

y




T

r

a

c

e

b

a

c

k

 

(

m

o

s

t

 

r

e

c

e

n

t

 

c

a

l

l

 

l

a

s

t

)

:




 

 

F

i

l

e

 

"

/

h

o

m

e

/

z

a

c

h

_

m

u

e

l

l

e

r

_

h

u

g

g

i

n

g

f

a

c

e

_

c

o

/

t

e

s

t

.

p

y

"

,

 

l

i

n

e

 

1

8

,

 

i

n

 

<

m

o

d

u

l

e

>




 

 

 

 

m

a

i

n

(

)




 

 

F

i

l

e

 

"

/

h

o

m

e

/

z

a

c

h

_

m

u

e

l

l

e

r

_

h

u

g

g

i

n

g

f

a

c

e

_

c

o

/

t

e

s

t

.

p

y

"

,

 

l

i

n

e

 

1

5

,

 

i

n

 

m

a

i

n




 

 

 

 

b

r

o

a

d

c

a

s

t

_

t

e

n

s

o

r

 

=

 

b

r

o

a

d

c

a

s

t

(

t

e

n

s

o

r

)




 

 

F

i

l

e

 

"

/

h

o

m

e

/

z

a

c

h

_

m

u

e

l

l

e

r

_

h

u

g

g

i

n

g

f

a

c

e

_

c

o

/

a

c

c

e

l

e

r

a

t

e

/

s

r

c

/

a

c

c

e

l

e

r

a

t

e

/

u

t

i

l

s

/

o

p

e

r

a

t

i

o

n

s

.

p

y

"

,

 

l

i

n

e

 

3

0

3

,

 

i

n

 

w

r

a

p

p

e

r




a

c

c

e

l

e

r

a

t

e

.

u

t

i

l

s

.

o

p

e

r

a

t

i

o

n

s

.

D

i

s

t

r

i

b

u

t

e

d

O

p

e

r

a

t

i

o

n

E

x

c

e

p

t

i

o

n

:







C

a

n

n

o

t

 

a

p

p

l

y

 

d

e

s

i

r

e

d

 

o

p

e

r

a

t

i

o

n

 

d

u

e

 

t

o

 

s

h

a

p

e

 

m

i

s

m

a

t

c

h

e

s

.

 

A

l

l

 

s

h

a

p

e

s

 

a

c

r

o

s

s

 

d

e

v

i

c

e

s

 

m

u

s

t

 

b

e

 

v

a

l

i

d

.







O

p

e

r

a

t

i

o

n

:

 

`

a

c

c

e

l

e

r

a

t

e

.

u

t

i

l

s

.

o

p

e

r

a

t

i

o

n

s

.

b

r

o

a

d

c

a

s

t

`




I

n

p

u

t

 

s

h

a

p

e

s

:




 

 

-

 

P

r

o

c

e

s

s

 

0

:

 

[

1

,

 

5

]




 

 

-

 

P

r

o

c

e

s

s

 

1

:

 

[

1

,

 

2

,

 

5

]




`

`

`







#

#

#

 

E

a

r

l

y

 

s

t

o

p

p

i

n

g







F

o

r

 

e

a

r

l

y

 

s

t

o

p

p

i

n

g

 

i

n

 

d

i

s

t

r

i

b

u

t

e

d

 

t

r

a

i

n

i

n

g

,

 

i

f

 

e

a

c

h

 

p

r

o

c

e

s

s

 

h

a

s

 

a

 

s

p

e

c

i

f

i

c

 

s

t

o

p

p

i

n

g

 

c

o

n

d

i

t

i

o

n

 

(

e

.

g

.

 

v

a

l

i

d

a

t

i

o

n

 

l

o

s

s

)

,

 

i

t

 

m

a

y

 

n

o

t

 

b

e

 

s

y

n

c

h

r

o

n

i

z

e

d

 

a

c

r

o

s

s

 

a

l

l

 

p

r

o

c

e

s

s

e

s

.

 

A

s

 

a

 

r

e

s

u

l

t

,

 

a

 

b

r

e

a

k

 

c

a

n

 

h

a

p

p

e

n

 

o

n

 

p

r

o

c

e

s

s

 

0

 

b

u

t

 

n

o

t

 

o

n

 

p

r

o

c

e

s

s

 

1

 

w

h

i

c

h

 

w

i

l

l

 

c

a

u

s

e

 

y

o

u

r

 

c

o

d

e

 

t

o

 

h

a

n

g

 

i

n

d

e

f

i

n

i

t

e

l

y

 

u

n

t

i

l

 

a

 

t

i

m

e

o

u

t

 

o

c

c

u

r

s

.







I

f

 

y

o

u

 

h

a

v

e

 

e

a

r

l

y

 

s

t

o

p

p

i

n

g

 

c

o

n

d

i

t

i

o

n

a

l

s

,

 

u

s

e

 

t

h

e

 

`

s

e

t

_

b

r

e

a

k

p

o

i

n

t

`

 

a

n

d

 

`

c

h

e

c

k

_

b

r

e

a

k

p

o

i

n

t

`

 

m

e

t

h

o

d

s

 

t

o

 

m

a

k

e

 

s

u

r

e

 

a

l

l

 

t

h

e

 

p

r

o

c

e

s

s

e

s




a

r

e

 

e

n

d

e

d

 

c

o

r

r

e

c

t

l

y

.







`

`

`

p

y




#

 

A

s

s

u

m

e

 

`

s

h

o

u

l

d

_

d

o

_

b

r

e

a

k

p

o

i

n

t

`

 

i

s

 

a

 

c

u

s

t

o

m

 

d

e

f

i

n

e

d

 

f

u

n

c

t

i

o

n

 

t

h

a

t

 

r

e

t

u

r

n

s

 

a

 

c

o

n

d

i

t

i

o

n

a

l

,

 




#

 

a

n

d

 

t

h

a

t

 

c

o

n

d

i

t

i

o

n

a

l

 

m

i

g

h

t

 

b

e

 

t

r

u

e

 

o

n

l

y

 

o

n

 

p

r

o

c

e

s

s

 

1




i

f

 

s

h

o

u

l

d

_

d

o

_

b

r

e

a

k

p

o

i

n

t

(

l

o

s

s

)

:




 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

s

e

t

_

b

r

e

a

k

p

o

i

n

t

(

)







#

 

L

a

t

e

r

 

i

n

 

t

h

e

 

t

r

a

i

n

i

n

g

 

s

c

r

i

p

t

 

w

h

e

n

 

w

e

 

n

e

e

d

 

t

o

 

c

h

e

c

k

 

f

o

r

 

t

h

e

 

b

r

e

a

k

p

o

i

n

t




i

f

 

a

c

c

e

l

e

r

a

t

o

r

.

c

h

e

c

k

_

b

r

e

a

k

p

o

i

n

t

(

)

:




 

 

 

 

b

r

e

a

k




`

`

`







#

#

#

 

L

o

w

 

k

e

r

n

e

l

 

v

e

r

s

i

o

n

s

 

o

n

 

L

i

n

u

x







O

n

 

L

i

n

u

x

 

w

i

t

h

 

k

e

r

n

e

l

 

v

e

r

s

i

o

n

 

<

 

5

.

5

,

 

h

a

n

g

i

n

g

 

p

r

o

c

e

s

s

e

s

 

h

a

v

e

 

b

e

e

n

 

r

e

p

o

r

t

e

d

.

 

T

o

 

a

v

o

i

d

 

t

h

i

s

 

p

r

o

b

l

e

m

,

 

u

p

g

r

a

d

e

 

y

o

u

r

 

s

y

s

t

e

m

 

t

o

 

a

 

l

a

t

e

r

 

k

e

r

n

e

l

 

v

e

r

s

i

o

n

.







#

#

#

 

M

P

I







I

f

 

y

o

u

r

 

d

i

s

t

r

i

b

u

t

e

d

 

C

P

U

 

t

r

a

i

n

i

n

g

 

j

o

b

 

u

s

i

n

g

 

M

P

I

 

i

s

 

h

a

n

g

i

n

g

,

 

e

n

s

u

r

e

 

t

h

a

t

 

y

o

u

 

h

a

v

e




[

p

a

s

s

w

o

r

d

l

e

s

s

 

S

S

H

]

(

h

t

t

p

s

:

/

/

w

w

w

.

o

p

e

n

-

m

p

i

.

o

r

g

/

f

a

q

/

?

c

a

t

e

g

o

r

y

=

r

s

h

#

s

s

h

-

k

e

y

s

)

 

s

e

t

u

p

 

(

u

s

i

n

g

 

k

e

y

s

)

 

b

e

t

w

e

e

n

 

t

h

e

 

n

o

d

e

s

.

 

T

h

i

s

 

m

e

a

n

s




t

h

a

t

 

f

o

r

 

a

l

l

 

n

o

d

e

s

 

i

n

 

y

o

u

r

 

h

o

s

t

f

i

l

e

,

 

y

o

u

 

s

h

o

u

l

d

 

t

o

 

b

e

 

a

b

l

e

 

t

o

 

S

S

H

 

f

r

o

m

 

o

n

e

 

n

o

d

e

 

t

o

 

a

n

o

t

h

e

r

 

w

i

t

h

o

u

t

 

b

e

i

n

g

 

p

r

o

m

p

t

e

d

 

f

o

r

 

a

 

p

a

s

s

w

o

r

d

.







N

e

x

t

,

 

t

r

y

 

t

o

 

r

u

n

 

t

h

e

 

`

m

p

i

r

u

n

`

 

c

o

m

m

a

n

d

 

a

s

 

a

 

s

a

n

i

t

y

 

c

h

e

c

k

.

 

F

o

r

 

e

x

a

m

p

l

e

,

 

t

h

e

 

c

o

m

m

a

n

d

 

b

e

l

o

w

 

s

h

o

u

l

d

 

p

r

i

n

t

 

o

u

t

 

t

h

e




h

o

s

t

n

a

m

e

s

 

f

o

r

 

e

a

c

h

 

o

f

 

t

h

e

 

n

o

d

e

s

.







`

`

`

b

a

s

h




m

p

i

r

u

n

 

-

f

 

h

o

s

t

f

i

l

e

 

-

n

 

{

n

u

m

b

e

r

 

o

f

 

n

o

d

e

s

}

 

-

p

p

n

 

1

 

h

o

s

t

n

a

m

e




`

`

`







#

#

 

C

U

D

A

 

O

u

t

-

o

f

-

M

e

m

o

r

y







O

n

e

 

o

f

 

t

h

e

 

m

o

s

t

 

f

r

u

s

t

r

a

t

i

n

g

 

e

r

r

o

r

s

 

w

h

e

n

 

i

t

 

c

o

m

e

s

 

t

o

 

r

u

n

n

i

n

g

 

t

r

a

i

n

i

n

g

 

s

c

r

i

p

t

s

 

i

s

 

h

i

t

t

i

n

g

 

"

C

U

D

A

 

O

u

t

-

o

f

-

M

e

m

o

r

y

"

.

 

T

h

e

 

e

n

t

i

r

e

 

s

c

r

i

p

t

 

n

e

e

d

s

 

t

o

 

b

e

 

r

e

s

t

a

r

t

e

d

 

a

n

d

 

a

n

y

 

p

r

o

g

r

e

s

s

 

i

s

 

l

o

s

t

.







T

o

 

a

d

d

r

e

s

s

 

t

h

i

s

 

p

r

o

b

l

e

m

,

 

A

c

c

e

l

e

r

a

t

e

 

p

r

o

v

i

d

e

s

 

t

h

e

 

`

f

i

n

d

_

e

x

e

c

u

t

a

b

l

e

_

b

a

t

c

h

_

s

i

z

e

(

)

`

 

u

t

i

l

i

t

y

 

t

h

a

t

 

i

s

 

h

e

a

v

i

l

y

 

b

a

s

e

d

 

o

n

 

[

t

o

m

a

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

B

l

a

c

k

H

C

/

t

o

m

a

)

.




T

h

i

s

 

u

t

i

l

i

t

y

 

r

e

t

r

i

e

s

 

c

o

d

e

 

t

h

a

t

 

f

a

i

l

s

 

d

u

e

 

t

o

 

O

O

M

 

(

o

u

t

-

o

f

-

m

e

m

o

r

y

)

 

c

o

n

d

i

t

i

o

n

s

 

a

n

d

 

a

u

t

o

m

a

t

i

c

a

l

l

y

 

l

o

w

e

r

s

 

b

a

t

c

h

 

s

i

z

e

s

.

 

F

o

r

 

e

a

c

h

 

O

O

M

 

c

o

n

d

i

t

i

o

n

,

 

t

h

e

 

a

l

g

o

r

i

t

h

m

 

d

e

c

r

e

a

s

e

s

 

t

h

e

 

b

a

t

c

h

 

s

i

z

e

 

b

y

 

h

a

l

f

 

a

n

d

 

r

e

t

r

i

e

s

 

t

h

e

 

c

o

d

e

 

u

n

t

i

l

 

i

t

 

s

u

c

c

e

e

d

s

.







T

o

 

u

s

e

 

`

f

i

n

d

_

e

x

e

c

u

t

a

b

l

e

_

b

a

t

c

h

_

s

i

z

e

(

)

`

,

 

r

e

s

t

r

u

c

t

u

r

e

 

y

o

u

r

 

t

r

a

i

n

i

n

g

 

f

u

n

c

t

i

o

n

 

t

o

 

i

n

c

l

u

d

e

 

a

n

 

i

n

n

e

r

 

f

u

n

c

t

i

o

n

 

w

i

t

h

 

`

f

i

n

d

_

e

x

e

c

u

t

a

b

l

e

_

b

a

t

c

h

_

s

i

z

e

`

 

a

n

d

 

b

u

i

l

d

 

y

o

u

r

 

d

a

t

a

l

o

a

d

e

r

s

 

i

n

s

i

d

e

 

i

t

.

 

A

t

 

a

 

m

i

n

i

m

u

m

,

 

t

h

i

s

 

o

n

l

y

 

t

a

k

e

s

 

4

 

n

e

w

 

l

i

n

e

s

 

o

f

 

c

o

d

e

.







<

T

i

p

 

w

a

r

n

i

n

g

=

{

t

r

u

e

}

>

 







T

h

e

 

i

n

n

e

r

 

f

u

n

c

t

i

o

n

 

*

*

m

u

s

t

*

*

 

t

a

k

e

 

b

a

t

c

h

 

s

i

z

e

 

a

s

 

t

h

e

 

f

i

r

s

t

 

p

a

r

a

m

e

t

e

r

,

 

b

u

t

 

w

e

 

d

o

 

n

o

t

 

p

a

s

s

 

o

n

e

 

t

o

 

i

t

 

w

h

e

n

 

c

a

l

l

e

d

.

 

T

h

e

 

w

r

a

p

p

e

r

 

w

i

l

l

 

h

a

n

d

l

e

s

 

t

h

i

s

 

f

o

r

 

y

o

u

.

 

A

n

y

 

o

b

j

e

c

t

 

(

m

o

d

e

l

s

,

 

o

p

t

i

m

i

z

e

r

s

)

 

t

h

a

t

 

c

o

n

s

u

m

e

s

 

C

U

D

A

 

m

e

m

o

r

y

 

a

n

d

 

i

s

 

p

a

s

s

e

d

 

t

o

 

t

h

e

 

`

A

c

c

e

l

e

r

a

t

o

r

`

 

a

l

s

o

 

*

*

m

u

s

t

*

*

 

b

e

 

d

e

c

l

a

r

e

d

 

i

n

s

i

d

e

 

t

h

e

 

i

n

n

e

r

 

f

u

n

c

t

i

o

n

.







<

/

T

i

p

>







`

`

`

d

i

f

f




d

e

f

 

t

r

a

i

n

i

n

g

_

f

u

n

c

t

i

o

n

(

a

r

g

s

)

:




 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

 

=

 

A

c

c

e

l

e

r

a

t

o

r

(

)







+

 

 

 

@

f

i

n

d

_

e

x

e

c

u

t

a

b

l

e

_

b

a

t

c

h

_

s

i

z

e

(

s

t

a

r

t

i

n

g

_

b

a

t

c

h

_

s

i

z

e

=

a

r

g

s

.

b

a

t

c

h

_

s

i

z

e

)




+

 

 

 

d

e

f

 

i

n

n

e

r

_

t

r

a

i

n

i

n

g

_

l

o

o

p

(

b

a

t

c

h

_

s

i

z

e

)

:




+

 

 

 

 

 

 

 

n

o

n

l

o

c

a

l

 

a

c

c

e

l

e

r

a

t

o

r

 

#

 

E

n

s

u

r

e

 

t

h

e

y

 

c

a

n

 

b

e

 

u

s

e

d

 

i

n

 

o

u

r

 

c

o

n

t

e

x

t




+

 

 

 

 

 

 

 

a

c

c

e

l

e

r

a

t

o

r

.

f

r

e

e

_

m

e

m

o

r

y

(

)

 

#

 

F

r

e

e

 

a

l

l

 

l

i

n

g

e

r

i

n

g

 

r

e

f

e

r

e

n

c

e

s




 

 

 

 

 

 

 

 

m

o

d

e

l

 

=

 

g

e

t

_

m

o

d

e

l

(

)




 

 

 

 

 

 

 

 

m

o

d

e

l

.

t

o

(

a

c

c

e

l

e

r

a

t

o

r

.

d

e

v

i

c

e

)




 

 

 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

 

=

 

g

e

t

_

o

p

t

i

m

i

z

e

r

(

)




 

 

 

 

 

 

 

 

t

r

a

i

n

_

d

a

t

a

l

o

a

d

e

r

,

 

e

v

a

l

_

d

a

t

a

l

o

a

d

e

r

 

=

 

g

e

t

_

d

a

t

a

l

o

a

d

e

r

s

(

a

c

c

e

l

e

r

a

t

o

r

,

 

b

a

t

c

h

_

s

i

z

e

)




 

 

 

 

 

 

 

 

l

r

_

s

c

h

e

d

u

l

e

r

 

=

 

g

e

t

_

s

c

h

e

d

u

l

e

r

(




 

 

 

 

 

 

 

 

 

 

 

 

o

p

t

i

m

i

z

e

r

,

 




 

 

 

 

 

 

 

 

 

 

 

 

n

u

m

_

t

r

a

i

n

i

n

g

_

s

t

e

p

s

=

l

e

n

(

t

r

a

i

n

_

d

a

t

a

l

o

a

d

e

r

)

*

n

u

m

_

e

p

o

c

h

s




 

 

 

 

 

 

 

 

)




 

 

 

 

 

 

 

 

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

t

r

a

i

n

_

d

a

t

a

l

o

a

d

e

r

,

 

e

v

a

l

_

d

a

t

a

l

o

a

d

e

r

,

 

l

r

_

s

c

h

e

d

u

l

e

r

 

=

 

a

c

c

e

l

e

r

a

t

o

r

.

p

r

e

p

a

r

e

(




 

 

 

 

 

 

 

 

 

 

 

 

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

t

r

a

i

n

_

d

a

t

a

l

o

a

d

e

r

,

 

e

v

a

l

_

d

a

t

a

l

o

a

d

e

r

,

 

l

r

_

s

c

h

e

d

u

l

e

r




 

 

 

 

 

 

 

 

)




 

 

 

 

 

 

 

 

t

r

a

i

n

(

m

o

d

e

l

,

 

o

p

t

i

m

i

z

e

r

,

 

t

r

a

i

n

_

d

a

t

a

l

o

a

d

e

r

,

 

l

r

_

s

c

h

e

d

u

l

e

r

)




 

 

 

 

 

 

 

 

v

a

l

i

d

a

t

e

(

m

o

d

e

l

,

 

e

v

a

l

_

d

a

t

a

l

o

a

d

e

r

)




+

 

 

 

i

n

n

e

r

_

t

r

a

i

n

i

n

g

_

l

o

o

p

(

)




`

`

`







#

#

 

N

o

n

-

r

e

p

r

o

d

u

c

i

b

l

e

 

r

e

s

u

l

t

s

 

b

e

t

w

e

e

n

 

d

e

v

i

c

e

 

s

e

t

u

p

s







I

f

 

y

o

u

 

c

h

a

n

g

e

d

 

t

h

e

 

d

e

v

i

c

e

 

s

e

t

u

p

 

a

n

d

 

o

b

s

e

r

v

e

 

d

i

f

f

e

r

e

n

t

 

m

o

d

e

l

 

p

e

r

f

o

r

m

a

n

c

e

,

 

i

t

 

i

s

 

l

i

k

e

l

y

 

y

o

u

 

d

i

d

n

'

t

 

u

p

d

a

t

e

 

y

o

u

r

 

s

c

r

i

p

t

 

w

h

e

n

 

m

o

v

i

n

g

 

f

r

o

m

 

o

n

e

 

s

e

t

u

p

 

t

o

 

a

n

o

t

h

e

r

.

 

E

v

e

n

 

i

f

 

y

o

u

'

r

e

 

u

s

i

n

g

 

t

h

e

 

s

a

m

e

 

s

c

r

i

p

t

 

w

i

t

h

 

t

h

e

 

s

a

m

e

 

b

a

t

c

h

 

s

i

z

e

,

 

t

h

e

 

r

e

s

u

l

t

s

 

w

i

l

l

 

s

t

i

l

l

 

b

e

 

d

i

f

f

e

r

e

n

t

 

o

n

 

a

 

T

P

U

,

 

m

u

l

t

i

-

G

P

U

,

 

a

n

d

 

s

i

n

g

l

e

 

G

P

U

.







F

o

r

 

e

x

a

m

p

l

e

,

 

i

f

 

y

o

u

 

w

e

r

e

 

t

r

a

i

n

i

n

g

 

o

n

 

a

 

s

i

n

g

l

e

 

G

P

U

 

w

i

t

h

 

a

 

b

a

t

c

h

 

s

i

z

e

 

o

f

 

1

6

 

a

n

d

 

y

o

u

 

m

o

v

e

 

t

o

 

a

 

d

u

a

l

 

G

P

U

 

s

e

t

u

p

,

 

y

o

u

 

n

e

e

d

 

t

o

 

c

h

a

n

g

e

 

t

h

e

 

b

a

t

c

h

 

s

i

z

e

 

t

o

 

8

 

t

o

 

h

a

v

e

 

t

h

e

 

s

a

m

e

 

e

f

f

e

c

t

i

v

e

 

b

a

t

c

h

 

s

i

z

e

.

 

T

h

i

s

 

i

s

 

b

e

c

a

u

s

e

 

w

h

e

n

 

t

r

a

i

n

i

n

g

 

w

i

t

h

 

A

c

c

e

l

e

r

a

t

e

,

 

t

h

e

 

b

a

t

c

h

 

s

i

z

e

 

p

a

s

s

e

d

 

t

o

 

t

h

e

 

d

a

t

a

l

o

a

d

e

r

 

i

s

 

t

h

e

 

*

*

b

a

t

c

h

 

s

i

z

e

 

p

e

r

 

G

P

U

*

*

.







T

o

 

m

a

k

e

 

s

u

r

e

 

y

o

u

 

c

a

n

 

r

e

p

r

o

d

u

c

e

 

t

h

e

 

r

e

s

u

l

t

s

 

b

e

t

w

e

e

n

 

t

h

e

 

s

e

t

u

p

s

,

 

m

a

k

e

 

s

u

r

e

 

t

o

 

u

s

e

 

t

h

e

 

s

a

m

e

 

s

e

e

d

,

 

a

d

j

u

s

t

 

t

h

e

 

b

a

t

c

h

 

s

i

z

e

 

a

c

c

o

r

d

i

n

g

l

y

,

 

a

n

d

 

c

o

n

s

i

d

e

r

 

s

c

a

l

i

n

g

 

t

h

e

 

l

e

a

r

n

i

n

g

 

r

a

t

e

.







F

o

r

 

m

o

r

e

 

d

e

t

a

i

l

s

 

a

n

d

 

a

 

q

u

i

c

k

 

r

e

f

e

r

e

n

c

e

 

f

o

r

 

b

a

t

c

h

 

s

i

z

e

s

,

 

c

h

e

c

k

 

o

u

t

 

t

h

e

 

[

C

o

m

p

a

r

i

n

g

 

p

e

r

f

o

r

m

a

n

c

e

 

b

e

t

w

e

e

n

 

d

i

f

f

e

r

e

n

t

 

d

e

v

i

c

e

 

s

e

t

u

p

s

]

(

.

.

/

c

o

n

c

e

p

t

_

g

u

i

d

e

s

/

p

e

r

f

o

r

m

a

n

c

e

)

 

g

u

i

d

e

.







#

#

 

P

e

r

f

o

r

m

a

n

c

e

 

i

s

s

u

e

s

 

o

n

 

d

i

f

f

e

r

e

n

t

 

G

P

U

s







I

f

 

y

o

u

r

 

m

u

l

t

i

-

G

P

U

 

s

e

t

u

p

 

c

o

n

s

i

s

t

s

 

o

f

 

d

i

f

f

e

r

e

n

t

 

G

P

U

s

,

 

y

o

u

 

m

a

y

 

e

n

c

o

u

n

t

e

r

 

s

o

m

e

 

p

e

r

f

o

r

m

a

n

c

e

 

i

s

s

u

e

s

:







-

 

T

h

e

r

e

 

m

a

y

 

b

e

 

a

n

 

i

m

b

a

l

a

n

c

e

 

i

n

 

G

P

U

 

m

e

m

o

r

y

 

b

e

t

w

e

e

n

 

t

h

e

 

G

P

U

s

.

 

I

n

 

t

h

i

s

 

c

a

s

e

,

 

t

h

e

 

G

P

U

 

w

i

t

h

 

t

h

e

 

s

m

a

l

l

e

r

 

m

e

m

o

r

y

 

w

i

l

l

 

l

i

m

i

t

 

t

h

e

 

b

a

t

c

h

 

s

i

z

e

 

o

r

 

t

h

e

 

s

i

z

e

 

o

f

 

t

h

e

 

m

o

d

e

l

 

t

h

a

t

 

c

a

n

 

b

e

 

l

o

a

d

e

d

 

o

n

t

o

 

t

h

e

 

G

P

U

s

.




-

 

I

f

 

y

o

u

 

a

r

e

 

u

s

i

n

g

 

G

P

U

s

 

w

i

t

h

 

d

i

f

f

e

r

e

n

t

 

p

e

r

f

o

r

m

a

n

c

e

 

p

r

o

f

i

l

e

s

,

 

t

h

e

 

p

e

r

f

o

r

m

a

n

c

e

 

w

i

l

l

 

b

e

 

d

r

i

v

e

n

 

b

y

 

t

h

e

 

s

l

o

w

e

s

t

 

G

P

U

 

y

o

u

 

a

r

e

 

u

s

i

n

g

 

b

e

c

a

u

s

e

 

t

h

e

 

o

t

h

e

r

 

G

P

U

s

 

w

i

l

l

 

h

a

v

e

 

t

o

 

w

a

i

t

 

f

o

r

 

i

t

 

t

o

 

c

o

m

p

l

e

t

e

 

i

t

s

 

w

o

r

k

l

o

a

d

.







V

a

s

t

l

y

 

d

i

f

f

e

r

e

n

t

 

G

P

U

s

 

w

i

t

h

i

n

 

t

h

e

 

s

a

m

e

 

s

e

t

u

p

 

c

a

n

 

l

e

a

d

 

t

o

 

p

e

r

f

o

r

m

a

n

c

e

 

b

o

t

t

l

e

n

e

c

k

s

.







#

#

 

A

s

k

 

f

o

r

 

h

e

l

p







I

f

 

n

o

n

e

 

o

f

 

t

h

e

 

s

o

l

u

t

i

o

n

s

 

a

n

d

 

a

d

v

i

c

e

 

h

e

r

e

 

h

e

l

p

e

d

 

r

e

s

o

l

v

e

 

y

o

u

r

 

i

s

s

u

e

,

 

y

o

u

 

c

a

n

 

a

l

w

a

y

s

 

r

e

a

c

h

 

o

u

t

 

t

o

 

t

h

e

 

c

o

m

m

u

n

i

t

y

 

a

n

d

 

A

c

c

e

l

e

r

a

t

e

 

t

e

a

m

 

f

o

r

 

h

e

l

p

.







-

 

A

s

k

 

f

o

r

 

h

e

l

p

 

o

n

 

t

h

e

 

H

u

g

g

i

n

g

 

F

a

c

e

 

f

o

r

u

m

s

 

b

y

 

p

o

s

t

i

n

g

 

y

o

u

r

 

q

u

e

s

t

i

o

n

 

i

n

 

t

h

e

 

[

A

c

c

e

l

e

r

a

t

e

 

c

a

t

e

g

o

r

y

]

(

h

t

t

p

s

:

/

/

d

i

s

c

u

s

s

.

h

u

g

g

i

n

g

f

a

c

e

.

c

o

/

c

/

a

c

c

e

l

e

r

a

t

e

/

1

8

)

.

 

M

a

k

e

 

s

u

r

e

 

t

o

 

w

r

i

t

e

 

a

 

d

e

s

c

r

i

p

t

i

v

e

 

p

o

s

t

 

w

i

t

h

 

r

e

l

e

v

a

n

t

 

c

o

n

t

e

x

t

 

a

b

o

u

t

 

y

o

u

r

 

s

e

t

u

p

 

a

n

d

 

r

e

p

r

o

d

u

c

i

b

l

e

 

c

o

d

e

 

t

o

 

m

a

x

i

m

i

z

e

 

t

h

e

 

l

i

k

e

l

i

h

o

o

d

 

t

h

a

t

 

y

o

u

r

 

p

r

o

b

l

e

m

 

i

s

 

s

o

l

v

e

d

!







-

 

P

o

s

t

 

a

 

q

u

e

s

t

i

o

n

 

o

n

 

[

D

i

s

c

o

r

d

]

(

h

t

t

p

:

/

/

h

f

.

c

o

/

j

o

i

n

/

d

i

s

c

o

r

d

)

,

 

a

n

d

 

l

e

t

 

t

h

e

 

t

e

a

m

 

a

n

d

 

t

h

e

 

c

o

m

m

u

n

i

t

y

 

h

e

l

p

 

y

o

u

.







-

 

C

r

e

a

t

e

 

a

n

 

I

s

s

u

e

 

o

n

 

t

h

e

 

A

c

c

e

l

e

r

a

t

e

 

[

G

i

t

H

u

b

 

r

e

p

o

s

i

t

o

r

y

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

a

c

c

e

l

e

r

a

t

e

/

i

s

s

u

e

s

)

 

i

f

 

y

o

u

 

t

h

i

n

k

 

y

o

u

'

v

e

 

f

o

u

n

d

 

a

 

b

u

g

 

r

e

l

a

t

e

d

 

t

o

 

t

h

e

 

l

i

b

r

a

r

y

.

 

I

n

c

l

u

d

e

 

c

o

n

t

e

x

t

 

r

e

g

a

r

d

i

n

g

 

t

h

e

 

b

u

g

 

a

n

d

 

d

e

t

a

i

l

s

 

a

b

o

u

t

 

y

o

u

r

 

d

i

s

t

r

i

b

u

t

e

d

 

s

e

t

u

p

 

t

o

 

h

e

l

p

 

u

s

 

b

e

t

t

e

r

 

f

i

g

u

r

e

 

o

u

t

 

w

h

a

t

'

s

 

w

r

o

n

g

 

a

n

d

 

h

o

w

 

w

e

 

c

a

n

 

f

i

x

 

i

t

.







#

 

I

n

s

t

a

l

l

a

t

i

o

n







B

e

f

o

r

e

 

y

o

u

 

s

t

a

r

t

,

 

y

o

u

 

w

i

l

l

 

n

e

e

d

 

t

o

 

s

e

t

u

p

 

y

o

u

r

 

e

n

v

i

r

o

n

m

e

n

t

,

 

i

n

s

t

a

l

l

 

t

h

e

 

a

p

p

r

o

p

r

i

a

t

e

 

p

a

c

k

a

g

e

s

,

 

a

n

d

 

c

o

n

f

i

g

u

r

e

 

A

c

c

e

l

e

r

a

t

e

.

 

A

c

c

e

l

e

r

a

t

e

 

i

s

 

t

e

s

t

e

d

 

o

n

 

*

*

P

y

t

h

o

n

 

3

.

8

+

*

*

.







A

c

c

e

l

e

r

a

t

e

 

i

s

 

a

v

a

i

l

a

b

l

e

 

o

n

 

p

y

p

i

 

a

n

d

 

c

o

n

d

a

,

 

a

s

 

w

e

l

l

 

a

s

 

o

n

 

G

i

t

H

u

b

.

 

D

e

t

a

i

l

s

 

t

o

 

i

n

s

t

a

l

l

 

f

r

o

m

 

e

a

c

h

 

a

r

e

 

b

e

l

o

w

:







#

#

 

p

i

p







T

o

 

i

n

s

t

a

l

l

 

A

c

c

e

l

e

r

a

t

e

 

f

r

o

m

 

p

y

p

i

,

 

p

e

r

f

o

r

m

:







`

`

`

b

a

s

h




p

i

p

 

i

n

s

t

a

l

l

 

a

c

c

e

l

e

r

a

t

e




`

`

`







#

#

 

c

o

n

d

a







A

c

c

e

l

e

r

a

t

e

 

c

a

n

 

a

l

s

o

 

b

e

 

i

n

s

t

a

l

l

e

d

 

w

i

t

h

 

c

o

n

d

a

 

w

i

t

h

:







`

`

`

b

a

s

h




c

o

n

d

a

 

i

n

s

t

a

l

l

 

-

c

 

c

o

n

d

a

-

f

o

r

g

e

 

a

c

c

e

l

e

r

a

t

e




`

`

`







#

#

 

S

o

u

r

c

e







N

e

w

 

f

e

a

t

u

r

e

s

 

a

r

e

 

a

d

d

e

d

 

e

v

e

r

y

 

d

a

y

 

t

h

a

t

 

h

a

v

e

n

'

t

 

b

e

e

n

 

r

e

l

e

a

s

e

d

 

y

e

t

.

 

T

o

 

t

r

y

 

t

h

e

m

 

o

u

t

 

y

o

u

r

s

e

l

f

,

 

i

n

s

t

a

l

l




f

r

o

m

 

t

h

e

 

G

i

t

H

u

b

 

r

e

p

o

s

i

t

o

r

y

:







`

`

`

b

a

s

h




p

i

p

 

i

n

s

t

a

l

l

 

g

i

t

+

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

a

c

c

e

l

e

r

a

t

e




`

`

`







I

f

 

y

o

u

'

r

e

 

w

o

r

k

i

n

g

 

o

n

 

c

o

n

t

r

i

b

u

t

i

n

g

 

t

o

 

t

h

e

 

l

i

b

r

a

r

y

 

o

r

 

w

i

s

h

 

t

o

 

p

l

a

y

 

w

i

t

h

 

t

h

e

 

s

o

u

r

c

e

 

c

o

d

e

 

a

n

d

 

s

e

e

 

l

i

v

e

 




r

e

s

u

l

t

s

 

a

s

 

y

o

u

 

r

u

n

 

t

h

e

 

c

o

d

e

,

 

a

n

 

e

d

i

t

a

b

l

e

 

v

e

r

s

i

o

n

 

c

a

n

 

b

e

 

i

n

s

t

a

l

l

e

d

 

f

r

o

m

 

a

 

l

o

c

a

l

l

y

-

c

l

o

n

e

d

 

v

e

r

s

i

o

n

 

o

f

 

t

h

e

 




r

e

p

o

s

i

t

o

r

y

:







`

`

`

b

a

s

h




g

i

t

 

c

l

o

n

e

 

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

a

c

c

e

l

e

r

a

t

e




c

d

 

a

c

c

e

l

e

r

a

t

e




p

i

p

 

i

n

s

t

a

l

l

 

-

e

 

.




`

`

`







#

#

 

C

o

n

f

i

g

u

r

a

t

i

o

n







A

f

t

e

r

 

i

n

s

t

a

l

l

i

n

g

,

 

y

o

u

 

n

e

e

d

 

t

o

 

c

o

n

f

i

g

u

r

e

 

A

c

c

e

l

e

r

a

t

e

 

f

o

r

 

h

o

w

 

t

h

e

 

c

u

r

r

e

n

t

 

s

y

s

t

e

m

 

i

s

 

s

e

t

u

p

 

f

o

r

 

t

r

a

i

n

i

n

g

.

 




T

o

 

d

o

 

s

o

 

r

u

n

 

t

h

e

 

f

o

l

l

o

w

i

n

g

 

a

n

d

 

a

n

s

w

e

r

 

t

h

e

 

q

u

e

s

t

i

o

n

s

 

p

r

o

m

p

t

e

d

 

t

o

 

y

o

u

:







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g




`

`

`







T

o

 

w

r

i

t

e

 

a

 

b

a

r

e

b

o

n

e

s

 

c

o

n

f

i

g

u

r

a

t

i

o

n

 

t

h

a

t

 

d

o

e

s

n

'

t

 

i

n

c

l

u

d

e

 

o

p

t

i

o

n

s

 

s

u

c

h

 

a

s

 

D

e

e

p

S

p

e

e

d

 

c

o

n

f

i

g

u

r

a

t

i

o

n

 

o

r

 

r

u

n

n

i

n

g

 

o

n

 

T

P

U

s

,

 

y

o

u

 

c

a

n

 

q

u

i

c

k

l

y

 

r

u

n

:







`

`

`

b

a

s

h




p

y

t

h

o

n

 

-

c

 

"

f

r

o

m

 

a

c

c

e

l

e

r

a

t

e

.

u

t

i

l

s

 

i

m

p

o

r

t

 

w

r

i

t

e

_

b

a

s

i

c

_

c

o

n

f

i

g

;

 

w

r

i

t

e

_

b

a

s

i

c

_

c

o

n

f

i

g

(

m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

=

'

f

p

1

6

'

)

"




`

`

`







A

c

c

e

l

e

r

a

t

e

 

w

i

l

l

 

a

u

t

o

m

a

t

i

c

a

l

l

y

 

u

t

i

l

i

z

e

 

t

h

e

 

m

a

x

i

m

u

m

 

n

u

m

b

e

r

 

o

f

 

G

P

U

s

 

a

v

a

i

l

a

b

l

e

 

a

n

d

 

s

e

t

 

t

h

e

 

m

i

x

e

d

 

p

r

e

c

i

s

i

o

n

 

m

o

d

e

.







T

o

 

c

h

e

c

k

 

t

h

a

t

 

y

o

u

r

 

c

o

n

f

i

g

u

r

a

t

i

o

n

 

l

o

o

k

s

 

f

i

n

e

,

 

r

u

n

:







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

e

n

v




`

`

`







A

n

 

e

x

a

m

p

l

e

 

o

u

t

p

u

t

 

i

s

 

s

h

o

w

n

 

b

e

l

o

w

,

 

w

h

i

c

h

 

d

e

s

c

r

i

b

e

s

 

t

w

o

 

G

P

U

s

 

o

n

 

a

 

s

i

n

g

l

e

 

m

a

c

h

i

n

e

 

w

i

t

h

 

n

o

 

m

i

x

e

d

 

p

r

e

c

i

s

i

o

n

 

b

e

i

n

g

 

u

s

e

d

:







`

`

`

b

a

s

h




-

 

`

A

c

c

e

l

e

r

a

t

e

`

 

v

e

r

s

i

o

n

:

 

0

.

1

1

.

0

.

d

e

v

0




-

 

P

l

a

t

f

o

r

m

:

 

L

i

n

u

x

-

5

.

1

0

.

0

-

1

5

-

c

l

o

u

d

-

a

m

d

6

4

-

x

8

6

_

6

4

-

w

i

t

h

-

d

e

b

i

a

n

-

1

1

.

3




-

 

P

y

t

h

o

n

 

v

e

r

s

i

o

n

:

 

3

.

7

.

1

2




-

 

N

u

m

p

y

 

v

e

r

s

i

o

n

:

 

1

.

1

9

.

5




-

 

P

y

T

o

r

c

h

 

v

e

r

s

i

o

n

 

(

G

P

U

?

)

:

 

1

.

1

2

.

0

+

c

u

1

0

2

 

(

T

r

u

e

)




-

 

`

A

c

c

e

l

e

r

a

t

e

`

 

d

e

f

a

u

l

t

 

c

o

n

f

i

g

:




 

 

 

 

 

 

 

 

-

 

c

o

m

p

u

t

e

_

e

n

v

i

r

o

n

m

e

n

t

:

 

L

O

C

A

L

_

M

A

C

H

I

N

E




 

 

 

 

 

 

 

 

-

 

d

i

s

t

r

i

b

u

t

e

d

_

t

y

p

e

:

 

M

U

L

T

I

_

G

P

U




 

 

 

 

 

 

 

 

-

 

m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

:

 

n

o




 

 

 

 

 

 

 

 

-

 

u

s

e

_

c

p

u

:

 

F

a

l

s

e




 

 

 

 

 

 

 

 

-

 

n

u

m

_

p

r

o

c

e

s

s

e

s

:

 

2




 

 

 

 

 

 

 

 

-

 

m

a

c

h

i

n

e

_

r

a

n

k

:

 

0




 

 

 

 

 

 

 

 

-

 

n

u

m

_

m

a

c

h

i

n

e

s

:

 

1




 

 

 

 

 

 

 

 

-

 

m

a

i

n

_

p

r

o

c

e

s

s

_

i

p

:

 

N

o

n

e




 

 

 

 

 

 

 

 

-

 

m

a

i

n

_

p

r

o

c

e

s

s

_

p

o

r

t

:

 

N

o

n

e




 

 

 

 

 

 

 

 

-

 

m

a

i

n

_

t

r

a

i

n

i

n

g

_

f

u

n

c

t

i

o

n

:

 

m

a

i

n




 

 

 

 

 

 

 

 

-

 

d

e

e

p

s

p

e

e

d

_

c

o

n

f

i

g

:

 

{

}




 

 

 

 

 

 

 

 

-

 

f

s

d

p

_

c

o

n

f

i

g

:

 

{

}




`

`

`







#

 

F

u

l

l

y

 

S

h

a

r

d

e

d

 

D

a

t

a

 

P

a

r

a

l

l

e

l

 

u

t

i

l

i

t

i

e

s







#

#

 

e

n

a

b

l

e

_

f

s

d

p

_

r

a

m

_

e

f

f

i

c

i

e

n

t

_

l

o

a

d

i

n

g













#

#

 

d

i

s

a

b

l

e

_

f

s

d

p

_

r

a

m

_

e

f

f

i

c

i

e

n

t

_

l

o

a

d

i

n

g













#

#

 

m

e

r

g

e

_

f

s

d

p

_

w

e

i

g

h

t

s













#

#

 

F

u

l

l

y

S

h

a

r

d

e

d

D

a

t

a

P

a

r

a

l

l

e

l

P

l

u

g

i

n













[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

e

n

a

b

l

e

_

f

s

d

p

_

r

a

m

_

e

f

f

i

c

i

e

n

t

_

l

o

a

d

i

n

g







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

d

i

s

a

b

l

e

_

f

s

d

p

_

r

a

m

_

e

f

f

i

c

i

e

n

t

_

l

o

a

d

i

n

g







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

m

e

r

g

e

_

f

s

d

p

_

w

e

i

g

h

t

s







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

F

u

l

l

y

S

h

a

r

d

e

d

D

a

t

a

P

a

r

a

l

l

e

l

P

l

u

g

i

n

#

 

L

o

g

g

i

n

g







R

e

f

e

r

 

t

o

 

t

h

e

 

[

T

r

o

u

b

l

e

s

h

o

o

t

i

n

g

 

g

u

i

d

e

]

(

.

.

/

u

s

a

g

e

_

g

u

i

d

e

s

/

t

r

o

u

b

l

e

s

h

o

o

t

i

n

g

#

l

o

g

g

i

n

g

)

 

o

r

 

t

o

 

t

h

e

 

e

x

a

m

p

l

e

 

b

e

l

o

w

 

t

o

 

l

e

a

r

n

 




h

o

w

 

t

o

 

u

s

e

 

A

c

c

e

l

e

r

a

t

e

'

s

 

l

o

g

g

e

r

.

 













[

[

a

u

t

o

d

o

c

]

]

 

l

o

g

g

i

n

g

.

g

e

t

_

l

o

g

g

e

r

#

 

L

a

u

n

c

h

e

r

s







F

u

n

c

t

i

o

n

s

 

f

o

r

 

l

a

u

n

c

h

i

n

g

 

t

r

a

i

n

i

n

g

 

o

n

 

d

i

s

t

r

i

b

u

t

e

d

 

p

r

o

c

e

s

s

e

s

.







#

#

 

n

o

t

e

b

o

o

k

_

l

a

u

n

c

h

e

r













#

#

 

d

e

b

u

g

_

l

a

u

n

c

h

e

r













[

[

a

u

t

o

d

o

c

]

]

 

a

c

c

e

l

e

r

a

t

e

.

n

o

t

e

b

o

o

k

_

l

a

u

n

c

h

e

r







[

[

a

u

t

o

d

o

c

]

]

 

a

c

c

e

l

e

r

a

t

e

.

d

e

b

u

g

_

l

a

u

n

c

h

e

r

#

 

D

a

t

a

L

o

a

d

e

r

s

,

 

O

p

t

i

m

i

z

e

r

s

,

 

a

n

d

 

S

c

h

e

d

u

l

e

r

s







T

h

e

 

i

n

t

e

r

n

a

l

 

c

l

a

s

s

e

s

 

A

c

c

e

l

e

r

a

t

e

 

u

s

e

s

 

t

o

 

p

r

e

p

a

r

e

 

o

b

j

e

c

t

s

 

f

o

r

 

d

i

s

t

r

i

b

u

t

e

d

 

t

r

a

i

n

i

n

g




w

h

e

n

 

c

a

l

l

i

n

g

 

`

p

r

e

p

a

r

e

(

)

`

.







#

#

 

D

a

t

a

L

o

a

d

e

r

 

u

t

i

l

i

t

i

e

s
















#

#

 

B

a

t

c

h

S

a

m

p

l

e

r

S

h

a

r

d













#

#

 

I

t

e

r

a

b

l

e

D

a

t

a

s

e

t

S

h

a

r

d













#

#

 

D

a

t

a

L

o

a

d

e

r

S

h

a

r

d













#

#

 

D

a

t

a

L

o

a

d

e

r

D

i

s

p

a

t

c

h

e

r













#

#

 

A

c

c

e

l

e

r

a

t

e

d

O

p

t

i

m

i

z

e

r













#

#

 

A

c

c

e

l

e

r

a

t

e

d

S

c

h

e

d

u

l

e

r













[

[

a

u

t

o

d

o

c

]

]

 

d

a

t

a

_

l

o

a

d

e

r

.

p

r

e

p

a

r

e

_

d

a

t

a

_

l

o

a

d

e

r







[

[

a

u

t

o

d

o

c

]

]

 

d

a

t

a

_

l

o

a

d

e

r

.

s

k

i

p

_

f

i

r

s

t

_

b

a

t

c

h

e

s







[

[

a

u

t

o

d

o

c

]

]

 

d

a

t

a

_

l

o

a

d

e

r

.

B

a

t

c

h

S

a

m

p

l

e

r

S

h

a

r

d







[

[

a

u

t

o

d

o

c

]

]

 

d

a

t

a

_

l

o

a

d

e

r

.

I

t

e

r

a

b

l

e

D

a

t

a

s

e

t

S

h

a

r

d







[

[

a

u

t

o

d

o

c

]

]

 

d

a

t

a

_

l

o

a

d

e

r

.

D

a

t

a

L

o

a

d

e

r

S

h

a

r

d







[

[

a

u

t

o

d

o

c

]

]

 

d

a

t

a

_

l

o

a

d

e

r

.

D

a

t

a

L

o

a

d

e

r

D

i

s

p

a

t

c

h

e

r







[

[

a

u

t

o

d

o

c

]

]

 

o

p

t

i

m

i

z

e

r

.

A

c

c

e

l

e

r

a

t

e

d

O

p

t

i

m

i

z

e

r







[

[

a

u

t

o

d

o

c

]

]

 

s

c

h

e

d

u

l

e

r

.

A

c

c

e

l

e

r

a

t

e

d

S

c

h

e

d

u

l

e

r

#

 

D

e

e

p

S

p

e

e

d

 

u

t

i

l

i

t

i

e

s







#

#

 

D

e

e

p

S

p

e

e

d

P

l

u

g

i

n







#

#

 

g

e

t

_

a

c

t

i

v

e

_

d

e

e

p

s

p

e

e

d

_

p

l

u

g

i

n

























#

#

 

D

e

e

p

S

p

e

e

d

E

n

g

i

n

e

r

W

r

a

p

p

e

r













#

#

 

D

e

e

p

S

p

e

e

d

O

p

t

i

m

i

z

e

r

W

r

a

p

p

e

r













#

#

 

D

e

e

p

S

p

e

e

d

S

c

h

e

d

u

l

e

r

W

r

a

p

p

e

r













#

#

 

D

u

m

m

y

O

p

t

i

m













#

#

 

D

u

m

m

y

S

c

h

e

d

u

l

e

r







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

g

e

t

_

a

c

t

i

v

e

_

d

e

e

p

s

p

e

e

d

_

p

l

u

g

i

n







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

D

e

e

p

S

p

e

e

d

P

l

u

g

i

n







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

d

e

e

p

s

p

e

e

d

.

D

u

m

m

y

S

c

h

e

d

u

l

e

r







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

d

e

e

p

s

p

e

e

d

.

D

e

e

p

S

p

e

e

d

E

n

g

i

n

e

W

r

a

p

p

e

r







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

d

e

e

p

s

p

e

e

d

.

D

e

e

p

S

p

e

e

d

O

p

t

i

m

i

z

e

r

W

r

a

p

p

e

r







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

d

e

e

p

s

p

e

e

d

.

D

e

e

p

S

p

e

e

d

S

c

h

e

d

u

l

e

r

W

r

a

p

p

e

r







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

d

e

e

p

s

p

e

e

d

.

D

u

m

m

y

O

p

t

i

m

#

 

W

o

r

k

i

n

g

 

w

i

t

h

 

l

a

r

g

e

 

m

o

d

e

l

s







#

#

 

D

i

s

p

a

t

c

h

 

a

n

d

 

o

f

f

l

o

a

d







#

#

#

 

i

n

i

t

_

e

m

p

t

y

_

w

e

i

g

h

t

s













#

#

#

 

c

p

u

_

o

f

f

l

o

a

d













#

#

#

 

c

p

u

_

o

f

f

l

o

a

d

_

w

i

t

h

_

h

o

o

k













#

#

#

 

d

i

s

k

_

o

f

f

l

o

a

d













#

#

#

 

d

i

s

p

a

t

c

h

_

m

o

d

e

l













#

#

#

 

l

o

a

d

_

c

h

e

c

k

p

o

i

n

t

_

a

n

d

_

d

i

s

p

a

t

c

h













#

#

#

 

l

o

a

d

_

c

h

e

c

k

p

o

i

n

t

_

i

n

_

m

o

d

e

l













#

#

#

 

i

n

f

e

r

_

a

u

t

o

_

d

e

v

i

c

e

_

m

a

p













#

#

 

H

o

o

k

s







#

#

#

 

M

o

d

e

l

H

o

o

k













#

#

#

 

A

l

i

g

n

D

e

v

i

c

e

s

H

o

o

k













#

#

#

 

S

e

q

u

e

n

t

i

a

l

H

o

o

k













#

#

 

A

d

d

i

n

g

 

H

o

o

k

s







#

#

#

 

a

d

d

_

h

o

o

k

_

t

o

_

m

o

d

u

l

e













#

#

#

 

a

t

t

a

c

h

_

e

x

e

c

u

t

i

o

n

_

d

e

v

i

c

e

_

h

o

o

k













#

#

#

 

a

t

t

a

c

h

_

a

l

i

g

n

_

d

e

v

i

c

e

_

h

o

o

k













#

#

#

 

a

t

t

a

c

h

_

a

l

i

g

n

_

d

e

v

i

c

e

_

h

o

o

k

_

o

n

_

b

l

o

c

k

s













#

#

 

R

e

m

o

v

i

n

g

 

H

o

o

k

s







#

#

#

 

r

e

m

o

v

e

_

h

o

o

k

_

f

r

o

m

_

m

o

d

u

l

e













#

#

#

 

r

e

m

o

v

e

_

h

o

o

k

_

f

r

o

m

_

s

u

b

m

o

d

u

l

e

s













#

#

 

U

t

i

l

i

t

i

e

s







#

#

#

 

h

a

s

_

o

f

f

l

o

a

d

e

d

_

p

a

r

a

m

s













#

#

#

 

a

l

i

g

n

_

m

o

d

u

l

e

_

d

e

v

i

c

e













[

[

a

u

t

o

d

o

c

]

]

 

b

i

g

_

m

o

d

e

l

i

n

g

.

i

n

i

t

_

e

m

p

t

y

_

w

e

i

g

h

t

s







[

[

a

u

t

o

d

o

c

]

]

 

b

i

g

_

m

o

d

e

l

i

n

g

.

c

p

u

_

o

f

f

l

o

a

d







[

[

a

u

t

o

d

o

c

]

]

 

b

i

g

_

m

o

d

e

l

i

n

g

.

c

p

u

_

o

f

f

l

o

a

d

_

w

i

t

h

_

h

o

o

k







[

[

a

u

t

o

d

o

c

]

]

 

b

i

g

_

m

o

d

e

l

i

n

g

.

d

i

s

k

_

o

f

f

l

o

a

d







[

[

a

u

t

o

d

o

c

]

]

 

b

i

g

_

m

o

d

e

l

i

n

g

.

d

i

s

p

a

t

c

h

_

m

o

d

e

l







[

[

a

u

t

o

d

o

c

]

]

 

b

i

g

_

m

o

d

e

l

i

n

g

.

l

o

a

d

_

c

h

e

c

k

p

o

i

n

t

_

a

n

d

_

d

i

s

p

a

t

c

h







[

[

a

u

t

o

d

o

c

]

]

 

b

i

g

_

m

o

d

e

l

i

n

g

.

l

o

a

d

_

c

h

e

c

k

p

o

i

n

t

_

i

n

_

m

o

d

e

l







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

i

n

f

e

r

_

a

u

t

o

_

d

e

v

i

c

e

_

m

a

p







[

[

a

u

t

o

d

o

c

]

]

 

h

o

o

k

s

.

M

o

d

e

l

H

o

o

k







[

[

a

u

t

o

d

o

c

]

]

 

h

o

o

k

s

.

A

l

i

g

n

D

e

v

i

c

e

s

H

o

o

k







[

[

a

u

t

o

d

o

c

]

]

 

h

o

o

k

s

.

S

e

q

u

e

n

t

i

a

l

H

o

o

k







[

[

a

u

t

o

d

o

c

]

]

 

h

o

o

k

s

.

a

d

d

_

h

o

o

k

_

t

o

_

m

o

d

u

l

e







[

[

a

u

t

o

d

o

c

]

]

 

h

o

o

k

s

.

a

t

t

a

c

h

_

e

x

e

c

u

t

i

o

n

_

d

e

v

i

c

e

_

h

o

o

k







[

[

a

u

t

o

d

o

c

]

]

 

h

o

o

k

s

.

a

t

t

a

c

h

_

a

l

i

g

n

_

d

e

v

i

c

e

_

h

o

o

k







[

[

a

u

t

o

d

o

c

]

]

 

h

o

o

k

s

.

a

t

t

a

c

h

_

a

l

i

g

n

_

d

e

v

i

c

e

_

h

o

o

k

_

o

n

_

b

l

o

c

k

s







[

[

a

u

t

o

d

o

c

]

]

 

h

o

o

k

s

.

r

e

m

o

v

e

_

h

o

o

k

_

f

r

o

m

_

m

o

d

u

l

e







[

[

a

u

t

o

d

o

c

]

]

 

h

o

o

k

s

.

r

e

m

o

v

e

_

h

o

o

k

_

f

r

o

m

_

s

u

b

m

o

d

u

l

e

s







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

h

a

s

_

o

f

f

l

o

a

d

e

d

_

p

a

r

a

m

s







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

a

l

i

g

n

_

m

o

d

u

l

e

_

d

e

v

i

c

e

#

 

T

h

e

 

C

o

m

m

a

n

d

 

L

i

n

e

 







B

e

l

o

w

 

i

s

 

a

 

l

i

s

t

 

o

f

 

a

l

l

 

t

h

e

 

a

v

a

i

l

a

b

l

e

 

c

o

m

m

a

n

d

s

 

🤗

 

A

c

c

e

l

e

r

a

t

e

 

w

i

t

h

 

t

h

e

i

r

 

p

a

r

a

m

e

t

e

r

s







#

#

 

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g







*

*

C

o

m

m

a

n

d

*

*

:







`

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

`

 

o

r

 

`

a

c

c

e

l

e

r

a

t

e

-

c

o

n

f

i

g

`







L

a

u

n

c

h

e

s

 

a

 

s

e

r

i

e

s

 

o

f

 

p

r

o

m

p

t

s

 

t

o

 

c

r

e

a

t

e

 

a

n

d

 

s

a

v

e

 

a

 

`

d

e

f

a

u

l

t

_

c

o

n

f

i

g

.

y

m

l

`

 

c

o

n

f

i

g

u

r

a

t

i

o

n

 

f

i

l

e

 

f

o

r

 

y

o

u

r

 

t

r

a

i

n

i

n

g

 

s

y

s

t

e

m

.

 

S

h

o

u

l

d

 




a

l

w

a

y

s

 

b

e

 

r

a

n

 

f

i

r

s

t

 

o

n

 

y

o

u

r

 

m

a

c

h

i

n

e

.







*

*

U

s

a

g

e

*

*

:

 







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

 

[

a

r

g

u

m

e

n

t

s

]




`

`

`







*

*

O

p

t

i

o

n

a

l

 

A

r

g

u

m

e

n

t

s

*

*

:




*

 

`

-

-

c

o

n

f

i

g

_

f

i

l

e

 

C

O

N

F

I

G

_

F

I

L

E

`

 

(

`

s

t

r

`

)

 

-

-

 

T

h

e

 

p

a

t

h

 

t

o

 

u

s

e

 

t

o

 

s

t

o

r

e

 

t

h

e

 

c

o

n

f

i

g

 

f

i

l

e

.

 

W

i

l

l

 

d

e

f

a

u

l

t

 

t

o

 

a

 

f

i

l

e

 

n

a

m

e

d

 

d

e

f

a

u

l

t

_

c

o

n

f

i

g

.

y

a

m

l

 

i

n

 

t

h

e

 

c

a

c

h

e

 

l

o

c

a

t

i

o

n

,

 

w

h

i

c

h

 

i

s

 

t

h

e

 

c

o

n

t

e

n

t




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

o

f

 

t

h

e

 

e

n

v

i

r

o

n

m

e

n

t

 

`

H

F

_

H

O

M

E

`

 

s

u

f

f

i

x

e

d

 

w

i

t

h

 

'

a

c

c

e

l

e

r

a

t

e

'

,

 

o

r

 

i

f

 

y

o

u

 

d

o

n

'

t

 

h

a

v

e

 

s

u

c

h

 

a

n

 

e

n

v

i

r

o

n

m

e

n

t

 

v

a

r

i

a

b

l

e

,

 

y

o

u

r

 

c

a

c

h

e

 

d

i

r

e

c

t

o

r

y




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(

`

~

/

.

c

a

c

h

e

`

 

o

r

 

t

h

e

 

c

o

n

t

e

n

t

 

o

f

 

`

X

D

G

_

C

A

C

H

E

_

H

O

M

E

`

)

 

s

u

f

f

i

x

e

d

 

w

i

t

h

 

`

h

u

g

g

i

n

g

f

a

c

e

`

.




*

 

`

-

h

`

,

 

`

-

-

h

e

l

p

`

 

(

`

b

o

o

l

`

)

 

-

-

 

S

h

o

w

 

a

 

h

e

l

p

 

m

e

s

s

a

g

e

 

a

n

d

 

e

x

i

t







#

#

 

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

 

d

e

f

a

u

l

t







*

*

C

o

m

m

a

n

d

*

*

:







`

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

 

d

e

f

a

u

l

t

`

 

o

r

 

`

a

c

c

e

l

e

r

a

t

e

-

c

o

n

f

i

g

 

d

e

f

a

u

l

t

`







C

r

e

a

t

e

 

a

 

d

e

f

a

u

l

t

 

c

o

n

f

i

g

 

f

i

l

e

 

f

o

r

 

A

c

c

e

l

e

r

a

t

e

 

w

i

t

h

 

o

n

l

y

 

a

 

f

e

w

 

f

l

a

g

s

 

s

e

t

.







*

*

U

s

a

g

e

*

*

:

 







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

 

d

e

f

a

u

l

t

 

[

a

r

g

u

m

e

n

t

s

]




`

`

`







*

*

O

p

t

i

o

n

a

l

 

A

r

g

u

m

e

n

t

s

*

*

:




*

 

`

-

-

c

o

n

f

i

g

_

f

i

l

e

 

C

O

N

F

I

G

_

F

I

L

E

`

 

(

`

s

t

r

`

)

 

-

-

 

T

h

e

 

p

a

t

h

 

t

o

 

u

s

e

 

t

o

 

s

t

o

r

e

 

t

h

e

 

c

o

n

f

i

g

 

f

i

l

e

.

 

W

i

l

l

 

d

e

f

a

u

l

t

 

t

o

 

a

 

f

i

l

e

 

n

a

m

e

d

 

d

e

f

a

u

l

t

_

c

o

n

f

i

g

.

y

a

m

l

 

i

n

 

t

h

e

 

c

a

c

h

e

 

l

o

c

a

t

i

o

n

,

 

w

h

i

c

h

 

i

s

 

t

h

e

 

c

o

n

t

e

n

t




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

o

f

 

t

h

e

 

e

n

v

i

r

o

n

m

e

n

t

 

`

H

F

_

H

O

M

E

`

 

s

u

f

f

i

x

e

d

 

w

i

t

h

 

'

a

c

c

e

l

e

r

a

t

e

'

,

 

o

r

 

i

f

 

y

o

u

 

d

o

n

'

t

 

h

a

v

e

 

s

u

c

h

 

a

n

 

e

n

v

i

r

o

n

m

e

n

t

 

v

a

r

i

a

b

l

e

,

 

y

o

u

r

 

c

a

c

h

e

 

d

i

r

e

c

t

o

r

y




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(

`

~

/

.

c

a

c

h

e

`

 

o

r

 

t

h

e

 

c

o

n

t

e

n

t

 

o

f

 

`

X

D

G

_

C

A

C

H

E

_

H

O

M

E

`

)

 

s

u

f

f

i

x

e

d

 

w

i

t

h

 

`

h

u

g

g

i

n

g

f

a

c

e

`

.







*

 

`

-

h

`

,

 

`

-

-

h

e

l

p

`

 

(

`

b

o

o

l

`

)

 

-

-

 

S

h

o

w

 

a

 

h

e

l

p

 

m

e

s

s

a

g

e

 

a

n

d

 

e

x

i

t




*

 

`

-

-

m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

 

{

n

o

,

f

p

1

6

,

b

f

1

6

}

`

 

(

`

s

t

r

`

)

 

-

-

 

W

h

e

t

h

e

r

 

o

r

 

n

o

t

 

t

o

 

u

s

e

 

m

i

x

e

d

 

p

r

e

c

i

s

i

o

n

 

t

r

a

i

n

i

n

g

.

 

C

h

o

o

s

e

 

b

e

t

w

e

e

n

 

F

P

1

6

 

a

n

d

 

B

F

1

6

 

(

b

f

l

o

a

t

1

6

)

 

t

r

a

i

n

i

n

g

.

 

B

F

1

6

 

t

r

a

i

n

i

n

g

 

i

s

 

o

n

l

y

 

s

u

p

p

o

r

t

e

d

 

o

n

 

N

v

i

d

i

a

 

A

m

p

e

r

e

 

G

P

U

s

 

a

n

d

 

P

y

T

o

r

c

h

 

1

.

1

0

 

o

r

 

l

a

t

e

r

.







#

#

 

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

 

u

p

d

a

t

e







*

*

C

o

m

m

a

n

d

*

*

:







`

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

 

u

p

d

a

t

e

`

 

o

r

 

`

a

c

c

e

l

e

r

a

t

e

-

c

o

n

f

i

g

 

u

p

d

a

t

e

`







U

p

d

a

t

e

 

a

n

 

e

x

i

s

t

i

n

g

 

c

o

n

f

i

g

 

f

i

l

e

 

w

i

t

h

 

t

h

e

 

l

a

t

e

s

t

 

d

e

f

a

u

l

t

s

 

w

h

i

l

e

 

m

a

i

n

t

a

i

n

i

n

g

 

t

h

e

 

o

l

d

 

c

o

n

f

i

g

u

r

a

t

i

o

n

.







*

*

U

s

a

g

e

*

*

:

 







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

 

u

p

d

a

t

e

 

[

a

r

g

u

m

e

n

t

s

]




`

`

`







*

*

O

p

t

i

o

n

a

l

 

A

r

g

u

m

e

n

t

s

*

*

:




*

 

`

-

-

c

o

n

f

i

g

_

f

i

l

e

 

C

O

N

F

I

G

_

F

I

L

E

`

 

(

`

s

t

r

`

)

 

-

-

 

T

h

e

 

p

a

t

h

 

t

o

 

t

h

e

 

c

o

n

f

i

g

 

f

i

l

e

 

t

o

 

u

p

d

a

t

e

.

 

W

i

l

l

 

d

e

f

a

u

l

t

 

t

o

 

a

 

f

i

l

e

 

n

a

m

e

d

 

d

e

f

a

u

l

t

_

c

o

n

f

i

g

.

y

a

m

l

 

i

n

 

t

h

e

 

c

a

c

h

e

 

l

o

c

a

t

i

o

n

,

 

w

h

i

c

h

 

i

s

 

t

h

e

 

c

o

n

t

e

n

t




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

o

f

 

t

h

e

 

e

n

v

i

r

o

n

m

e

n

t

 

`

H

F

_

H

O

M

E

`

 

s

u

f

f

i

x

e

d

 

w

i

t

h

 

'

a

c

c

e

l

e

r

a

t

e

'

,

 

o

r

 

i

f

 

y

o

u

 

d

o

n

'

t

 

h

a

v

e

 

s

u

c

h

 

a

n

 

e

n

v

i

r

o

n

m

e

n

t

 

v

a

r

i

a

b

l

e

,

 

y

o

u

r

 

c

a

c

h

e

 

d

i

r

e

c

t

o

r

y




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(

`

~

/

.

c

a

c

h

e

`

 

o

r

 

t

h

e

 

c

o

n

t

e

n

t

 

o

f

 

`

X

D

G

_

C

A

C

H

E

_

H

O

M

E

`

)

 

s

u

f

f

i

x

e

d

 

w

i

t

h

 

`

h

u

g

g

i

n

g

f

a

c

e

`

.







*

 

`

-

h

`

,

 

`

-

-

h

e

l

p

`

 

(

`

b

o

o

l

`

)

 

-

-

 

S

h

o

w

 

a

 

h

e

l

p

 

m

e

s

s

a

g

e

 

a

n

d

 

e

x

i

t










#

#

 

a

c

c

e

l

e

r

a

t

e

 

e

n

v







*

*

C

o

m

m

a

n

d

*

*

:







`

a

c

c

e

l

e

r

a

t

e

 

e

n

v

`

 

o

r

 

`

a

c

c

e

l

e

r

a

t

e

-

e

n

v

`

 

o

r

 

`

p

y

t

h

o

n

 

-

m

 

a

c

c

e

l

e

r

a

t

e

.

c

o

m

m

a

n

d

s

.

e

n

v

`







L

i

s

t

s

 

t

h

e

 

c

o

n

t

e

n

t

s

 

o

f

 

t

h

e

 

p

a

s

s

e

d

 

🤗

 

A

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

u

r

a

t

i

o

n

 

f

i

l

e

.

 

S

h

o

u

l

d

 

a

l

w

a

y

s

 

b

e

 

u

s

e

d

 

w

h

e

n

 

o

p

e

n

i

n

g

 

a

n

 

i

s

s

u

e

 

o

n

 

t

h

e

 

[

G

i

t

H

u

b

 

r

e

p

o

s

i

t

o

r

y

]

(

h

t

t

p

s

:

/

/

g

i

t

h

u

b

.

c

o

m

/

h

u

g

g

i

n

g

f

a

c

e

/

a

c

c

e

l

e

r

a

t

e

)

.







*

*

U

s

a

g

e

*

*

:







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

e

n

v

 

[

a

r

g

u

m

e

n

t

s

]




`

`

`







*

*

O

p

t

i

o

n

a

l

 

A

r

g

u

m

e

n

t

s

*

*

:




*

 

`

-

-

c

o

n

f

i

g

_

f

i

l

e

 

C

O

N

F

I

G

_

F

I

L

E

`

 

(

`

s

t

r

`

)

 

-

-

 

T

h

e

 

p

a

t

h

 

t

o

 

u

s

e

 

t

o

 

s

t

o

r

e

 

t

h

e

 

c

o

n

f

i

g

 

f

i

l

e

.

 

W

i

l

l

 

d

e

f

a

u

l

t

 

t

o

 

a

 

f

i

l

e

 

n

a

m

e

d

 

d

e

f

a

u

l

t

_

c

o

n

f

i

g

.

y

a

m

l

 

i

n

 

t

h

e

 

c

a

c

h

e

 

l

o

c

a

t

i

o

n

,

 

w

h

i

c

h

 

i

s

 

t

h

e

 

c

o

n

t

e

n

t




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

o

f

 

t

h

e

 

e

n

v

i

r

o

n

m

e

n

t

 

`

H

F

_

H

O

M

E

`

 

s

u

f

f

i

x

e

d

 

w

i

t

h

 

'

a

c

c

e

l

e

r

a

t

e

'

,

 

o

r

 

i

f

 

y

o

u

 

d

o

n

'

t

 

h

a

v

e

 

s

u

c

h

 

a

n

 

e

n

v

i

r

o

n

m

e

n

t

 

v

a

r

i

a

b

l

e

,

 

y

o

u

r

 

c

a

c

h

e

 

d

i

r

e

c

t

o

r

y




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(

`

~

/

.

c

a

c

h

e

`

 

o

r

 

t

h

e

 

c

o

n

t

e

n

t

 

o

f

 

`

X

D

G

_

C

A

C

H

E

_

H

O

M

E

`

)

 

s

u

f

f

i

x

e

d

 

w

i

t

h

 

`

h

u

g

g

i

n

g

f

a

c

e

`

.




*

 

`

-

h

`

,

 

`

-

-

h

e

l

p

`

 

(

`

b

o

o

l

`

)

 

-

-

 

S

h

o

w

 

a

 

h

e

l

p

 

m

e

s

s

a

g

e

 

a

n

d

 

e

x

i

t







#

#

 

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h







*

*

C

o

m

m

a

n

d

*

*

:







`

a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

`

 

o

r

 

`

a

c

c

e

l

e

r

a

t

e

-

l

a

u

n

c

h

`

 

o

r

 

`

p

y

t

h

o

n

 

-

m

 

a

c

c

e

l

e

r

a

t

e

.

c

o

m

m

a

n

d

s

.

l

a

u

n

c

h

`







L

a

u

n

c

h

e

s

 

a

 

s

p

e

c

i

f

i

e

d

 

s

c

r

i

p

t

 

o

n

 

a

 

d

i

s

t

r

i

b

u

t

e

d

 

s

y

s

t

e

m

 

w

i

t

h

 

t

h

e

 

r

i

g

h

t

 

p

a

r

a

m

e

t

e

r

s

.







*

*

U

s

a

g

e

*

*

:

 







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

l

a

u

n

c

h

 

[

a

r

g

u

m

e

n

t

s

]

 

{

t

r

a

i

n

i

n

g

_

s

c

r

i

p

t

}

 

-

-

{

t

r

a

i

n

i

n

g

_

s

c

r

i

p

t

-

a

r

g

u

m

e

n

t

-

1

}

 

-

-

{

t

r

a

i

n

i

n

g

_

s

c

r

i

p

t

-

a

r

g

u

m

e

n

t

-

2

}

 

.

.

.




`

`

`







*

*

P

o

s

i

t

i

o

n

a

l

 

A

r

g

u

m

e

n

t

s

*

*

:







-

 

`

{

t

r

a

i

n

i

n

g

_

s

c

r

i

p

t

}

`

 

-

-

 

T

h

e

 

f

u

l

l

 

p

a

t

h

 

t

o

 

t

h

e

 

s

c

r

i

p

t

 

t

o

 

b

e

 

l

a

u

n

c

h

e

d

 

i

n

 

p

a

r

a

l

l

e

l




-

 

`

-

-

{

t

r

a

i

n

i

n

g

_

s

c

r

i

p

t

-

a

r

g

u

m

e

n

t

-

1

}

`

 

-

-

 

A

r

g

u

m

e

n

t

s

 

o

f

 

t

h

e

 

t

r

a

i

n

i

n

g

 

s

c

r

i

p

t







*

*

O

p

t

i

o

n

a

l

 

A

r

g

u

m

e

n

t

s

*

*

:







*

 

`

-

h

`

,

 

`

-

-

h

e

l

p

`

 

(

`

b

o

o

l

`

)

 

-

-

 

S

h

o

w

 

a

 

h

e

l

p

 

m

e

s

s

a

g

e

 

a

n

d

 

e

x

i

t




*

 

`

-

-

c

o

n

f

i

g

_

f

i

l

e

 

C

O

N

F

I

G

_

F

I

L

E

`

 

(

`

s

t

r

`

)

-

-

 

T

h

e

 

c

o

n

f

i

g

 

f

i

l

e

 

t

o

 

u

s

e

 

f

o

r

 

t

h

e

 

d

e

f

a

u

l

t

 

v

a

l

u

e

s

 

i

n

 

t

h

e

 

l

a

u

n

c

h

i

n

g

 

s

c

r

i

p

t

.




*

 

`

-

m

`

,

 

`

-

-

m

o

d

u

l

e

`

 

(

`

b

o

o

l

`

)

 

-

-

 

C

h

a

n

g

e

 

e

a

c

h

 

p

r

o

c

e

s

s

 

t

o

 

i

n

t

e

r

p

r

e

t

 

t

h

e

 

l

a

u

n

c

h

 

s

c

r

i

p

t

 

a

s

 

a

 

P

y

t

h

o

n

 

m

o

d

u

l

e

,

 

e

x

e

c

u

t

i

n

g

 

w

i

t

h

 

t

h

e

 

s

a

m

e

 

b

e

h

a

v

i

o

r

 

a

s

 

'

p

y

t

h

o

n

 

-

m

'

.




*

 

`

-

-

n

o

_

p

y

t

h

o

n

`

 

(

`

b

o

o

l

`

)

 

-

-

 

S

k

i

p

 

p

r

e

p

e

n

d

i

n

g

 

t

h

e

 

t

r

a

i

n

i

n

g

 

s

c

r

i

p

t

 

w

i

t

h

 

'

p

y

t

h

o

n

'

 

-

 

j

u

s

t

 

e

x

e

c

u

t

e

 

i

t

 

d

i

r

e

c

t

l

y

.

 

U

s

e

f

u

l

 

w

h

e

n

 

t

h

e

 

s

c

r

i

p

t

 

i

s

 

n

o

t

 

a

 

P

y

t

h

o

n

 

s

c

r

i

p

t

.




*

 

`

-

-

d

e

b

u

g

`

 

(

`

b

o

o

l

`

)

 

-

-

 

W

h

e

t

h

e

r

 

t

o

 

p

r

i

n

t

 

o

u

t

 

t

h

e

 

t

o

r

c

h

.

d

i

s

t

r

i

b

u

t

e

d

 

s

t

a

c

k

 

t

r

a

c

e

 

w

h

e

n

 

s

o

m

e

t

h

i

n

g

 

f

a

i

l

s

.




*

 

`

-

q

`

,

 

`

-

-

q

u

i

e

t

`

 

(

`

b

o

o

l

`

)

 

-

-

 

S

i

l

e

n

c

e

 

s

u

b

p

r

o

c

e

s

s

 

e

r

r

o

r

s

 

f

r

o

m

 

t

h

e

 

l

a

u

n

c

h

 

s

t

a

c

k

 

t

r

a

c

e

 

t

o

 

o

n

l

y

 

s

h

o

w

 

t

h

e

 

r

e

l

e

v

a

n

t

 

t

r

a

c

e

b

a

c

k

s

.

 

(

O

n

l

y

 

a

p

p

l

i

c

a

b

l

e

 

t

o

 

D

e

e

p

S

p

e

e

d

 

a

n

d

 

s

i

n

g

l

e

-

p

r

o

c

e

s

s

 

c

o

n

f

i

g

u

r

a

t

i

o

n

s

)

.










T

h

e

 

r

e

s

t

 

o

f

 

t

h

e

s

e

 

a

r

g

u

m

e

n

t

s

 

a

r

e

 

c

o

n

f

i

g

u

r

e

d

 

t

h

r

o

u

g

h

 

`

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

`

 

a

n

d

 

a

r

e

 

r

e

a

d

 

i

n

 

f

r

o

m

 

t

h

e

 

s

p

e

c

i

f

i

e

d

 

`

-

-

c

o

n

f

i

g

_

f

i

l

e

`

 

(

o

r

 

d

e

f

a

u

l

t

 

c

o

n

f

i

g

u

r

a

t

i

o

n

)

 

f

o

r

 

t

h

e

i

r

 




v

a

l

u

e

s

.

 

T

h

e

y

 

c

a

n

 

a

l

s

o

 

b

e

 

p

a

s

s

e

d

 

i

n

 

m

a

n

u

a

l

l

y

.







*

*

H

a

r

d

w

a

r

e

 

S

e

l

e

c

t

i

o

n

 

A

r

g

u

m

e

n

t

s

*

*

:







*

 

`

-

-

c

p

u

`

 

(

`

b

o

o

l

`

)

 

-

-

 

W

h

e

t

h

e

r

 

o

r

 

n

o

t

 

t

o

 

f

o

r

c

e

 

t

h

e

 

t

r

a

i

n

i

n

g

 

o

n

 

t

h

e

 

C

P

U

.




*

 

`

-

-

m

u

l

t

i

_

g

p

u

`

 

(

`

b

o

o

l

`

)

 

-

-

 

W

h

e

t

h

e

r

 

o

r

 

n

o

t

 

t

h

i

s

 

s

h

o

u

l

d

 

l

a

u

n

c

h

 

a

 

d

i

s

t

r

i

b

u

t

e

d

 

G

P

U

 

t

r

a

i

n

i

n

g

.




*

 

`

-

-

t

p

u

`

 

(

`

b

o

o

l

`

)

 

-

-

 

W

h

e

t

h

e

r

 

o

r

 

n

o

t

 

t

h

i

s

 

s

h

o

u

l

d

 

l

a

u

n

c

h

 

a

 

T

P

U

 

t

r

a

i

n

i

n

g

.




*

 

`

-

-

i

p

e

x

`

 

(

`

b

o

o

l

`

)

 

-

-

 

W

h

e

t

h

e

r

 

o

r

 

n

o

t

 

t

h

i

s

 

s

h

o

u

l

d

 

l

a

u

n

c

h

 

a

n

 

I

n

t

e

l

 

P

y

t

o

r

c

h

 

E

x

t

e

n

s

i

o

n

 

(

I

P

E

X

)

 

t

r

a

i

n

i

n

g

.







*

*

R

e

s

o

u

r

c

e

 

S

e

l

e

c

t

i

o

n

 

A

r

g

u

m

e

n

t

s

*

*

:







T

h

e

 

f

o

l

l

o

w

i

n

g

 

a

r

g

u

m

e

n

t

s

 

a

r

e

 

u

s

e

f

u

l

 

f

o

r

 

f

i

n

e

-

t

u

n

i

n

g

 

h

o

w

 

a

v

a

i

l

a

b

l

e

 

h

a

r

d

w

a

r

e

 

s

h

o

u

l

d

 

b

e

 

u

s

e

d







*

 

`

-

-

m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

 

{

n

o

,

f

p

1

6

,

b

f

1

6

,

f

p

8

}

`

 

(

`

s

t

r

`

)

 

-

-

 

W

h

e

t

h

e

r

 

o

r

 

n

o

t

 

t

o

 

u

s

e

 

m

i

x

e

d

 

p

r

e

c

i

s

i

o

n

 

t

r

a

i

n

i

n

g

.

 

C

h

o

o

s

e

 

b

e

t

w

e

e

n

 

F

P

1

6

 

a

n

d

 

B

F

1

6

 

(

b

f

l

o

a

t

1

6

)

 

t

r

a

i

n

i

n

g

.

 

B

F

1

6

 

t

r

a

i

n

i

n

g

 

i

s

 

o

n

l

y

 

s

u

p

p

o

r

t

e

d

 

o

n

 

N

v

i

d

i

a

 

A

m

p

e

r

e

 

G

P

U

s

 

a

n

d

 

P

y

T

o

r

c

h

 

1

.

1

0

 

o

r

 

l

a

t

e

r

.




*

 

`

-

-

n

u

m

_

p

r

o

c

e

s

s

e

s

 

N

U

M

_

P

R

O

C

E

S

S

E

S

`

 

(

`

i

n

t

`

)

 

-

-

 

T

h

e

 

t

o

t

a

l

 

n

u

m

b

e

r

 

o

f

 

p

r

o

c

e

s

s

e

s

 

t

o

 

b

e

 

l

a

u

n

c

h

e

d

 

i

n

 

p

a

r

a

l

l

e

l

.




*

 

`

-

-

n

u

m

_

m

a

c

h

i

n

e

s

 

N

U

M

_

M

A

C

H

I

N

E

S

`

 

(

`

i

n

t

`

)

 

-

-

 

T

h

e

 

t

o

t

a

l

 

n

u

m

b

e

r

 

o

f

 

m

a

c

h

i

n

e

s

 

u

s

e

d

 

i

n

 

t

h

i

s

 

t

r

a

i

n

i

n

g

.




*

 

`

-

-

n

u

m

_

c

p

u

_

t

h

r

e

a

d

s

_

p

e

r

_

p

r

o

c

e

s

s

 

N

U

M

_

C

P

U

_

T

H

R

E

A

D

S

_

P

E

R

_

P

R

O

C

E

S

S

`

 

(

`

i

n

t

`

)

 

-

-

 

T

h

e

 

n

u

m

b

e

r

 

o

f

 

C

P

U

 

t

h

r

e

a

d

s

 

p

e

r

 

p

r

o

c

e

s

s

.

 

C

a

n

 

b

e

 

t

u

n

e

d

 

f

o

r

 

o

p

t

i

m

a

l

 

p

e

r

f

o

r

m

a

n

c

e

.




*

 

`

-

-

e

n

a

b

l

e

_

c

p

u

_

a

f

f

i

n

i

t

y

`

 

(

`

b

o

o

l

`

)

 

-

-

 

W

h

e

t

h

e

r

 

o

r

 

n

o

t

 

C

P

U

 

a

f

f

i

n

i

t

y

 

a

n

d

 

b

a

l

a

n

c

i

n

g

 

s

h

o

u

l

d

 

b

e

 

e

n

a

b

l

e

d

.

 

C

u

r

r

e

n

t

l

y

 

o

n

l

y

 

s

u

p

p

o

r

t

e

d

 

o

n

 

N

V

I

D

I

A

 

h

a

r

d

w

a

r

e

.







*

*

T

r

a

i

n

i

n

g

 

P

a

r

a

d

i

g

m

 

A

r

g

u

m

e

n

t

s

*

*

:







T

h

e

 

f

o

l

l

o

w

i

n

g

 

a

r

g

u

m

e

n

t

s

 

a

r

e

 

u

s

e

f

u

l

 

f

o

r

 

s

e

l

e

c

t

i

n

g

 

w

h

i

c

h

 

t

r

a

i

n

i

n

g

 

p

a

r

a

d

i

g

m

 

t

o

 

u

s

e

.







*

 

`

-

-

u

s

e

_

d

e

e

p

s

p

e

e

d

`

 

(

`

b

o

o

l

`

)

 

-

-

 

W

h

e

t

h

e

r

 

o

r

 

n

o

t

 

t

o

 

u

s

e

 

D

e

e

p

S

p

e

e

d

 

f

o

r

 

t

r

a

i

n

i

n

g

.




*

 

`

-

-

u

s

e

_

f

s

d

p

`

 

(

`

b

o

o

l

`

)

 

-

-

 

W

h

e

t

h

e

r

 

o

r

 

n

o

t

 

t

o

 

u

s

e

 

F

u

l

l

y

S

h

a

r

d

e

d

D

a

t

a

P

a

r

a

l

l

e

l

 

f

o

r

 

t

r

a

i

n

i

n

g

.




*

 

`

-

-

u

s

e

_

m

e

g

a

t

r

o

n

_

l

m

`

 

(

`

b

o

o

l

`

)

 

-

-

 

W

h

e

t

h

e

r

 

o

r

 

n

o

t

 

t

o

 

u

s

e

 

M

e

g

a

t

r

o

n

-

L

M

 

f

o

r

 

t

r

a

i

n

i

n

g

.




*

 

`

-

-

u

s

e

_

x

p

u

`

 

(

`

b

o

o

l

`

)

 

-

-

 

W

h

e

t

h

e

r

 

t

o

 

u

s

e

 

I

P

E

X

 

p

l

u

g

i

n

 

t

o

 

s

p

e

e

d

 

u

p

 

t

r

a

i

n

i

n

g

 

o

n

 

X

P

U

 

s

p

e

c

i

f

i

c

a

l

l

y

.







*

*

D

i

s

t

r

i

b

u

t

e

d

 

G

P

U

 

A

r

g

u

m

e

n

t

s

*

*

:







T

h

e

 

f

o

l

l

o

w

i

n

g

 

a

r

g

u

m

e

n

t

s

 

a

r

e

 

o

n

l

y

 

u

s

e

f

u

l

 

w

h

e

n

 

`

m

u

l

t

i

_

g

p

u

`

 

i

s

 

p

a

s

s

e

d

 

o

r

 

m

u

l

t

i

-

g

p

u

 

t

r

a

i

n

i

n

g

 

i

s

 

c

o

n

f

i

g

u

r

e

d

 

t

h

r

o

u

g

h

 

`

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

`

:

 







*

 

`

-

-

g

p

u

_

i

d

s

`

 

(

`

s

t

r

`

)

 

-

-

 

W

h

a

t

 

G

P

U

s

 

(

b

y

 

i

d

)

 

s

h

o

u

l

d

 

b

e

 

u

s

e

d

 

f

o

r

 

t

r

a

i

n

i

n

g

 

o

n

 

t

h

i

s

 

m

a

c

h

i

n

e

 

a

s

 

a

 

c

o

m

m

a

-

s

e

p

e

r

a

t

e

d

 

l

i

s

t




*

 

`

-

-

s

a

m

e

_

n

e

t

w

o

r

k

`

 

(

`

b

o

o

l

`

)

 

-

-

 

W

h

e

t

h

e

r

 

a

l

l

 

m

a

c

h

i

n

e

s

 

u

s

e

d

 

f

o

r

 

m

u

l

t

i

n

o

d

e

 

t

r

a

i

n

i

n

g

 

e

x

i

s

t

 

o

n

 

t

h

e

 

s

a

m

e

 

l

o

c

a

l

 

n

e

t

w

o

r

k

.




*

 

`

-

-

m

a

c

h

i

n

e

_

r

a

n

k

`

 

(

`

i

n

t

`

)

 

-

-

 

T

h

e

 

r

a

n

k

 

o

f

 

t

h

e

 

m

a

c

h

i

n

e

 

o

n

 

w

h

i

c

h

 

t

h

i

s

 

s

c

r

i

p

t

 

i

s

 

l

a

u

n

c

h

e

d

.




*

 

`

-

-

m

a

i

n

_

p

r

o

c

e

s

s

_

i

p

`

 

(

`

s

t

r

`

)

 

-

-

 

T

h

e

 

I

P

 

a

d

d

r

e

s

s

 

o

f

 

t

h

e

 

m

a

c

h

i

n

e

 

o

f

 

r

a

n

k

 

0

.




*

 

`

-

-

m

a

i

n

_

p

r

o

c

e

s

s

_

p

o

r

t

`

 

(

`

i

n

t

`

)

 

-

-

 

T

h

e

 

p

o

r

t

 

t

o

 

u

s

e

 

t

o

 

c

o

m

m

u

n

i

c

a

t

e

 

w

i

t

h

 

t

h

e

 

m

a

c

h

i

n

e

 

o

f

 

r

a

n

k

 

0

.




*

 

`

-

t

`

,

 

`

-

-

t

e

e

`

 

(

`

s

t

r

`

)

 

-

-

 

T

e

e

 

s

t

d

 

s

t

r

e

a

m

s

 

i

n

t

o

 

a

 

l

o

g

 

f

i

l

e

 

a

n

d

 

a

l

s

o

 

t

o

 

c

o

n

s

o

l

e

.




*

 

`

-

-

l

o

g

_

d

i

r

`

 

(

`

s

t

r

`

)

 

-

-

 

B

a

s

e

 

d

i

r

e

c

t

o

r

y

 

t

o

 

u

s

e

 

f

o

r

 

l

o

g

 

f

i

l

e

s

 

w

h

e

n

 

u

s

i

n

g

 

t

o

r

c

h

r

u

n

/

t

o

r

c

h

.

d

i

s

t

r

i

b

u

t

e

d

.

r

u

n

 

a

s

 

l

a

u

n

c

h

e

r

.

 

U

s

e

 

w

i

t

h

 

-

-

t

e

e

 

t

o

 

r

e

d

i

r

e

c

t

 

s

t

d

 

s

t

r

e

a

m

s

 

i

n

f

o

 

l

o

g

 

f

i

l

e

s

.




*

 

`

-

-

r

o

l

e

`

 

(

`

s

t

r

`

)

 

-

-

 

U

s

e

r

-

d

e

f

i

n

e

d

 

r

o

l

e

 

f

o

r

 

t

h

e

 

w

o

r

k

e

r

s

.




*

 

`

-

-

r

d

z

v

_

b

a

c

k

e

n

d

`

 

(

`

s

t

r

`

)

 

-

-

 

T

h

e

 

r

e

n

d

e

z

v

o

u

s

 

m

e

t

h

o

d

 

t

o

 

u

s

e

,

 

s

u

c

h

 

a

s

 

'

s

t

a

t

i

c

'

 

(

t

h

e

 

d

e

f

a

u

l

t

)

 

o

r

 

'

c

1

0

d

'




*

 

`

-

-

r

d

z

v

_

c

o

n

f

`

 

(

`

s

t

r

`

)

 

-

-

 

A

d

d

i

t

i

o

n

a

l

 

r

e

n

d

e

z

v

o

u

s

 

c

o

n

f

i

g

u

r

a

t

i

o

n

 

(

<

k

e

y

1

>

=

<

v

a

l

u

e

1

>

,

<

k

e

y

2

>

=

<

v

a

l

u

e

2

>

,

.

.

.

)

.




*

 

`

-

-

m

a

x

_

r

e

s

t

a

r

t

s

`

 

(

`

i

n

t

`

)

 

-

-

 

M

a

x

i

m

u

m

 

n

u

m

b

e

r

 

o

f

 

w

o

r

k

e

r

 

g

r

o

u

p

 

r

e

s

t

a

r

t

s

 

b

e

f

o

r

e

 

f

a

i

l

i

n

g

.




*

 

`

-

-

m

o

n

i

t

o

r

_

i

n

t

e

r

v

a

l

`

 

(

`

i

n

t

`

)

 

-

-

 

I

n

t

e

r

v

a

l

,

 

i

n

 

s

e

c

o

n

d

s

,

 

t

o

 

m

o

n

i

t

o

r

 

t

h

e

 

s

t

a

t

e

 

o

f

 

w

o

r

k

e

r

s

.







*

*

T

P

U

 

A

r

g

u

m

e

n

t

s

*

*

:







T

h

e

 

f

o

l

l

o

w

i

n

g

 

a

r

g

u

m

e

n

t

s

 

a

r

e

 

o

n

l

y

 

u

s

e

f

u

l

 

w

h

e

n

 

`

t

p

u

`

 

i

s

 

p

a

s

s

e

d

 

o

r

 

T

P

U

 

t

r

a

i

n

i

n

g

 

i

s

 

c

o

n

f

i

g

u

r

e

d

 

t

h

r

o

u

g

h

 

`

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

`

:

 







*

 

`

-

-

t

p

u

_

c

l

u

s

t

e

r

`

 

(

`

b

o

o

l

`

)

 

-

-

 

W

h

e

t

h

e

r

 

t

o

 

u

s

e

 

a

 

G

C

P

 

T

P

U

 

p

o

d

 

f

o

r

 

t

r

a

i

n

i

n

g

.




*

 

`

-

-

t

p

u

_

u

s

e

_

s

u

d

o

`

 

(

`

b

o

o

l

`

)

 

-

-

 

W

h

e

t

h

e

r

 

t

o

 

u

s

e

 

`

s

u

d

o

`

 

w

h

e

n

 

r

u

n

n

i

n

g

 

t

h

e

 

T

P

U

 

t

r

a

i

n

i

n

g

 

s

c

r

i

p

t

 

i

n

 

e

a

c

h

 

p

o

d

.




*

 

`

-

-

v

m

`

 

(

`

s

t

r

`

)

 

-

-

 

L

i

s

t

 

o

f

 

s

i

n

g

l

e

 

C

o

m

p

u

t

e

 

V

M

 

i

n

s

t

a

n

c

e

 

n

a

m

e

s

.

 

I

f

 

n

o

t

 

p

r

o

v

i

d

e

d

 

w

e

 

a

s

s

u

m

e

 

u

s

a

g

e

 

o

f

 

i

n

s

t

a

n

c

e

 

g

r

o

u

p

s

.

 

F

o

r

 

T

P

U

 

p

o

d

s

.




*

 

`

-

-

e

n

v

`

 

(

`

s

t

r

`

)

 

-

-

 

L

i

s

t

 

o

f

 

e

n

v

i

r

o

n

m

e

n

t

 

v

a

r

i

a

b

l

e

s

 

t

o

 

s

e

t

 

o

n

 

t

h

e

 

C

o

m

p

u

t

e

 

V

M

 

i

n

s

t

a

n

c

e

s

.

 

F

o

r

 

T

P

U

 

p

o

d

s

.




*

 

`

-

-

m

a

i

n

_

t

r

a

i

n

i

n

g

_

f

u

n

c

t

i

o

n

`

 

(

`

s

t

r

`

)

 

-

-

 

T

h

e

 

n

a

m

e

 

o

f

 

t

h

e

 

m

a

i

n

 

f

u

n

c

t

i

o

n

 

t

o

 

b

e

 

e

x

e

c

u

t

e

d

 

i

n

 

y

o

u

r

 

s

c

r

i

p

t

 

(

o

n

l

y

 

f

o

r

 

T

P

U

 

t

r

a

i

n

i

n

g

)

.




*

 

`

-

-

d

o

w

n

c

a

s

t

_

b

f

1

6

`

 

(

`

b

o

o

l

`

)

 

-

-

 

W

h

e

t

h

e

r

 

w

h

e

n

 

u

s

i

n

g

 

b

f

1

6

 

p

r

e

c

i

s

i

o

n

 

o

n

 

T

P

U

s

 

i

f

 

b

o

t

h

 

f

l

o

a

t

 

a

n

d

 

d

o

u

b

l

e

 

t

e

n

s

o

r

s

 

a

r

e

 

c

a

s

t

 

t

o

 

b

f

l

o

a

t

1

6

 

o

r

 

i

f

 

d

o

u

b

l

e

 

t

e

n

s

o

r

s

 

r

e

m

a

i

n

 

a

s

 

f

l

o

a

t

3

2

.







*

*

D

e

e

p

S

p

e

e

d

 

A

r

g

u

m

e

n

t

s

*

*

:







T

h

e

 

f

o

l

l

o

w

i

n

g

 

a

r

g

u

m

e

n

t

s

 

a

r

e

 

o

n

l

y

 

u

s

e

f

u

l

 

w

h

e

n

 

`

u

s

e

_

d

e

e

p

s

p

e

e

d

`

 

i

s

 

p

a

s

s

e

d

 

o

r

 

`

d

e

e

p

s

p

e

e

d

`

 

i

s

 

c

o

n

f

i

g

u

r

e

d

 

t

h

r

o

u

g

h

 

`

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

`

:

 







*

 

`

-

-

d

e

e

p

s

p

e

e

d

_

c

o

n

f

i

g

_

f

i

l

e

`

 

(

`

s

t

r

`

)

 

-

-

 

D

e

e

p

S

p

e

e

d

 

c

o

n

f

i

g

 

f

i

l

e

.




*

 

`

-

-

z

e

r

o

_

s

t

a

g

e

`

 

(

`

i

n

t

`

)

 

-

-

 

D

e

e

p

S

p

e

e

d

'

s

 

Z

e

R

O

 

o

p

t

i

m

i

z

a

t

i

o

n

 

s

t

a

g

e

.




*

 

`

-

-

o

f

f

l

o

a

d

_

o

p

t

i

m

i

z

e

r

_

d

e

v

i

c

e

`

 

(

`

s

t

r

`

)

 

-

-

 

D

e

c

i

d

e

s

 

w

h

e

r

e

 

(

n

o

n

e

|

c

p

u

|

n

v

m

e

)

 

t

o

 

o

f

f

l

o

a

d

 

o

p

t

i

m

i

z

e

r

 

s

t

a

t

e

s

.




*

 

`

-

-

o

f

f

l

o

a

d

_

p

a

r

a

m

_

d

e

v

i

c

e

`

 

(

`

s

t

r

`

)

 

-

-

 

D

e

c

i

d

e

s

 

w

h

e

r

e

 

(

n

o

n

e

|

c

p

u

|

n

v

m

e

)

 

t

o

 

o

f

f

l

o

a

d

 

p

a

r

a

m

e

t

e

r

s

.




*

 

`

-

-

o

f

f

l

o

a

d

_

o

p

t

i

m

i

z

e

r

_

n

v

m

e

_

p

a

t

h

`

 

(

`

s

t

r

`

)

 

-

-

 

D

e

c

i

d

e

s

 

N

v

m

e

 

P

a

t

h

 

t

o

 

o

f

f

l

o

a

d

 

o

p

t

i

m

i

z

e

r

 

s

t

a

t

e

s

.




*

 

`

-

-

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

`

 

(

`

i

n

t

`

)

 

-

-

 

N

o

 

o

f

 

g

r

a

d

i

e

n

t

_

a

c

c

u

m

u

l

a

t

i

o

n

_

s

t

e

p

s

 

u

s

e

d

 

i

n

 

y

o

u

r

 

t

r

a

i

n

i

n

g

 

s

c

r

i

p

t

.




*

 

`

-

-

g

r

a

d

i

e

n

t

_

c

l

i

p

p

i

n

g

`

 

(

`

f

l

o

a

t

`

)

 

-

-

 

G

r

a

d

i

e

n

t

 

c

l

i

p

p

i

n

g

 

v

a

l

u

e

 

u

s

e

d

 

i

n

 

y

o

u

r

 

t

r

a

i

n

i

n

g

 

s

c

r

i

p

t

.




*

 

`

-

-

z

e

r

o

3

_

i

n

i

t

_

f

l

a

g

`

 

(

`

s

t

r

`

)

 

-

-

 

D

e

c

i

d

e

s

 

W

h

e

t

h

e

r

 

(

t

r

u

e

|

f

a

l

s

e

)

 

t

o

 

e

n

a

b

l

e

 

`

d

e

e

p

s

p

e

e

d

.

z

e

r

o

.

I

n

i

t

`

 

f

o

r

 

c

o

n

s

t

r

u

c

t

i

n

g

 

m

a

s

s

i

v

e

 

m

o

d

e

l

s

.

 

O

n

l

y

 

a

p

p

l

i

c

a

b

l

e

 

w

i

t

h

 

D

e

e

p

S

p

e

e

d

 

Z

e

R

O

 

S

t

a

g

e

-

3

.




*

 

`

-

-

z

e

r

o

3

_

s

a

v

e

_

1

6

b

i

t

_

m

o

d

e

l

`

 

(

`

s

t

r

`

)

 

-

-

 

D

e

c

i

d

e

s

 

W

h

e

t

h

e

r

 

(

t

r

u

e

|

f

a

l

s

e

)

 

t

o

 

s

a

v

e

 

1

6

-

b

i

t

 

m

o

d

e

l

 

w

e

i

g

h

t

s

 

w

h

e

n

 

u

s

i

n

g

 

Z

e

R

O

 

S

t

a

g

e

-

3

.

 

O

n

l

y

 

a

p

p

l

i

c

a

b

l

e

 

w

i

t

h

 

D

e

e

p

S

p

e

e

d

 

Z

e

R

O

 

S

t

a

g

e

-

3

.




*

 

`

-

-

d

e

e

p

s

p

e

e

d

_

h

o

s

t

f

i

l

e

`

 

(

`

s

t

r

`

)

 

-

-

 

D

e

e

p

S

p

e

e

d

 

h

o

s

t

f

i

l

e

 

f

o

r

 

c

o

n

f

i

g

u

r

i

n

g

 

m

u

l

t

i

-

n

o

d

e

 

c

o

m

p

u

t

e

 

r

e

s

o

u

r

c

e

s

.




*

 

`

-

-

d

e

e

p

s

p

e

e

d

_

e

x

c

l

u

s

i

o

n

_

f

i

l

t

e

r

`

 

(

`

s

t

r

`

)

 

-

-

 

D

e

e

p

S

p

e

e

d

 

e

x

c

l

u

s

i

o

n

 

f

i

l

t

e

r

 

s

t

r

i

n

g

 

w

h

e

n

 

u

s

i

n

g

 

m

u

t

l

i

-

n

o

d

e

 

s

e

t

u

p

.




*

 

`

-

-

d

e

e

p

s

p

e

e

d

_

i

n

c

l

u

s

i

o

n

_

f

i

l

t

e

r

`

 

(

`

s

t

r

`

)

 

-

-

 

D

e

e

p

S

p

e

e

d

 

i

n

c

l

u

s

i

o

n

 

f

i

l

t

e

r

 

s

t

r

i

n

g

 

w

h

e

n

 

u

s

i

n

g

 

m

u

t

l

i

-

n

o

d

e

 

s

e

t

u

p

.




*

 

`

-

-

d

e

e

p

s

p

e

e

d

_

m

u

l

t

i

n

o

d

e

_

l

a

u

n

c

h

e

r

`

 

(

`

s

t

r

`

)

 

-

-

 

D

e

e

p

S

p

e

e

d

 

m

u

l

t

i

-

n

o

d

e

 

l

a

u

n

c

h

e

r

 

t

o

 

u

s

e

.




*

 

`

-

-

d

e

e

p

s

p

e

e

d

_

m

o

e

_

l

a

y

e

r

_

c

l

s

_

n

a

m

e

s

`

 

(

`

s

t

r

`

)

 

-

-

 

c

o

m

m

a

-

s

e

p

a

r

a

t

e

d

 

l

i

s

t

 

o

f

 

t

r

a

n

s

f

o

r

m

e

r

 

M

o

E

 

l

a

y

e

r

 

c

l

a

s

s

 

n

a

m

e

s

 

(

c

a

s

e

-

s

e

n

s

i

t

i

v

e

)

 

t

o

 

w

r

a

p

,

 

e

.

g

,

 

`

M

i

x

t

r

a

l

S

p

a

r

s

e

M

o

e

B

l

o

c

k

`

 

`

Q

w

e

n

2

M

o

e

S

p

a

r

s

e

M

o

e

B

l

o

c

k

`

,

 

`

J

e

t

M

o

E

A

t

t

e

n

t

i

o

n

,

J

e

t

M

o

E

B

l

o

c

k

`







*

*

F

u

l

l

y

 

S

h

a

r

d

e

d

 

D

a

t

a

 

P

a

r

a

l

l

e

l

i

s

m

 

A

r

g

u

m

e

n

t

s

*

*

:







T

h

e

 

f

o

l

l

o

w

i

n

g

 

a

r

g

u

m

e

n

t

s

 

a

r

e

 

o

n

l

y

 

u

s

e

f

u

l

 

w

h

e

n

 

`

u

s

e

_

f

s

d

p

`

 

i

s

 

p

a

s

s

e

d

 

o

r

 

F

u

l

l

y

 

S

h

a

r

d

e

d

 

D

a

t

a

 

P

a

r

a

l

l

e

l

i

s

m

 

i

s

 

c

o

n

f

i

g

u

r

e

d

 

t

h

r

o

u

g

h

 

`

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

`

:







*

 

`

-

-

f

s

d

p

_

o

f

f

l

o

a

d

_

p

a

r

a

m

s

`

 

(

`

s

t

r

`

)

 

-

-

 

D

e

c

i

d

e

s

 

W

h

e

t

h

e

r

 

(

t

r

u

e

|

f

a

l

s

e

)

 

t

o

 

o

f

f

l

o

a

d

 

p

a

r

a

m

e

t

e

r

s

 

a

n

d

 

g

r

a

d

i

e

n

t

s

 

t

o

 

C

P

U

.




*

 

`

-

-

f

s

d

p

_

m

i

n

_

n

u

m

_

p

a

r

a

m

s

`

 

(

`

i

n

t

`

)

 

-

-

 

F

S

D

P

'

s

 

m

i

n

i

m

u

m

 

n

u

m

b

e

r

 

o

f

 

p

a

r

a

m

e

t

e

r

s

 

f

o

r

 

D

e

f

a

u

l

t

 

A

u

t

o

 

W

r

a

p

p

i

n

g

.




*

 

`

-

-

f

s

d

p

_

s

h

a

r

d

i

n

g

_

s

t

r

a

t

e

g

y

`

 

(

`

i

n

t

`

)

 

-

-

 

F

S

D

P

'

s

 

S

h

a

r

d

i

n

g

 

S

t

r

a

t

e

g

y

.




*

 

`

-

-

f

s

d

p

_

a

u

t

o

_

w

r

a

p

_

p

o

l

i

c

y

`

 

(

`

s

t

r

`

)

 

-

-

 

F

S

D

P

'

s

 

a

u

t

o

 

w

r

a

p

 

p

o

l

i

c

y

.




*

 

`

-

-

f

s

d

p

_

t

r

a

n

s

f

o

r

m

e

r

_

l

a

y

e

r

_

c

l

s

_

t

o

_

w

r

a

p

`

 

(

`

s

t

r

`

)

 

-

-

 

T

r

a

n

s

f

o

r

m

e

r

 

l

a

y

e

r

 

c

l

a

s

s

 

n

a

m

e

 

(

c

a

s

e

-

s

e

n

s

i

t

i

v

e

)

 

t

o

 

w

r

a

p

,

 

e

.

g

,

 

`

B

e

r

t

L

a

y

e

r

`

,

 

`

G

P

T

J

B

l

o

c

k

`

,

 

`

T

5

B

l

o

c

k

`

 

.

.

.




*

 

`

-

-

f

s

d

p

_

b

a

c

k

w

a

r

d

_

p

r

e

f

e

t

c

h

_

p

o

l

i

c

y

`

 

(

`

s

t

r

`

)

 

-

-

 

F

S

D

P

'

s

 

b

a

c

k

w

a

r

d

 

p

r

e

f

e

t

c

h

 

p

o

l

i

c

y

.




*

 

`

-

-

f

s

d

p

_

s

t

a

t

e

_

d

i

c

t

_

t

y

p

e

`

 

(

`

s

t

r

`

)

 

-

-

 

F

S

D

P

'

s

 

s

t

a

t

e

 

d

i

c

t

 

t

y

p

e

.




*

 

`

-

-

f

s

d

p

_

f

o

r

w

a

r

d

_

p

r

e

f

e

t

c

h

`

 

(

`

s

t

r

`

)

 

-

-

 

F

S

D

P

 

f

o

r

w

a

r

d

 

p

r

e

f

e

t

c

h

.




*

 

`

-

-

f

s

d

p

_

u

s

e

_

o

r

i

g

_

p

a

r

a

m

s

`

 

(

`

s

t

r

`

)

 

-

-

 

I

f

 

T

r

u

e

,

 

a

l

l

o

w

s

 

n

o

n

-

u

n

i

f

o

r

m

 

`

r

e

q

u

i

r

e

s

_

g

r

a

d

`

 

m

i

x

e

d

 

i

n

 

a

 

F

S

D

P

 

u

n

i

t

.




*

 

`

-

-

f

s

d

p

_

c

p

u

_

r

a

m

_

e

f

f

i

c

i

e

n

t

_

l

o

a

d

i

n

g

`

 

(

`

s

t

r

`

)

 

-

-

 

I

f

 

t

r

u

e

,

 

o

n

l

y

 

t

h

e

 

f

i

r

s

t

 

p

r

o

c

e

s

s

 

l

o

a

d

s

 

t

h

e

 

p

r

e

t

r

a

i

n

e

d

 

m

o

d

e

l

 

c

h

e

c

k

o

i

n

t

 

w

h

i

l

e

 

a

l

l

 

o

t

h

e

r

 

p

r

o

c

e

s

s

e

s

 

h

a

v

e

 

e

m

p

t

y

 

w

e

i

g

h

t

s

.

 

W

h

e

n

 

u

s

i

n

g

 

t

h

i

s

,

 

`

-

-

f

s

d

p

_

s

y

n

c

_

m

o

d

u

l

e

_

s

t

a

t

e

s

`

 

n

e

e

d

s

 

t

o

 

T

r

u

e

.




*

 

`

-

-

f

s

d

p

_

s

y

n

c

_

m

o

d

u

l

e

_

s

t

a

t

e

s

`

 

(

`

s

t

r

`

)

 

-

-

 

I

f

 

t

r

u

e

,

 

e

a

c

h

 

i

n

d

i

v

i

d

u

a

l

l

y

 

w

r

a

p

p

e

d

 

F

S

D

P

 

u

n

i

t

 

w

i

l

l

 

b

r

o

a

d

c

a

s

t

 

m

o

d

u

l

e

 

p

a

r

a

m

e

t

e

r

s

 

f

r

o

m

 

r

a

n

k

 

0

.




*

 

`

-

-

f

s

d

p

_

a

c

t

i

v

a

t

i

o

n

_

c

h

e

c

k

p

o

i

n

t

i

n

g

`

 

(

`

b

o

o

l

`

)

 

-

-

 

D

e

c

i

d

e

s

 

W

h

e

t

h

e

r

 

i

n

t

e

r

m

e

d

i

a

t

e

 

a

c

t

i

v

a

t

i

o

n

s

 

a

r

e

 

f

r

e

e

d

 

d

u

r

i

n

g

 

t

h

e

 

f

o

r

w

a

r

d

 

p

a

s

s

,

 

a

n

d

 

a

 

c

h

e

c

k

p

o

i

n

t

 

i

s

 

l

e

f

t

 

a

s

 

a

 

p

l

a

c

e

h

o

l

d

e

r







*

*

M

e

g

a

t

r

o

n

-

L

M

 

A

r

g

u

m

e

n

t

s

*

*

:







T

h

e

 

f

o

l

l

o

w

i

n

g

 

a

r

g

u

m

e

n

t

s

 

a

r

e

 

o

n

l

y

 

u

s

e

f

u

l

 

w

h

e

n

 

`

u

s

e

_

m

e

g

a

t

r

o

n

_

l

m

`

 

i

s

 

p

a

s

s

e

d

 

o

r

 

M

e

g

a

t

r

o

n

-

L

M

 

i

s

 

c

o

n

f

i

g

u

r

e

d

 

t

h

r

o

u

g

h

 

`

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

`

:







*

 

`

-

-

m

e

g

a

t

r

o

n

_

l

m

_

t

p

_

d

e

g

r

e

e

`

 

(

`

`

)

 

-

-

 

M

e

g

a

t

r

o

n

-

L

M

'

s

 

T

e

n

s

o

r

 

P

a

r

a

l

l

e

l

i

s

m

 

(

T

P

)

 

d

e

g

r

e

e

.




*

 

`

-

-

m

e

g

a

t

r

o

n

_

l

m

_

p

p

_

d

e

g

r

e

e

`

 

(

`

`

)

 

-

-

 

M

e

g

a

t

r

o

n

-

L

M

'

s

 

P

i

p

e

l

i

n

e

 

P

a

r

a

l

l

e

l

i

s

m

 

(

P

P

)

 

d

e

g

r

e

e

.




*

 

`

-

-

m

e

g

a

t

r

o

n

_

l

m

_

n

u

m

_

m

i

c

r

o

_

b

a

t

c

h

e

s

`

 

(

`

`

)

 

-

-

 

M

e

g

a

t

r

o

n

-

L

M

'

s

 

n

u

m

b

e

r

 

o

f

 

m

i

c

r

o

 

b

a

t

c

h

e

s

 

w

h

e

n

 

P

P

 

d

e

g

r

e

e

 

>

 

1

.




*

 

`

-

-

m

e

g

a

t

r

o

n

_

l

m

_

s

e

q

u

e

n

c

e

_

p

a

r

a

l

l

e

l

i

s

m

`

 

(

`

`

)

 

-

-

 

D

e

c

i

d

e

s

 

W

h

e

t

h

e

r

 

(

t

r

u

e

|

f

a

l

s

e

)

 

t

o

 

e

n

a

b

l

e

 

S

e

q

u

e

n

c

e

 

P

a

r

a

l

l

e

l

i

s

m

 

w

h

e

n

 

T

P

 

d

e

g

r

e

e

 

>

 

1

.




*

 

`

-

-

m

e

g

a

t

r

o

n

_

l

m

_

r

e

c

o

m

p

u

t

e

_

a

c

t

i

v

a

t

i

o

n

s

`

 

(

`

`

)

 

-

-

 

D

e

c

i

d

e

s

 

W

h

e

t

h

e

r

 

(

t

r

u

e

|

f

a

l

s

e

)

 

t

o

 

e

n

a

b

l

e

 

S

e

l

e

c

t

i

v

e

 

A

c

t

i

v

a

t

i

o

n

 

R

e

c

o

m

p

u

t

a

t

i

o

n

.




*

 

`

-

-

m

e

g

a

t

r

o

n

_

l

m

_

u

s

e

_

d

i

s

t

r

i

b

u

t

e

d

_

o

p

t

i

m

i

z

e

r

`

 

(

`

`

)

 

-

-

 

D

e

c

i

d

e

s

 

W

h

e

t

h

e

r

 

(

t

r

u

e

|

f

a

l

s

e

)

 

t

o

 

u

s

e

 

d

i

s

t

r

i

b

u

t

e

d

 

o

p

t

i

m

i

z

e

r

 

w

h

i

c

h

 

s

h

a

r

d

s

 

o

p

t

i

m

i

z

e

r

 

s

t

a

t

e

 

a

n

d

 

g

r

a

d

i

e

n

t

s

 

a

c

r

o

s

s

 

D

a

t

a

 

P

a

r

a

l

l

e

l

 

(

D

P

)

 

r

a

n

k

s

.




*

 

`

-

-

m

e

g

a

t

r

o

n

_

l

m

_

g

r

a

d

i

e

n

t

_

c

l

i

p

p

i

n

g

`

 

(

`

`

)

 

-

-

 

M

e

g

a

t

r

o

n

-

L

M

'

s

 

g

r

a

d

i

e

n

t

 

c

l

i

p

p

i

n

g

 

v

a

l

u

e

 

b

a

s

e

d

 

o

n

 

g

l

o

b

a

l

 

L

2

 

N

o

r

m

 

(

0

 

t

o

 

d

i

s

a

b

l

e

)

.







*

*

F

P

8

 

A

r

g

u

m

e

n

t

s

*

*

:







*

 

`

-

-

f

p

8

_

b

a

c

k

e

n

d

`

 

(

`

s

t

r

`

)

 

-

-

 

C

h

o

o

s

e

 

a

 

b

a

c

k

e

n

d

 

t

o

 

t

r

a

i

n

 

w

i

t

h

 

F

P

8

 

(

`

t

e

`

 

o

r

 

`

m

s

a

m

p

`

)




*

 

`

-

-

f

p

8

_

u

s

e

_

a

u

t

o

c

a

s

t

_

d

u

r

i

n

g

_

e

v

a

l

`

 

(

`

b

o

o

l

`

)

 

-

-

 

W

h

e

t

h

e

r

 

t

o

 

u

s

e

 

F

P

8

 

a

u

t

o

c

a

s

t

 

d

u

r

i

n

g

 

e

v

a

l

 

m

o

d

e

 

(

u

s

e

f

u

l

 

o

n

l

y

 

w

h

e

n

 

`

-

-

f

p

8

_

b

a

c

k

e

n

d

=

t

e

`

 

i

s

 

p

a

s

s

e

d

)

.

 

G

e

n

e

r

a

l

l

y

 

b

e

t

t

e

r

 

m

e

t

r

i

c

s

 

a

r

e

 

f

o

u

n

d

 

w

h

e

n

 

t

h

i

s

 

i

s

 

n

o

t

 

p

a

s

s

e

d

.




*

 

`

-

-

f

p

8

_

m

a

r

g

i

n

`

 

(

`

i

n

t

`

)

 

-

-

 

T

h

e

 

m

a

r

g

i

n

 

t

o

 

u

s

e

 

f

o

r

 

t

h

e

 

g

r

a

d

i

e

n

t

 

s

c

a

l

i

n

g

 

(

u

s

e

f

u

l

 

o

n

l

y

 

w

h

e

n

 

`

-

-

f

p

8

_

b

a

c

k

e

n

d

=

t

e

`

 

i

s

 

p

a

s

s

e

d

)

.




*

 

`

-

-

f

p

8

_

i

n

t

e

r

v

a

l

`

 

(

`

i

n

t

`

)

 

-

-

 

T

h

e

 

i

n

t

e

r

v

a

l

 

t

o

 

u

s

e

 

f

o

r

 

h

o

w

 

o

f

t

e

n

 

t

h

e

 

s

c

a

l

i

n

g

 

f

a

c

t

o

r

 

i

s

 

r

e

c

o

m

p

u

t

e

d

 

(

u

s

e

f

u

l

 

o

n

l

y

 

w

h

e

n

 

`

-

-

f

p

8

_

b

a

c

k

e

n

d

=

t

e

`

 

i

s

 

p

a

s

s

e

d

)

.




*

 

`

-

-

f

p

8

_

f

o

r

m

a

t

`

 

(

`

s

t

r

`

)

 

-

-

 

T

h

e

 

f

o

r

m

a

t

 

t

o

 

u

s

e

 

f

o

r

 

t

h

e

 

F

P

8

 

r

e

c

i

p

e

 

(

u

s

e

f

u

l

 

o

n

l

y

 

w

h

e

n

 

`

-

-

f

p

8

_

b

a

c

k

e

n

d

=

t

e

`

 

i

s

 

p

a

s

s

e

d

)

.




*

 

`

-

-

f

p

8

_

a

m

a

x

_

h

i

s

t

o

r

y

_

l

e

n

`

 

(

`

i

n

t

`

)

 

-

-

 

T

h

e

 

l

e

n

g

t

h

 

o

f

 

t

h

e

 

h

i

s

t

o

r

y

 

t

o

 

u

s

e

 

f

o

r

 

t

h

e

 

s

c

a

l

i

n

g

 

f

a

c

t

o

r

 

c

o

m

p

u

t

a

t

i

o

n

 

(

u

s

e

f

u

l

 

o

n

l

y

 

w

h

e

n

 

`

-

-

f

p

8

_

b

a

c

k

e

n

d

=

t

e

`

 

i

s

 

p

a

s

s

e

d

)

.




*

 

`

-

-

f

p

8

_

a

m

a

x

_

c

o

m

p

u

t

e

_

a

l

g

o

`

 

(

`

s

t

r

`

)

 

-

-

 

T

h

e

 

a

l

g

o

r

i

t

h

m

 

t

o

 

u

s

e

 

f

o

r

 

t

h

e

 

s

c

a

l

i

n

g

 

f

a

c

t

o

r

 

c

o

m

p

u

t

a

t

i

o

n

.

 

(

u

s

e

f

u

l

 

o

n

l

y

 

w

h

e

n

 

`

-

-

f

p

8

_

b

a

c

k

e

n

d

=

t

e

`

 

i

s

 

p

a

s

s

e

d

)

.




*

 

`

-

-

f

p

8

_

o

v

e

r

r

i

d

e

_

l

i

n

e

a

r

_

p

r

e

c

i

s

i

o

n

`

 

(

`

T

u

p

l

e

[

b

o

o

l

,

 

b

o

o

l

,

 

b

o

o

l

]

`

)

 

-

-

 

W

h

e

t

h

e

r

 

o

r

 

n

o

t

 

t

o

 

e

x

e

c

u

t

e

 

`

f

p

r

o

p

`

,

 

`

d

g

r

a

d

`

,

 

a

n

d

 

`

w

g

r

a

d

`

 

G

E

M

M

S

 

i

n

 

h

i

g

h

e

r

 

p

r

e

c

i

s

i

o

n

.




*

 

`

-

-

f

p

8

_

o

p

t

_

l

e

v

e

l

`

 

(

`

s

t

r

`

)

 

-

-

 

W

h

a

t

 

l

e

v

e

l

 

o

f

 

8

-

b

i

t

 

c

o

l

l

e

c

t

i

v

e

 

c

o

m

m

u

n

i

c

a

t

i

o

n

 

s

h

o

u

l

d

 

b

e

 

u

s

e

d

 

w

i

t

h

 

M

S

-

A

M

P

 

(

u

s

e

f

u

l

 

o

n

l

y

 

w

h

e

n

 

`

-

-

f

p

8

_

b

a

c

k

e

n

d

=

m

s

a

m

p

`

 

i

s

 

p

a

s

s

e

d

)







*

*

A

W

S

 

S

a

g

e

M

a

k

e

r

 

A

r

g

u

m

e

n

t

s

*

*

:







T

h

e

 

f

o

l

l

o

w

i

n

g

 

a

r

g

u

m

e

n

t

s

 

a

r

e

 

o

n

l

y

 

u

s

e

f

u

l

 

w

h

e

n

 

t

r

a

i

n

i

n

g

 

i

n

 

S

a

g

e

M

a

k

e

r







*

 

`

-

-

a

w

s

_

a

c

c

e

s

s

_

k

e

y

_

i

d

 

A

W

S

_

A

C

C

E

S

S

_

K

E

Y

_

I

D

`

 

(

`

s

t

r

`

)

 

-

-

 

T

h

e

 

A

W

S

_

A

C

C

E

S

S

_

K

E

Y

_

I

D

 

u

s

e

d

 

t

o

 

l

a

u

n

c

h

 

t

h

e

 

A

m

a

z

o

n

 

S

a

g

e

M

a

k

e

r

 

t

r

a

i

n

i

n

g

 

j

o

b




*

 

`

-

-

a

w

s

_

s

e

c

r

e

t

_

a

c

c

e

s

s

_

k

e

y

 

A

W

S

_

S

E

C

R

E

T

_

A

C

C

E

S

S

_

K

E

Y

`

 

(

`

s

t

r

`

)

 

-

-

 

T

h

e

 

A

W

S

_

S

E

C

R

E

T

_

A

C

C

E

S

S

_

K

E

Y

 

u

s

e

d

 

t

o

 

l

a

u

n

c

h

 

t

h

e

 

A

m

a

z

o

n

 

S

a

g

e

M

a

k

e

r

 

t

r

a

i

n

i

n

g

 

j

o

b







#

#

 

a

c

c

e

l

e

r

a

t

e

 

e

s

t

i

m

a

t

e

-

m

e

m

o

r

y







*

*

C

o

m

m

a

n

d

*

*

:







`

a

c

c

e

l

e

r

a

t

e

 

e

s

t

i

m

a

t

e

-

m

e

m

o

r

y

`

 

o

r

 

`

a

c

c

e

l

e

r

a

t

e

-

e

s

t

i

m

a

t

e

-

m

e

m

o

r

y

`

 

o

r

 

`

p

y

t

h

o

n

 

-

m

 

a

c

c

e

l

e

r

a

t

e

.

c

o

m

m

a

n

d

s

.

e

s

t

i

m

a

t

e

`







E

s

t

i

m

a

t

e

s

 

t

h

e

 

t

o

t

a

l

 

v

R

A

M

 

a

 

p

a

r

t

i

c

u

l

a

r

 

m

o

d

e

l

 

h

o

s

t

e

d

 

o

n

 

t

h

e

 

H

u

b

 

n

e

e

d

s

 

t

o

 

b

e

 

l

o

a

d

e

d

 

i

n

 

w

i

t

h

 

a

n

 

e

s

t

i

m

a

t

e

 

f

o

r

 

t

r

a

i

n

i

n

g

.

 

R

e

q

u

i

r

e

s

 

t

h

a

t

 

`

h

u

g

g

i

n

g

f

a

c

e

_

h

u

b

`

 

b

e

 

i

n

s

t

a

l

l

e

d

.

 







<

T

i

p

>







 

 

 

 

W

h

e

n

 

p

e

r

f

o

r

m

i

n

g

 

i

n

f

e

r

e

n

c

e

,

 

t

y

p

i

c

a

l

l

y

 

a

d

d

 

≤

2

0

%

 

t

o

 

t

h

e

 

r

e

s

u

l

t

 

a

s

 

o

v

e

r

a

l

l

 

a

l

l

o

c

a

t

i

o

n

 

[

a

s

 

r

e

f

e

r

e

n

c

e

d

 

h

e

r

e

]

(

h

t

t

p

s

:

/

/

b

l

o

g

.

e

l

e

u

t

h

e

r

.

a

i

/

t

r

a

n

s

f

o

r

m

e

r

-

m

a

t

h

/

)

.

 

W

e

 

w

i

l

l

 

h

a

v

e

 

m

o

r

e

 

e

x

t

e

n

s

i

v

e

 

e

s

t

i

m

a

t

i

o

n

s

 

i

n

 

t

h

e

 

f

u

t

u

r

e

 

t

h

a

t

 

w

i

l

l

 

a

u

t

o

m

a

t

i

c

a

l

l

y

 

b

e

 

i

n

c

l

u

d

e

d

 

i

n

 

t

h

e

 

c

a

l

c

u

l

a

t

i

o

n

.







<

/

T

i

p

>







*

*

U

s

a

g

e

*

*

:

 







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

e

s

t

i

m

a

t

e

-

m

e

m

o

r

y

 

{

M

O

D

E

L

_

N

A

M

E

}

 

-

-

l

i

b

r

a

r

y

_

n

a

m

e

 

{

L

I

B

R

A

R

Y

_

N

A

M

E

}

 

-

-

d

t

y

p

e

s

 

{

d

t

y

p

e

_

1

}

 

{

d

t

y

p

e

_

2

}

 

.

.

.




`

`

`







*

*

R

e

q

u

i

r

e

d

 

A

r

g

u

m

e

n

t

s

*

*

:







*

 

`

M

O

D

E

L

_

N

A

M

E

`

 

(

`

s

t

r

`

)

-

-

 

T

h

e

 

m

o

d

e

l

 

n

a

m

e

 

o

n

 

t

h

e

 

H

u

g

g

i

n

g

 

F

a

c

e

 

H

u

b







*

*

O

p

t

i

o

n

a

l

 

A

r

g

u

m

e

n

t

s

*

*

:







*

 

`

-

-

l

i

b

r

a

r

y

_

n

a

m

e

 

{

t

i

m

m

,

t

r

a

n

s

f

o

r

m

e

r

s

}

`

 

(

`

s

t

r

`

)

 

-

-

 

T

h

e

 

l

i

b

r

a

r

y

 

t

h

e

 

m

o

d

e

l

 

h

a

s

 

a

n

 

i

n

t

e

g

r

a

t

i

o

n

 

w

i

t

h

,

 

s

u

c

h

 

a

s

 

`

t

r

a

n

s

f

o

r

m

e

r

s

`

,

 

n

e

e

d

e

d

 

o

n

l

y

 

i

f

 

t

h

i

s

 

i

n

f

o

r

m

a

t

i

o

n

 

i

s

 

n

o

t

 

s

t

o

r

e

d

 

o

n

 

t

h

e

 

H

u

b




*

 

`

-

-

d

t

y

p

e

s

 

{

f

l

o

a

t

3

2

,

f

l

o

a

t

1

6

,

i

n

t

8

,

i

n

t

4

}

`

 

(

`

[

{

f

l

o

a

t

3

2

,

f

l

o

a

t

1

6

,

i

n

t

8

,

i

n

t

4

}

 

.

.

.

]

`

)

 

-

-

 

T

h

e

 

d

t

y

p

e

s

 

t

o

 

u

s

e

 

f

o

r

 

t

h

e

 

m

o

d

e

l

,

 

m

u

s

t

 

b

e

 

o

n

e

 

(

o

r

 

m

a

n

y

)

 

o

f

 

`

f

l

o

a

t

3

2

`

,

 

`

f

l

o

a

t

1

6

`

,

 

`

i

n

t

8

`

,

 

a

n

d

 

`

i

n

t

4

`




*

 

`

-

-

t

r

u

s

t

_

r

e

m

o

t

e

_

c

o

d

e

`

 

(

`

b

o

o

l

`

)

 

-

-

 

W

h

e

t

h

e

r

 

o

r

 

n

o

t

 

t

o

 

a

l

l

o

w

 

f

o

r

 

c

u

s

t

o

m

 

m

o

d

e

l

s

 

d

e

f

i

n

e

d

 

o

n

 

t

h

e

 

H

u

b

 

i

n

 

t

h

e

i

r

 

o

w

n

 

m

o

d

e

l

i

n

g

 

f

i

l

e

s

.

 

T

h

i

s

 

o

p

t

i

o

n

 

s

h

o

u

l

d

 

o

n

l

y

 

b

e

 

p

a

s

s

e

d

 

f

o

r

 

r

e

p

o

s

i

t

o

r

i

e

s

 

y

o

u

 

t

r

u

s

t

 

a

n

d

 

i

n

 

w

h

i

c

h

 

y

o

u

 

h

a

v

e

 

r

e

a

d

 

t

h

e

 

c

o

d

e

,

 

a

s

 

i

t

 

w

i

l

l

 

e

x

e

c

u

t

e

 

c

o

d

e

 

p

r

e

s

e

n

t

 

o

n

 

t

h

e

 

H

u

b

 

o

n

 

y

o

u

r

 

l

o

c

a

l

 

m

a

c

h

i

n

e

.







#

#

 

a

c

c

e

l

e

r

a

t

e

 

t

p

u

-

c

o

n

f

i

g







`

a

c

c

e

l

e

r

a

t

e

 

t

p

u

-

c

o

n

f

i

g

`







*

*

U

s

a

g

e

*

*

:







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

t

p

u

-

c

o

n

f

i

g

 

[

a

r

g

u

m

e

n

t

s

]




`

`

`







*

*

O

p

t

i

o

n

a

l

 

A

r

g

u

m

e

n

t

s

*

*

:




*

 

`

-

h

`

,

 

`

-

-

h

e

l

p

`

 

(

`

b

o

o

l

`

)

 

-

-

 

S

h

o

w

 

a

 

h

e

l

p

 

m

e

s

s

a

g

e

 

a

n

d

 

e

x

i

t







*

*

C

o

n

f

i

g

 

A

r

g

u

m

e

n

t

s

*

*

:







A

r

g

u

m

e

n

t

s

 

t

h

a

t

 

c

a

n

 

b

e

 

c

o

n

f

i

g

u

r

e

d

 

t

h

r

o

u

g

h

 

`

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

`

.







*

 

`

-

-

c

o

n

f

i

g

_

f

i

l

e

`

 

(

`

s

t

r

`

)

 

-

-

 

P

a

t

h

 

t

o

 

t

h

e

 

c

o

n

f

i

g

 

f

i

l

e

 

t

o

 

u

s

e

 

f

o

r

 

a

c

c

e

l

e

r

a

t

e

.




*

 

`

-

-

t

p

u

_

n

a

m

e

`

 

(

`

s

t

r

`

)

 

-

-

 

T

h

e

 

n

a

m

e

 

o

f

 

t

h

e

 

T

P

U

 

t

o

 

u

s

e

.

 

I

f

 

n

o

t

 

s

p

e

c

i

f

i

e

d

,

 

w

i

l

l

 

u

s

e

 

t

h

e

 

T

P

U

 

s

p

e

c

i

f

i

e

d

 

i

n

 

t

h

e

 

c

o

n

f

i

g

 

f

i

l

e

.




*

 

`

-

-

t

p

u

_

z

o

n

e

`

 

(

`

s

t

r

`

)

 

-

-

 

T

h

e

 

z

o

n

e

 

o

f

 

t

h

e

 

T

P

U

 

t

o

 

u

s

e

.

 

I

f

 

n

o

t

 

s

p

e

c

i

f

i

e

d

,

 

w

i

l

l

 

u

s

e

 

t

h

e

 

z

o

n

e

 

s

p

e

c

i

f

i

e

d

 

i

n

 

t

h

e

 

c

o

n

f

i

g

 

f

i

l

e

.







*

*

T

P

U

 

A

r

g

u

m

e

n

t

s

*

*

:







A

r

g

u

m

e

n

t

s

 

f

o

r

 

o

p

t

i

o

n

s

 

r

a

n

 

i

n

s

i

d

e

 

t

h

e

 

T

P

U

.







*

 

`

-

-

c

o

m

m

a

n

d

_

f

i

l

e

`

 

(

`

s

t

r

`

)

 

-

-

 

T

h

e

 

p

a

t

h

 

t

o

 

t

h

e

 

f

i

l

e

 

c

o

n

t

a

i

n

i

n

g

 

t

h

e

 

c

o

m

m

a

n

d

s

 

t

o

 

r

u

n

 

o

n

 

t

h

e

 

p

o

d

 

o

n

 

s

t

a

r

t

u

p

.




*

 

`

-

-

c

o

m

m

a

n

d

`

 

(

`

s

t

r

`

)

 

-

-

 

A

 

c

o

m

m

a

n

d

 

t

o

 

r

u

n

 

o

n

 

t

h

e

 

p

o

d

.

 

C

a

n

 

b

e

 

p

a

s

s

e

d

 

m

u

l

t

i

p

l

e

 

t

i

m

e

s

.




*

 

`

-

-

i

n

s

t

a

l

l

_

a

c

c

e

l

e

r

a

t

e

`

 

(

`

b

o

o

l

`

)

 

-

-

 

W

h

e

t

h

e

r

 

t

o

 

i

n

s

t

a

l

l

 

a

c

c

e

l

e

r

a

t

e

 

o

n

 

t

h

e

 

p

o

d

.

 

D

e

f

a

u

l

t

s

 

t

o

 

F

a

l

s

e

.




*

 

`

-

-

a

c

c

e

l

e

r

a

t

e

_

v

e

r

s

i

o

n

`

 

(

`

s

t

r

`

)

 

-

-

 

T

h

e

 

v

e

r

s

i

o

n

 

o

f

 

a

c

c

e

l

e

r

a

t

e

 

t

o

 

i

n

s

t

a

l

l

 

o

n

 

t

h

e

 

p

o

d

.

 

I

f

 

n

o

t

 

s

p

e

c

i

f

i

e

d

,

 

w

i

l

l

 

u

s

e

 

t

h

e

 

l

a

t

e

s

t

 

p

y

p

i

 

v

e

r

s

i

o

n

.

 

S

p

e

c

i

f

y

 

'

d

e

v

'

 

t

o

 

i

n

s

t

a

l

l

 

f

r

o

m

 

G

i

t

H

u

b

.




*

 

`

-

-

d

e

b

u

g

`

 

(

`

b

o

o

l

`

)

 

-

-

 

I

f

 

s

e

t

,

 

w

i

l

l

 

p

r

i

n

t

 

t

h

e

 

c

o

m

m

a

n

d

 

t

h

a

t

 

w

o

u

l

d

 

b

e

 

r

u

n

 

i

n

s

t

e

a

d

 

o

f

 

r

u

n

n

i

n

g

 

i

t

.







#

#

 

a

c

c

e

l

e

r

a

t

e

 

t

e

s

t







`

a

c

c

e

l

e

r

a

t

e

 

t

e

s

t

`

 

o

r

 

`

a

c

c

e

l

e

r

a

t

e

-

t

e

s

t

`







R

u

n

s

 

`

a

c

c

e

l

e

r

a

t

e

/

t

e

s

t

_

u

t

i

l

s

/

t

e

s

t

_

s

c

r

i

p

t

.

p

y

`

 

t

o

 

v

e

r

i

f

y

 

t

h

a

t

 

🤗

 

A

c

c

e

l

e

r

a

t

e

 

h

a

s

 

b

e

e

n

 

p

r

o

p

e

r

l

y

 

c

o

n

f

i

g

u

r

e

d

 

o

n

 

y

o

u

r

 

s

y

s

t

e

m

 

a

n

d

 

r

u

n

s

.

 







*

*

U

s

a

g

e

*

*

:

 







`

`

`

b

a

s

h




a

c

c

e

l

e

r

a

t

e

 

t

e

s

t

 

[

a

r

g

u

m

e

n

t

s

]




`

`

`







*

*

O

p

t

i

o

n

a

l

 

A

r

g

u

m

e

n

t

s

*

*

:




*

 

`

-

-

c

o

n

f

i

g

_

f

i

l

e

 

C

O

N

F

I

G

_

F

I

L

E

`

 

(

`

s

t

r

`

)

 

-

-

 

T

h

e

 

p

a

t

h

 

t

o

 

u

s

e

 

t

o

 

s

t

o

r

e

 

t

h

e

 

c

o

n

f

i

g

 

f

i

l

e

.

 

W

i

l

l

 

d

e

f

a

u

l

t

 

t

o

 

a

 

f

i

l

e

 

n

a

m

e

d

 

d

e

f

a

u

l

t

_

c

o

n

f

i

g

.

y

a

m

l

 

i

n

 

t

h

e

 

c

a

c

h

e

 

l

o

c

a

t

i

o

n

,

 

w

h

i

c

h

 

i

s

 

t

h

e

 

c

o

n

t

e

n

t




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

o

f

 

t

h

e

 

e

n

v

i

r

o

n

m

e

n

t

 

`

H

F

_

H

O

M

E

`

 

s

u

f

f

i

x

e

d

 

w

i

t

h

 

'

a

c

c

e

l

e

r

a

t

e

'

,

 

o

r

 

i

f

 

y

o

u

 

d

o

n

'

t

 

h

a

v

e

 

s

u

c

h

 

a

n

 

e

n

v

i

r

o

n

m

e

n

t

 

v

a

r

i

a

b

l

e

,

 

y

o

u

r

 

c

a

c

h

e

 

d

i

r

e

c

t

o

r

y




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(

`

~

/

.

c

a

c

h

e

`

 

o

r

 

t

h

e

 

c

o

n

t

e

n

t

 

o

f

 

`

X

D

G

_

C

A

C

H

E

_

H

O

M

E

`

)

 

s

u

f

f

i

x

e

d

 

w

i

t

h

 

`

h

u

g

g

i

n

g

f

a

c

e

`

.




*

 

`

-

h

`

,

 

`

-

-

h

e

l

p

`

 

(

`

b

o

o

l

`

)

 

-

-

 

S

h

o

w

 

a

 

h

e

l

p

 

m

e

s

s

a

g

e

 

a

n

d

 

e

x

i

t







#

 

S

t

a

t

e

f

u

l

 

C

l

a

s

s

e

s







B

e

l

o

w

 

a

r

e

 

v

a

r

i

a

t

i

o

n

s

 

o

f

 

a

 

[

s

i

n

g

l

e

t

o

n

 

c

l

a

s

s

]

(

h

t

t

p

s

:

/

/

e

n

.

w

i

k

i

p

e

d

i

a

.

o

r

g

/

w

i

k

i

/

S

i

n

g

l

e

t

o

n

_

p

a

t

t

e

r

n

)

 

i

n

 

t

h

e

 

s

e

n

s

e

 

t

h

a

t

 

a

l

l




i

n

s

t

a

n

c

e

s

 

s

h

a

r

e

 

t

h

e

 

s

a

m

e

 

s

t

a

t

e

,

 

w

h

i

c

h

 

i

s

 

i

n

i

t

i

a

l

i

z

e

d

 

o

n

 

t

h

e

 

f

i

r

s

t

 

i

n

s

t

a

n

t

i

a

t

i

o

n

.







T

h

e

s

e

 

c

l

a

s

s

e

s

 

a

r

e

 

i

m

m

u

t

a

b

l

e

 

a

n

d

 

s

t

o

r

e

 

i

n

f

o

r

m

a

t

i

o

n

 

a

b

o

u

t

 

c

e

r

t

a

i

n

 

c

o

n

f

i

g

u

r

a

t

i

o

n

s

 

o

r

 




s

t

a

t

e

s

.







#

#

 

P

a

r

t

i

a

l

S

t

a

t

e













#

#

 

A

c

c

e

l

e

r

a

t

o

r

S

t

a

t

e













#

#

 

G

r

a

d

i

e

n

t

S

t

a

t

e













[

[

a

u

t

o

d

o

c

]

]

 

s

t

a

t

e

.

P

a

r

t

i

a

l

S

t

a

t

e







[

[

a

u

t

o

d

o

c

]

]

 

s

t

a

t

e

.

A

c

c

e

l

e

r

a

t

o

r

S

t

a

t

e







[

[

a

u

t

o

d

o

c

]

]

 

s

t

a

t

e

.

G

r

a

d

i

e

n

t

S

t

a

t

e

#

 

M

e

g

a

t

r

o

n

-

L

M

 

u

t

i

l

i

t

i

e

s







#

#

 

M

e

g

a

t

r

o

n

L

M

P

l

u

g

i

n













#

#

 

M

e

g

a

t

r

o

n

L

M

D

u

m

m

y

S

c

h

e

d

u

l

e

r













#

#

 

M

e

g

a

t

r

o

n

L

M

D

u

m

m

y

D

a

t

a

L

o

a

d

e

r













#

#

 

A

b

s

t

r

a

c

t

T

r

a

i

n

S

t

e

p













#

#

 

G

P

T

T

r

a

i

n

S

t

e

p













#

#

 

B

e

r

t

T

r

a

i

n

S

t

e

p













#

#

 

T

5

T

r

a

i

n

S

t

e

p













#

#

 

a

v

g

_

l

o

s

s

e

s

_

a

c

r

o

s

s

_

d

a

t

a

_

p

a

r

a

l

l

e

l

_

g

r

o

u

p













[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

M

e

g

a

t

r

o

n

L

M

P

l

u

g

i

n







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

M

e

g

a

t

r

o

n

L

M

D

u

m

m

y

S

c

h

e

d

u

l

e

r







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

M

e

g

a

t

r

o

n

L

M

D

u

m

m

y

D

a

t

a

L

o

a

d

e

r







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

A

b

s

t

r

a

c

t

T

r

a

i

n

S

t

e

p







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

G

P

T

T

r

a

i

n

S

t

e

p







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

B

e

r

t

T

r

a

i

n

S

t

e

p







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

T

5

T

r

a

i

n

S

t

e

p







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

a

v

g

_

l

o

s

s

e

s

_

a

c

r

o

s

s

_

d

a

t

a

_

p

a

r

a

l

l

e

l

_

g

r

o

u

p

#

 

K

w

a

r

g

s

 

h

a

n

d

l

e

r

s







T

h

e

 

f

o

l

l

o

w

i

n

g

 

o

b

j

e

c

t

s

 

c

a

n

 

b

e

 

p

a

s

s

e

d

 

t

o

 

t

h

e

 

m

a

i

n

 

`

A

c

c

e

l

e

r

a

t

o

r

`

 

t

o

 

c

u

s

t

o

m

i

z

e

 

h

o

w

 

s

o

m

e

 

P

y

T

o

r

c

h

 

o

b

j

e

c

t

s




r

e

l

a

t

e

d

 

t

o

 

d

i

s

t

r

i

b

u

t

e

d

 

t

r

a

i

n

i

n

g

 

o

r

 

m

i

x

e

d

 

p

r

e

c

i

s

i

o

n

 

a

r

e

 

c

r

e

a

t

e

d

.







#

#

 

A

u

t

o

c

a

s

t

K

w

a

r

g

s













#

#

 

D

i

s

t

r

i

b

u

t

e

d

D

a

t

a

P

a

r

a

l

l

e

l

K

w

a

r

g

s













#

#

 

F

P

8

R

e

c

i

p

e

K

w

a

r

g

s













#

#

 

P

r

o

f

i

l

e

K

w

a

r

g

s













#

#

 

G

r

a

d

S

c

a

l

e

r

K

w

a

r

g

s













#

#

 

I

n

i

t

P

r

o

c

e

s

s

G

r

o

u

p

K

w

a

r

g

s













#

#

 

K

w

a

r

g

s

H

a

n

d

l

e

r













[

[

a

u

t

o

d

o

c

]

]

 

A

u

t

o

c

a

s

t

K

w

a

r

g

s







[

[

a

u

t

o

d

o

c

]

]

 

D

i

s

t

r

i

b

u

t

e

d

D

a

t

a

P

a

r

a

l

l

e

l

K

w

a

r

g

s







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

F

P

8

R

e

c

i

p

e

K

w

a

r

g

s







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

P

r

o

f

i

l

e

K

w

a

r

g

s







[

[

a

u

t

o

d

o

c

]

]

 

G

r

a

d

S

c

a

l

e

r

K

w

a

r

g

s







[

[

a

u

t

o

d

o

c

]

]

 

I

n

i

t

P

r

o

c

e

s

s

G

r

o

u

p

K

w

a

r

g

s







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

K

w

a

r

g

s

H

a

n

d

l

e

r

#

 

P

i

p

e

l

i

n

e

 

p

a

r

a

l

l

e

l

i

s

m







A

c

c

e

l

e

r

a

t

e

 

s

u

p

p

o

r

t

s

 

p

i

p

e

l

i

n

e

 

p

a

r

a

l

l

e

l

i

s

m

 

f

o

r

 

l

a

r

g

e

-

s

c

a

l

e

 

t

r

a

i

n

i

n

g

 

w

i

t

h

 

t

h

e

 

P

y

T

o

r

c

h

 

[

t

o

r

c

h

.

d

i

s

t

r

i

b

u

t

e

d

.

p

i

p

e

l

i

n

i

n

g

]

(

h

t

t

p

s

:

/

/

p

y

t

o

r

c

h

.

o

r

g

/

d

o

c

s

/

s

t

a

b

l

e

/

d

i

s

t

r

i

b

u

t

e

d

.

p

i

p

e

l

i

n

i

n

g

.

h

t

m

l

)

 

A

P

I

.







#

#

 

p

r

e

p

a

r

e

_

p

i

p

p

y













[

[

a

u

t

o

d

o

c

]

]

 

i

n

f

e

r

e

n

c

e

.

p

r

e

p

a

r

e

_

p

i

p

p

y

#

 

F

P

8







B

e

l

o

w

 

a

r

e

 

f

u

n

c

t

i

o

n

s

 

a

n

d

 

c

l

a

s

s

e

s

 

r

e

l

a

t

i

v

e

 

t

o

 

t

h

e

 

u

n

d

e

r

l

y

i

n

g

 

F

P

8

 

i

m

p

l

e

m

e

n

t

a

t

i

o

n







#

#

 

F

P

8

R

e

c

i

p

e

K

w

a

r

g

s













#

#

 

c

o

n

v

e

r

t

_

m

o

d

e

l













#

#

 

h

a

s

_

t

r

a

n

s

f

o

r

m

e

r

_

e

n

g

i

n

e

_

l

a

y

e

r

s













#

#

 

c

o

n

t

e

x

t

u

a

l

_

f

p

8

_

a

u

t

o

c

a

s

t













#

#

 

a

p

p

l

y

_

f

p

8

_

a

u

t

o

w

r

a

p













[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

F

P

8

R

e

c

i

p

e

K

w

a

r

g

s







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

c

o

n

v

e

r

t

_

m

o

d

e

l







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

h

a

s

_

t

r

a

n

s

f

o

r

m

e

r

_

e

n

g

i

n

e

_

l

a

y

e

r

s







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

c

o

n

t

e

x

t

u

a

l

_

f

p

8

_

a

u

t

o

c

a

s

t







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

a

p

p

l

y

_

f

p

8

_

a

u

t

o

w

r

a

p

#

 

U

t

i

l

i

t

y

 

f

u

n

c

t

i

o

n

s

 

a

n

d

 

c

l

a

s

s

e

s







B

e

l

o

w

 

a

r

e

 

a

 

v

a

r

i

e

t

y

 

o

f

 

u

t

i

l

i

t

y

 

f

u

n

c

t

i

o

n

s

 

t

h

a

t

 

🤗

 

A

c

c

e

l

e

r

a

t

e

 

p

r

o

v

i

d

e

s

,

 

b

r

o

k

e

n

 

d

o

w

n

 

b

y

 

u

s

e

-

c

a

s

e

.

 







#

#

 

C

o

n

s

t

a

n

t

s







C

o

n

s

t

a

n

t

s

 

u

s

e

d

 

t

h

r

o

u

g

h

o

u

t

 

🤗

 

A

c

c

e

l

e

r

a

t

e

 

f

o

r

 

r

e

f

e

r

e

n

c

e







T

h

e

 

f

o

l

l

o

w

i

n

g

 

a

r

e

 

c

o

n

s

t

a

n

t

s

 

u

s

e

d

 

w

h

e

n

 

u

t

i

l

i

z

i

n

g

 

`

A

c

c

e

l

e

r

a

t

o

r

.

s

a

v

e

_

s

t

a

t

e

(

)

`







`

u

t

i

l

s

.

M

O

D

E

L

_

N

A

M

E

`

:

 

`

"

p

y

t

o

r

c

h

_

m

o

d

e

l

"

`




`

u

t

i

l

s

.

O

P

T

I

M

I

Z

E

R

_

N

A

M

E

`

:

 

`

"

o

p

t

i

m

i

z

e

r

"

`




`

u

t

i

l

s

.

R

N

G

_

S

T

A

T

E

_

N

A

M

E

`

:

 

`

"

r

a

n

d

o

m

_

s

t

a

t

e

s

"

`




`

u

t

i

l

s

.

S

C

A

L

E

R

_

N

A

M

E

`

:

 

`

"

s

c

a

l

e

r

.

p

t

`




`

u

t

i

l

s

.

S

C

H

E

D

U

L

E

R

_

N

A

M

E

`

:

 

`

"

s

c

h

e

d

u

l

e

r

`







T

h

e

 

f

o

l

l

o

w

i

n

g

 

a

r

e

 

c

o

n

s

t

a

n

t

s

 

u

s

e

d

 

w

h

e

n

 

u

t

i

l

i

z

i

n

g

 

`

A

c

c

e

l

e

r

a

t

o

r

.

s

a

v

e

_

m

o

d

e

l

(

)

`







`

u

t

i

l

s

.

W

E

I

G

H

T

S

_

N

A

M

E

`

:

 

`

"

p

y

t

o

r

c

h

_

m

o

d

e

l

.

b

i

n

"

`




`

u

t

i

l

s

.

S

A

F

E

_

W

E

I

G

H

T

S

_

N

A

M

E

`

:

 

`

"

m

o

d

e

l

.

s

a

f

e

t

e

n

s

o

r

s

"

`




`

u

t

i

l

s

.

W

E

I

G

H

T

S

_

I

N

D

E

X

_

N

A

M

E

`

:

 

`

"

p

y

t

o

r

c

h

_

m

o

d

e

l

.

b

i

n

.

i

n

d

e

x

.

j

s

o

n

"

`




`

u

t

i

l

s

.

S

A

F

E

_

W

E

I

G

H

T

S

_

I

N

D

E

X

_

N

A

M

E

`

:

 

`

"

m

o

d

e

l

.

s

a

f

e

t

e

n

s

o

r

s

.

i

n

d

e

x

.

j

s

o

n

"

`







#

#

 

D

a

t

a

 

C

l

a

s

s

e

s







T

h

e

s

e

 

a

r

e

 

b

a

s

i

c

 

d

a

t

a

c

l

a

s

s

e

s

 

u

s

e

d

 

t

h

r

o

u

g

h

o

u

t

 

🤗

 

A

c

c

e

l

e

r

a

t

e

 

a

n

d

 

t

h

e

y

 

c

a

n

 

b

e

 

p

a

s

s

e

d

 

i

n

 

a

s

 

p

a

r

a

m

e

t

e

r

s

.







#

#

#

 

S

t

a

n

d

a

l

o

n

e







T

h

e

s

e

 

a

r

e

 

s

t

a

n

d

a

l

o

n

e

 

d

a

t

a

c

l

a

s

s

e

s

 

u

s

e

d

 

f

o

r

 

c

h

e

c

k

s

,

 

s

u

c

h

 

a

s

 

t

h

e

 

t

y

p

e

 

o

f

 

d

i

s

t

r

i

b

u

t

e

d

 

s

y

s

t

e

m

 

b

e

i

n

g

 

u

s

e

d

















































#

#

#

 

K

w

a

r

g

s







T

h

e

s

e

 

a

r

e

 

c

o

n

f

i

g

u

r

a

b

l

e

 

a

r

g

u

m

e

n

t

s

 

f

o

r

 

s

p

e

c

i

f

i

c

 

i

n

t

e

r

a

c

t

i

o

n

s

 

t

h

r

o

u

g

h

o

u

t

 

t

h

e

 

P

y

T

o

r

c

h

 

e

c

o

s

y

s

t

e

m

 

t

h

a

t

 

A

c

c

e

l

e

r

a

t

e

 

h

a

n

d

l

e

s

 

u

n

d

e

r

 

t

h

e

 

h

o

o

d

.











































#

#

 

P

l

u

g

i

n

s







T

h

e

s

e

 

a

r

e

 

p

l

u

g

i

n

s

 

t

h

a

t

 

c

a

n

 

b

e

 

p

a

s

s

e

d

 

t

o

 

t

h

e

 

`

A

c

c

e

l

e

r

a

t

o

r

`

 

o

b

j

e

c

t

.

 

W

h

i

l

e

 

t

h

e

y

 

a

r

e

 

d

e

f

i

n

e

d

 

e

l

s

e

w

h

e

r

e

 

i

n

 

t

h

e

 

d

o

c

u

m

e

n

t

a

t

i

o

n

,

 




f

o

r

 

c

o

n

v

e

n

i

e

n

c

e

 

a

l

l

 

o

f

 

t

h

e

m

 

a

r

e

 

a

v

a

i

l

a

b

l

e

 

t

o

 

s

e

e

 

h

e

r

e

:





































#

#

 

C

o

n

f

i

g

u

r

a

t

i

o

n

s







T

h

e

s

e

 

a

r

e

 

c

l

a

s

s

e

s

 

w

h

i

c

h

 

c

a

n

 

b

e

 

c

o

n

f

i

g

u

r

e

d

 

a

n

d

 

p

a

s

s

e

d

 

t

h

r

o

u

g

h

 

t

o

 

t

h

e

 

a

p

p

r

o

p

r

i

a

t

e

 

i

n

t

e

g

r

a

t

i

o

n

























#

#

 

E

n

v

i

r

o

n

m

e

n

t

a

l

 

V

a

r

i

a

b

l

e

s







T

h

e

s

e

 

a

r

e

 

e

n

v

i

r

o

n

m

e

n

t

a

l

 

v

a

r

i

a

b

l

e

s

 

t

h

a

t

 

c

a

n

 

b

e

 

e

n

a

b

l

e

d

 

f

o

r

 

d

i

f

f

e

r

e

n

t

 

u

s

e

 

c

a

s

e

s







*

 

`

A

C

C

E

L

E

R

A

T

E

_

D

E

B

U

G

_

M

O

D

E

`

 

(

`

s

t

r

`

)

:

 

W

h

e

t

h

e

r

 

t

o

 

r

u

n

 

a

c

c

e

l

e

r

a

t

e

 

i

n

 

d

e

b

u

g

 

m

o

d

e

.

 

M

o

r

e

 

i

n

f

o

 

a

v

a

i

l

a

b

l

e

 

[

h

e

r

e

]

(

.

.

/

u

s

a

g

e

_

g

u

i

d

e

s

/

d

e

b

u

g

.

m

d

)

.
















#

#

 

D

a

t

a

 

M

a

n

i

p

u

l

a

t

i

o

n

 

a

n

d

 

O

p

e

r

a

t

i

o

n

s







T

h

e

s

e

 

i

n

c

l

u

d

e

 

d

a

t

a

 

o

p

e

r

a

t

i

o

n

s

 

t

h

a

t

 

m

i

m

i

c

 

t

h

e

 

s

a

m

e

 

`

t

o

r

c

h

`

 

o

p

s

 

b

u

t

 

c

a

n

 

b

e

 

u

s

e

d

 

o

n

 

d

i

s

t

r

i

b

u

t

e

d

 

p

r

o

c

e

s

s

e

s

.

































































































#

#

 

E

n

v

i

r

o

n

m

e

n

t

 

C

h

e

c

k

s







T

h

e

s

e

 

f

u

n

c

t

i

o

n

a

l

i

t

i

e

s

 

c

h

e

c

k

 

t

h

e

 

s

t

a

t

e

 

o

f

 

t

h

e

 

c

u

r

r

e

n

t

 

w

o

r

k

i

n

g

 

e

n

v

i

r

o

n

m

e

n

t

 

i

n

c

l

u

d

i

n

g

 

i

n

f

o

r

m

a

t

i

o

n

 

a

b

o

u

t

 

t

h

e

 

o

p

e

r

a

t

i

n

g

 

s

y

s

t

e

m

 

i

t

s

e

l

f

,

 

w

h

a

t

 

i

t

 

c

a

n

 

s

u

p

p

o

r

t

,

 

a

n

d

 

i

f

 

p

a

r

t

i

c

u

l

a

r

 

d

e

p

e

n

d

e

n

c

i

e

s

 

a

r

e

 

i

n

s

t

a

l

l

e

d

.

 

















































#

#

 

E

n

v

i

r

o

n

m

e

n

t

 

M

a

n

i

p

u

l

a

t

i

o

n

























W

h

e

n

 

s

e

t

t

i

n

g

 

u

p

 

🤗

 

A

c

c

e

l

e

r

a

t

e

 

f

o

r

 

t

h

e

 

f

i

r

s

t

 

t

i

m

e

,

 

r

a

t

h

e

r

 

t

h

a

n

 

r

u

n

n

i

n

g

 

`

a

c

c

e

l

e

r

a

t

e

 

c

o

n

f

i

g

`

 

[

~

u

t

i

l

s

.

w

r

i

t

e

_

b

a

s

i

c

_

c

o

n

f

i

g

]

 

c

a

n

 

b

e

 

u

s

e

d

 

a

s

 

a

n

 

a

l

t

e

r

n

a

t

i

v

e

 

f

o

r

 

q

u

i

c

k

 

c

o

n

f

i

g

u

r

a

t

i

o

n

.



















#

#

 

M

e

m

o

r

y













#

#

 

M

o

d

e

l

i

n

g







T

h

e

s

e

 

u

t

i

l

i

t

i

e

s

 

r

e

l

a

t

e

 

t

o

 

i

n

t

e

r

a

c

t

i

n

g

 

w

i

t

h

 

P

y

T

o

r

c

h

 

m

o

d

e

l

s


















































































#

#

 

P

a

r

a

l

l

e

l







T

h

e

s

e

 

i

n

c

l

u

d

e

 

g

e

n

e

r

a

l

 

u

t

i

l

i

t

i

e

s

 

t

h

a

t

 

s

h

o

u

l

d

 

b

e

 

u

s

e

d

 

w

h

e

n

 

w

o

r

k

i

n

g

 

i

n

 

p

a

r

a

l

l

e

l

.


































#

#

 

R

a

n

d

o

m







T

h

e

s

e

 

u

t

i

l

i

t

i

e

s

 

r

e

l

a

t

e

 

t

o

 

s

e

t

t

i

n

g

 

a

n

d

 

s

y

n

c

h

r

o

n

i

z

i

n

g

 

o

f

 

a

l

l

 

t

h

e

 

r

a

n

d

o

m

 

s

t

a

t

e

s

.




























#

#

 

P

y

T

o

r

c

h

 

X

L

A







T

h

e

s

e

 

i

n

c

l

u

d

e

 

u

t

i

l

i

t

i

e

s

 

t

h

a

t

 

a

r

e

 

u

s

e

f

u

l

 

w

h

i

l

e

 

u

s

i

n

g

 

P

y

T

o

r

c

h

 

w

i

t

h

 

X

L

A

.













#

#

 

L

o

a

d

i

n

g

 

m

o

d

e

l

 

w

e

i

g

h

t

s







T

h

e

s

e

 

i

n

c

l

u

d

e

 

u

t

i

l

i

t

i

e

s

 

t

h

a

t

 

a

r

e

 

u

s

e

f

u

l

 

t

o

 

l

o

a

d

 

c

h

e

c

k

p

o

i

n

t

s

.













#

#

 

Q

u

a

n

t

i

z

a

t

i

o

n







T

h

e

s

e

 

i

n

c

l

u

d

e

 

u

t

i

l

i

t

i

e

s

 

t

h

a

t

 

a

r

e

 

u

s

e

f

u

l

 

t

o

 

q

u

a

n

t

i

z

e

 

m

o

d

e

l

.













[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

C

o

m

p

u

t

e

E

n

v

i

r

o

n

m

e

n

t







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

D

i

s

t

r

i

b

u

t

e

d

T

y

p

e







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

D

y

n

a

m

o

B

a

c

k

e

n

d







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

L

o

g

g

e

r

T

y

p

e







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

P

r

e

c

i

s

i

o

n

T

y

p

e







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

R

N

G

T

y

p

e







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

S

a

g

e

M

a

k

e

r

D

i

s

t

r

i

b

u

t

e

d

T

y

p

e







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

A

u

t

o

c

a

s

t

K

w

a

r

g

s







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

D

i

s

t

r

i

b

u

t

e

d

D

a

t

a

P

a

r

a

l

l

e

l

K

w

a

r

g

s







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

F

P

8

R

e

c

i

p

e

K

w

a

r

g

s







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

G

r

a

d

S

c

a

l

e

r

K

w

a

r

g

s







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

I

n

i

t

P

r

o

c

e

s

s

G

r

o

u

p

K

w

a

r

g

s







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

K

w

a

r

g

s

H

a

n

d

l

e

r







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

D

e

e

p

S

p

e

e

d

P

l

u

g

i

n







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

F

u

l

l

y

S

h

a

r

d

e

d

D

a

t

a

P

a

r

a

l

l

e

l

P

l

u

g

i

n







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

G

r

a

d

i

e

n

t

A

c

c

u

m

u

l

a

t

i

o

n

P

l

u

g

i

n







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

M

e

g

a

t

r

o

n

L

M

P

l

u

g

i

n







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

T

o

r

c

h

D

y

n

a

m

o

P

l

u

g

i

n







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

B

n

b

Q

u

a

n

t

i

z

a

t

i

o

n

C

o

n

f

i

g







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

D

a

t

a

L

o

a

d

e

r

C

o

n

f

i

g

u

r

a

t

i

o

n







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

P

r

o

j

e

c

t

C

o

n

f

i

g

u

r

a

t

i

o

n







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

b

r

o

a

d

c

a

s

t







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

b

r

o

a

d

c

a

s

t

_

o

b

j

e

c

t

_

l

i

s

t







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

c

o

n

c

a

t

e

n

a

t

e







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

c

o

n

v

e

r

t

_

o

u

t

p

u

t

s

_

t

o

_

f

p

3

2







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

c

o

n

v

e

r

t

_

t

o

_

f

p

3

2







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

g

a

t

h

e

r







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

g

a

t

h

e

r

_

o

b

j

e

c

t







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

g

e

t

_

g

r

a

d

_

s

c

a

l

e

r







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

g

e

t

_

m

i

x

e

d

_

p

r

e

c

i

s

i

o

n

_

c

o

n

t

e

x

t

_

m

a

n

a

g

e

r







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

l

i

s

t

i

f

y







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

p

a

d

_

a

c

r

o

s

s

_

p

r

o

c

e

s

s

e

s







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

r

e

c

u

r

s

i

v

e

l

y

_

a

p

p

l

y







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

r

e

d

u

c

e







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

s

e

n

d

_

t

o

_

d

e

v

i

c

e







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

s

l

i

c

e

_

t

e

n

s

o

r

s







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

i

s

_

b

f

1

6

_

a

v

a

i

l

a

b

l

e







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

i

s

_

i

p

e

x

_

a

v

a

i

l

a

b

l

e







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

i

s

_

m

p

s

_

a

v

a

i

l

a

b

l

e







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

i

s

_

n

p

u

_

a

v

a

i

l

a

b

l

e







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

i

s

_

t

o

r

c

h

_

v

e

r

s

i

o

n







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

i

s

_

t

o

r

c

h

_

x

l

a

_

a

v

a

i

l

a

b

l

e







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

i

s

_

x

p

u

_

a

v

a

i

l

a

b

l

e







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

p

a

t

c

h

_

e

n

v

i

r

o

n

m

e

n

t







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

c

l

e

a

r

_

e

n

v

i

r

o

n

m

e

n

t







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

w

r

i

t

e

_

b

a

s

i

c

_

c

o

n

f

i

g







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

s

e

t

_

n

u

m

a

_

a

f

f

i

n

i

t

y







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

e

n

v

i

r

o

n

m

e

n

t

.

o

v

e

r

r

i

d

e

_

n

u

m

a

_

a

f

f

i

n

i

t

y







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

f

i

n

d

_

e

x

e

c

u

t

a

b

l

e

_

b

a

t

c

h

_

s

i

z

e







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

c

a

l

c

u

l

a

t

e

_

m

a

x

i

m

u

m

_

s

i

z

e

s







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

c

o

m

p

u

t

e

_

m

o

d

u

l

e

_

s

i

z

e

s







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

e

x

t

r

a

c

t

_

m

o

d

e

l

_

f

r

o

m

_

p

a

r

a

l

l

e

l







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

g

e

t

_

b

a

l

a

n

c

e

d

_

m

e

m

o

r

y







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

g

e

t

_

m

a

x

_

l

a

y

e

r

_

s

i

z

e







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

i

n

f

e

r

_

a

u

t

o

_

d

e

v

i

c

e

_

m

a

p







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

l

o

a

d

_

c

h

e

c

k

p

o

i

n

t

_

i

n

_

m

o

d

e

l







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

l

o

a

d

_

o

f

f

l

o

a

d

e

d

_

w

e

i

g

h

t

s







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

l

o

a

d

_

s

t

a

t

e

_

d

i

c

t







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

o

f

f

l

o

a

d

_

s

t

a

t

e

_

d

i

c

t







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

r

e

t

i

e

_

p

a

r

a

m

e

t

e

r

s







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

s

e

t

_

m

o

d

u

l

e

_

t

e

n

s

o

r

_

t

o

_

d

e

v

i

c

e







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

e

x

t

r

a

c

t

_

m

o

d

e

l

_

f

r

o

m

_

p

a

r

a

l

l

e

l







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

s

a

v

e







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

l

o

a

d







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

w

a

i

t

_

f

o

r

_

e

v

e

r

y

o

n

e







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

s

e

t

_

s

e

e

d







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

s

y

n

c

h

r

o

n

i

z

e

_

r

n

g

_

s

t

a

t

e







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

s

y

n

c

h

r

o

n

i

z

e

_

r

n

g

_

s

t

a

t

e

s







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

i

n

s

t

a

l

l

_

x

l

a







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

l

o

a

d

_

c

h

e

c

k

p

o

i

n

t

_

i

n

_

m

o

d

e

l







[

[

a

u

t

o

d

o

c

]

]

 

u

t

i

l

s

.

l

o

a

d

_

a

n

d

_

q

u

a

n

t

i

z

e

_

m

o

d

e

l

#

 

A

c

c

e

l

e

r

a

t

o

r







T

h

e

 

`

A

c

c

e

l

e

r

a

t

o

r

`

 

i

s

 

t

h

e

 

m

a

i

n

 

c

l

a

s

s

 

f

o

r

 

e

n

a

b

l

i

n

g

 

d

i

s

t

r

i

b

u

t

e

d

 

t

r

a

i

n

i

n

g

 

o

n

 

a

n

y

 

t

y

p

e

 

o

f

 

t

r

a

i

n

i

n

g

 

s

e

t

u

p

.

 

R

e

a

d

 

t

h

e

 

[

A

d

d

 

A

c

c

e

l

e

r

a

t

o

r

 

t

o

 

y

o

u

r

 

c

o

d

e

]

(

.

.

/

b

a

s

i

c

_

t

u

t

o

r

i

a

l

s

/

m

i

g

r

a

t

i

o

n

)

 

t

u

t

o

r

i

a

l

 

t

o

 

l

e

a

r

n

 

m

o

r

e

 

a

b

o

u

t

 

h

o

w

 

t

o

 

a

d

d

 

t

h

e

 

`

A

c

c

e

l

e

r

a

t

o

r

`

 

t

o

 

y

o

u

r

 

s

c

r

i

p

t

.







#

#

 

A

c

c

e

l

e

r

a

t

o

r

[

[

a

p

i

]

]













#

#

 

U

t

i

l

i

t

i

e

s













[

[

a

u

t

o

d

o

c

]

]

 

A

c

c

e

l

e

r

a

t

o

r







[

[

a

u

t

o

d

o

c

]

]

 

a

c

c

e

l

e

r

a

t

e

.

u

t

i

l

s

.

g

a

t

h

e

r

_

o

b

j

e

c

t

#

 

E

x

p

e

r

i

m

e

n

t

 

T

r

a

c

k

e

r

s







#

#

 

G

e

n

e

r

a

l

T

r

a

c

k

e

r













#

#

 

T

e

n

s

o

r

B

o

a

r

d

T

r

a

c

k

e

r













#

#

 

W

a

n

d

B

T

r

a

c

k

e

r













#

#

 

C

o

m

e

t

M

L

T

r

a

c

k

e

r













#

#

 

A

i

m

T

r

a

c

k

e

r













#

#

 

M

L

f

l

o

w

T

r

a

c

k

e

r













#

#

 

C

l

e

a

r

M

L

T

r

a

c

k

e

r













[

[

a

u

t

o

d

o

c

]

]

 

t

r

a

c

k

i

n

g

.

G

e

n

e

r

a

l

T

r

a

c

k

e

r







[

[

a

u

t

o

d

o

c

]

]

 

t

r

a

c

k

i

n

g

.

T

e

n

s

o

r

B

o

a

r

d

T

r

a

c

k

e

r




 

 

 

 

-

 

_

_

i

n

i

t

_

_







[

[

a

u

t

o

d

o

c

]

]

 

t

r

a

c

k

i

n

g

.

W

a

n

d

B

T

r

a

c

k

e

r




 

 

 

 

-

 

_

_

i

n

i

t

_

_







[

[

a

u

t

o

d

o

c

]

]

 

t

r

a

c

k

i

n

g

.

C

o

m

e

t

M

L

T

r

a

c

k

e

r




 

 

 

 

-

 

_

_

i

n

i

t

_

_







[

[

a

u

t

o

d

o

c

]

]

 

t

r

a

c

k

i

n

g

.

A

i

m

T

r

a

c

k

e

r




 

 

 

 

-

 

_

_

i

n

i

t

_

_







[

[

a

u

t

o

d

o

c

]

]

 

t

r

a

c

k

i

n

g

.

M

L

f

l

o

w

T

r

a

c

k

e

r




 

 

 

 

-

 

_

_

i

n

i

t

_

_







[

[

a

u

t

o

d

o

c

]

]

 

t

r

a

c

k

i

n

g

.

C

l

e

a

r

M

L

T

r

a

c

k

e

r




 

 

 

 

-

 

_

_

i

n

i

t

_

_