Lex Fridman Podcast - Vladimir Vapnik: Statistical Learning

Episode Date: November 16, 2018

Vladimir Vapnik is the co-inventor of support vector machines, support vector clustering, VC theory, and many foundational ideas in statistical learning. His work has been cited over 170,000 times. He has some very interesting ideas about artificial intelligence and the nature of learning, especially on the limits of our current approaches and the open problems in the field. Video version is available on YouTube. If you would like to get more information about this podcast go to https://lexfridman.com/ai or connect with @lexfridman on Twitter, LinkedIn, Facebook, or YouTube where you can watch the video versions of these conversations. 

The following is a conversation with Vladimir Vapnik. He's the co-inventor of the support vector machines, support vector clustering, VC theory, and many foundational ideas in statistical learning. He was born in the Soviet Union and worked at the Institute of Control Sciences in Moscow. Then, in the United States, he worked at AT&T and EC Labs, Facebook Research, and now is a professor at Columbia University. His work has

been cited over 170,000 times. He has some very interesting ideas about artificial intelligence and the nature of learning, especially on the limits of our current approaches and the open problems in the field. This conversation is part of MIT course on artificial general intelligence and the artificial intelligence podcast If you enjoy it, please subscribe on YouTube or rate it on iTunes or your podcast provider of choice or Simply connect with me on Twitter or other social networks at Lex Friedman spelled F-R-I-D and now here's my conversation with Vladimir Vapnik. [♪ Music playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the background, playing in the Einstein famously said that God doesn't play dice. You have studied the world to the eyes of statistics, so let me ask you in terms of the

nature of reality, fundamental nature of reality. Does God play dice? You don't know some factors, because we don't know some factors which could be important. И потому что мы не знаете какие-то факты, которые можно быть поводным, это как хорошо, как в игре. Но мы должны искать. В филосфе есть стыд, которые between two positions, positions of instrumentalism,

where you are creating theory of prediction and position of realism, where you are trying to theory of prediction and position of realism, where you are trying to understand what God did. Can you describe as instrumentalism and realism a little bit? For example, if you have some mechanical laws, what is that? Is it law which, да, всегда и не всегда, или это лович, для того, чтобы предыдущить позиция of moving element.

Вот, что вы believe, вы believe, что это ловичное ловичное которое создает в обеих обеих это за год, в который я приводил к this physical law, или это просто для предъектива, и для предъектива, если вы говорите, что это ловое Боге, и это всегда, правда, everywhere, то есть, что ты реалист. through everywhere, that means that you are a realist.

So you try to understand that God's thought. So the way you see the world is an instrumentals? You know, I'm working for some models, models of machine learning. So in this model, we can see Машин Лонник. В этот модел мы можем увидеть цель, и мы пытаемся создать цель, создать цель, создать цель,

и мы можем идти в два пяти из-за пяти инстерметаллии, и это что все это делает. Потому что это говорит, что это «гол» из машин-лоник это

в дыхание, но это инструмент для подъехания. Но я могу сказать, что «гол» из машин-лоник это для «гол» по кондившему пробобилитам.

Так как, как играл и он играет, что-то проблит, что-то проблит, что-то, что-то, что-то, что-то, что-то, что-то, что-то, но для предъектива я не имею в виду. Я не имею в виду, но для подвижения я имею к кондившему проблитам. understanding our new conditional probability. So let me just step back a little bit first to talk about. You mentioned, which I read last night, the parts of the 1960 paper by Eugene Wigner, unreasonable effectiveness of mathematics and natural sciences.

Such a beautiful paper, by the way, It made me feel, to be honest, to confess my own work in the past few years on deep learning, heavily applied. It made me feel that I was missing out on some of the beauty of nature in the way that math can uncover. So let me just step away from the poetry of that for a second. How do you see the role of math in your life?

Is it a tool, is it poetry? Where does it sit? And does math for you have limits of what it can describe? Some people say that math is language which use God. So I believe in that. Speak to God or use God or use God. So I believe that this article about effectiveness, unreasonable effectiveness и это неизвестно, что, если вы смотрите на мотивации струкчи, то вы знаете что это возможности. И на самом деле, это из-за мотивации,

они смотрят на эквейджии и стараются в состоянии реальности. Такая же машинка. and trying to understand reality. So the same with machine learning. If you try and very carefully look on all equations which define conditional probability, you can understand something about reality more than from your fantasy. So math can reveal the simple underlying principles of reality perhaps.

You know what means simple. It is very hard to discover them, but then when you discover them and look at them, you see how beautiful they are. And it is surprising why people did not see that before. You are looking for an equation and drive it from equations. For example, I talked yesterday about least square net. And people have a lot of fantasy half-tall, and proof least square net.

But if you are going step by step by solving some equations, и т.е. их авто, и, т.е. в спире, но если вы пойти в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в спире, в сп не смотрим в композицию, в моменте, в обзорвающем, мы смотрим о резидеусах, но когда ты поднялся, это очень просто идея, но это не очень просто, чтобы understand, и ты можешь дарать это просто для хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хорошее хоро хорошее хоро хорошее хоро хорошее хорошее хоро хорошее хорошее хорошее х So some simple algebra, a few steps will take you to something surprising that one you think about.

And that is proof that human intuition not to reach a very primitive, and it does not see very simple situations. So let me take a step back in general, yes, right? But what about human is the post intuition, ingenuity, moments of brilliance? So I use so, do you have to be so hard on human intuition? Are there moments of brilliance in human intuition? They can leap ahead of math, and then the math will catch up. I don't think so. I think that the best human intuition is putting in axioms. And then it is technical way of thinking. See where the axioms take you.

But if they correctly take axioms, but it axiom polished during generations of scientists. And this is integral wisdom. So that's beautifully put. But if you maybe look at, when you think of Einstein and special relativity, what is the role of imagination coming first there in the moment of discovery or an idea? So there's obviously a mix of math and out of the box imagination there. obviously a mix of math and out of the box imagination there.

That's I don't know. Whatever I did, I exclude any imagination. Because whatever I saw in machine learning, that come from imagination, like features, like deep learning, they are not really what, what's the problem. When you're looking very carefully from mathematical equations, диплорник, то есть не тревожный вопрос. Когда вы увидите очень хорошее, из математикой экваций, вы дарите очень просто сиум,

в котором уйдет с ФАБАЮ, теоретиками, то есть, что все люди не имеют. Потому что это не очень хорошо. Да. Это просто интерпретация, это просто фантазик, но это не то, что у вас есть. is just interpretation, it is just fantasy, but it is not what you need.

You don't need any imagination to derive, say, my principle of machine learning. When you think about learning and intelligence, maybe thinking about the human brain and trying to describe mathematically the process of learning, that is something like what happens in the human brain. Do you think we have the tools currently? Do you think we will ever have the tools to try to describe the process of learning? You, it is not description what's going on.

It is interpretation, it is your interpretation. Your vision can be wrong. Когда-то в Майкроскоп, в Левенгук, в первом случае, только он у него есть инструмент, и он не уйдет, он кипят, сочет, оба, в Майкроскоп. Но здесь есть репорт в Лондон-Академии, в Санс. И он репорт, когда of science. And he's reports, when he looking at the blood, he looked everywhere on the water, on the blood, on the spin.

But he described blood like fight between Queen and King. So he saw blood, cells, red cells, и ты imagин, что это армии, я думаю, что это все. И это была His interpretation of the situation. И He sent this reward in a Academy of Science, they very carefully looked because they believed that He is right, He saw something, but He gave wrong interpretation, and they believed the same can happen, His brain. Но он был в ромках, и я думаю, что это может быть в этом ромках.

Ну, это правда. Это самый важный парт. Ты знаешь, я думаю, что в Ленгвичном, в some Proverb, это очень много визданных. Например, люди говорят, что это более than 1000 в of diligent studies one day with great teacher. But if I will ask you what teacher does, nobody knows. And that is intelligence. But we know from history and now from mass and machine, that teacher can do a lot.

So what from a mathematical point of view is a great teacher? I don't know. That's an old question. No, no, no, but we can say what teachers can do. You can introduce some invariants, some predicate for creating invariants. Half you do, I don't know, because teacher knows reality, and can describe from this reality a predicate invariants. But we know that when you're using invariant, you can decrease number of observations 100 times. That's so, but maybe try to pull that up part a little bit. I think you mentioned like a piano teacher saying to the student, play like a butterfly.

Right. I played piano, playing guitar for a long time. And yeah, that's, there's maybe it's romantic poetic, but it feels like there's a lot of truth in that statement. There is a lot of instruction in that statement. And so can you pull that apart? What is that? The language itself may not contain this information. It's not blah, blah, blah.

Because it is not blah blah, yeah. It's fake. It's what? It's fake, yeah. It's fake, you're playing. Yes, it does. But it's what effect you affect your playing. Yes, it does, but what it's not the lane It's it feels like What is the information being exchanged there? What is the nature of information? What is the representation of that information?

I believe that it is sort of predicate, but I don't know That's exactly what what intelligence in machine learning should be. Потому что за резкостью, это просто математикальный техник, я думаю, что это было, что вы говорили, что есть два механизма of learning, когда это – это – «Strong Convergence Mechanism» и «Vic Convergence Mechanism». и викконилистер, before people use only one conversion. Викконилистер, викконилистер, вы можете использовать

это что-то, плавное, бутерное, и это будет именично, эффекта. Вы знаете, что есть английский, если это выглядит как дак, свинь, как дак, грей, если это смешает, смешает, смешает, смешает, и как смешает, смешает, то это смешает. Да. Но это из-за того, что это предыдует, смешает, смешает, смешает,

что это значит. Так что ты много смешает, ты have description of how looks, integral looks, ducks. — The visual characteristics of ducks. — — But you have model for recognition ducks. So, you would like, sure, that theoretical description from model — coin sight, with empirical description, which you saw on tape. это как то, что это тейшить, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, так, і так, і так, так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, і так, так, і так, і так, так, і так, і так, так, і так, так, і так, і так, і так, так, і так, і так, так, так, так, і existing machine learning. And you think that it's a resilience of data. But in this English proverb, proverb, they use only three predicate. It looks like a duck, swims like a duck, and quack like a duck. So you can't deny the fact that swims like a duck and quacks like a duck has humor in it,

in it has ambiguity. Let's talk about swim like a duck. It does not say jumps, jumps like a duck. Why? Because it's not relevant. But that means that you know ducks, you know, different darts, you know, animals, and you derive from this is that it is really want to say seem like a job. So, but underneath in order for us to understand swims like a duck, it feels like we need to know millions of other little pieces of information. We pick up along the way, you don't think so. That doesn't need to be this knowledge base. In those statements, carries some rich information that helps us understand the essence of duck. Yeah.

How far are we from integrating predicates? No, you know that when you consider complete theory of machine learning, so what it does, you have a lot of functions and then you are talking, it looks like a duck. You see your training data. From training data you recognize like expected duck should look, then you remove all functions, which does not look like you think it should look from training data.

So you decrease amount of function from which you pick up one, then you give a second predicate, and again decrease the set of function. And after that you pick up the best function you can. Fine, it is standard machine learning. So why you need not too many examples? Because your predicates aren't very good. But you're not. That means that predicate very good.

Because every predicate is invented to decrease a divisible set of functions. So you talk about admissible set of functions, and you talk about good functions. So what makes a good function? So admissible set of function is set of function, which has small capacity or small diversity, small VC dimension example which contain good function and such. So by the way for people who don't know VC, you're the V in the VC. So how would you describe to a lay person what VC theory is? How would you describe VC? Well, you have a machine.

So machine capable to pick up one function from that admissible set of function. But set of admissible function can be big. Say contain all continuous functions and useless. Фаншин может быть большой. В ней все continue с фаншинами и сзади. Не имеют много examples для пикарки. Но это может быть более Белый компакт, но может быть, более лучший, не очень много фаншин в этот раз.

В конце концов, но не очень много. Так что это очень много функций, а в этом, в конце, но не очень много. Так, это смысл с демонтом. Когда демонтом не смысл, не смысл с демонтом. Так, в годе, это кремный сет, который смысл с демонтом и смысл с демонтом. that missable set of functions, which is have small VC dimension and contain good function. Then you will be able to pick up the function

using a small amount of observations. So that is the task of learning. Is creating a set of admissible functions that has a small VC dimension and then you've figured out a clever way of picking up. That is a goal of learning a shape or form a way to the yesterday. Statistical learning story does not involve creating a admissible set of function. Но это не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы было не было, чтобы say a lot of functions, continuum set of function, create admissible set of functions, that means that it has finite VC dimensions,

small VC dimension, and contain good function. So this was out of consideration. So what's the process of doing that? I mean, it's fascinating. What is the process of creating this admissible set of functions? That is invariant. That's invariance. Can you describe invariance? Yeah, you're hosting of properties of training data and Property is means that you

Have some function and you you just count what is value? Це маєте, що я є фанкцій, і ви просто розумієте, що є цю аваріч, цю фанкційний дитин. Угоді є модель, і що є експектаційний фанкційний, і вони можуть вважати. Так, за проблеми облігувається, що є фанкційний. и они должны быть в консет. Так, проблема с об этом есть, что нужно пить в функции. Это может быть не в функции,

это в консете, это для все в функции, но когда вы говорите, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что, что ты не нацелся, что он не нацелся, что он нацелся, потому что он нацелся, потому что он нацелся, потому что он не нацелся, потому что он нацелся, потому что он нацелся, потому что он нацелся, потому что он нацелся, потому что он нацелся, потому что он нацелся, потому что он нацелся, потому что он нацелся, потому что он нацелся, потому что он нацелся, потому что он нацелся, потому что он нацелся,

потому что он нацелся, потому что он нацелся, потому что он нацелся, потому что он нацелся, Но это как-то, как-то, это дженеральный ситуация. Это как, say, как-то, как-то, как-то, как-то, как-то, как-то, как-то, как-то, как-то, как-то, как-то, как-то, как-то, как-то,

как-то, как-то, как-то, как-то, как-то, как-то, как-то, как-то, как-то,

как-то, как-то, как-то, как-то, как-то, как-то, как-то, как-то, как-то, как-то, special type of predicate, which related to this specific problem. And that is intelligence part of all those business. And that were teachers and more. Incorporating the specialized predicates. Okay. What do you think about deep learning as as a neural networks, these arbitrary architectures as helping

accomplish some of the tasks you're thinking about. Their effectiveness or lack thereof, what are the weaknesses and what are the possible strengths? You know, I think that this is fantasy. Everything which, like deep learning, like. Давайте я вам даю этот example. Одна из грибы is book, is church book about history of second world war. And he is starting this book describing that in all time,

when war is over. So the great kings, Когда война была в Льву, так в стране в стране и в стране и в стране в стране и в стране и в стране

в стране в стране в стране в стране И когда первая война была, то публика была в Павлине. Они были так грибами на Робе, и это было бы для всех, что это не пизде. Пизде only 20 лет потому что

они не были профессионалы. И даже я не видел в машинках. бо це не тільки професія, і саме я в цьому лорні. Зараз моті матіційної, воно відбуваємося про важний момент у цьому лорні. Зараз комп'ютер-сантіст, висмозної не моті матіційної, просто моті матіційної,

і воно вб a lot of blah, blah, blah interpretations like deep learning, why you need deep learning, but the mathematics does not know deep learning, but the mathematics does not know neurons, it is just function. If you like to say piecewise linear function, say that, and do in class of piecewise linear function, и это, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что значит, что значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что это значит, что значит, что это значит, что это значит, что значит, что это значит, что это значит, что значит, что значит, что значит, что это значит, что значит, что это значит, что это значит, что это значит, что это значит, что значит, что значит, что значит, значит, что значит, что это значит, что значит, что значит, что значит, что значит, что это значит, что значит, что значит, что значит, что это значит, что это значит, что значит, что значит, значит, что значит, что значит, что значит, что значит, что значит, что значит, что значит, что значит, что значит, что значит, что значит, что значит, значит, что значит, что значит, значит, что значит, что значит, что значит, значит, что значит, что значит, что значит, что значит, что они не понимают о то, что никто не знает, что он вонит в бред. Я думаю, что более-менее, что он очень много. Это мутиматический проблем. Трое право, чтобы создать этот проблем.

Считать, что нет только один из конвертки, который очень в конвертке. Это один из конвертки. Это предыдущий конверт, и если он идёт в всё это, в кондустерии, вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих вих в that optimal solution of mathematical problem, which is, which described learning is on shadow, network, not on deep learning. And a shallow network, yeah. The problem is there.

Absolutely. So in the end, what you're saying is exactly right. The question is, you have no value for throwing something on the table, playing with it, not math. It's like in your own network, or you said throwing something in the bucket or the biological example and looking at kings and queens with the cells with a microscope, you don't see value in imagining the cells or kings and queens and using that as inspiration and imagination for where the math will eventually lead you.

You think that interpretation basically deceives you the nature of learning and especially discussion about deep learning, it is discussion about interpretation, not about things, about what you can say about things. That's right, but aren't you surprised by the beauty of it? So the, the, the, not mathematical beauty, but the fact that it works at all, or are you criticizing that very beauty, our human desire to, to interpret, to, to find our silly interpretations in these constructs. Like, let me ask you this, are you surprised and does it inspire you? Well, how do you feel about the success of a system like AlphaGo at beating the game of Go using neural networks to estimate the

quality of a board and the quality of the position. Because your interpretation quality of the board. Yeah, yes. Yeah. But it's not our interpretation. The fact is a neural network system doesn't matter. A learning system that we don't, I think, mathematically understand that, well, beats the best human player.

Does something that was thought impossible That means that it's not very difficult problem. That's it. That's so you empiric We even empirically have discovered that this is not a very difficult problem. Yeah It's true So maybe it can't argue So even more I wouldn't say that if they use deep learning, it is not the most effective way of learning theory. And usually, when people use deep learning,

they're using the lens of training data. But you don't need this. Ziliň ztrénil data. Tak, ale je to, že je to jen. Takže, když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když když k в 100-х дейтах, даже в моем, самым проблемам дипломерного кеносов, потому что это не нужно это не креет это не креет это не креет это креет это креет

архитект, что это креет это креет это креет это креет это креет это креет это креет это креет это креет это креет это креет это креет это креет это креет это креет это креет это креет это креет и не может сказать, что ты вкратил гутбин с этого фаншиза. И ты просто с этого фаншиза,

это не сможет быть мазью. Но это способно вкратил гутбин с этого фаншиза, потому что у тебя есть тренированная дата. Это, в том числе, когда ты варьёшь, ты уйти на ловь лажномбер. Когда ты делаешь тренинг в экзислик алгоритм, ты нужно уйти в ловь лажномбер, which is much more difficult,

likewise, я все-таки не знаю, что это стало, но не в least, если ты используешь босс, вик и строке в конвергенце. But nevertheless, if you use balls, weak and stroke way of convergence, you can decrease a lot of training data. You could do the three, the swims like a duck and quacks like a duck. Yeah, yeah. But are, so let's step back and think about

and tell human intelligence in general. And clearly that has evolved in a non-mathematical way. It wasn't as far as we know, God, or whoever, didn't come up with a model in place in our brain of admissible functions that kind of evolved. I don't know, maybe you have a view on this. So Alan Turing in the 50s in his paper asked and rejected the question, can machines think? It's not a very useful question, but can you briefly

entertain this useful, useless question? Can machines think? So talk about intelligence and your view of it. think, so talk about intelligence and you view it. I don't know that. I know that during describe imitation, if computer can imitate human being, let's call it intelligent. And he understands that it is not thinking computer. He completely understands what he does, but he сцепит проблем о имитании. Так что сейчас мы understand that the problem is not in the имитании. Я не понимаю, что

интеллигия просто в нас может быть, а в нас височет. Я have several observations. с в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом дне, в этом додом в том. И я видел, что много of examples, и много мотиваций, когда они уделят что-то, они уделят что-то в general, которые эффекты everybody. Так, может, у нас, модели, что интеллигент, только inside of us, это incorrect.

Это тяна, может, может, inside the fast is incorrect. It's our interpretation. Yeah. It might be there exists some connection with world intelligence. I don't know. You're almost like plugging in into, yeah, exactly. And contributing to this network. And into a big, maybe neural network. No, no, no.

On the flip side of that, maybe you can comment on big old complexity and how you see classifying algorithms by worst case running time in relation to their input. So that way of thinking about functions, do you think P equals NP? Do you think that's an interestingная question? Да, это интересная question. Но давайте поговорим о комплексе, о вешной сценарии. Это очень мотивация. Когда я came to United States in 1995,

люди не понимали, они не понимали, они не понимали, люди не понимали, что это все, что не понимали, что это не было, что это было. Так, в Рашу, это было пабрич, что, в Монограф, а в Монограф, но в Америке, что они не понимали, то они понимали.

И если кто-то сказал, что это это в ворсткий сиурин, то они будут в карьеру, в карьеру, но, но не понимали, что это не было. Потому что это очень много, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз,

в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, в первый раз, И для этого это результаты, которые подъемы, и они нужны это, потому что, в том числе, это как раз, как раз, в этом моменте, вы можете запросить все ремни. Но мы тоже в этом состоянии,

в том, что вы нестры, когда вы знаете пробабление, и это самый кастр, что может быть, это интерпийный теорий. Так, из мутиматикных 포인тов, вы знаете самый самый самый кастр, в самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый самый Вы не думаете, что эти дырки будут очень интересны. Но это не так интересно. Это не так интересно.

Потому что это не так easy to get good bound, exact bound. Это не мои кайсы, где у вас есть bound, это не exact bound. Но интересный принцип, not many cases where you have the bones is not exact, but interesting principles which discover the mass. Do you think it's interesting because it's challenging and reveals interesting principles that allow you to get those bounds, or do you think it's interesting because it's actually

very useful for understanding the essence of a function, of an algorithm. So it's like me judging your life as a human being by the worst thing you did and the best thing you did, versus all the stuff in the middle. It seems not productive. I know things are because you cannot describe situation in the middle or it will be not Я не знаю, что это, потому что вы не можете встать ситуацию в минулку, или это не будет в самом деле. Так что вы не можете встать в ежедаке и это может быть более-менее, но вы не можете встать в течение в древних кастров.

Так что вы не будете встать в течение, every new case. So you will be never accurate when you're using more. But from a statistical point of view, the way you've studied functions and the nature of learning and the world, don't you think that the real world has a very long tail, that the edge cases are very far away from Это очень много Но, из моих слов, если вы используете статистик формулы, вы используете формулы в ловь, в ловь, в ловь, в ловь, в ловь, в ловь, в должны только ловить ловить ловить ловить. И есть есть очень большая часть, в которой ловить ловить ловить ловить ловить ловить ловить.

Это используется, чтобы вискать, что-то больше. Или вы просто можете взять это? Ну, например, когда я говорил о ДАК, я бы 3-3 предыдущих, что было, но если вы стар если вы стараете делать формул, это значит, что вы наше время наше время, вы наше время наше время, вы наше время наше время, вы наше время наше время,

вы наше время наше время, вы наше время наше время, вы наше время наше время, вы наше время наше время, вы наше время наше время, вы наше время наше время, вы наше время наше время, вы наше время наше время,

вы наше время наше время, вы наше время наше время, вы наше время наше время, вы наше время наше время, вы наше время наше время, вы наше время, вы наше время наше время, вы наше время, вы наше время, вы наше время, in a lot of bit of information, formal bits of information. So we don't know that how much bit of information contain things from artificial intelligence. And that is the subject of analysis. Till now, all business, I don't like

how people consider artificial intelligence. Все в бизнесе. Я не хочу, чтобы люди, которые варивают артефициалентеррежен, они варивают, как какие-то активы, которые имитают активы of human being. Это не снастики, это суббитание. Вы должны имитать,

это очень удобно, и у меня есть уходят, но уходят, что-то ловят. Какие люди, которые стараются, что-то девевают, что-то предыдует, как и так, или играет, как и так, или что-то. или играть в мутофлай, или что-то. Не то, что Тичер Тезьё, как он вонит, как он чувствует этот имени. Так это процесс.

Это проблема в интервью. И вы видите, что это связано к областью? Да, абсолютно. Потому что вы immediately предыдущие, как специфик предыдущие, А они? Потому что они immediately give this predicate, like specific predicate, swims like a dog, or guacal like a dog.

Это было чувствуяемо somehow. So what is the line of work, would you say? If you were to formulate as a set of open problems, that will take us there. Play like a butterfly, we'll get a system to be able to... Это будет наше, чтобы играть в полетку, чтобы быть в порядке. Пусть мы сочетим, чтобы быть в порядке.

Но, если вы предыдущите, то что-то может быть, и в другом случае, вы должны предыдущить. Это очень интересный вопрос, и люди не начали об этом предыдущим. intelligence problem, and people even did not start understanding intelligence. Because to understand intelligence, first of all, try to understand what doing teachers, have teacher teach. Why one teacher butters in another one? Yeah, so you think we really even haven't started on the journey of generating the predicates.

You don't understand. You even don't understand this problem exists. Because did you do? No, I just know a name. I want to understand why one teacher but doesn't another. And how Effect teacher student It is not because he repeating the problem which is in textbook

He makes some remarks He makes some philosophy of reasoning, you know, that's a beautiful so it is a formulation of A question that is the open problem. Why is one teacher better than another? Right. What he does better. Yeah.

What why at every level? How did they get better? What does it mean to be better? The whole? Yeah. From whatever model I have, one teacher can give a very good predicate. One teacher can say, swims like a dog.

And another can say jump like a dog. And jump like a dog carries zero information. Yeah. So what is the most exciting problem in statistical learning you've ever worked on or are working on now? I just finished this invariant story and I'm happy that I believe that it is ultimate learning story. Это это лучшая история. В этом случае, что это неизвестно, это неизвестно, только неизвестно. Но они сочетают статистику,

от телеген парт, и они не знают ничего о телеген парт. И если вы не знаетеаем, то интервью. Так что это будет очень много, в течении, в течении, в течении. Да, вы не знаете, что мы видим? Так, например, в моем течении, в последний раз был этот шелиндж. Так что, вы имеете, что что не с дегитарной д Can you do the same using Hundre times less? But incorporating invariants, what it means, you know, digit one, two, three, one.

Yeah. Just looking at that, explain the vision variant I should keep to use 100 examples or say, 100 times less examples to do the same job. Yeah, that last slide, unfortunately, you talk kind of quickly, but that last slide was a powerful open challenge in a formulation of the essence. That is a exact problem of intelligence, because when machine learning started, it was the Потому что когда машин-лоник стартан был мать мать мать мать мать, они мидиально реконны, что мы получаем более тренированных дейтам, но, again, мы снова получаем в same story, how to decrease. в декрессе. Это проблема в лоднике.

Это не как в дипломе, они используют зелёный тренинг дейт. Потому что, может быть, зелёный тренинг, если вы уйдете в любых инварианах, может быть, вы не уйдете в коллекции, не в любых взаимодях. Но сейчас, это вопрос для интеллигии. У нас есть что-то делать. Потому что статистический партитер is ready.

А soon as you've supplied with predicate, we can do good job with small amount of observations. And the very first challenges will know digital recognition. и очень первые шеленики в том числе, и вы знаете, и диджет, и динаметрии, я думаю, что я могу сказать,

для диджет-3 я буду дать концепт о хорисентал-симитрии. Такая диджет-3

у нас хорисентал-симитрии, и, сказать, не сказать, диджет-то или Такая дедяцрия у нас есть хорисантал-симметри, say, more than, say, digital, or something like that. Но, soon as I get the deal of horizontal symmetry, I can mathematically invent a lot of measure of horizontal symmetry — он — the vertical symmetry, the diagonal symmetry, whatever, — if I have a day of symmetry. Но, что это?

Смотрите, на дидиатайсе это метод метод предыкating, which is not shape.

Это something like symmetry, like half-dark is whole picture, something like that. как симметрия, как хавдарк, это все пикти, что-то, как-то, что-то сервифрайя предыкет. Ты думаешь, что такой патикой

может быть не в самом деле, то есть, это чувствует, как, для меня, not general meaning it feels like for me to be able to understand the difference between a two and a three I would need to have had a childhood of 10 to 15 years playing with kids go into school being yelled yelled by parents, all of that, walking, jumping, looking at ducks, and now then I would be able to generate the right predicate for telling the difference in two and a three.

Or do you think there's a more efficient way? I know for sure that you must know something more than digits. Yes. Я знаю, что ты нужно знать, что это может быть диджиц. Да, это не то, что это не может быть. Но может быть, это не то, что это может быть диджиц. В дискрепшем эллибенции диджицы. Так что я говорю о симпетии, о проопетии с деометрией, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, о проопетии, Кинкари не может быть более than one beautiful information in real, потому что, когда вы увидите example, и вы говорите, это is one. Вы можете не сказать, что это is one,

это is one best strategy, если вы не можете сделать, то это может быть, это может быть, это нужно нужно нахожу. Но когда вы используете пирога, то, как и дак, вы можете нужно нахожу более более than half. И это значит, что это contain lots of data from formations, from formal point of view.

Но когда вы уйти в пикте, But when you have a general picture of what you want to recognize, and general picture of the world, can you invent this predicate? And that predicate Kari a lot of information. Beautifully put. Maybe just me, but in all the Matthews show, in your work, I'm not sure. I'm not sure. I'm not sure. I'm not sure. I'm not sure. I'm not sure. I'm not sure. I'm not sure. I'm not sure.

I'm not sure. I'm not sure. I'm not sure. I'm not sure. I'm not sure. I'm not sure. I'm not sure. I'm not sure.

I'm not sure. I'm not sure. I'm not sure. I'm not sure. I'm not sure. I'm not sure. I'm not sure. I'm not sure. I'm not sure. I'm not sure. I'm not sure. I'm not sure. to talk about philosophy of science, there's a poetry and music to a lot of the work you're doing

and the way you're thinking about it. So, where does that come from? Do you escape to poetry? Do you escape to music or not? I see that there exists ground troughs. That's ground trough. Да, и это может быть все в этом. В этом смарт-гайе, в филе, когда я запрещу, я запрещу, как-то, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, в дип, дип, в дип, в дип, в дип, в дип, дип, в дип, в дип, в дип, в дип, в дип, в Но за гран-трусой силе. Музыка — гран-трус. Да. И по-эторию, в many points, они believe, they take dictation. Так что,

что в пире of music как пире of empirical evidence gave you a sense that they are touching something in the ground truth. It is structure. The structure of it. The math of me too. You are listening to Bach.

You see this structure, very clear, very classic, very simple, and the same in Mass when you have oxylums in geometry, you have the same feeling. And then poetry sometimes is the same. Yeah. And if you look back, your childhood, you grew up in Russia, you maybe were born as a researcher in Russia, you've developed as a researcher in Russia, you've came to the United States and in a few places. If you look back, what was some of your happiest moments as a researcher, some of the most profound moments, not in terms of their impact on society, but in terms of

their impact on how damn good you feel that day, and you remember that moment. Но в том числе, как вы думаете, что вы все время чувствуете, и вы помните этот момент. В каждом случае, когда вы устроили something, это очень приятное. В каждом из них есть все эти слова. Но в моем случае, что я думал то, что я most of my time was wrong, you should go again and again and again, and try to be honest in front of yourself,

not to make interpretation, but try to understand that it related to Grand Truth, it is not my blah, blah, excited at the possibility of discovery. А если вы должны двоих мягких, но... Но как вы поняли, что это наше граммозо, то есть это просто темпырое, или это все. Ты всегда есть фильмы, когда ты не делаешь, Just temporary or it is for forever. You know, you always have a feeling when you found something,

have become that. So, twenty years ago when we discovered statistical learning, so nobody believed, except for one guy, doubly, from MIT. And then in 20 years, it became fashion. And the same is support vector machines, that is kernel machines. So with support vector machines and learning theory, when you were working on it, you had a sense, you had a sense,

that you had a sense of the profundity of it, how this seems to be right, this seems to be powerful. Right, absolutely, immediately. I recognize that it will last forever. And now, when I found this invariance, Это будет в последнее время. И сейчас, когда я знал эту инварьянную историю, я уже в этом фильме, что это уже это уже это уже это уже это уже

это уже это уже потому что я уже have proved, потому что это не было не было не было не было не было

не было не было не было не было не было не было не было have some psychosmetic improvement you can do, but in terms of invariance, you need both invariance and statistical learning and organization work together, but also I'm happy that you can We can formulate what is intelligence, what is that, and to separate from technical part. It is absolutely completely different. Absolutely. Well, Vatabar, thank you so much for talking today. Thank you.

That's an honor for me.